<div dir="ltr"><div class="gmail_default" style="font-size:small"><blockquote type="cite"><div><center style="font-family:Helvetica;font-size:14px;background-color:rgb(250,250,250)"><table align="center" border="0" cellpadding="0" cellspacing="0" height="100%" width="100%" id="m_-6335119312429553041gmail-m_408614496796101247bodyTable" style="border-collapse:collapse;height:4302px;margin:0px;padding:0px;width:621px"><tbody><tr><td align="center" valign="top" id="m_-6335119312429553041gmail-m_408614496796101247bodyCell" style="height:4282px;padding:10px;width:601px;border-top-width:0px"><br><table border="0" cellpadding="0" cellspacing="0" width="100%" style="border-collapse:collapse;border:1px groove rgb(78,42,132);max-width:600px"><tbody><tr><td valign="top" id="m_-6335119312429553041gmail-m_408614496796101247templateHeader" style="background-color:rgb(255,255,255);background-image:none;background-size:cover;border-top-width:0px;border-bottom-width:0px;padding-top:9px;padding-bottom:0px;background-position:50% 50%;background-repeat:no-repeat"></td></tr><tr><td valign="top" id="m_-6335119312429553041gmail-m_408614496796101247templateBody" style="background-color:rgb(255,255,255);background-image:none;background-size:cover;border-top-width:0px;border-bottom:2px solid rgb(234,234,234);padding-top:0px;padding-bottom:9px;background-position:50% 50%;background-repeat:no-repeat"><table border="0" cellpadding="0" cellspacing="0" width="100%" style="border-collapse:collapse;min-width:100%"><tbody><tr><td valign="top" style="padding-top:9px"><table align="left" border="0" cellpadding="0" cellspacing="0" width="100%" style="border-collapse:collapse;max-width:100%;min-width:100%"><tbody><tr><td valign="top" style="font-family:Helvetica;word-break:break-word;color:rgb(32,32,32);font-size:16px;line-height:24px;padding:0px 18px 9px"><h1 style="margin:0px;padding:0px;font-size:26px;line-height:32.5px;text-align:center"><span style="color:rgb(75,0,130)">Upcoming IDEAL Workshop: <br>CS+Law: Definitions for Algorithms</span></h1> <div style="text-align:center"><br>Please join us for an upcoming IDEAL Workshop: <a href="https://northwestern.us20.list-manage.com/track/click?u=3fc8e0df393510ea0a5b018e1&id=f7421d5fa0&e=01c4c9f9ea" rel="noopener" style="color:rgb(0,124,137)" target="_blank">CS+Law: Definitions for Algorithms</a> on Friday, May 28th from 11:00 am - 3:00 pm CDT.</div><p style="margin:10px 0px;padding:0px;line-height:24px"><br><span style="color:rgb(75,0,130)"><strong>About this series</strong></span></p><p style="margin:10px 0px;padding:0px;line-height:24px">The IDEAL workshop series brings in experts on topics related to the foundations of data science to present their perspective and research on a common theme. This virtual workshop will feature four talks and discussion sessions. Details about our speakers and their talks can be found below. </p><p style="margin:10px 0px;padding:0px;line-height:24px">This workshop is part of the <a href="https://northwestern.us20.list-manage.com/track/click?u=3fc8e0df393510ea0a5b018e1&id=97f8a0863d&e=01c4c9f9ea" style="color:rgb(0,124,137)" target="_blank">Special Quarter on Data Science and Law</a>, co-organized by Northwestern Professors <a href="https://northwestern.us20.list-manage.com/track/click?u=3fc8e0df393510ea0a5b018e1&id=a78e99606b&e=01c4c9f9ea" style="color:rgb(0,124,137)" target="_blank">Jason D. Hartline</a> and <a href="https://northwestern.us20.list-manage.com/track/click?u=3fc8e0df393510ea0a5b018e1&id=050cc0f43c&e=01c4c9f9ea" style="color:rgb(0,124,137)" target="_blank">Daniel W. Linna Jr.</a> </p><p style="margin:10px 0px;padding:0px;line-height:24px"><span style="color:rgb(75,0,130)"><strong>Synopsis</strong></span></p><p style="margin:10px 0px;padding:0px;line-height:24px">There is great potential for and significant challenge to the use algorithms in legal contexts.  Computer scientists and legal scholars need to collaborate to determine appropriate definitions for algorithms that capture notions like bias, fairness, justice, accountability, explainability, verification, certification, auditability, contestability, etc.  These definitions then need to be integrated into algorithm design and analysis frameworks.  This workshop focuses on developing technical definitions for concepts like these and the technical challenges for algorithm design that they introduce.</p><p style="margin:10px 0px;padding:0px;line-height:24px"><span style="color:rgb(75,0,130)"><strong>Logistics</strong></span></p><ul><li style="margin-left:15px">Date: Friday, May 28,11:00 am to 3:00 pm Central Time (Chicago time)</li><li style="margin-left:15px">Location: Talks and General Q&A on Zoom; small-group discussions during intermissions on Gather.Town</li><li style="margin-left:15px">Free Registration: Attendees must <a href="https://northwestern.us20.list-manage.com/track/click?u=3fc8e0df393510ea0a5b018e1&id=68ca9ce8ce&e=01c4c9f9ea" style="color:rgb(0,124,137)" target="_blank">register</a> to receive receive information for joining. Login information for Gather.Town will be provided via email.</li></ul><p style="margin:10px 0px;padding:0px;line-height:24px"><span style="color:rgb(75,0,130)"><strong>Speakers</strong></span></p><ul><li style="margin-left:15px"><a href="https://northwestern.us20.list-manage.com/track/click?u=3fc8e0df393510ea0a5b018e1&id=32604809db&e=01c4c9f9ea" style="color:rgb(0,124,137)" target="_blank">Ran Canetti</a> (Boston University)</li><li style="margin-left:15px"><a href="https://northwestern.us20.list-manage.com/track/click?u=3fc8e0df393510ea0a5b018e1&id=4c500739a1&e=01c4c9f9ea" style="color:rgb(0,124,137)" target="_blank">Jonathan Shafer</a> (University of California, Berkeley)</li><li style="margin-left:15px"><a href="https://northwestern.us20.list-manage.com/track/click?u=3fc8e0df393510ea0a5b018e1&id=267c97851f&e=01c4c9f9ea" style="color:rgb(0,124,137)" target="_blank">Aloni Cohen</a> (Boston University)</li><li style="margin-left:15px"><a href="https://northwestern.us20.list-manage.com/track/click?u=3fc8e0df393510ea0a5b018e1&id=e8f9f49949&e=01c4c9f9ea" style="color:rgb(0,124,137)" target="_blank">Omer Reingold</a> (Stanford University)</li></ul><h4 style="margin:0px;padding:0px;font-size:18px;line-height:22.5px"><span style="color:rgb(75,0,130)"><strong>Schedule</strong></span></h4><ul><li style="margin-left:15px"><strong>11:00-11:10</strong>: Introduction (Jason Hartline and Dan Linna)</li><li style="margin-left:15px"><strong>11:10-11:40</strong>: <a href="https://northwestern.us20.list-manage.com/track/click?u=3fc8e0df393510ea0a5b018e1&id=d73e06a661&e=01c4c9f9ea" style="color:rgb(0,124,137)" target="_blank">Ran Canetti</a> </li><li style="margin-left:15px"><strong>11:40-12:10</strong>: <a href="https://northwestern.us20.list-manage.com/track/click?u=3fc8e0df393510ea0a5b018e1&id=6a26157240&e=01c4c9f9ea" style="color:rgb(0,124,137)" target="_blank">Jonathan Shafer</a> </li><li style="margin-left:15px"><strong>12:10-1:00</strong>: Extended Q&A on gather.town</li><li style="margin-left:15px"><strong>1:00-1:30</strong>: <a href="https://northwestern.us20.list-manage.com/track/click?u=3fc8e0df393510ea0a5b018e1&id=ec3420c69c&e=01c4c9f9ea" style="color:rgb(0,124,137)" target="_blank">Aloni Cohen</a></li><li style="margin-left:15px"><strong>1:30-2:00</strong>: <a href="https://northwestern.us20.list-manage.com/track/click?u=3fc8e0df393510ea0a5b018e1&id=1dc3b1ff72&e=01c4c9f9ea" style="color:rgb(0,124,137)" target="_blank">Omer Reingold</a></li><li style="margin-left:15px"><strong>2:00-3:00</strong>: Extended Q&A on gather.town</li></ul><p style="margin:10px 0px;padding:0px;line-height:24px"><span style="color:rgb(75,0,130)"><strong>Abstracts </strong></span></p><p style="margin:10px 0px;padding:0px;line-height:24px"><strong>Speaker:</strong> Ran Canetti<br><strong>Title:</strong> <em>Verification Dilemmas, Law, and the Promise of Zero-Knowledge Proofs</em><br><strong>Abstract:</strong> Individuals expose personally identifying information to access a website or qualify for a loan, undermining privacy and security. Firms share proprietary information in dealmaking negotiations; if the deal fails, the negotiating partner may use that information to compete. Regulators that comply with public transparency and oversight requirements can risk subjecting algorithmic governance tools to gaming that destroys their efficacy. Litigants might have to reveal trade secrets in court proceedings to prove a claim or defense. Such “verification dilemmas,” or costly choices between opportunities that require the verification of some fact, and risks of exposing sensitive information in order to perform verification, appear across the legal landscape. Yet, existing legal responses to them are imperfect. Legal responses often depend on ex post litigation remedies that are prohibitively expensive for those most in need, or that fail to address abuses of information entirely.<br><br>Zero-knowledge proofs (ZKPs)—a class of cryptographic protocols that allow one party to verify a fact or characteristic of secret information without revealing the actual secret—can help solve these verification dilemmas. ZKPs have recently demonstrated their mettle, for example, by providing the privacy backbone for the blockchain. Yet they have received scant notice in the legal literature. This Article fills that gap by providing the first deep dive into ZKPs’ broad relevance for law. It explains ZKPs’ conceptual power and technical operation to a legal audience. It then demonstrates how, and that, ZKPs can be applied as a governance tool to transform verification dilemmas in multiple legal contexts. Finally, the Article surfaces, and provides a framework to address, the policy issues implicated by the potential substitution of ZKP governance tools in place of existing law and practice.<br><br><strong>Speaker: </strong>Jonathan Shafer<br><strong>Title: </strong><em>Interactive Proofs for Verifying Machine Learning</em><br><strong>Abstract:</strong> We consider the following question: using a source of labeled data and interaction with an untrusted prover, what is the complexity of verifying that a given hypothesis is “approximately correct”? We study interactive proof systems for PAC verification, where a verifier that interacts with a prover is required to accept good hypotheses, and reject bad hypotheses. Both the verifier and the prover are efficient and have access to labeled data samples from an unknown distribution. We are interested in cases where the verifier can use significantly less data than is required for (agnostic) PAC learning, or use a substantially cheaper data source (e.g., using only random samples for verification, even though learning requires membership queries). We believe that today, when data and data-driven algorithms are quickly gaining prominence, the question of verifying purported outcomes of data analyses is very well-motivated. We show three main results. First, we prove that for a specific hypothesis class, verification is significantly cheaper than learning in terms of sample complexity, even if the verifier engages with the prover only in a single-round (NP-like) protocol. Moreover, for this class we prove that single-round verification is also significantly cheaper than testing closeness to the class. Second, for the broad class of Fourier-sparse boolean functions, we show a multi-round (IP-like) verification protocol, where the prover uses membership queries, and the verifier is able to assess the result while only using random samples. Third, we show that verification is not always more efficient. Namely, we show a class of functions where verification requires as many samples as learning does, up to a logarithmic factor.<br><br><strong>Speaker: </strong>Aloni Cohen<br><strong>Title:</strong> <em>Towards formalizing the GDPR’s notion of singling out</em><br><strong>Abstract:</strong> There is a significant conceptual gap between legal and mathematical thinking around data privacy. The effect is uncertainty as to which technical offerings meet legal standards. This uncertainty is exacerbated by a litany of successful privacy attacks demonstrating that traditional statistical disclosure limitation techniques often fall short of the privacy envisioned by regulators. We define “predicate singling out,” a type of privacy attack intended to capture the concept of singling out appearing in the General Data Protection Regulation (GDPR). An adversary predicate singles out a dataset x using the output of a data-release mechanism M(x) if it finds a predicate p matching exactly one row in x with probability much better than a statistical baseline. A data-release mechanism that precludes such attacks is “secure against predicate singling out” (PSO secure). We argue that PSO security is a mathematical concept with legal consequences. Any data-release mechanism that purports to “render anonymous” personal data under the GDPR must prevent singling out and, hence, must be PSO secure. We analyze the properties of PSO security, showing that it fails to compose. Namely, a combination of more than logarithmically many exact counts, each individually PSO secure, facilitates predicate singling out. Finally, we ask whether differential privacy and kanonymity are PSO secure. Leveraging a connection to statistical generalization, we show that differential privacy implies PSO security. However, and in contrast with current legal guidance, kanonymity does not: There exists a simple predicate singling out attack under mild assumptions on the k-anonymizer and the data distribution.<br><br><strong>Speaker: </strong>Omer Reingold<br><strong>Title:</strong> <em>Outcome Indistinguishability</em><br><strong>Abstract:</strong> Prediction algorithms assign numbers to individuals that are popularly understood as individual “probabilities”—what is the probability of 5-year survival after cancer diagnosis?—and which increasingly form the basis for life-altering decisions. Drawing on an understanding of computational indistinguishability developed in complexity theory and cryptography, we introduce Outcome Indistinguishability. Predictors that are Outcome Indistinguishable yield a generative model for outcomes that cannot be efficiently refuted on the basis of the real-life observations produced by Nature. We investigate a hierarchy of Outcome Indistinguishability definitions, whose stringency increases with the degree to which distinguishers may access the predictor in question. Our findings reveal that Outcome Indistinguishability behaves qualitatively differently than previously studied notions of indistinguishability. First, we provide constructions at all levels of the hierarchy. Then, leveraging recently-developed machinery for proving average-case fine-grained hardness, we obtain lower bounds on the complexity of the more stringent forms of Outcome Indistinguishability. This hardness result provides the first scientific grounds for the political argument that, when inspecting algorithmic risk prediction instruments, auditors should be granted oracle access to the algorithm, not simply historical predictions.</p><h4 style="margin:0px;padding:0px;font-size:18px;line-height:22.5px"><span style="color:rgb(75,0,130)">Hope to see you all there virtually! </span></h4></td></tr></tbody></table></td></tr></tbody></table><table border="0" cellpadding="0" cellspacing="0" width="100%" style="border-collapse:collapse;min-width:100%"><tbody><tr><td valign="top" style="padding:9px"><table align="left" width="100%" border="0" cellpadding="0" cellspacing="0" style="border-collapse:collapse;min-width:100%"><tbody><tr><td valign="top" style="padding:0px 9px;text-align:center"><img align="center" alt="" src="https://mcusercontent.com/3fc8e0df393510ea0a5b018e1/images/bf59dc2c-9d1f-491e-9177-baf3fd2b8765.png" width="563" style="outline:none;border:0px;height:auto;vertical-align:bottom;max-width:1200px;padding-bottom:0px;display:inline"></td></tr></tbody></table></td></tr></tbody></table></td></tr><tr><td valign="top" id="m_-6335119312429553041gmail-m_408614496796101247templateFooter" style="background-image:none;background-size:cover;border-top-width:0px;border-bottom-width:0px;padding-top:9px;padding-bottom:9px;background-position:50% 50%;background-repeat:no-repeat"><table border="0" cellpadding="0" cellspacing="0" width="100%" style="border-collapse:collapse;min-width:100%"><tbody><tr><td valign="top" style="padding-top:9px"><table align="left" border="0" cellpadding="0" cellspacing="0" width="100%" style="border-collapse:collapse;max-width:100%;min-width:100%"><tbody><tr></tr></tbody></table></td></tr></tbody></table></td></tr></tbody></table></td></tr></tbody></table></center></div></blockquote></div><div><div dir="ltr" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><font face="arial, helvetica, sans-serif">Mary C. Marre</font><div><font face="arial, helvetica, sans-serif">Faculty Administrative Support</font></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6"><b>Toyota Technological Institute</b></font></i></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6">6045 S. Kenwood Avenue</font></i></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6">Room 517</font></i></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6">Chicago, IL  60637</font></i></div><div><i><font face="arial, helvetica, sans-serif">p:(773) 834-1757</font></i></div><div><i><font face="arial, helvetica, sans-serif">f: (773) 357-6970</font></i></div><div><b><i><a href="mailto:mmarre@ttic.edu" target="_blank"><font face="arial, helvetica, sans-serif">mmarre@ttic.edu</font></a></i></b></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div>