<div dir="ltr"><div><i>Part of the <a href="https://datascience.uchicago.edu/news/autumn-2022-distinguished-speaker-series/" target="_blank">Computer Science/Statistics/Data Science Institute Distinguished Speaker Series</a></i></div><br><font face="arial, sans-serif" color="#000000"><b style="letter-spacing:0.2px;white-space:pre-wrap">Friday, November 11th</b><br style="letter-spacing:0.2px;white-space:pre-wrap"><b style="letter-spacing:0.2px;white-space:pre-wrap">12:00pm - 1:30pm (12:00 lunch, 12:30 talk)</b><br style="letter-spacing:0.2px;white-space:pre-wrap"><b style="letter-spacing:0.2px;white-space:pre-wrap">In Person: John Crerar Library 390</b><br style="letter-spacing:0.2px;white-space:pre-wrap"></font><b style="color:rgb(60,64,67);font-family:Roboto,Arial,sans-serif;letter-spacing:0.2px;white-space:pre-wrap">Zoom: </b><a href="https://www.google.com/url?q=https://uchicagogroup.zoom.us/j/92640945282?pwd%3DYkVlNGJteGhYWmUzOHBaZHJ5M2J4QT09&sa=D&source=calendar&ust=1668522878595504&usg=AOvVaw1deLog1zd2VhmFMK7UrUJE" target="_blank" style="font-family:Roboto,Arial,sans-serif;letter-spacing:0.2px;white-space:pre-wrap"><u>https://uchicagogroup.zoom.us/j/92640945282?pwd=YkVlNGJteGhYWmUzOHBaZHJ5M2J4QT09</u></a><br style="color:rgb(60,64,67);font-family:Roboto,Arial,sans-serif;letter-spacing:0.2px;white-space:pre-wrap"><b style="color:rgb(60,64,67);font-family:Roboto,Arial,sans-serif;letter-spacing:0.2px;white-space:pre-wrap">Meeting ID: </b><span style="color:rgb(60,64,67);font-family:Roboto,Arial,sans-serif;letter-spacing:0.2px;white-space:pre-wrap">926 4094 5282</span><br style="color:rgb(60,64,67);font-family:Roboto,Arial,sans-serif;letter-spacing:0.2px;white-space:pre-wrap"><b style="color:rgb(60,64,67);font-family:Roboto,Arial,sans-serif;letter-spacing:0.2px;white-space:pre-wrap">Passcode: </b><span style="color:rgb(60,64,67);font-family:Roboto,Arial,sans-serif;letter-spacing:0.2px;white-space:pre-wrap">761404</span><font face="arial, sans-serif" color="#000000"><br></font><div><font face="arial, sans-serif" color="#000000"><br></font></div><div><b style="letter-spacing:0.2px;white-space:pre-wrap"><font face="arial, sans-serif" color="#000000">Jordan Boyd-Graber</font></b></div><div><font face="arial, sans-serif" color="#000000"><b style="letter-spacing:0.2px;white-space:pre-wrap">Associate Professor, Computer Science</b></font></div><div><font color="#000000" face="arial, sans-serif"><span style="letter-spacing:0.2px;white-space:pre-wrap"><b>University of Maryland</b></span></font></div><div><font color="#000000" face="arial, sans-serif"><span style="letter-spacing:0.2px;white-space:pre-wrap"><b><br></b></span></font></div><div><b>If We Want AI to be Interpretable, We Need to Define and Measure It<font color="#000000" face="arial, sans-serif"><br style="letter-spacing:0.2px;white-space:pre-wrap"></font></b></div><div><br></div><div><b>Abstract</b>: AI tools are ubiquitous, but most users treat it as a black box: a handy tool that suggests purchases, flags spam, or autocompletes text. While researchers have presented explanations for making AI less of a black box, a lack of metrics make it hard to optimize explicitly for interpretability. Thus, I propose two metrics for interpretability suitable for unsupervised and supervised AI methods. For unsupervised topic models, I discuss our proposed “intruder” interpretability metric, how it contradicts the previous evaluation metric for topic models (perplexity), and discuss its uptake in the community over the last decade. For supervised question answering approaches, I show how human-computer cooperation can be measured and directly optimized by a multi-armed bandit approach to learn what kinds of explanations help specific users. I will then briefly discuss how similar setups can help users navigate information-rich domains like fact checking, translation, and web search.</div><div><br><div><b>Bio</b>: <a href="http://users.umiacs.umd.edu/~jbg/" target="_blank">Jordan Boyd-Graber</a>’s research focus is in applying machine learning to problems that help computers better work with or understand humans. His research applies statistical models to natural language problems in ways that interact with humans, learn from humans, or help researchers understand humans. Jordan is an expert in the application of topic models, automatic tools that discover structure and meaning in large, multilingual datasets. His work has been supported by NSF, DARPA, IARPA, and ARL. Three of his students have gone on to tenure track positions at NYU, U Mass Amherst, and Ursinus. His awards include a 2017 NSF CAREER, the Karen Spärk Jones prize; “best of” awards at NIPS, CoNLL, and NAACL; and a Computing Innovation Fellowship (declined). His Erdös number is 2 (via Maria Klawe), and his Bacon number is 3 (by embarrassing himself on Jeopardy!).</div></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><i style="font-size:12.8px">Rob Mitchum</i></div><div dir="ltr"><i>Associate Director of Communications for Data Science and Computing<br></i><div style="font-size:12.8px"><i style="font-size:12.8px">Department of Computer Science</i></div><div style="font-size:12.8px"><i style="font-size:12.8px">Data Science Institute</i></div><div style="font-size:12.8px"><i style="font-size:12.8px">University of Chicago</i><br></div><div style="font-size:12.8px"><i style="font-size:12.8px"><a href="mailto:rmitchum@ci.uchicago.edu" target="_blank">rmitchum@uchicago.edu</a></i><br></div><div style="font-size:12.8px"><i style="font-size:12.8px">773-484-9890</i><br></div></div></div></div></div></div></div></div></div>