<div dir="ltr"><div class="gmail_default"><div style="font-size:small"><div style="color:rgb(80,0,80)"><font face="verdana, sans-serif" size="4"><span style="background-color:rgb(207,226,243)"><b>Thesis Defense: Hai Wang, TTIC</b></span></font><br></div><div style="color:rgb(80,0,80);font-family:arial,helvetica,sans-serif"><br></div><font face="arial, sans-serif"><b style="color:rgb(80,0,80)">When:</b><b style="color:rgb(80,0,80)">  </b><font color="#500050">    </font><span style="border-bottom:1px dashed rgb(204,204,204);background-color:rgb(255,255,255)"><font color="#500050">Wednesday</font><b style="color:rgb(80,0,80)">, <u>August 19th at 3</u></b><u style="color:rgb(80,0,80);font-weight:bold">:00pm CT</u></span></font></div><div style="font-size:small;color:rgb(80,0,80)"><span style="border-bottom:1px dashed rgb(204,204,204)"><font face="arial, sans-serif"><br></font></span></div><div style="font-size:small;color:rgb(80,0,80)"><font face="arial, sans-serif"><b>Where:</b>     <span style="border-bottom:1px dashed rgb(204,204,204)"><a href="https://uchicagostudents.zoom.us/j/95703570779?pwd=ZmpZWGJvZU1ITHRKc0h3UnJvb0pCUT09" target="_blank"><b>Virtually</b></a></span></font></div><div style="font-size:small;color:rgb(80,0,80)"><span style="border-bottom:1px dashed rgb(204,204,204)"><font face="arial, sans-serif"><br></font></span></div><div style="font-size:small;color:rgb(80,0,80)"><font face="arial, sans-serif"><b>Who: </b>       Hai Wang, TTIC</font></div><div style="font-size:small;color:rgb(80,0,80)"><br></div><div style="font-size:small;color:rgb(80,0,80)"><div><font face="arial, sans-serif"><b>Title:        </b></font>Knowledge Efficient Deep Learning for Natural Language Processing<font face="arial, sans-serif"><b> </b>    </font></div><font face="arial, sans-serif"><br></font><div><div><font face="arial, sans-serif"><b>Abstract: </b></font></div><div>Deep learning has become the workhorse for a wide range of natural language processing applications. But much of the success of deep learning relies on annotated examples.  Annotation is time-consuming and expensive to produce at scale. Here we are interested in methods for reducing the required quantity of annotated data --- by making the learning methods more knowledge efficient so as to make them more applicable in low annotation (low resource) settings. There are various classical approaches to making the models more knowledge efficient such as multi-task learning, transfer learning, weakly supervised and unsupervised learning etc. This thesis focuses on adapting such classical methods to modern deep learning models and algorithms.<br></div><div><div><br></div>I describe four works aimed at making machine learning models more knowledge efficient. First, we propose a knowledge rich deep learning model (KRDL) as a unifying learning framework for incorporating prior knowledge into deep models. In particular, we apply KRDL built on Markov logic networks to denoise weak supervision. Second, we apply a KRDL model to assist the machine reading models to find the correct evidence sentences that can support their decision. Third, we investigate the knowledge transfer techniques in multilingual settings, where we proposed a method that can improve pre-trained multilingual BERT based on the bilingual dictionary. Fourth we present an episodic memory network for language modelling, in which we encode the large external knowledge for the pre-trained GPT. <font face="arial, sans-serif"><br></font></div><div><font face="arial, sans-serif"><br></font></div></div></div><font face="arial, sans-serif" style="font-size:small;color:rgb(80,0,80)"><b>Thesis Advisor:</b> <a href="mailto:mcallester@ttic.edu" target="_blank">David McAllester</a></font><div style="font-size:small;color:rgb(80,0,80)"><font face="arial, sans-serif"><br></font></div><div style="font-size:small;color:rgb(80,0,80)"><font face="arial, sans-serif">******************************************************************************************************</font></div><div style="font-size:small;color:rgb(80,0,80)"><span style="color:rgb(60,64,67);letter-spacing:0.2px;white-space:pre-wrap;font-family:arial,sans-serif"><br></span></div><div style="font-size:small;color:rgb(80,0,80)"><span style="color:rgb(60,64,67);letter-spacing:0.2px;white-space:pre-wrap;font-family:arial,sans-serif">Zoom link for the virtual presentation. </span></div><div style="font-size:small;color:rgb(80,0,80)"><a href="https://www.google.com/url?q=https://us02web.zoom.us/j/88466082733?pwd%3DSjdUOERBaDdNb1FQbHgxMFdmWFgrUT09&sa=D&source=calendar&ust=1597077744144000&usg=AOvVaw3Px-7pJQ5T_OQdzBQ2LYwa" style="color:rgb(26,115,232);font-family:Roboto,Arial,sans-serif;font-size:14px;letter-spacing:0.2px;white-space:pre-wrap" target="_blank">https://us02web.zoom.us/j/88466082733?pwd=SjdUOERBaDdNb1FQbHgxMFdmWFgrUT09</a><span style="color:rgb(60,64,67);letter-spacing:0.2px;white-space:pre-wrap;font-family:arial,sans-serif"><br></span></div><div><font color="#500050" style="font-size:small"><br></font><span style="color:rgb(60,64,67);font-family:Roboto,Arial,sans-serif;letter-spacing:0.2px;white-space:pre-wrap">Meeting ID: 884 6608 2733
Passcode: 831070</span></div><div style="font-size:small"><span style="color:rgb(60,64,67);font-family:Roboto,Arial,sans-serif;font-size:14px;letter-spacing:0.2px;white-space:pre-wrap"><br></span></div><div style="font-size:small"><span style="color:rgb(60,64,67);font-family:Roboto,Arial,sans-serif;font-size:14px;letter-spacing:0.2px;white-space:pre-wrap"><br></span></div><div style="font-size:small"><span style="color:rgb(60,64,67);font-family:Roboto,Arial,sans-serif;font-size:14px;letter-spacing:0.2px;white-space:pre-wrap"><br></span></div><div style="font-size:small"><span style="color:rgb(60,64,67);font-family:Roboto,Arial,sans-serif;font-size:14px;letter-spacing:0.2px;white-space:pre-wrap"><br></span></div><div style="font-size:small"><span style="color:rgb(60,64,67);font-family:Roboto,Arial,sans-serif;font-size:14px;letter-spacing:0.2px;white-space:pre-wrap"><br></span></div><div style="font-size:small"><span style="color:rgb(60,64,67);font-family:Roboto,Arial,sans-serif;font-size:14px;letter-spacing:0.2px;white-space:pre-wrap"><br></span></div></div><div><div dir="ltr" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><font face="arial, helvetica, sans-serif">Mary C. Marre</font><div><font face="arial, helvetica, sans-serif">Faculty Administrative Support</font></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6"><b>Toyota Technological Institute</b></font></i></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6">6045 S. Kenwood Avenue</font></i></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6">Room 517</font></i></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6">Chicago, IL  60637</font></i></div><div><i><font face="arial, helvetica, sans-serif">p:(773) 834-1757</font></i></div><div><i><font face="arial, helvetica, sans-serif">f: (773) 357-6970</font></i></div><div><b><i><a href="mailto:mmarre@ttic.edu" target="_blank"><font face="arial, helvetica, sans-serif">mmarre@ttic.edu</font></a></i></b></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div>