<div dir="ltr"><p class="gmail-m_2118555233517397122gmail-m_-6347337869693432729gmail-m_9103776001042077600gmail-p1" style="font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;line-height:normal;margin:0px"><font face="arial, helvetica, sans-serif"><b style="">When:    </b>  Monday, December 3rd at 11:00 am<br></font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, helvetica, sans-serif"> </font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, helvetica, sans-serif"><b>Where:     </b>TTIC, 6045 S. Kenwood Avenue, 5th Floor, Room 526</font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, helvetica, sans-serif"> </font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, helvetica, sans-serif"><b>Who:       </b> <span style="color:rgb(32,33,36);letter-spacing:0.2px;white-space:nowrap">Douglas Downey, </span>Northwestern University</font></p><table cellpadding="0" class="gmail-cf gmail-gJ" style="border-collapse:collapse;margin-top:0px;width:auto;letter-spacing:0.2px;display:block"><tbody style="display:block"></tbody></table><font face="arial, helvetica, sans-serif"><br></font><p class="MsoNormal" style="margin-right:0in;margin-left:0in"><font face="arial, helvetica, sans-serif"><br></font></p><p class="MsoNormal" style="margin-right:0in;margin-left:0in"><font face="arial, helvetica, sans-serif"><b>Title:</b>        Inspecting Word Embeddings with Definition Modeling<u></u><u></u></font></p><p class="MsoNormal" style="margin-right:0in;margin-left:0in"><font face="arial, helvetica, sans-serif"><u></u> <u></u></font></p><p class="MsoNormal" style="margin-right:0in;margin-left:0in"><font face="arial, helvetica, sans-serif"><b style="">Abstract:</b> Word embeddings form a foundation for today's natural language processing systems, and have been shown to encode the syntax and semantics of terms.  But, exactly what lexical semantics is captured by a given embedding is often unclear—we typically only observe the semantics indirectly, through tasks like analogy or word similarity.  In this talk, I will present definition modeling, which aims to make the semantics of a given embedding explicit by generating a natural-language definition for each word conditioned on its embedding.  In experiments, definition models based on recurrent neural networks are shown to output fluent and accurate definitions in many cases.  In the second half of the talk, I will illustrate how the models can be improved using a dynamic regularization technique that trains an RNN to match given n-gram statistics, which can reduce for example the excessive repetition often exhibited by RNN text generators.<font style=""><u></u><u></u></font></font></p><p class="MsoNormal" style="margin-right:0in;margin-left:0in"><font face="arial, helvetica, sans-serif"><u></u> </font></p><p class="MsoNormal" style="margin-right:0in;margin-left:0in"><font face="arial, helvetica, sans-serif">Host: <a href="mailto:kgimpel@ttic.edu">Kevin Gimpel</a></font></p><p class="MsoNormal" style="margin-right:0in;margin-left:0in"><font face="arial, helvetica, sans-serif"><br></font></p><p class="MsoNormal" style="margin-right:0in;margin-left:0in"><font face="arial, helvetica, sans-serif"><span style="font-kerning:none"><br class="gmail-Apple-interchange-newline">For more information on the <span class="gmail-m_2118555233517397122gmail-m_-6347337869693432729gmail-m_6770742588603738482gmail-m_3034006998144763397gmail-m_-2909309711111506553gmail-m_3361278369988668236gmail-m_3239492643088026663gmail-m_-2053129909387779305gmail-m_-4421783803009889794gmail-m_1235227957090907765gmail-m_767208242022040581gmail-m_5118066322451693210gmail-m_3292142122556441362m_4179300188985034065m_8112548636363365103gmail-m_-5864378453105999086gmail-m_-1690647303496242289m_1430452980776983890gmail-m_1031910664862358996gmail-m_8778633083237298896gmail-m_-8347358208690191418gmail-m_6958947101002467454gmail-m_4240741644540508174gmail-m_-7649362550103587767gmail-m_37711595404184628gmail-m_-8366621373355229216gmail-il"><span class="gmail-m_2118555233517397122gmail-m_-6347337869693432729gmail-m_6770742588603738482gmail-m_3034006998144763397gmail-m_-2909309711111506553gmail-m_3361278369988668236gmail-m_3239492643088026663gmail-m_-2053129909387779305gmail-m_-4421783803009889794gmail-m_1235227957090907765gmail-m_767208242022040581gmail-m_5118066322451693210gmail-m_3292142122556441362m_4179300188985034065m_8112548636363365103gmail-m_-5864378453105999086gmail-m_-1690647303496242289m_1430452980776983890gmail-m_1031910664862358996gmail-m_8778633083237298896gmail-m_-8347358208690191418gmail-m_6958947101002467454gmail-m_4240741644540508174gmail-m_-7649362550103587767gmail-il"><span class="gmail-m_2118555233517397122gmail-m_-6347337869693432729gmail-m_6770742588603738482gmail-m_3034006998144763397gmail-m_-2909309711111506553gmail-m_3361278369988668236gmail-m_3239492643088026663gmail-m_-2053129909387779305gmail-m_-4421783803009889794gmail-m_1235227957090907765gmail-m_767208242022040581gmail-m_5118066322451693210gmail-m_3292142122556441362m_4179300188985034065m_8112548636363365103gmail-m_-5864378453105999086gmail-m_-1690647303496242289m_1430452980776983890gmail-m_1031910664862358996gmail-m_8778633083237298896gmail-m_-8347358208690191418gmail-m_6958947101002467454gmail-m_4240741644540508174gmail-il"><span class="gmail-m_2118555233517397122gmail-m_-6347337869693432729gmail-m_6770742588603738482gmail-m_3034006998144763397gmail-m_-2909309711111506553gmail-m_3361278369988668236gmail-m_3239492643088026663gmail-m_-2053129909387779305gmail-m_-4421783803009889794gmail-m_1235227957090907765gmail-m_767208242022040581gmail-m_5118066322451693210gmail-m_3292142122556441362m_4179300188985034065m_8112548636363365103gmail-m_-5864378453105999086gmail-m_-1690647303496242289m_1430452980776983890gmail-m_1031910664862358996gmail-m_8778633083237298896gmail-m_-8347358208690191418gmail-m_6958947101002467454gmail-il"><span class="gmail-m_2118555233517397122gmail-m_-6347337869693432729gmail-m_6770742588603738482gmail-m_3034006998144763397gmail-m_-2909309711111506553gmail-m_3361278369988668236gmail-m_3239492643088026663gmail-m_-2053129909387779305gmail-m_-4421783803009889794gmail-m_1235227957090907765gmail-m_767208242022040581gmail-m_5118066322451693210gmail-m_3292142122556441362m_4179300188985034065m_8112548636363365103gmail-il"><span class="gmail-m_2118555233517397122gmail-m_-6347337869693432729gmail-m_6770742588603738482gmail-m_3034006998144763397gmail-m_-2909309711111506553gmail-m_3361278369988668236gmail-m_3239492643088026663gmail-m_-2053129909387779305gmail-m_-4421783803009889794gmail-m_1235227957090907765gmail-il"><span class="gmail-m_2118555233517397122gmail-m_-6347337869693432729gmail-m_6770742588603738482gmail-m_3034006998144763397gmail-m_-2909309711111506553gmail-m_3361278369988668236gmail-m_3239492643088026663gmail-il">colloquium</span></span></span></span></span></span></span> series or to subscribe to the mailing list,please </span>see <a href="http://www.ttic.edu/colloquium.php" target="_blank" style="">http://www.ttic.edu/<span class="gmail-m_2118555233517397122gmail-m_-6347337869693432729gmail-m_6770742588603738482gmail-m_3034006998144763397gmail-m_-2909309711111506553gmail-m_3361278369988668236gmail-m_3239492643088026663gmail-m_-2053129909387779305gmail-m_-4421783803009889794gmail-m_1235227957090907765gmail-m_767208242022040581gmail-m_5118066322451693210gmail-m_3292142122556441362m_4179300188985034065m_8112548636363365103gmail-m_-5864378453105999086gmail-m_-1690647303496242289m_1430452980776983890gmail-m_1031910664862358996gmail-m_8778633083237298896gmail-m_-8347358208690191418gmail-m_6958947101002467454gmail-m_4240741644540508174gmail-m_-7649362550103587767gmail-il"><span class="gmail-m_2118555233517397122gmail-m_-6347337869693432729gmail-m_6770742588603738482gmail-m_3034006998144763397gmail-m_-2909309711111506553gmail-m_3361278369988668236gmail-m_3239492643088026663gmail-m_-2053129909387779305gmail-m_-4421783803009889794gmail-m_1235227957090907765gmail-m_767208242022040581gmail-m_5118066322451693210gmail-m_3292142122556441362m_4179300188985034065m_8112548636363365103gmail-m_-5864378453105999086gmail-m_-1690647303496242289m_1430452980776983890gmail-m_1031910664862358996gmail-m_8778633083237298896gmail-m_-8347358208690191418gmail-m_6958947101002467454gmail-m_4240741644540508174gmail-il"><span class="gmail-m_2118555233517397122gmail-m_-6347337869693432729gmail-m_6770742588603738482gmail-m_3034006998144763397gmail-m_-2909309711111506553gmail-m_3361278369988668236gmail-m_3239492643088026663gmail-m_-2053129909387779305gmail-m_-4421783803009889794gmail-m_1235227957090907765gmail-m_767208242022040581gmail-m_5118066322451693210gmail-m_3292142122556441362m_4179300188985034065m_8112548636363365103gmail-m_-5864378453105999086gmail-m_-1690647303496242289m_1430452980776983890gmail-m_1031910664862358996gmail-m_8778633083237298896gmail-m_-8347358208690191418gmail-m_6958947101002467454gmail-il"><span class="gmail-m_2118555233517397122gmail-m_-6347337869693432729gmail-m_6770742588603738482gmail-m_3034006998144763397gmail-m_-2909309711111506553gmail-m_3361278369988668236gmail-m_3239492643088026663gmail-m_-2053129909387779305gmail-m_-4421783803009889794gmail-m_1235227957090907765gmail-m_767208242022040581gmail-m_5118066322451693210gmail-m_3292142122556441362m_4179300188985034065m_8112548636363365103gmail-il"><span class="gmail-m_2118555233517397122gmail-m_-6347337869693432729gmail-m_6770742588603738482gmail-m_3034006998144763397gmail-m_-2909309711111506553gmail-m_3361278369988668236gmail-m_3239492643088026663gmail-m_-2053129909387779305gmail-m_-4421783803009889794gmail-m_1235227957090907765gmail-il"><span class="gmail-m_2118555233517397122gmail-m_-6347337869693432729gmail-m_6770742588603738482gmail-m_3034006998144763397gmail-m_-2909309711111506553gmail-m_3361278369988668236gmail-m_3239492643088026663gmail-il">colloquium</span></span></span></span></span></span>.php</a>  </font></p><p class="MsoNormal" style="margin-right:0in;margin-left:0in;font-size:12pt;font-family:"Times New Roman",serif"><br></p><p class="MsoNormal" style="margin-right:0in;margin-left:0in;font-size:12pt;font-family:"Times New Roman",serif"><br></p><p class="MsoNormal" style="margin-right:0in;margin-left:0in;font-size:12pt;font-family:"Times New Roman",serif"> <span style="font-family:Calibri,sans-serif"><br></span></p><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><font face="arial, helvetica, sans-serif">Mary C. Marre</font><div><font face="arial, helvetica, sans-serif">Administrative Assistant</font></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6"><b>Toyota Technological Institute</b></font></i></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6">6045 S. Kenwood Avenue</font></i></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6">Room 517</font></i></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6">Chicago, IL  60637</font></i></div><div><i><font face="arial, helvetica, sans-serif">p:(773) 834-1757</font></i></div><div><i><font face="arial, helvetica, sans-serif">f: (773) 357-6970</font></i></div><div><b><i><a href="mailto:mmarre@ttic.edu" target="_blank"><font face="arial, helvetica, sans-serif">mmarre@ttic.edu</font></a></i></b></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div>