<div dir="ltr"><div class="gmail_default"><div class="gmail_default"><p style="font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;line-height:normal;margin:0px"><font face="arial, sans-serif" color="#000000"><font style="vertical-align:inherit"><font style="vertical-align:inherit"><b>When:</b>    </font></font><font style="vertical-align:inherit"><font style="vertical-align:inherit">  Thursday, January 30th at 11:00am</font></font><br></font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif" color="#000000"> </font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif" color="#000000"><font style="vertical-align:inherit"><font style="vertical-align:inherit"><b>Where:</b>     </font></font><font style="vertical-align:inherit"><font style="vertical-align:inherit">TTIC, 6045 S. Kenwood Avenue, 5th Floor, Room 526</font></font></font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif" color="#000000"> </font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif" color="#000000"><font style="vertical-align:inherit"><font style="vertical-align:inherit"><b>Who: </b>       </font></font>Xin Wang, University of California, Santa Barbara</font></p></div></div><div class="gmail_default"><font face="arial, sans-serif" color="#000000"><br></font></div><div class="gmail_default"><font face="arial, sans-serif" color="#000000"><b>Title</b>:        Close the Loop Between Language and Vision for Embodied Agents</font></div><div class="gmail_default"><font face="arial, sans-serif" color="#000000"><br><b>Abstract</b>: Humans learn to perceive the world through multiple modalities including visual, auditory, and kinesthetic stimuli. The need for perception is self-evident while humans invented language for communication and documentation. Therefore, language and perception lay foundations for artificial intelligence, and how to ground natural language onto real-world perception is a fundamental challenge to empower various practical applications that require human-machine communication.</font></div><div style="box-sizing:border-box;margin:0px;padding:0px"><font style="box-sizing:border-box" face="arial, sans-serif" color="#000000"><br style="box-sizing:border-box"></font></div><div style="box-sizing:border-box;margin:0px;padding:0px"><span style="box-sizing:border-box"><font face="arial, sans-serif" color="#000000">In this talk, I will mainly present two of my research thrusts on developing intelligent embodied agents that connect language, vision, and actions, and that communicate with humans in the real world. First, moving beyond natural language understanding from text-only corpora, I have situated natural language inside interactive environments where communication takes place. So I will discuss how to effectively ground natural language instructions and visual inputs to actions in real-world navigation tasks using reinforcement learning and imitation learning. Second, in order to enable an agent to describe the visual surroundings for humans, I will explore challenges of language generation conditioned on visual context, and present novel solutions towards coherent and relevant natural language descriptions. In the end, I will talk about my future research plan. </font></span></div><div style="box-sizing:border-box;margin:0px;padding:0px"><font style="box-sizing:border-box" face="arial, sans-serif" color="#000000"><br style="box-sizing:border-box"></font></div><div style="box-sizing:border-box;margin:0px;padding:0px"><font face="arial, sans-serif" color="#000000"><span style="box-sizing:border-box;font-weight:bold">Bio:</span><span style="box-sizing:border-box"> </span><span title="Page 3" style="box-sizing:border-box">Xin Wang is a Ph.D. candidate at the University of California, Santa Barbara. </span><span style="box-sizing:border-box">His research interests include natural language processing, computer vision, and machine learning, especially the intersection of language and vision. </span><span title="Page 3" style="box-sizing:border-box">He published over 17 papers (including 7 oral presentations) at top NLP, CV, and ML venues such as </span><span style="box-sizing:border-box">CVPR, ICCV, ECCV, ACL, NAACL, EMNLP, AAAI</span><span title="Page 3" style="box-sizing:border-box">. </span><span style="box-sizing:border-box">He received the CVPR Best Student Paper Award in 2019.</span><span title="Page 3" style="box-sizing:border-box"> </span><span style="box-sizing:border-box">He is very </span><span style="box-sizing:border-box">professionally </span><span style="box-sizing:border-box">active and organized </span><span style="box-sizing:border-box">workshops on Advances in Language and Vision Research at ACL 2020, on Language and Vision with Applications to Video Understanding at CVPR 2020,  and on Closing the Loop Between Vision and Language at ICCV 2019</span><span style="box-sizing:border-box">.  He also served as a session chair for the NLP session at AAAI 2019. </span><span style="box-sizing:border-box">He worked at Google AI and Facebook AI Research in 2019, at Microsoft Research, Redmond in 2018, and at Adobe Research in 2016 and 2017.</span></font></div><div class="gmail_default"><font face="arial, sans-serif" color="#000000"><br></font></div><div class="gmail_default"><font color="#000000"><b><font face="arial, sans-serif">Host: </font></b><font face="arial, sans-serif"><a href="mailto:greg@ttic.edu" target="_blank">Greg Shakhnarovich</a></font></font></div><div><br></div>-- <br><div dir="ltr" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><b><font color="#0b5394">Alicia McClarin</font></b><div><div><font color="#0b5394"><i>Toyota Technological Institute at Chicago</i></font></div><div><div><font color="#0b5394"><i>6045 S. Kenwood Ave., </i></font><i style="color:rgb(11,83,148)">Office 504</i></div><div><i style="color:rgb(11,83,148)">Chicago, IL 60637</i><br></div></div><div><i style="color:rgb(11,83,148)">773-834-3321</i><i style="color:rgb(11,83,148)"><br></i></div><div><a href="http://www.ttic.edu/" target="_blank"><font color="#0b5394"><i>www.ttic.edu</i></font></a></div></div></div></div></div></div></div></div></div></div></div></div>