<div dir="ltr"><div dir="ltr"><div class="gmail_default" style="font-size:small"><div class="gmail_default"><div><div class="gmail_default"><p style="font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;line-height:normal;margin:0px"><font face="arial, sans-serif"><font style="vertical-align:inherit"><font style="vertical-align:inherit"><b>When:</b>    </font></font><font style="vertical-align:inherit"><font style="vertical-align:inherit">  Monday, February 8th at<b> 11:10 am CT</b></font></font><br></font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif"> </font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif"><font style="vertical-align:inherit"><font style="vertical-align:inherit"><b>Where:</b>     </font></font></font><font color="#000000" style="font-family:arial,sans-serif">Zoom Virtual Talk (</font><b style="font-family:arial,sans-serif"><font color="#0000ff"><a href="https://uchicagogroup.zoom.us/webinar/register/WN_FroU-b4KRhmuwNorgOzuRg" target="_blank">register in advance here</a></font></b><font color="#000000" style="font-family:arial,sans-serif">)</font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif"> </font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif"><font style="vertical-align:inherit"><font style="vertical-align:inherit"><b>Who: </b>       </font></font></font>Pedro Morgado, UC San Diego</p></div><div class="gmail_default"><br></div></div><div><font face="arial, sans-serif"><b><br></b></font></div><div><b style="font-family:arial,sans-serif">Title:</b><span style="font-family:arial,sans-serif">        Learning to See and Hear from Audio-Visual Co-occurrence</span><br></div><div><font face="arial, sans-serif"><br></font></div><div><font face="arial, sans-serif"><b>Abstract: </b></font><span style="font-family:arial,sans-serif;color:rgb(0,0,0)">Imagine the sound of crashing waves. This sound may evoke the image of a beach. A single sound serves as a bridge to connect multiple instances of a visual scene. It can group scenes that ‘go together’ and set apart the ones that do not. Audio can thus serve as a target to learn powerful representations for visual inputs without relying on costly human annotations. As computer vision systems become more capable, human annotations become the bottleneck for further developments. My goal is to develop effective training procedures that curb the need for direct human supervision.</span></div><div><p style="color:rgb(0,0,0)"><font face="arial, sans-serif">In this talk, I will discuss several tasks that benefit from audio-visual learning, including representation learning for action and object recognition, visually-driven sound source localization, and spatial sound generation. I will introduce an effective contrastive learning framework that learns audio-visual models by answering multiple-choice audio-visual association questions. I will also discuss important challenges we face when learning from audio supervision related to frequently noisy audio-visual associations, and how to overcome these challenges using robust learning algorithms.</font></p><p style="color:rgb(0,0,0)"><font face="arial, sans-serif"><b>Bio:</b> </font><span style="font-family:arial,sans-serif">Pedro</span><span style="font-family:arial,sans-serif"> </span><span style="font-family:arial,sans-serif">Morgado</span><span style="font-family:arial,sans-serif"> </span><span style="font-family:arial,sans-serif">is a Ph.D. candidate in the Electrical and Computer Engineering department at the University of California, San Diego advised by Prof. Nuno Vasconcelos. He has also spent time at Adobe Research working with Oliver Wang and Facebook AI Research working with Ishan Misra. His research is at the intersection of computer vision and machine learning, focusing on multi-modal self-supervised learning. His work aims to develop algorithms that make the power of computer vision accessible by lowering the two major costs of deep learning - the dependence on human annotations and the high compute requirements of training and deployment.</span><span style="font-family:arial,sans-serif"> </span><span style="font-family:arial,sans-serif">Pedro</span><span style="font-family:arial,sans-serif"> </span><span style="font-family:arial,sans-serif">is the recipient of a 4-year graduate scholarship from the Portuguese Science and Technology Foundation. Before arriving at San Diego, he received a Bachelor’s and Master’s degree at Instituto Superior Técnico in Lisbon, Portugal.</span></p></div><div class="gmail_default"><br></div><b>Host:</b> <a href="mailto:greg@ttic.edu" target="_blank">Greg Shakhnarovich</a></div><div class="gmail_default"><br></div><div class="gmail_default"><br></div></div><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><font face="arial, helvetica, sans-serif">Mary C. Marre</font><div><font face="arial, helvetica, sans-serif">Faculty Administrative Support</font></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6"><b>Toyota Technological Institute</b></font></i></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6">6045 S. Kenwood Avenue</font></i></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6">Room 517</font></i></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6">Chicago, IL  60637</font></i></div><div><i><font face="arial, helvetica, sans-serif">p:(773) 834-1757</font></i></div><div><i><font face="arial, helvetica, sans-serif">f: (773) 357-6970</font></i></div><div><b><i><a href="mailto:mmarre@ttic.edu" target="_blank"><font face="arial, helvetica, sans-serif">mmarre@ttic.edu</font></a></i></b></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sun, Feb 7, 2021 at 4:00 PM Mary Marre <<a href="mailto:mmarre@ttic.edu">mmarre@ttic.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr"><div style="font-size:small"><div><div><div><p style="font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;line-height:normal;margin:0px"><font face="arial, sans-serif"><font style="vertical-align:inherit"><font style="vertical-align:inherit"><b>When:</b>    </font></font><font style="vertical-align:inherit"><font style="vertical-align:inherit">  Monday, February 8th at<b> 11:10 am CT</b></font></font><br></font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif"> </font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif"><font style="vertical-align:inherit"><font style="vertical-align:inherit"><b>Where:</b>     </font></font></font><font color="#000000" style="font-family:arial,sans-serif">Zoom Virtual Talk (</font><b style="font-family:arial,sans-serif"><font color="#0000ff"><a href="https://uchicagogroup.zoom.us/webinar/register/WN_FroU-b4KRhmuwNorgOzuRg" target="_blank">register in advance here</a></font></b><font color="#000000" style="font-family:arial,sans-serif">)</font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif"> </font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif"><font style="vertical-align:inherit"><font style="vertical-align:inherit"><b>Who: </b>       </font></font></font>Pedro Morgado, UC San Diego</p></div><div><br></div></div><div><font face="arial, sans-serif"><b><br></b></font></div><div><b style="font-family:arial,sans-serif">Title:</b><span style="font-family:arial,sans-serif">        Learning to See and Hear from Audio-Visual Co-occurrence</span><br></div><div><font face="arial, sans-serif"><br></font></div><div><font face="arial, sans-serif"><b>Abstract: </b></font><span style="font-family:arial,sans-serif;color:rgb(0,0,0)">Imagine the sound of crashing waves. This sound may evoke the image of a beach. A single sound serves as a bridge to connect multiple instances of a visual scene. It can group scenes that ‘go together’ and set apart the ones that do not. Audio can thus serve as a target to learn powerful representations for visual inputs without relying on costly human annotations. As computer vision systems become more capable, human annotations become the bottleneck for further developments. My goal is to develop effective training procedures that curb the need for direct human supervision.</span></div><div><p style="color:rgb(0,0,0)"><font face="arial, sans-serif">In this talk, I will discuss several tasks that benefit from audio-visual learning, including representation learning for action and object recognition, visually-driven sound source localization, and spatial sound generation. I will introduce an effective contrastive learning framework that learns audio-visual models by answering multiple-choice audio-visual association questions. I will also discuss important challenges we face when learning from audio supervision related to frequently noisy audio-visual associations, and how to overcome these challenges using robust learning algorithms.</font></p><p style="color:rgb(0,0,0)"><font face="arial, sans-serif"><b>Bio:</b> </font><span style="font-family:arial,sans-serif">Pedro</span><span style="font-family:arial,sans-serif"> </span><span style="font-family:arial,sans-serif">Morgado</span><span style="font-family:arial,sans-serif"> </span><span style="font-family:arial,sans-serif">is a Ph.D. candidate in the Electrical and Computer Engineering department at the University of California, San Diego advised by Prof. Nuno Vasconcelos. He has also spent time at Adobe Research working with Oliver Wang and Facebook AI Research working with Ishan Misra. His research is at the intersection of computer vision and machine learning, focusing on multi-modal self-supervised learning. His work aims to develop algorithms that make the power of computer vision accessible by lowering the two major costs of deep learning - the dependence on human annotations and the high compute requirements of training and deployment.</span><span style="font-family:arial,sans-serif"> </span><span style="font-family:arial,sans-serif">Pedro</span><span style="font-family:arial,sans-serif"> </span><span style="font-family:arial,sans-serif">is the recipient of a 4-year graduate scholarship from the Portuguese Science and Technology Foundation. Before arriving at San Diego, he received a Bachelor’s and Master’s degree at Instituto Superior Técnico in Lisbon, Portugal.</span></p></div><div><br></div><b>Host:</b> <a href="mailto:greg@ttic.edu" target="_blank">Greg Shakhnarovich</a></div><div><br></div><div><br></div><div><br></div></div><div><div dir="ltr"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><font face="arial, helvetica, sans-serif">Mary C. Marre</font><div><font face="arial, helvetica, sans-serif">Faculty Administrative Support</font></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6"><b>Toyota Technological Institute</b></font></i></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6">6045 S. Kenwood Avenue</font></i></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6">Room 517</font></i></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6">Chicago, IL  60637</font></i></div><div><i><font face="arial, helvetica, sans-serif">p:(773) 834-1757</font></i></div><div><i><font face="arial, helvetica, sans-serif">f: (773) 357-6970</font></i></div><div><b><i><a href="mailto:mmarre@ttic.edu" target="_blank"><font face="arial, helvetica, sans-serif">mmarre@ttic.edu</font></a></i></b></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Feb 1, 2021 at 11:00 PM Mary Marre <<a href="mailto:mmarre@ttic.edu" target="_blank">mmarre@ttic.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div style="font-size:small"><div><div><p style="font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;line-height:normal;margin:0px"><font face="arial, sans-serif"><font style="vertical-align:inherit"><font style="vertical-align:inherit"><b>When:</b>    </font></font><font style="vertical-align:inherit"><font style="vertical-align:inherit">  Monday, February 8th at<b> 11:10 am CT</b></font></font><br></font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif"> </font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif"><font style="vertical-align:inherit"><font style="vertical-align:inherit"><b>Where:</b>     </font></font></font><font color="#000000" style="font-family:arial,sans-serif">Zoom Virtual Talk (</font><b style="font-family:arial,sans-serif"><font color="#0000ff"><a href="https://uchicagogroup.zoom.us/webinar/register/WN_FroU-b4KRhmuwNorgOzuRg" target="_blank">register in advance here</a></font></b><font color="#000000" style="font-family:arial,sans-serif">)</font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif"> </font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif"><font style="vertical-align:inherit"><font style="vertical-align:inherit"><b>Who: </b>       </font></font></font>Pedro Morgado, UC San Diego</p></div><div><br></div></div><div><font face="arial, sans-serif"><b><br></b></font></div><div><b style="font-family:arial,sans-serif">Title:</b><span style="font-family:arial,sans-serif">        Learning to See and Hear from Audio-Visual Co-occurrence</span><br></div><div><font face="arial, sans-serif"><br></font></div><div><font face="arial, sans-serif"><b>Abstract: </b></font><span style="font-family:arial,sans-serif;color:rgb(0,0,0)">Imagine the sound of crashing waves. This sound may evoke the image of a beach. A single sound serves as a bridge to connect multiple instances of a visual scene. It can group scenes that ‘go together’ and set apart the ones that do not. Audio can thus serve as a target to learn powerful representations for visual inputs without relying on costly human annotations. As computer vision systems become more capable, human annotations become the bottleneck for further developments. My goal is to develop effective training procedures that curb the need for direct human supervision.</span></div><div><p style="color:rgb(0,0,0)"><font face="arial, sans-serif">In this talk, I will discuss several tasks that benefit from audio-visual learning, including representation learning for action and object recognition, visually-driven sound source localization, and spatial sound generation. I will introduce an effective contrastive learning framework that learns audio-visual models by answering multiple-choice audio-visual association questions. I will also discuss important challenges we face when learning from audio supervision related to frequently noisy audio-visual associations, and how to overcome these challenges using robust learning algorithms.</font></p><p style="color:rgb(0,0,0)"><font face="arial, sans-serif"><b>Bio:</b> </font><span style="font-family:arial,sans-serif">Pedro</span><span style="font-family:arial,sans-serif"> </span><span style="font-family:arial,sans-serif">Morgado</span><span style="font-family:arial,sans-serif"> </span><span style="font-family:arial,sans-serif">is a Ph.D. candidate in the Electrical and Computer Engineering department at the University of California, San Diego advised by Prof. Nuno Vasconcelos. He has also spent time at Adobe Research working with Oliver Wang and Facebook AI Research working with Ishan Misra. His research is at the intersection of computer vision and machine learning, focusing on multi-modal self-supervised learning. His work aims to develop algorithms that make the power of computer vision accessible by lowering the two major costs of deep learning - the dependence on human annotations and the high compute requirements of training and deployment.</span><span style="font-family:arial,sans-serif"> </span><span style="font-family:arial,sans-serif">Pedro</span><span style="font-family:arial,sans-serif"> </span><span style="font-family:arial,sans-serif">is the recipient of a 4-year graduate scholarship from the Portuguese Science and Technology Foundation. Before arriving at San Diego, he received a Bachelor’s and Master’s degree at Instituto Superior Técnico in Lisbon, Portugal.</span></p></div><div style="font-size:small"><br></div><b>Host:</b> <a href="mailto:greg@ttic.edu" target="_blank">Greg Shakhnarovich</a></div><div style="font-size:small"><br></div><div style="font-size:small"><br></div><div><div dir="ltr"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><font face="arial, helvetica, sans-serif">Mary C. Marre</font><div><font face="arial, helvetica, sans-serif">Faculty Administrative Support</font></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6"><b>Toyota Technological Institute</b></font></i></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6">6045 S. Kenwood Avenue</font></i></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6">Room 517</font></i></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6">Chicago, IL  60637</font></i></div><div><i><font face="arial, helvetica, sans-serif">p:(773) 834-1757</font></i></div><div><i><font face="arial, helvetica, sans-serif">f: (773) 357-6970</font></i></div><div><b><i><a href="mailto:mmarre@ttic.edu" target="_blank"><font face="arial, helvetica, sans-serif">mmarre@ttic.edu</font></a></i></b></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div>
</blockquote></div></div>
</blockquote></div></div>