<div dir="ltr"><div dir="ltr"><div class="gmail_default" style="font-size:small"><div class="gmail_default"><p style="font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;line-height:normal;color:rgb(80,0,80);margin:0px"><font face="arial, sans-serif" color="#000000"><font style="vertical-align:inherit"><font style="vertical-align:inherit"><b>When:</b>    </font></font><font style="vertical-align:inherit"><font style="vertical-align:inherit">  Tuesday, February 1st at<b> <span style="background-color:rgb(255,255,0)">11:00 am CT</span></b></font></font><br></font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;color:rgb(80,0,80);line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif" color="#000000"> </font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;color:rgb(80,0,80);line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif"><font style="color:rgb(0,0,0);vertical-align:inherit"><font style="vertical-align:inherit"><b>Where:</b>     </font></font><font color="#000000">Zoom Virtual Talk (</font><font color="#0000ff"><b><a href="https://uchicagogroup.zoom.us/webinar/register/WN_sWFGjgjZQcW0ax8O9OcvXw" target="_blank">register in advance here</a></b></font><font color="#000000">)</font></font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;color:rgb(80,0,80);line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif"><br></font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif"><font style="vertical-align:inherit"><font style="vertical-align:inherit"><font color="#000000"><b>Who: </b> </font><font color="#500050">    </font><font color="#000000">  </font></font></font>Surbhi Goel, Microsoft Research NYC<font style="vertical-align:inherit"><font style="vertical-align:inherit"><font color="#000000"> </font></font></font></font></p></div><div class="gmail_default"><b style="color:rgb(0,0,0)"><font face="arial, sans-serif"><br></font></b></div><div class="gmail_default"><b style="color:rgb(0,0,0)"><font face="arial, sans-serif"><br></font></b></div><div class="gmail_default"><font face="arial, sans-serif"><b style="color:rgb(60,64,67)">Title:</b><span style="color:rgb(60,64,67)">        </span>Principled Algorithm Design in the Era of Deep Learning</font></div><div class="gmail_default"><font face="arial, sans-serif"><br></font><div dir="ltr"><div><font face="arial, sans-serif"><b>Abstract:</b> Deep learning has seen tremendous growth in the last decade with applications across almost all fields of science and technology. In the pursuit of making deep learning methods more efficient and adaptable, there is an increasing need to design better algorithms and architectures. In this talk, I will give an overview of my research efforts towards advancing the statistical and computational foundations of deep learning with the goal of designing new principled algorithms and models. I will show how techniques originally developed for classical learning theory and convex optimization can be combined and extended for the era of deep learning. I will highlight this through two main contributions:<br>(1) New algorithms for training basic deep learning architectures that are simple, computationally efficient, and provably succeed even when the standard pipelines fail,<br>(2) A statistical characterization of state-of-the-art attention architectures, like Transformers, that gives new insights on their ability to capture long-range dependencies.<br><br><b>Bio:</b> Surbhi Goel is currently a postdoctoral researcher at Microsoft Research NYC with the Machine Learning group. She received her Ph.D. from the Department of Computer Science at the University of Texas at Austin where she was advised by Adam Klivans. Her work lies at the intersection of machine learning and theoretical computer science, with a focus on developing the statistical and computational foundations of modern machine learning paradigms, especially deep learning. Among other honors, she is a recipient of UT Austin's Bert Kay Dissertation award, the J.P. Morgan AI PhD Fellowship, the Simons-Berkeley Research Fellowship, and several fellowships from UT Austin. She has also been recognized as a Rising Star in ML by University of Maryland and in EECS by UIUC.</font></div><div><font face="arial, sans-serif"><br></font></div></div></div><div class="gmail_default"><font face="arial, sans-serif"><b>Host:</b> <b><font color="#0000ff"><a href="mailto:avrim@ttic.edu" target="_blank">Avrim Blum</a></font></b></font></div><br class="gmail-Apple-interchange-newline"></div><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><span style="font-family:arial,helvetica,sans-serif;font-size:x-small">Mary C. Marre</span><br></div><div><div><font face="arial, helvetica, sans-serif" size="1">Faculty Administrative Support</font></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6" size="1"><b>Toyota Technological Institute</b></font></i></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6" size="1">6045 S. Kenwood Avenue</font></i></div><div><font size="1"><i><font face="arial, helvetica, sans-serif" color="#3d85c6">Chicago, IL  60637</font></i><br></font></div><div><b><i><a href="mailto:mmarre@ttic.edu" target="_blank"><font face="arial, helvetica, sans-serif" size="1">mmarre@ttic.edu</font></a></i></b></div></div></div></div></div><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Feb 1, 2022 at 10:01 AM Mary Marre <<a href="mailto:mmarre@ttic.edu">mmarre@ttic.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr"><div style="font-size:small"><div><div><p style="font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;line-height:normal;color:rgb(80,0,80);margin:0px"><font face="arial, sans-serif" color="#000000"><font style="vertical-align:inherit"><font style="vertical-align:inherit"><b>When:</b>    </font></font><font style="vertical-align:inherit"><font style="vertical-align:inherit">  Tuesday, February 1st at<b> <span style="background-color:rgb(255,255,0)">11:00 am CT</span></b></font></font><br></font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;color:rgb(80,0,80);line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif" color="#000000"> </font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;color:rgb(80,0,80);line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif"><font style="color:rgb(0,0,0);vertical-align:inherit"><font style="vertical-align:inherit"><b>Where:</b>     </font></font><font color="#000000">Zoom Virtual Talk (</font><font color="#0000ff"><b><a href="https://uchicagogroup.zoom.us/webinar/register/WN_sWFGjgjZQcW0ax8O9OcvXw" target="_blank">register in advance here</a></b></font><font color="#000000">)</font></font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;color:rgb(80,0,80);line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif"><br></font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif"><font style="vertical-align:inherit"><font style="vertical-align:inherit"><font color="#000000"><b>Who: </b> </font><font color="#500050">    </font><font color="#000000">  </font></font></font>Surbhi Goel, Microsoft Research NYC<font style="vertical-align:inherit"><font style="vertical-align:inherit"><font color="#000000"> </font></font></font></font></p></div><div><b style="color:rgb(0,0,0)"><font face="arial, sans-serif"><br></font></b></div><div><b style="color:rgb(0,0,0)"><font face="arial, sans-serif"><br></font></b></div><div><font face="arial, sans-serif"><b style="color:rgb(60,64,67)">Title:</b><span style="color:rgb(60,64,67)">        </span>Principled Algorithm Design in the Era of Deep Learning</font></div><div><font face="arial, sans-serif"><br></font><div dir="ltr"><div><font face="arial, sans-serif"><b>Abstract:</b> Deep learning has seen tremendous growth in the last decade with applications across almost all fields of science and technology. In the pursuit of making deep learning methods more efficient and adaptable, there is an increasing need to design better algorithms and architectures. In this talk, I will give an overview of my research efforts towards advancing the statistical and computational foundations of deep learning with the goal of designing new principled algorithms and models. I will show how techniques originally developed for classical learning theory and convex optimization can be combined and extended for the era of deep learning. I will highlight this through two main contributions:<br>(1) New algorithms for training basic deep learning architectures that are simple, computationally efficient, and provably succeed even when the standard pipelines fail,<br>(2) A statistical characterization of state-of-the-art attention architectures, like Transformers, that gives new insights on their ability to capture long-range dependencies.<br><br><b>Bio:</b> Surbhi Goel is currently a postdoctoral researcher at Microsoft Research NYC with the Machine Learning group. She received her Ph.D. from the Department of Computer Science at the University of Texas at Austin where she was advised by Adam Klivans. Her work lies at the intersection of machine learning and theoretical computer science, with a focus on developing the statistical and computational foundations of modern machine learning paradigms, especially deep learning. Among other honors, she is a recipient of UT Austin's Bert Kay Dissertation award, the J.P. Morgan AI PhD Fellowship, the Simons-Berkeley Research Fellowship, and several fellowships from UT Austin. She has also been recognized as a Rising Star in ML by University of Maryland and in EECS by UIUC.</font></div><div><font face="arial, sans-serif"><br></font></div></div></div><div><font face="arial, sans-serif"><b>Host:</b> <b><font color="#0000ff"><a href="mailto:avrim@ttic.edu" target="_blank">Avrim Blum</a></font></b></font></div><br></div><div><br></div></div><div><div dir="ltr"><div dir="ltr"><div><span style="font-family:arial,helvetica,sans-serif;font-size:x-small">Mary C. Marre</span><br></div><div><div><font face="arial, helvetica, sans-serif" size="1">Faculty Administrative Support</font></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6" size="1"><b>Toyota Technological Institute</b></font></i></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6" size="1">6045 S. Kenwood Avenue</font></i></div><div><font size="1"><i><font face="arial, helvetica, sans-serif" color="#3d85c6">Chicago, IL  60637</font></i><br></font></div><div><b><i><a href="mailto:mmarre@ttic.edu" target="_blank"><font face="arial, helvetica, sans-serif" size="1">mmarre@ttic.edu</font></a></i></b></div></div></div></div></div><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Jan 31, 2022 at 2:52 PM Mary Marre <<a href="mailto:mmarre@ttic.edu" target="_blank">mmarre@ttic.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr"><div style="font-size:small"><div><p style="font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;line-height:normal;color:rgb(80,0,80);margin:0px"><font face="arial, sans-serif" color="#000000"><font style="vertical-align:inherit"><font style="vertical-align:inherit"><b>When:</b>    </font></font><font style="vertical-align:inherit"><font style="vertical-align:inherit">  Tuesday, February 1st at<b> <span style="background-color:rgb(255,255,0)">11:00 am CT</span></b></font></font><br></font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;color:rgb(80,0,80);line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif" color="#000000"> </font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;color:rgb(80,0,80);line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif"><font style="color:rgb(0,0,0);vertical-align:inherit"><font style="vertical-align:inherit"><b>Where:</b>     </font></font><font color="#000000">Zoom Virtual <span>Talk</span> (</font><font color="#0000ff"><b><a href="https://uchicagogroup.zoom.us/webinar/register/WN_sWFGjgjZQcW0ax8O9OcvXw" target="_blank">register in advance here</a></b></font><font color="#000000">)</font></font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;color:rgb(80,0,80);line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif"><br></font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif"><font style="vertical-align:inherit"><font style="vertical-align:inherit"><font color="#000000"><b>Who: </b> </font><font color="#500050">    </font><font color="#000000">  </font></font></font>Surbhi Goel, Microsoft Research NYC<font style="vertical-align:inherit"><font style="vertical-align:inherit"><font color="#000000"> </font></font></font></font></p></div><div><b style="color:rgb(0,0,0)"><font face="arial, sans-serif"><br></font></b></div><div><b style="color:rgb(0,0,0)"><font face="arial, sans-serif"><br></font></b></div><div><font face="arial, sans-serif"><b style="color:rgb(60,64,67)">Title:</b><span style="color:rgb(60,64,67)">        </span>Principled Algorithm Design in the Era of Deep Learning</font></div><div><font face="arial, sans-serif"><br></font><div dir="ltr"><div><font face="arial, sans-serif"><b>Abstract:</b> Deep learning has seen tremendous growth in the last decade with applications across almost all fields of science and technology. In the pursuit of making deep learning methods more efficient and adaptable, there is an increasing need to design better algorithms and architectures. In this <span>talk</span>, I will give an overview of my research efforts towards advancing the statistical and computational foundations of deep learning with the goal of designing new principled algorithms and models. I will show how techniques originally developed for classical learning theory and convex optimization can be combined and extended for the era of deep learning. I will highlight this through two main contributions:<br>(<span>1</span>) New algorithms for training basic deep learning architectures that are simple, computationally efficient, and provably succeed even when the standard pipelines fail,<br>(<span>2</span>) A statistical characterization of state-of-the-art attention architectures, like Transformers, that gives new insights on their ability to capture long-range dependencies.<br><br><b>Bio:</b> Surbhi Goel is currently a postdoctoral researcher at Microsoft Research NYC with the Machine Learning group. She received her Ph.D. from the Department of Computer Science at the University of Texas at Austin where she was advised by Adam Klivans. Her work lies at the intersection of machine learning and theoretical computer science, with a focus on developing the statistical and computational foundations of modern machine learning paradigms, especially deep learning. Among other honors, she is a recipient of UT Austin's Bert Kay Dissertation award, the J.P. Morgan AI PhD Fellowship, the Simons-Berkeley Research Fellowship, and several fellowships from UT Austin. She has also been recognized as a Rising Star in ML by University of Maryland and in EECS by UIUC.</font></div><div><font face="arial, sans-serif"><br></font></div></div></div><div><font face="arial, sans-serif"><b>Host:</b> <b><font color="#0000ff"><a href="mailto:avrim@ttic.edu" target="_blank">Avrim Blum</a></font></b></font></div><br></div><div style="font-size:small"><br></div><div style="font-size:small"><br></div><div style="font-size:small"><br></div><div><div dir="ltr"><div dir="ltr"><div><span style="font-family:arial,helvetica,sans-serif;font-size:x-small">Mary C. Marre</span><br></div><div><div><font face="arial, helvetica, sans-serif" size="1">Faculty Administrative Support</font></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6" size="1"><b>Toyota Technological Institute</b></font></i></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6" size="1">6045 S. Kenwood Avenue</font></i></div><div><font size="1"><i><font face="arial, helvetica, sans-serif" color="#3d85c6">Chicago, IL  60637</font></i><br></font></div><div><b><i><a href="mailto:mmarre@ttic.edu" target="_blank"><font face="arial, helvetica, sans-serif" size="1">mmarre@ttic.edu</font></a></i></b></div></div></div></div></div><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Jan 26, 2022 at 8:19 AM Mary Marre <<a href="mailto:mmarre@ttic.edu" target="_blank">mmarre@ttic.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div><div><p style="font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;line-height:normal;color:rgb(80,0,80);margin:0px"><font face="arial, sans-serif" color="#000000"><font style="vertical-align:inherit"><font style="vertical-align:inherit"><b>When:</b>    </font></font><font style="vertical-align:inherit"><font style="vertical-align:inherit">  Tuesday, February 1st at<b> <span style="background-color:rgb(255,255,0)">11:00 am CT</span></b></font></font><br></font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;color:rgb(80,0,80);line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif" color="#000000"> </font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;color:rgb(80,0,80);line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif"><font style="color:rgb(0,0,0);vertical-align:inherit"><font style="vertical-align:inherit"><b>Where:</b>     </font></font><font color="#000000">Zoom Virtual Talk (</font><font color="#0000ff"><b><a href="https://uchicagogroup.zoom.us/webinar/register/WN_sWFGjgjZQcW0ax8O9OcvXw" target="_blank">register in advance here</a></b></font><font color="#000000">)</font></font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;color:rgb(80,0,80);line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif"><br></font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif"><font style="vertical-align:inherit"><font style="vertical-align:inherit"><font color="#000000"><b>Who: </b> </font><font color="#500050">    </font><font color="#000000">  </font></font></font>Surbhi Goel, Microsoft Research NYC<font style="vertical-align:inherit"><font style="vertical-align:inherit"><font color="#000000"> </font></font></font></font></p></div><div><b style="color:rgb(0,0,0)"><font face="arial, sans-serif"><br></font></b></div><div><b style="color:rgb(0,0,0)"><font face="arial, sans-serif"><br></font></b></div><div><font face="arial, sans-serif"><b style="color:rgb(60,64,67)">Title:</b><span style="color:rgb(60,64,67)">        </span>Principled Algorithm Design in the Era of Deep Learning</font></div><div><font face="arial, sans-serif"><br></font><div dir="ltr"><div><font face="arial, sans-serif"><b>Abstract:</b> Deep learning has seen tremendous growth in the last decade with applications across almost all fields of science and technology. In the pursuit of making deep learning methods more efficient and adaptable, there is an increasing need to design better algorithms and architectures. In this talk, I will give an overview of my research efforts towards advancing the statistical and computational foundations of deep learning with the goal of designing new principled algorithms and models. I will show how techniques originally developed for classical learning theory and convex optimization can be combined and extended for the era of deep learning. I will highlight this through two main contributions:<br>(1) New algorithms for training basic deep learning architectures that are simple, computationally efficient, and provably succeed even when the standard pipelines fail,<br>(2) A statistical characterization of state-of-the-art attention architectures, like Transformers, that gives new insights on their ability to capture long-range dependencies.<br><br><b>Bio:</b> Surbhi Goel is currently a postdoctoral researcher at Microsoft Research NYC with the Machine Learning group. She received her Ph.D. from the Department of Computer Science at the University of Texas at Austin where she was advised by Adam Klivans. Her work lies at the intersection of machine learning and theoretical computer science, with a focus on developing the statistical and computational foundations of modern machine learning paradigms, especially deep learning. Among other honors, she is a recipient of UT Austin's Bert Kay Dissertation award, the J.P. Morgan AI PhD Fellowship, the Simons-Berkeley Research Fellowship, and several fellowships from UT Austin. She has also been recognized as a Rising Star in ML by University of Maryland and in EECS by UIUC.</font></div><div><font face="arial, sans-serif"><br></font></div></div></div><div><font face="arial, sans-serif"><b>Host:</b> <b><font color="#0000ff"><a href="mailto:avrim@ttic.edu" target="_blank">Avrim Blum</a></font></b></font></div><div><font face="arial, sans-serif"><br></font></div><div style="font-size:small"><br></div><div style="font-size:small"><br></div></div><div><div dir="ltr"><div dir="ltr"><div><span style="font-family:arial,helvetica,sans-serif;font-size:x-small">Mary C. Marre</span><br></div><div><div><font face="arial, helvetica, sans-serif" size="1">Faculty Administrative Support</font></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6" size="1"><b>Toyota Technological Institute</b></font></i></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6" size="1">6045 S. Kenwood Avenue</font></i></div><div><font size="1"><i><font face="arial, helvetica, sans-serif" color="#3d85c6">Chicago, IL  60637</font></i><br></font></div><div><b><i><a href="mailto:mmarre@ttic.edu" target="_blank"><font face="arial, helvetica, sans-serif" size="1">mmarre@ttic.edu</font></a></i></b></div></div></div></div></div></div>
</blockquote></div></div>
</blockquote></div></div>
</blockquote></div></div>