<div dir="ltr"><div><p style="font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;line-height:normal;margin:0px"><font face="arial, sans-serif"><font style="vertical-align:inherit"><font style="vertical-align:inherit"><b>When:</b>    </font></font><font style="vertical-align:inherit"><font style="vertical-align:inherit">  Monday, November 11th at 11:00am</font></font><br></font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif"> </font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif"><font style="vertical-align:inherit"><font style="vertical-align:inherit"><b>Where:</b>     </font></font><font style="vertical-align:inherit"><font style="vertical-align:inherit">TTIC, 6045 S. Kenwood Avenue, 5th Floor, Room 526</font></font></font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif"> </font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif"><font style="vertical-align:inherit"><font style="vertical-align:inherit"><b>Who: </b>       </font></font></font><span class="gmail-il">Misha</span> Belkin, Ohio State University</p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif"><font style="vertical-align:inherit"><font style="vertical-align:inherit">    </font></font></font><span style="font-family:arial,sans-serif"> </span></p></div><div><div><font face="arial, sans-serif"><b>Title:        </b></font>Toward Unified Theory for Supervised Inference: The Lessons of Deep Learning</div><div><font face="arial, sans-serif"><b><br></b></font></div><div><font face="arial, sans-serif"><b>Abstract:  </b>For years Empirical Risk Minimization (ERM) served as the main theoretical foundation for machine learning. Yet, even early on, certain phenomena, such as lack of over-fitting in boosting, posed a challenge to the ERM  view.  In recent years these foundational cracks have widened precipitously, as best practices of deep learning have been  in direct contradiction to the methodologies suggested by analyses of ERM or bias-variance trade-off.   Indeed, as I will discuss, modern methods  operate in regimes, mostly overlooked in the past, that are best described by interpolation, where the model is selected from the space of predictors fitting the training data exactly, according  to a certain inductive bias. Furthermore, I will show how  classical (capacity based) models and modern models based on inductive biases  can  be unified within a single "double descent" risk curve,  which subsumes the classical U-shaped bias-variance  trade-off. While  still speculative, I argue that a general unified theory of supervised learning may be possible.</font></div><div><font face="arial, sans-serif"><br></font></div><span style="line-height:13.91px"><font face="arial, sans-serif">Finally, I will discuss some important implications for optimization, and make a few comments and observations on the nature of the inductive biases and the (considerable) gaps in our understanding. </font></span><div><br></div><div><b style="font-family:arial,sans-serif">Host:</b><span style="font-family:arial,sans-serif">  <a href="mailto:nati@ttic.edu" target="_blank">Nati Srebro</a></span><br></div><div><br></div><div><br></div><div><font face="arial, sans-serif">For more information on the colloquium series or to subscribe to the mailing list, please see <a href="http://www.ttic.edu/colloquium.php" target="_blank">http://www.ttic.edu/colloquium.php</a>. </font></div></div><div><br></div>-- <br><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><b><font color="#0b5394">Alicia McClarin</font></b><div><div><font color="#0b5394"><i>Toyota Technological Institute at Chicago</i></font></div><div><div><font color="#0b5394"><i>6045 S. Kenwood Ave., </i></font><i style="color:rgb(11,83,148)">Office 518</i></div><div><i style="color:rgb(11,83,148)">Chicago, IL 60637</i><br></div></div><div><i style="color:rgb(11,83,148)">773-834-3321</i><i style="color:rgb(11,83,148)"><br></i></div><div><a href="http://www.ttic.edu/" target="_blank"><font color="#0b5394"><i>www.ttic.edu</i></font></a></div></div></div></div></div></div></div></div></div></div>