<div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div><div class="gmail_default"><b style="font-size:small;font-family:arial,sans-serif">When</b><span style="font-family:arial,sans-serif">:    Monday, March 31<font size="1">st</font></span><span style="font-size:small;font-family:arial,sans-serif"> </span><span style="font-size:small;font-family:arial,sans-serif">from</span><b style="font-size:small;font-family:arial,sans-serif"> <span style="background-color:rgb(255,255,0)">2</span></b><b style="font-size:small;font-family:arial,sans-serif"><span style="background-color:rgb(255,255,0)">pm - 3pm CT</span></b></div><div class="gmail_default"><div class="gmail_default"><div><b><font face="arial, sans-serif"><br></font></b></div><div><font face="arial, sans-serif"><b>Where</b>:   Talk will be given <b><font color="#0000ff">live, in-person</font></b> at<br>               TTIC, 6045 S. Kenwood Avenue<br>               5th Floor, <b><u><font color="#000000">Room 530</font></u></b></font></div><div><font face="arial, sans-serif"><br><b>Virtually</b>: via <a href="https://uchicagogroup.zoom.us/j/95776718712?pwd=henpHX0NzdT3ZXbakSzbMy3uCJz7i1.1" target="_blank"><b>Zoom</b></a> <br></font></div><div><font face="arial, sans-serif">                 </font></div><div><font face="arial, sans-serif"><b>Who:  </b>    </font>Pedro Pamplona Savarese, TTIC</div><div><font face="arial, sans-serif"><br></font></div></div><div class="gmail_default"><div style="border-top:none;border-right:none;border-left:none;border-bottom:2.25pt solid rgb(11,118,159);padding:0in 0in 1pt"></div><div><font face="arial, sans-serif"><b><br></b></font></div><div><div><b>Title: </b>Principled Approximation Methods for Efficient and Scalable Deep Learning</div><div><br></div><div><b>Abstract:</b> Deep learning has achieved unprecedented success across domains by scaling up model size and training data. However, the computational costs of modern networks such as foundation models pose increasingly significant challenges for both training and deployment. Reducing these costs is a central research problem, yet many efficiency methods are themselves computationally expensive or even intractable.</div><div><br>In the first part of this talk, we will explore three strategies for improving efficiency: discovering efficient architectures, enforcing parameter sparsity, and quantizing networks. Each approach is grounded in an intractable optimization problem, for which we will discuss novel approximations that are both efficient and scalable.<br><br></div><div>In the second part of this talk, we will focus on reducing training costs through adaptive optimization methods. We will revisit the theoretical properties of Adam and examine variants that improve both theoretical guarantees and empirical performance, offering robust alternatives for large-scale training.</div><div><br>Together, these contributions provide a principled framework for building scalable and efficient deep networks. By leveraging approximations for challenging optimization problems, this work addresses some of the most pressing obstacles in modern deep learning.</div><div><br></div><div><br></div><div><div class="gmail_default"><b>Advisors: </b>David McAllester, Michael Maire</div><div class="gmail_default"><b><span>Thesis</span> Committee: </b>David McAllester, Michael Maire and Karen Livescu</div></div></div></div></div><br clear="all"></div><div><br></div><div><br></div><div><br></div><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><span style="font-family:arial,helvetica,sans-serif;font-size:x-small">Mary C. Marre</span><br></div><div><div><font face="arial, helvetica, sans-serif" size="1">Faculty Administrative Support</font></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6" size="1"><b>Toyota Technological Institute</b></font></i></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6" size="1">6045 S. Kenwood Avenue, Rm 517</font></i></div><div><font size="1"><i><font face="arial, helvetica, sans-serif" color="#3d85c6">Chicago, IL  60637</font></i><br></font></div><div><font size="1"><i><font face="arial, helvetica, sans-serif" color="#3d85c6">773-834-1757</font></i></font></div><div><b><i><a href="mailto:mmarre@ttic.edu" target="_blank"><font face="arial, helvetica, sans-serif" size="1">mmarre@ttic.edu</font></a></i></b></div></div></div></div></div></div>
</div>
</div>
</div>