<div dir="ltr"><div dir="ltr" style="font-size:12.8px"><div><div style="font-size:12.8px;font-family:arial,helvetica,sans-serif">When:    Tuesday<span class="gmail-m_3362974898759286267gmail-m_8638631580643762924gmail-m_-7002887145228343606gmail-m_-1824866688285446566gmail-aBn">, August 15th at 1:00 pm</span><br></div><div style="font-size:12.8px;font-family:arial,helvetica,sans-serif"><br>Where:   TTIC, 6045 S Kenwood Avenue, 5th Floor, Room 526<br></div><div style="font-size:12.8px;font-family:arial,helvetica,sans-serif"><br>Who:      Behnam Neyshabur, TTIC</div></div><div><br></div><div><br></div><span style="font-size:12.8px">Title:       Implicit Regularization in Deep Learning</span><br style="font-size:12.8px"><br style="font-size:12.8px"><span style="font-size:12.8px">Abstract:<br></span><span style="font-size:12.8px">In an attempt to better understand generalization in deep learning, I explore several possible explanations. I explain why implicit regularization induced by the optimization method is playing a key role in generalization and success of deep learning models. Motivated by this view, I discuss how different complexity measures can ensure generalization and explain how optimization algorithms can implicitly regularize complexity measures. I empirically investigate the ability of these measures to explain different observed phenomena in deep learning. I further discuss the invariances in neural networks, suggest complexity measures and optimization algorithms that have similar invariances to those in neural networks and evaluate them on a number of learning tasks.</span><span style="font-size:12.8px"><br></span></div><div dir="ltr" style="font-size:12.8px"><div><span style="font-size:12.8px"><br></span></div><div><span style="font-size:12.8px">Thesis Advisor: <a href="mailto:nati@ttic.edu" target="_blank">Nati Srebro</a></span></div><div><br></div><div><br></div><div><br></div></div><div><div class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><font face="arial, helvetica, sans-serif">Mary C. Marre</font><div><font face="arial, helvetica, sans-serif">Administrative Assistant</font></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6"><b>Toyota Technological Institute</b></font></i></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6">6045 S. Kenwood Avenue</font></i></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6">Room 504</font></i></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6">Chicago, IL  60637</font></i></div><div><i><font face="arial, helvetica, sans-serif">p:(773) 834-1757</font></i></div><div><i><font face="arial, helvetica, sans-serif">f: (773) 357-6970</font></i></div><div><b><i><a href="mailto:mmarre@ttic.edu" target="_blank"><font face="arial, helvetica, sans-serif">mmarre@ttic.edu</font></a></i></b></div></div></div></div></div></div></div></div></div></div>
</div>