<div dir="ltr"><div dir="ltr"><div class="gmail_default" style="font-size:small"><div class="gmail_default" style="font-weight:bold"><font color="#000000" face="arial, helvetica, sans-serif">When: <span style="font-weight:400">    Thursday, February 21st </span><span class="gmail-m_-1549782744967985645m_-2051497206938583731m_7314271742290751912gmail-m_1790959466673216095gmail-m_-5333227643664982572m_2625127627517695854m_2683896348608817813gmail-m_7672563966056633266gmail-m_-6461243813863673855gmail-m_-742000311328020925gmail-m_7559459027998801583gmail-m_4801029585485711767gmail-m_8517121454174849988gmail-m_-6691959996525573090gmail-m_1517372298344856049gmail-m_491069367152086750gmail-m_-8327640324523575189gmail-m_2420618808463760418gmail-m_7960197898027616883gmail-m_8692226636264124041gmail-m_2794822896869921223gmail-m_7508998950622620526gmail-m_-7153355664495542534gmail-il" style="font-weight:400">at</span><span style="font-weight:400"> </span><b>11:00 am</b></font></div><div class="gmail_default"><font color="#000000" face="arial, helvetica, sans-serif"><br></font></div><div class="gmail_default" style="font-weight:bold"><font color="#000000" face="arial, helvetica, sans-serif">Where:<span style="font-weight:400">    </span><span class="gmail-m_-1549782744967985645m_-2051497206938583731m_7314271742290751912gmail-m_1790959466673216095gmail-m_-5333227643664982572m_2625127627517695854m_2683896348608817813gmail-m_7672563966056633266gmail-m_-6461243813863673855gmail-m_-742000311328020925gmail-m_7559459027998801583gmail-m_4801029585485711767gmail-m_8517121454174849988gmail-m_-6691959996525573090gmail-m_1517372298344856049gmail-m_491069367152086750gmail-m_-8327640324523575189gmail-m_2420618808463760418gmail-m_7960197898027616883gmail-m_8692226636264124041gmail-m_2794822896869921223gmail-m_7508998950622620526gmail-m_-7153355664495542534gmail-m_8421504075585210435gmail-m_3262824545120381495gmail-m_-1141671822915777344gmail-m_-7219251726624328345gmail-m_-8588148075564318222gmail-m_-8767966813928691312gmail-m_-1542318334608687154gmail-m_5717104778280916634gmail-m_4845490158781220632gmail-m_5124567205141626540gmail-m_3209361100497750746gmail-m_2953668934074478317gmail-m_-3155518689668024534m_9067904842688472155gmail-m_3071693547520408192gmail-il" style="font-weight:400"><span class="gmail-m_-1549782744967985645m_-2051497206938583731m_7314271742290751912gmail-m_1790959466673216095gmail-m_-5333227643664982572m_2625127627517695854m_2683896348608817813gmail-m_7672563966056633266gmail-m_-6461243813863673855gmail-m_-742000311328020925gmail-m_7559459027998801583gmail-m_4801029585485711767gmail-m_8517121454174849988gmail-m_-6691959996525573090gmail-m_1517372298344856049gmail-m_491069367152086750gmail-m_-8327640324523575189gmail-m_2420618808463760418gmail-m_7960197898027616883gmail-m_8692226636264124041gmail-m_2794822896869921223gmail-m_7508998950622620526gmail-m_-7153355664495542534gmail-il"><span class="gmail-m_-1549782744967985645m_-2051497206938583731m_7314271742290751912gmail-m_1790959466673216095gmail-m_-5333227643664982572m_2625127627517695854m_2683896348608817813gmail-m_7672563966056633266gmail-m_-6461243813863673855gmail-m_-742000311328020925gmail-m_7559459027998801583gmail-m_4801029585485711767gmail-il">TTIC</span></span></span><span style="font-weight:400">, 6045 S Kenwood Avenue, 5th Floor, Room 526</span></font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif"><br></font></div><p style="font-size:16px;margin-top:0px;margin-bottom:0px;color:rgb(0,0,0);font-family:Calibri,Helvetica,sans-serif,serif,EmojiFont"><font face="arial, helvetica, sans-serif" style="color:rgb(34,34,34);font-size:small"><span style="font-weight:bold;color:rgb(0,0,0)">Who:</span><span style="color:rgb(0,0,0)">       Yuanzhi Li, Stanford University</span></font><br></p><p style="font-size:16px;margin-top:0px;margin-bottom:0px;color:rgb(0,0,0);font-family:Calibri,Helvetica,sans-serif,serif,EmojiFont"><br></p><p style="font-size:16px;margin-top:0px;margin-bottom:0px;color:rgb(0,0,0);font-family:Calibri,Helvetica,sans-serif,serif,EmojiFont"><b style="font-family:arial,helvetica,sans-serif;font-size:small">Title:       </b><span style="font-family:arial,helvetica,sans-serif;font-size:small">Towards deeper understandings of deep learning</span><br></p><p style="margin-top:0px;margin-bottom:0px"><font face="arial, helvetica, sans-serif" color="#000000"><br></font></p><p style="margin-top:0px;margin-bottom:0px"><font face="arial, helvetica, sans-serif" color="#000000"><b>Abstract:</b><br></font></p><p style="margin-top:0px;margin-bottom:0px"><font face="arial, helvetica, sans-serif" color="#000000">Learning through highly complicated and non-convex systems plays an important rule in machine learning. Recently, a vast amount of empirical works have demonstrated the success of these methods, especially in deep learning. However, the formal study of the principles behind them is much less developed. <br></font></p><p style="margin-top:0px;margin-bottom:0px"><font face="arial, helvetica, sans-serif" color="#000000"><br></font></p><p style="margin-top:0px;margin-bottom:0px"><font face="arial, helvetica, sans-serif" color="#000000">This talk will cover a few recent results towards developing such principles. Firstly, we focus on the principle of ``over-parameterization''. We show that for neural networks such as CNNs, ResNet and RNNs, as long as enough over-parameterization is given, algorithms such as stochastic gradient descent (SGD) provably finds the global optimal on the training data set. Moreover, the solution also generalizes to test data set as long as the training labels are realizable by certain teacher networks. </font></p><p style="margin-top:0px;margin-bottom:0px"><font face="arial, helvetica, sans-serif" color="#000000">The second result will cover the principle of ``noisy computation''. We show how, for certain data sets, the neural network found by SGD with a large learning rate (i.e. step size) at the begining follow by a learning rate decay generalizes better than the one found by SGD with a small learning rate, even when both case have the same training loss.</font></p><p style="margin-top:0px;margin-bottom:0px"><font face="arial, helvetica, sans-serif" color="#000000"><br></font></p><p style="margin-top:0px;margin-bottom:0px"><font face="arial, helvetica, sans-serif" color="#000000"><b>Bio: </b><span class="gmail-m_-1549782744967985645m_-2051497206938583731m_7314271742290751912gmail-il">Yuanzhi</span> <span class="gmail-m_-1549782744967985645m_-2051497206938583731m_7314271742290751912gmail-il">Li</span> is a postdoctoral researcher at the Computer Science Department of Stanford University. Previously, he obtained his Ph.D. at Princeton (2014-2018) under the advice of Sanjeev Arora. His research interests include topics in deep learning, non-convex optimization, algorithms, and online learning. </font></p><p style="margin-top:0px;margin-bottom:0px"><font face="arial, helvetica, sans-serif" color="#000000"><br></font></p><p style="margin-top:0px;margin-bottom:0px"><font face="arial, helvetica, sans-serif" color="#000000">Host: <a href="mailto:nati@ttic.edu" target="_blank">Nathan Srebro</a></font></p><br class="gmail-Apple-interchange-newline"></div><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><font face="arial, helvetica, sans-serif">Mary C. Marre</font><div><font face="arial, helvetica, sans-serif">Administrative Assistant</font></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6"><b>Toyota Technological Institute</b></font></i></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6">6045 S. Kenwood Avenue</font></i></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6">Room 517</font></i></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6">Chicago, IL  60637</font></i></div><div><i><font face="arial, helvetica, sans-serif">p:(773) 834-1757</font></i></div><div><i><font face="arial, helvetica, sans-serif">f: (773) 357-6970</font></i></div><div><b><i><a href="mailto:mmarre@ttic.edu" target="_blank"><font face="arial, helvetica, sans-serif">mmarre@ttic.edu</font></a></i></b></div></div></div></div></div></div></div></div></div></div></div></div></div></div><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, Feb 15, 2019 at 4:23 PM Mary Marre <<a href="mailto:mmarre@ttic.edu">mmarre@ttic.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div><div style="font-size:small;font-weight:bold"><font color="#000000" face="arial, helvetica, sans-serif">When: <span style="font-weight:400">    Thursday, February 21st </span><span class="gmail-m_-1549782744967985645m_-2051497206938583731m_7314271742290751912gmail-m_1790959466673216095gmail-m_-5333227643664982572m_2625127627517695854m_2683896348608817813gmail-m_7672563966056633266gmail-m_-6461243813863673855gmail-m_-742000311328020925gmail-m_7559459027998801583gmail-m_4801029585485711767gmail-m_8517121454174849988gmail-m_-6691959996525573090gmail-m_1517372298344856049gmail-m_491069367152086750gmail-m_-8327640324523575189gmail-m_2420618808463760418gmail-m_7960197898027616883gmail-m_8692226636264124041gmail-m_2794822896869921223gmail-m_7508998950622620526gmail-m_-7153355664495542534gmail-il" style="font-weight:400">at</span><span style="font-weight:400"> </span><b>11:00 am</b></font></div><div style="font-size:small"><font color="#000000" face="arial, helvetica, sans-serif"><br></font></div><div style="font-size:small;font-weight:bold"><font color="#000000" face="arial, helvetica, sans-serif">Where:<span style="font-weight:400">    </span><span class="gmail-m_-1549782744967985645m_-2051497206938583731m_7314271742290751912gmail-m_1790959466673216095gmail-m_-5333227643664982572m_2625127627517695854m_2683896348608817813gmail-m_7672563966056633266gmail-m_-6461243813863673855gmail-m_-742000311328020925gmail-m_7559459027998801583gmail-m_4801029585485711767gmail-m_8517121454174849988gmail-m_-6691959996525573090gmail-m_1517372298344856049gmail-m_491069367152086750gmail-m_-8327640324523575189gmail-m_2420618808463760418gmail-m_7960197898027616883gmail-m_8692226636264124041gmail-m_2794822896869921223gmail-m_7508998950622620526gmail-m_-7153355664495542534gmail-m_8421504075585210435gmail-m_3262824545120381495gmail-m_-1141671822915777344gmail-m_-7219251726624328345gmail-m_-8588148075564318222gmail-m_-8767966813928691312gmail-m_-1542318334608687154gmail-m_5717104778280916634gmail-m_4845490158781220632gmail-m_5124567205141626540gmail-m_3209361100497750746gmail-m_2953668934074478317gmail-m_-3155518689668024534m_9067904842688472155gmail-m_3071693547520408192gmail-il" style="font-weight:400"><span class="gmail-m_-1549782744967985645m_-2051497206938583731m_7314271742290751912gmail-m_1790959466673216095gmail-m_-5333227643664982572m_2625127627517695854m_2683896348608817813gmail-m_7672563966056633266gmail-m_-6461243813863673855gmail-m_-742000311328020925gmail-m_7559459027998801583gmail-m_4801029585485711767gmail-m_8517121454174849988gmail-m_-6691959996525573090gmail-m_1517372298344856049gmail-m_491069367152086750gmail-m_-8327640324523575189gmail-m_2420618808463760418gmail-m_7960197898027616883gmail-m_8692226636264124041gmail-m_2794822896869921223gmail-m_7508998950622620526gmail-m_-7153355664495542534gmail-il"><span class="gmail-m_-1549782744967985645m_-2051497206938583731m_7314271742290751912gmail-m_1790959466673216095gmail-m_-5333227643664982572m_2625127627517695854m_2683896348608817813gmail-m_7672563966056633266gmail-m_-6461243813863673855gmail-m_-742000311328020925gmail-m_7559459027998801583gmail-m_4801029585485711767gmail-il">TTIC</span></span></span><span style="font-weight:400">, 6045 S Kenwood Avenue, 5th Floor, Room 526</span></font></div><div style="font-size:small"><font face="arial, helvetica, sans-serif"><br></font></div><p style="font-size:16px;margin-top:0px;margin-bottom:0px;color:rgb(0,0,0);font-family:Calibri,Helvetica,sans-serif,serif,EmojiFont"><font face="arial, helvetica, sans-serif" style="color:rgb(34,34,34);font-size:small"><span style="font-weight:bold;color:rgb(0,0,0)">Who:</span><span style="color:rgb(0,0,0)">       Yuanzhi Li, Stanford University</span></font><br></p><p style="font-size:16px;margin-top:0px;margin-bottom:0px;color:rgb(0,0,0);font-family:Calibri,Helvetica,sans-serif,serif,EmojiFont"><br></p><p style="font-size:16px;margin-top:0px;margin-bottom:0px;color:rgb(0,0,0);font-family:Calibri,Helvetica,sans-serif,serif,EmojiFont"><b style="font-family:arial,helvetica,sans-serif;font-size:small">Title:       </b><span style="font-family:arial,helvetica,sans-serif;font-size:small">Towards deeper understandings of deep learning</span><br></p><p style="margin-top:0px;margin-bottom:0px"><font face="arial, helvetica, sans-serif" color="#000000"><br></font></p><p style="margin-top:0px;margin-bottom:0px"><font face="arial, helvetica, sans-serif" color="#000000"><b>Abstract:</b><br></font></p><p style="margin-top:0px;margin-bottom:0px"><font face="arial, helvetica, sans-serif" color="#000000">Learning through highly complicated and non-convex systems plays an important rule in machine learning. Recently, a vast amount of empirical works have demonstrated the success of these methods, especially in deep learning. However, the formal study of the principles behind them is much less developed. <br></font></p><p style="margin-top:0px;margin-bottom:0px"><font face="arial, helvetica, sans-serif" color="#000000"><br></font></p><p style="margin-top:0px;margin-bottom:0px"><font face="arial, helvetica, sans-serif" color="#000000">This talk will cover a few recent results towards developing such principles. Firstly, we focus on the principle of ``over-parameterization''. We show that for neural networks such as CNNs, ResNet and RNNs, as long as enough over-parameterization is given, algorithms such as stochastic gradient descent (SGD) provably finds the global optimal on the training data set. Moreover, the solution also generalizes to test data set as long as the training labels are realizable by certain teacher networks. </font></p><p style="margin-top:0px;margin-bottom:0px"><font face="arial, helvetica, sans-serif" color="#000000">The second result will cover the principle of ``noisy computation''. We show how, for certain data sets, the neural network found by SGD with a large learning rate (i.e. step size) at the begining follow by a learning rate decay generalizes better than the one found by SGD with a small learning rate, even when both case have the same training loss.</font></p><p style="margin-top:0px;margin-bottom:0px"><font face="arial, helvetica, sans-serif" color="#000000"><br></font></p><p style="margin-top:0px;margin-bottom:0px"><font face="arial, helvetica, sans-serif" color="#000000"><b>Bio: </b><span class="gmail-m_-1549782744967985645m_-2051497206938583731m_7314271742290751912gmail-il">Yuanzhi</span> <span class="gmail-m_-1549782744967985645m_-2051497206938583731m_7314271742290751912gmail-il">Li</span> is a postdoctoral researcher at the Computer Science Department of Stanford University. Previously, he obtained his Ph.D. at Princeton (2014-2018) under the advice of Sanjeev Arora. His research interests include topics in deep learning, non-convex optimization, algorithms, and online learning. </font></p><p style="margin-top:0px;margin-bottom:0px"><font face="arial, helvetica, sans-serif" color="#000000"><br></font></p><p style="margin-top:0px;margin-bottom:0px"><font face="arial, helvetica, sans-serif" color="#000000">Host: <a href="mailto:nati@ttic.edu" target="_blank">Nathan Srebro</a></font></p><p style="font-size:16px;margin-top:0px;margin-bottom:0px;color:rgb(0,0,0);font-family:Calibri,Helvetica,sans-serif,serif,EmojiFont"><br></p><p style="font-size:16px;margin-top:0px;margin-bottom:0px;color:rgb(0,0,0);font-family:Calibri,Helvetica,sans-serif,serif,EmojiFont"><br></p><br class="gmail-m_-1549782744967985645m_-2051497206938583731m_7314271742290751912gmail-Apple-interchange-newline"></div><div><div dir="ltr" class="gmail-m_-1549782744967985645m_-2051497206938583731m_7314271742290751912gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><font face="arial, helvetica, sans-serif">Mary C. Marre</font><div><font face="arial, helvetica, sans-serif">Administrative Assistant</font></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6"><b>Toyota Technological Institute</b></font></i></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6">6045 S. Kenwood Avenue</font></i></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6">Room 517</font></i></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6">Chicago, IL  60637</font></i></div><div><i><font face="arial, helvetica, sans-serif">p:(773) 834-1757</font></i></div><div><i><font face="arial, helvetica, sans-serif">f: (773) 357-6970</font></i></div><div><b><i><a href="mailto:mmarre@ttic.edu" target="_blank"><font face="arial, helvetica, sans-serif">mmarre@ttic.edu</font></a></i></b></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div>
</blockquote></div></div>