<div dir="ltr"><div dir="ltr"><div class="gmail_default" style="font-size:small"><div class="gmail_default"><div class="gmail_default" style="font-weight:bold"><font color="#000000" face="arial, helvetica, sans-serif"><br class="gmail-Apple-interchange-newline">When: <span style="font-weight:400">    Thursday, February 7th </span><span class="gmail-m_-4463494998659742853gmail-m_5432422994634585184gmail-m_8413918425185977589gmail-m_-8691311513495422351gmail-m_659755472794929801gmail-m_-6461243813863673855gmail-m_-742000311328020925gmail-m_7559459027998801583gmail-m_4801029585485711767gmail-m_8517121454174849988gmail-m_-6691959996525573090gmail-m_1517372298344856049gmail-m_491069367152086750gmail-m_-8327640324523575189gmail-m_2420618808463760418gmail-m_7960197898027616883gmail-m_8692226636264124041gmail-m_2794822896869921223gmail-m_7508998950622620526gmail-m_-7153355664495542534gmail-il" style="font-weight:400">at</span><span style="font-weight:400"> </span><b>11:00 am</b></font></div><div class="gmail_default"><font color="#000000" face="arial, helvetica, sans-serif"><br></font></div><div class="gmail_default" style="font-weight:bold"><font color="#000000" face="arial, helvetica, sans-serif">Where:<span style="font-weight:400">    </span><span class="gmail-m_-4463494998659742853gmail-m_5432422994634585184gmail-m_8413918425185977589gmail-m_-8691311513495422351gmail-m_659755472794929801gmail-m_-6461243813863673855gmail-m_-742000311328020925gmail-m_7559459027998801583gmail-m_4801029585485711767gmail-m_8517121454174849988gmail-m_-6691959996525573090gmail-m_1517372298344856049gmail-m_491069367152086750gmail-m_-8327640324523575189gmail-m_2420618808463760418gmail-m_7960197898027616883gmail-m_8692226636264124041gmail-m_2794822896869921223gmail-m_7508998950622620526gmail-m_-7153355664495542534gmail-m_8421504075585210435gmail-m_3262824545120381495gmail-m_-1141671822915777344gmail-m_-7219251726624328345gmail-m_-8588148075564318222gmail-m_-8767966813928691312gmail-m_-1542318334608687154gmail-m_5717104778280916634gmail-m_4845490158781220632gmail-m_5124567205141626540gmail-m_3209361100497750746gmail-m_2953668934074478317gmail-m_-3155518689668024534m_9067904842688472155gmail-m_3071693547520408192gmail-il" style="font-weight:400"><span class="gmail-m_-4463494998659742853gmail-m_5432422994634585184gmail-m_8413918425185977589gmail-m_-8691311513495422351gmail-m_659755472794929801gmail-m_-6461243813863673855gmail-m_-742000311328020925gmail-m_7559459027998801583gmail-m_4801029585485711767gmail-m_8517121454174849988gmail-m_-6691959996525573090gmail-m_1517372298344856049gmail-m_491069367152086750gmail-m_-8327640324523575189gmail-m_2420618808463760418gmail-m_7960197898027616883gmail-m_8692226636264124041gmail-m_2794822896869921223gmail-m_7508998950622620526gmail-m_-7153355664495542534gmail-il"><span class="gmail-m_-4463494998659742853gmail-m_5432422994634585184gmail-m_8413918425185977589gmail-m_-8691311513495422351gmail-m_659755472794929801gmail-m_-6461243813863673855gmail-m_-742000311328020925gmail-m_7559459027998801583gmail-m_4801029585485711767gmail-il">TTIC</span></span></span><span style="font-weight:400">, 6045 S Kenwood Avenue, 5th Floor, Room 526</span></font></div><div class="gmail_default"><font face="arial, helvetica, sans-serif"><br></font></div><font face="arial, helvetica, sans-serif"><span style="font-weight:bold;color:rgb(0,0,0)">Who:</span><span style="color:rgb(0,0,0)">       </span><font color="#000000">Brian Bullins, Princeton University</font><br class="gmail-m_-4463494998659742853gmail-m_5432422994634585184gmail-m_8413918425185977589gmail-Apple-interchange-newline"><br class="gmail-m_-4463494998659742853gmail-Apple-interchange-newline"></font></div><div class="gmail_default"><b style="color:rgb(0,0,0);font-family:arial,helvetica,sans-serif"><br></b></div><div class="gmail_default"><b style="color:rgb(0,0,0);font-family:arial,helvetica,sans-serif">Title:</b><span style="color:rgb(0,0,0);font-family:arial,helvetica,sans-serif">       Efficient Higher-Order Optimization for Machine Learning</span><br></div><div class="gmail_default"><p class="gmail-m_-4463494998659742853gmail-m_-776958046040130437p2" style="color:rgb(0,0,0)"><font face="arial, helvetica, sans-serif"><b>Abstract: </b>In recent years, stochastic gradient descent (SGD) has taken center stage for training large-scale models in machine learning. Although some higher-order methods have improved iteration complexity in theory, the per-iteration costs render them unusable when faced with millions of parameters and training examples.</font></p><p class="gmail-m_-4463494998659742853gmail-m_-776958046040130437p2" style="color:rgb(0,0,0)"><font face="arial, helvetica, sans-serif">In this talk, I will present several of my works which enable higher-order optimization to be as scalable as first-order methods. The first method is a stochastic second-order algorithm for convex optimization, called LiSSA, which uses Hessian information to construct an unbiased Newton step in time linear in the dimension. To bypass the typical efficiency barriers for second-order methods, we harness the ERM structure in standard machine learning tasks.<br></font></p><p class="gmail-m_-4463494998659742853gmail-m_-776958046040130437p2" style="color:rgb(0,0,0)"><font face="arial, helvetica, sans-serif">While convex problems allow for global convergence, recent state-of-the-art models, such as deep neural networks, highlight the importance of developing a better understanding of non-convex guarantees. In order to handle this challenging setting, I will present FastCubic, a Hessian-based method which provably converges to first-order critical points faster than gradient descent, while additionally converging to second-order critical points. Finally, I will show how our algorithm FastQuartic combines even higher-order information with “highly smooth acceleration” to guarantee even faster convergence for a large class of convex quartic problems.<br></font></p><p class="gmail-m_-4463494998659742853gmail-m_-776958046040130437p2" style="color:rgb(0,0,0)"><font face="arial, helvetica, sans-serif"><br></font></p><p class="gmail-m_-4463494998659742853gmail-m_-776958046040130437p2" style="color:rgb(0,0,0)"><font face="arial, helvetica, sans-serif"><b>Host:</b> <a href="mailto:nati@ttic.edu" target="_blank">Nathan Srebro</a></font></p><p class="gmail-m_-4463494998659742853gmail-m_-776958046040130437p2" style="color:rgb(0,0,0)"><font face="arial, helvetica, sans-serif"><br></font></p><br class="gmail-Apple-interchange-newline"></div></div><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><font face="arial, helvetica, sans-serif">Mary C. Marre</font><div><font face="arial, helvetica, sans-serif">Administrative Assistant</font></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6"><b>Toyota Technological Institute</b></font></i></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6">6045 S. Kenwood Avenue</font></i></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6">Room 517</font></i></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6">Chicago, IL  60637</font></i></div><div><i><font face="arial, helvetica, sans-serif">p:(773) 834-1757</font></i></div><div><i><font face="arial, helvetica, sans-serif">f: (773) 357-6970</font></i></div><div><b><i><a href="mailto:mmarre@ttic.edu" target="_blank"><font face="arial, helvetica, sans-serif">mmarre@ttic.edu</font></a></i></b></div></div></div></div></div></div></div></div></div></div></div></div></div></div><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, Feb 1, 2019 at 7:19 PM Mary Marre <<a href="mailto:mmarre@ttic.edu">mmarre@ttic.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div><font face="arial, helvetica, sans-serif"><br clear="all"></font></div><div><div style="font-weight:bold"><font color="#000000" face="arial, helvetica, sans-serif">When: <span style="font-weight:400">    Thursday, February 7th </span><span class="gmail-m_-4463494998659742853gmail-m_5432422994634585184gmail-m_8413918425185977589gmail-m_-8691311513495422351gmail-m_659755472794929801gmail-m_-6461243813863673855gmail-m_-742000311328020925gmail-m_7559459027998801583gmail-m_4801029585485711767gmail-m_8517121454174849988gmail-m_-6691959996525573090gmail-m_1517372298344856049gmail-m_491069367152086750gmail-m_-8327640324523575189gmail-m_2420618808463760418gmail-m_7960197898027616883gmail-m_8692226636264124041gmail-m_2794822896869921223gmail-m_7508998950622620526gmail-m_-7153355664495542534gmail-il" style="font-weight:400">at</span><span style="font-weight:400"> </span><b>11:00 am</b></font></div><div><font color="#000000" face="arial, helvetica, sans-serif"><br></font></div><div style="font-weight:bold"><font color="#000000" face="arial, helvetica, sans-serif">Where:<span style="font-weight:400">    </span><span class="gmail-m_-4463494998659742853gmail-m_5432422994634585184gmail-m_8413918425185977589gmail-m_-8691311513495422351gmail-m_659755472794929801gmail-m_-6461243813863673855gmail-m_-742000311328020925gmail-m_7559459027998801583gmail-m_4801029585485711767gmail-m_8517121454174849988gmail-m_-6691959996525573090gmail-m_1517372298344856049gmail-m_491069367152086750gmail-m_-8327640324523575189gmail-m_2420618808463760418gmail-m_7960197898027616883gmail-m_8692226636264124041gmail-m_2794822896869921223gmail-m_7508998950622620526gmail-m_-7153355664495542534gmail-m_8421504075585210435gmail-m_3262824545120381495gmail-m_-1141671822915777344gmail-m_-7219251726624328345gmail-m_-8588148075564318222gmail-m_-8767966813928691312gmail-m_-1542318334608687154gmail-m_5717104778280916634gmail-m_4845490158781220632gmail-m_5124567205141626540gmail-m_3209361100497750746gmail-m_2953668934074478317gmail-m_-3155518689668024534m_9067904842688472155gmail-m_3071693547520408192gmail-il" style="font-weight:400"><span class="gmail-m_-4463494998659742853gmail-m_5432422994634585184gmail-m_8413918425185977589gmail-m_-8691311513495422351gmail-m_659755472794929801gmail-m_-6461243813863673855gmail-m_-742000311328020925gmail-m_7559459027998801583gmail-m_4801029585485711767gmail-m_8517121454174849988gmail-m_-6691959996525573090gmail-m_1517372298344856049gmail-m_491069367152086750gmail-m_-8327640324523575189gmail-m_2420618808463760418gmail-m_7960197898027616883gmail-m_8692226636264124041gmail-m_2794822896869921223gmail-m_7508998950622620526gmail-m_-7153355664495542534gmail-il"><span class="gmail-m_-4463494998659742853gmail-m_5432422994634585184gmail-m_8413918425185977589gmail-m_-8691311513495422351gmail-m_659755472794929801gmail-m_-6461243813863673855gmail-m_-742000311328020925gmail-m_7559459027998801583gmail-m_4801029585485711767gmail-il">TTIC</span></span></span><span style="font-weight:400">, 6045 S Kenwood Avenue, 5th Floor, Room 526</span></font></div><div><font face="arial, helvetica, sans-serif"><br></font></div><font face="arial, helvetica, sans-serif"><span style="font-weight:bold;color:rgb(0,0,0)">Who:</span><span style="color:rgb(0,0,0)">       </span><font color="#000000">Brian Bullins, Princeton University</font><br class="gmail-m_-4463494998659742853gmail-m_5432422994634585184gmail-m_8413918425185977589gmail-Apple-interchange-newline"><br class="gmail-m_-4463494998659742853gmail-Apple-interchange-newline"></font></div><div><b style="color:rgb(0,0,0);font-family:arial,helvetica,sans-serif"><br></b></div><div><b style="color:rgb(0,0,0);font-family:arial,helvetica,sans-serif">Title:</b><span style="color:rgb(0,0,0);font-family:arial,helvetica,sans-serif"> Efficient Higher-Order Optimization for Machine Learning</span><br></div><div><p class="gmail-m_-4463494998659742853gmail-m_-776958046040130437p2" style="color:rgb(0,0,0)"><font face="arial, helvetica, sans-serif"><b>Abstract: </b>In recent years, stochastic gradient descent (SGD) has taken center stage for training large-scale models in machine learning. Although some higher-order methods have improved iteration complexity in theory, the per-iteration costs render them unusable when faced with millions of parameters and training examples.</font></p><p class="gmail-m_-4463494998659742853gmail-m_-776958046040130437p2" style="color:rgb(0,0,0)"><font face="arial, helvetica, sans-serif">In this talk, I will present several of my works which enable higher-order optimization to be as scalable as first-order methods. The first method is a stochastic second-order algorithm for convex optimization, called LiSSA, which uses Hessian information to construct an unbiased Newton step in time linear in the dimension. To bypass the typical efficiency barriers for second-order methods, we harness the ERM structure in standard machine learning tasks.<br></font></p><p class="gmail-m_-4463494998659742853gmail-m_-776958046040130437p2" style="color:rgb(0,0,0)"><font face="arial, helvetica, sans-serif">While convex problems allow for global convergence, recent state-of-the-art models, such as deep neural networks, highlight the importance of developing a better understanding of non-convex guarantees. In order to handle this challenging setting, I will present FastCubic, a Hessian-based method which provably converges to first-order critical points faster than gradient descent, while additionally converging to second-order critical points. Finally, I will show how our algorithm FastQuartic combines even higher-order information with “highly smooth acceleration” to guarantee even faster convergence for a large class of convex quartic problems.<br></font></p><p class="gmail-m_-4463494998659742853gmail-m_-776958046040130437p2" style="color:rgb(0,0,0)"><font face="arial, helvetica, sans-serif"><br></font></p><p class="gmail-m_-4463494998659742853gmail-m_-776958046040130437p2" style="color:rgb(0,0,0)"><font face="arial, helvetica, sans-serif"><b>Host:</b> <a href="mailto:nati@ttic.edu" target="_blank">Nathan Srebro</a></font></p><p class="gmail-m_-4463494998659742853gmail-m_-776958046040130437p2" style="color:rgb(0,0,0)"><font face="arial, helvetica, sans-serif"><br></font></p><p class="gmail-m_-4463494998659742853gmail-m_-776958046040130437p2" style="color:rgb(0,0,0);font-family:Tahoma;font-size:13.3333px"><br></p><p class="gmail-m_-4463494998659742853gmail-m_-776958046040130437p2" style="font-size:13.3333px;color:rgb(0,0,0);font-family:Tahoma"><br></p></div><div><div dir="ltr" class="gmail-m_-4463494998659742853gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><font face="arial, helvetica, sans-serif">Mary C. Marre</font><div><font face="arial, helvetica, sans-serif">Administrative Assistant</font></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6"><b>Toyota Technological Institute</b></font></i></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6">6045 S. Kenwood Avenue</font></i></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6">Room 517</font></i></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6">Chicago, IL  60637</font></i></div><div><i><font face="arial, helvetica, sans-serif">p:(773) 834-1757</font></i></div><div><i><font face="arial, helvetica, sans-serif">f: (773) 357-6970</font></i></div><div><b><i><a href="mailto:mmarre@ttic.edu" target="_blank"><font face="arial, helvetica, sans-serif">mmarre@ttic.edu</font></a></i></b></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div>
</blockquote></div></div>