<div dir="ltr"><div><font face="arial, sans-serif" color="#000000"><b>When:</b>     Monday April 13th at 3:00pm</font></div><div><font face="arial, sans-serif" color="#000000"><br></font></div><div><font face="arial, sans-serif" color="#000000"><b>Where:</b>    </font><font face="arial, sans-serif"><a href="https://northwestern.zoom.us/j/501586978?pwd=RHlHd3pLUDRXb3ZwU2NjUjdxMmNGZz09" style="color:rgb(14,113,235);font-weight:700;margin:0px;box-sizing:border-box;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial" target="_blank">https://northwestern.zoom.us/j/501586978?pwd=RHlHd3pLUDRXb3ZwU2NjUjdxMmNGZz09</a>; password: <span style="color:rgb(0,0,0)">ideal2020</span></font><font face="arial, sans-serif" color="#000000"><br></font></div><div><div><p style="margin-bottom:0.0001pt;line-height:normal"><font face="arial, sans-serif" color="#000000"><b>Who: </b>     <b> </b></font><span style="color:rgb(0,0,0)"><font face="arial, sans-serif">Mingrui Liu, Iowa State</font></span></p><table cellpadding="0" style="border-collapse:collapse;margin-top:0px;width:auto;letter-spacing:0.2px;display:block"></table></div><div><font face="arial, sans-serif" color="#000000"><br></font></div><div><font face="arial, sans-serif" color="#000000"><b>Title: </b>      </font><span style="color:rgb(0,0,0)"><font face="arial, sans-serif">Min-max Optimization in Large-scale Machine Learning: Provable Algorithms with Fast Non-asymptotic Convergence</font></span></div></div><div><font face="arial, sans-serif" color="#000000"><br></font></div><div><font face="arial, sans-serif" color="#000000"><b>Abstract:</b> </font><span style="color:rgb(0,0,0)"><font face="arial, sans-serif">Min-max optimization receives increasing attention in machine learning, in settings such as stochastic AUC maximization and Generative Adversarial Nets (GANs). However, the de facto optimization algorithms people usually use for solving these min-max games in practice either suffer from slow convergence rate or lack theoretical guarantees. A natural question is proposed---how to design provable algorithms with fast non-asymptotic convergence for machine learning problems with min-max formulation?</font></span></div><div style="color:rgb(0,0,0);margin:0px"><span style="font-family:arial,sans-serif"><br></span></div><div style="color:rgb(0,0,0);margin:0px"><span style="font-family:arial,sans-serif">To answer this question, I will focus on the following four concrete and fundamental questions:</span><span style="font-family:arial,sans-serif"> </span><br></div><div style="color:rgb(0,0,0);margin:0px"><font face="arial, sans-serif"><br></font></div><div style="color:rgb(0,0,0);margin:0px"><font face="arial, sans-serif">1. In stochastic AUC maximization with linear model, is it possible to design a provably faster algorithm than the traditional the stochastic primal-dual gradient method? <br><br>2. In stochastic AUC maximization with deep neural network, how to design a novel algorithm with state-of-the-art convergence rate? <br><br>3. Although adaptive gradient methods with alternate update empirically work well in training GANs, it requires expensive tuning efforts, lacks theoretical convergence guarantees and might diverge in practice. Is it possible to design adaptive gradient algorithms for training GANs with provably faster convergence than its non-adaptive counterpart? <br><br>4. Decentralized parallel algorithms are robust to network bandwidth and latency compared with its centralized counterpart. Is it possible to train GANs in decentralized distributed manner with provable guarantees?  <br><br>In this talk, I will present my recent work to provide all positive answers to these questions. </font></div><div><font face="arial, sans-serif" color="#000000"><br></font></div><div><font face="arial, sans-serif" color="#000000"><b>Bio:       </b></font><span style="color:rgb(0,0,0)"><font face="arial, sans-serif">Mingrui Liu is currently a 4th year Ph.D. candidate in the Department of Computer Science at the University of Iowa, under the supervision of Prof. Tianbao Yang. He has board interests in machine learning and has focused on several research topics, including large-scale optimization in machine learning and learning theory. His recent research focus is to design provably efficient algorithms for nonconvex min-max problems in machine learning.</font></span></div><div><span style="color:rgb(0,0,0)"><font face="arial, sans-serif"><br></font></span></div><div><font face="arial, sans-serif"><a href="http://www.ideal.northwestern.edu/" target="_blank">www.ideal.northwestern.edu</a></font><span style="color:rgb(0,0,0)"><font face="arial, sans-serif"><br></font></span></div><div><br></div>-- <br><div dir="ltr" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><b><font color="#0b5394">Alicia McClarin</font></b><div><div><font color="#0b5394"><i>Toyota Technological Institute at Chicago</i></font></div><div><div><font color="#0b5394"><i>6045 S. Kenwood Ave., </i></font><i style="color:rgb(11,83,148)">Office 504</i></div><div><i style="color:rgb(11,83,148)">Chicago, IL 60637</i><br></div></div><div><i style="color:rgb(11,83,148)">773-834-3321</i><i style="color:rgb(11,83,148)"><br></i></div><div><a href="http://www.ttic.edu/" target="_blank"><font color="#0b5394"><i>www.ttic.edu</i></font></a></div></div></div></div></div></div></div></div></div></div></div></div>