<div dir="ltr"><div class="gmail_default" style=""><font face="georgia, serif" style=""><b style="">When:   </b>         Friday, September 16th at<b style="background-color:rgb(255,255,0)"> 10:30am CT </b><br> <br><b style="">Where:</b>         Talk will be given live, <b style="">in-person</b> at<br>                         TTIC, 6045 S. Kenwood Avenue<br>                         5th Floor, Room 530                <br><br><b style="">Virtually:  </b>    via Panopto (<a href="https://uchicago.hosted.panopto.com/Panopto/Pages/Viewer.aspx?id=10474b07-61b0-4b60-b14b-af0f00f7cd9d">Join Here</a>) <br><br><b style="">Who:              </b>Davoud Ataee Tarzanagh, University of Michigan <br></font></div><div class="gmail_default" style=""><font face="georgia, serif"><br></font></div><div class="gmail_default" style=""><font face="georgia, serif"><b>Title:              </b>Federated Bilevel Optimization and its Applications in Machine Learning</font></div><div class="gmail_default" style=""><font face="georgia, serif"><br><b>Abstract:     </b>Federated learning (FL) is a distributed learning approach that enables model training on a large collection of decentralized data. Existing FL methods are widely applied to stochastic problems with single-level structure. However, many contemporary machine learning problems - including adversarial robustness, hyperparameter tuning, actor-critic, and neural architecture search - fall under nested bilevel programming that subsumes minimax and compositional optimization. Towards addressing such nested problems, bilevel optimization has received significant attention in the recent literature, albeit in non-FL settings. On the other hand, federated versions have been elusive perhaps due to the additional challenges surrounding heterogeneity, communication, and inverse Hessian approximation.<br><br><br>In this talk, we present a federated machinery for general bilevel problems with lightweight communication. We provide convergence rates for the proposed approach in the presence of heterogeneous data and introduce variations for minimax and compositional optimization problems. Under certain regularity conditions, applying our results to these problems either improves or matches the best-known sample complexity in the non-FL settings. We complement our theory with experiments on fair classification and hyper-representation learning that demonstrate the benefits of our method in practice.<br clear="all"></font></div><div><font face="georgia, serif"><br></font></div><div class="gmail_default" style="font-family:georgia,serif;font-size:small"></div><br><div><font face="georgia, serif"><span class="gmail_default" style="font-family:georgia,serif;font-size:small"></span>-- <br></font><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><b style="background-color:rgb(255,255,255)"><font color="#3d85c6" face="georgia, serif">Brandie Jones </font></b><div><div><i><b style="background-color:rgb(255,255,255)"><font color="#3d85c6" face="georgia, serif">Administrative Assistant</font></b></i></div><div><span style="background-color:rgb(255,255,255)"><font color="#3d85c6" face="georgia, serif">Toyota Technological Institute</font></span></div><div><span style="background-color:rgb(255,255,255)"><font color="#3d85c6" face="georgia, serif">6045 S. Kenwood Avenue</font></span></div><div><span style="background-color:rgb(255,255,255)"><font color="#3d85c6" face="georgia, serif">Chicago, IL  60637</font></span></div></div><div><span style="background-color:rgb(255,255,255)"><font color="#3d85c6" face="georgia, serif"><a href="http://www.ttic.edu" target="_blank">www.ttic.edu</a> </font></span></div><div><span style="background-color:rgb(255,255,255)"><font color="#3d85c6" face="georgia, serif"><br></font></span></div><div><font color="#3d85c6" face="georgia, serif"><div style="background-color:rgb(238,238,238)">Working Remote on Tuesdays</div></font></div></div></div></div></div>