<div dir="ltr"><div dir="ltr"><div class="gmail_default" style="font-size:small"><div style="color:rgb(80,0,80)"><font face="arial, sans-serif"><font style="color:rgb(0,0,0);vertical-align:inherit"><font style="vertical-align:inherit"><b>When:</b>    </font></font><font style="color:rgb(0,0,0);vertical-align:inherit"><font style="vertical-align:inherit">    Mon<span class="gmail_default">day, March 28th</span> at<b> <span style="background-color:rgb(255,255,0)">11:30 am CT</span></b></font></font></font></div><p style="color:rgb(80,0,80);font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;line-height:normal;margin:0px"><font face="arial, sans-serif" color="#000000"><font style="vertical-align:inherit"><font style="vertical-align:inherit"><b><span style="background-color:rgb(255,255,0)"><br></span></b></font></font></font></p><div class="gmail_default" style="color:rgb(80,0,80)"><font face="arial, sans-serif"><b>Where:       </b><font color="#500050">Talk will be given </font><font color="#0000ff" style="font-weight:bold"><u>live, in-person</u></font><font color="#0000ff" style="font-weight:bold"> </font><font color="#000000">at</font></font></div><p class="MsoNormal" style="margin:0in;color:rgb(80,0,80);line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif">                   TTIC, 6045 S. Kenwood Avenue</font></p><p class="MsoNormal" style="margin:0in;color:rgb(80,0,80);line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif">                   5th Floor, Room 530<b><span style="color:black"> </span></b></font></p><p class="MsoNormal" style="margin:0in;color:rgb(80,0,80);line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif"><b><span style="color:black"><br></span></b></font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;color:rgb(80,0,80);line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif"><font style="color:rgb(0,0,0);vertical-align:inherit"><font style="vertical-align:inherit"><b>Where:</b>       </font></font>Zoom Virtual Talk (<b><a href="https://uchicagogroup.zoom.us/webinar/register/WN_Ad_x3I08RUuS99gZKU8h6A" target="_blank"><font color="#0000ff">register in advance here</font></a></b>)</font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;color:rgb(80,0,80);line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif"><br></font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;color:rgb(80,0,80);line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif"><font style="vertical-align:inherit"><font style="vertical-align:inherit"><font color="#000000"><b>Who: </b> </font><font color="#500050">    </font><font color="#000000">    </font></font></font></font><span style="color:rgb(34,34,34)">Beidi Chen, Stanford University</span></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;color:rgb(80,0,80);line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif"><br></font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;color:rgb(80,0,80);line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><b style="font-family:arial,sans-serif;color:rgb(34,34,34)"><br></b></p><div style="color:rgb(80,0,80)"><b>Title:          </b>Randomized Algorithms for Efficient Machine Learning Systems</div><div style="color:rgb(80,0,80)"><br></div><div style="color:rgb(80,0,80)"><b>Abstract:</b></div><div style="color:rgb(80,0,80)">Machine learning (ML) has demonstrated great promise in scientific discovery, healthcare, and education, especially with the rise of large neural networks. However, large models trained on complex and rapidly growing data consume enormous computational resources. In this talk, I will describe my work on exploiting model sparsity with randomized algorithms to accelerate large ML systems on current hardware with no drop in accuracy. </div><div style="color:rgb(80,0,80)"><br></div><div style="color:rgb(80,0,80)">I will start by describing SLIDE, an open-source system for efficient sparse neural network training on CPUs that has been deployed by major technology companies and academic labs. SLIDE blends Locality Sensitive Hashing with multi-core parallelism and workload optimization to drastically reduce computations. SLIDE trains industry-scale recommendation models on a 44 core CPU 3.5x faster than TensorFlow on V100 GPU with no drop in accuracy. </div><div style="color:rgb(80,0,80)"><br></div><div style="color:rgb(80,0,80)">Next, I will present Pixelated Butterfly, a simple yet efficient sparse training framework on GPUs. It uses a simple static block-sparse pattern based on butterfly and low-rank matrices, taking into account GPU block-oriented efficiency. Pixelated Butterfly trains up to 2.5x faster (wall-clock) than the dense Vision Transformer and GPT-2 counterparts with no drop in accuracy. </div><div style="color:rgb(80,0,80)"><br></div><div style="color:rgb(80,0,80)">I will conclude by outlining future research directions for further accelerating ML pipelines and making ML more accessible to the general community, such as software-hardware co-design, data-centric AI, and ML for scientific computing and medical imaging.</div><div style="color:rgb(80,0,80)"><br></div><div style="color:rgb(80,0,80)"><b>Bio: </b></div><div style="color:rgb(80,0,80)">Beidi Chen is a postdoctoral scholar in the CS department at Stanford University, working with Prof. Christopher Ré. Her research focuses on large-scale machine learning and deep learning. Specifically, she designs and optimizes randomized algorithms (algorithm-hardware co-design) to accelerate large machine learning systems for real-world problems. Prior to joining Stanford, she received her Ph.D. from the CS department at Rice University, advised by Prof. Anshumali Shrivastava. She received a BS in EECS from UC Berkeley. She has held internships in Microsoft Research, NVIDIA Research, and Amazon AI. Her work has won Best Paper awards at LISA and IISA. She was selected as a Rising Star in EECS by MIT and UIUC. </div><div style="color:rgb(80,0,80)"><font face="arial, sans-serif"><b><span class="gmail_default"><br></span></b></font></div><div class="gmail_default" style="color:rgb(80,0,80)"><font face="arial, sans-serif"><b>Host: <a href="mailto:mcallester@ttic.edu" target="_blank">David McAllester</a></b></font></div><div class="gmail_default" style="color:rgb(80,0,80)"><font face="arial, sans-serif"><br></font></div></div><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><span style="font-family:arial,helvetica,sans-serif;font-size:x-small">Mary C. Marre</span><br></div><div><div><font face="arial, helvetica, sans-serif" size="1">Faculty Administrative Support</font></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6" size="1"><b>Toyota Technological Institute</b></font></i></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6" size="1">6045 S. Kenwood Avenue</font></i></div><div><font size="1"><i><font face="arial, helvetica, sans-serif" color="#3d85c6">Chicago, IL  60637</font></i><br></font></div><div><b><i><a href="mailto:mmarre@ttic.edu" target="_blank"><font face="arial, helvetica, sans-serif" size="1">mmarre@ttic.edu</font></a></i></b></div></div></div></div></div><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Mar 28, 2022 at 10:29 AM Mary Marre <<a href="mailto:mmarre@ttic.edu">mmarre@ttic.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr"><div style="font-size:small"><div><div style="color:rgb(80,0,80)"><font face="arial, sans-serif"><font style="color:rgb(0,0,0);vertical-align:inherit"><font style="vertical-align:inherit"><b>When:</b>    </font></font><font style="color:rgb(0,0,0);vertical-align:inherit"><font style="vertical-align:inherit">    Mon<span class="gmail_default">day, March 28th</span> at<b> <span style="background-color:rgb(255,255,0)">11:30 am CT</span></b></font></font></font></div><p style="font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;line-height:normal;color:rgb(80,0,80);margin:0px"><font face="arial, sans-serif" color="#000000"><font style="vertical-align:inherit"><font style="vertical-align:inherit"><b><span style="background-color:rgb(255,255,0)"><br></span></b></font></font></font></p><div style="color:rgb(80,0,80)"><font face="arial, sans-serif"><b>Where:       </b><font color="#500050">Talk will be given </font><font color="#0000ff" style="font-weight:bold"><u>live, in-person</u></font><font color="#0000ff" style="font-weight:bold"> </font><font color="#000000">at</font></font></div><p class="MsoNormal" style="margin:0in;color:rgb(80,0,80);line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif">                   TTIC, 6045 S. Kenwood Avenue</font></p><p class="MsoNormal" style="margin:0in;color:rgb(80,0,80);line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif">                   5th Floor, Room 530<b><span style="color:black"> </span></b></font></p><p class="MsoNormal" style="margin:0in;color:rgb(80,0,80);line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif"><b><span style="color:black"><br></span></b></font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;color:rgb(80,0,80);line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif"><font style="color:rgb(0,0,0);vertical-align:inherit"><font style="vertical-align:inherit"><b>Where:</b>       </font></font>Zoom Virtual Talk (<b><a href="https://uchicagogroup.zoom.us/webinar/register/WN_Ad_x3I08RUuS99gZKU8h6A" target="_blank"><font color="#0000ff">register in advance here</font></a></b>)</font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;color:rgb(80,0,80);line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif"><br></font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;color:rgb(80,0,80);line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif"><font style="vertical-align:inherit"><font style="vertical-align:inherit"><font color="#000000"><b>Who: </b> </font><font color="#500050">    </font><font color="#000000">    </font></font></font></font><span style="color:rgb(34,34,34)">Beidi Chen, Stanford University</span></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;color:rgb(80,0,80);line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif"><br></font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;color:rgb(80,0,80);line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><b style="font-family:arial,sans-serif;color:rgb(34,34,34)"><br></b></p><div><b>Title:          </b>Randomized Algorithms for Efficient Machine Learning Systems</div><div><br></div><div><b>Abstract:</b></div><div>Machine learning (ML) has demonstrated great promise in scientific discovery, healthcare, and education, especially with the rise of large neural networks. However, large models trained on complex and rapidly growing data consume enormous computational resources. In this talk, I will describe my work on exploiting model sparsity with randomized algorithms to accelerate large ML systems on current hardware with no drop in accuracy. </div><div><br></div><div>I will start by describing SLIDE, an open-source system for efficient sparse neural network training on CPUs that has been deployed by major technology companies and academic labs. SLIDE blends Locality Sensitive Hashing with multi-core parallelism and workload optimization to drastically reduce computations. SLIDE trains industry-scale recommendation models on a 44 core CPU 3.5x faster than TensorFlow on V100 GPU with no drop in accuracy. </div><div><br></div><div>Next, I will present Pixelated Butterfly, a simple yet efficient sparse training framework on GPUs. It uses a simple static block-sparse pattern based on butterfly and low-rank matrices, taking into account GPU block-oriented efficiency. Pixelated Butterfly trains up to 2.5x faster (wall-clock) than the dense Vision Transformer and GPT-2 counterparts with no drop in accuracy. </div><div><br></div><div>I will conclude by outlining future research directions for further accelerating ML pipelines and making ML more accessible to the general community, such as software-hardware co-design, data-centric AI, and ML for scientific computing and medical imaging.</div><div><br></div><div><b>Bio: </b></div><div>Beidi Chen is a postdoctoral scholar in the CS department at Stanford University, working with Prof. Christopher Ré. Her research focuses on large-scale machine learning and deep learning. Specifically, she designs and optimizes randomized algorithms (algorithm-hardware co-design) to accelerate large machine learning systems for real-world problems. Prior to joining Stanford, she received her Ph.D. from the CS department at Rice University, advised by Prof. Anshumali Shrivastava. She received a BS in EECS from UC Berkeley. She has held internships in Microsoft Research, NVIDIA Research, and Amazon AI. Her work has won Best Paper awards at LISA and IISA. She was selected as a Rising Star in EECS by MIT and UIUC. </div><div style="color:rgb(80,0,80)"><font face="arial, sans-serif"><b><span class="gmail_default"><br></span></b></font></div><div style="color:rgb(80,0,80)"><font face="arial, sans-serif"><b>Host: <a href="mailto:mcallester@ttic.edu" target="_blank">David McAllester</a></b></font></div><br></div><div><br></div><div><br></div><div><br></div></div><div><div dir="ltr"><div dir="ltr"><div><span style="font-family:arial,helvetica,sans-serif;font-size:x-small">Mary C. Marre</span><br></div><div><div><font face="arial, helvetica, sans-serif" size="1">Faculty Administrative Support</font></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6" size="1"><b>Toyota Technological Institute</b></font></i></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6" size="1">6045 S. Kenwood Avenue</font></i></div><div><font size="1"><i><font face="arial, helvetica, sans-serif" color="#3d85c6">Chicago, IL  60637</font></i><br></font></div><div><b><i><a href="mailto:mmarre@ttic.edu" target="_blank"><font face="arial, helvetica, sans-serif" size="1">mmarre@ttic.edu</font></a></i></b></div></div></div></div></div><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sun, Mar 27, 2022 at 2:46 PM Mary Marre <<a href="mailto:mmarre@ttic.edu" target="_blank">mmarre@ttic.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr"><div style="font-size:small"><div><div style="color:rgb(80,0,80)"><font face="arial, sans-serif"><font style="color:rgb(0,0,0);vertical-align:inherit"><font style="vertical-align:inherit"><b>When:</b>    </font></font><font style="color:rgb(0,0,0);vertical-align:inherit"><font style="vertical-align:inherit">    Mon<span class="gmail_default">day, March 28th</span> at<b> <span style="background-color:rgb(255,255,0)">11:30 am CT</span></b></font></font></font></div><p style="font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;line-height:normal;color:rgb(80,0,80);margin:0px"><font face="arial, sans-serif" color="#000000"><font style="vertical-align:inherit"><font style="vertical-align:inherit"><b><span style="background-color:rgb(255,255,0)"><br></span></b></font></font></font></p><div style="color:rgb(80,0,80)"><font face="arial, sans-serif"><b>Where:       </b><font color="#500050"><span>Talk</span> will be given </font><font color="#0000ff" style="font-weight:bold"><u>live, in-person</u></font><font color="#0000ff" style="font-weight:bold"> </font><font color="#000000">at</font></font></div><p class="MsoNormal" style="margin:0in;color:rgb(80,0,80);line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif">                   TTIC, 6045 S. Kenwood Avenue</font></p><p class="MsoNormal" style="margin:0in;color:rgb(80,0,80);line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif">                   5th Floor, Room 530<b><span style="color:black"> </span></b></font></p><p class="MsoNormal" style="margin:0in;color:rgb(80,0,80);line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif"><b><span style="color:black"><br></span></b></font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;color:rgb(80,0,80);line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif"><font style="color:rgb(0,0,0);vertical-align:inherit"><font style="vertical-align:inherit"><b>Where:</b>       </font></font>Zoom Virtual <span>Talk</span> (<b><a href="https://uchicagogroup.zoom.us/webinar/register/WN_Ad_x3I08RUuS99gZKU8h6A" target="_blank"><font color="#0000ff">register in advance here</font></a></b>)</font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;color:rgb(80,0,80);line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif"><br></font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;color:rgb(80,0,80);line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif"><font style="vertical-align:inherit"><font style="vertical-align:inherit"><font color="#000000"><b>Who: </b> </font><font color="#500050">    </font><font color="#000000">    </font></font></font></font><span style="color:rgb(34,34,34)">Beidi Chen, Stanford University</span></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;color:rgb(80,0,80);line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif"><br></font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;color:rgb(80,0,80);line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><b style="font-family:arial,sans-serif;color:rgb(34,34,34)"><br></b></p><div><b>Title:          </b>Randomized Algorithms for Efficient Machine Learning Systems</div><div><br></div><div><b>Abstract:</b></div><div>Machine learning (ML) has demonstrated great promise in scientific discovery, healthcare, and education, especially with the rise of large neural networks. However, large models trained on complex and rapidly growing data consume enormous computational resources. In this <span>talk</span>, I will describe my work on exploiting model sparsity with randomized algorithms to accelerate large ML systems on current hardware with no drop in accuracy. </div><div><br></div><div>I will start by describing SLIDE, an open-source system for efficient sparse neural network training on CPUs that has been deployed by major technology companies and academic labs. SLIDE blends Locality Sensitive Hashing with multi-core parallelism and workload optimization to drastically reduce computations. SLIDE trains industry-scale recommendation models on a 44 core CPU <span>3</span>.5x faster than TensorFlow on V100 GPU with no drop in accuracy. </div><div><br></div><div>Next, I will present Pixelated Butterfly, a simple yet efficient sparse training framework on GPUs. It uses a simple static block-sparse pattern based on butterfly and low-rank matrices, taking into account GPU block-oriented efficiency. Pixelated Butterfly trains up to 2.5x faster (wall-clock) than the dense Vision Transformer and GPT-2 counterparts with no drop in accuracy. </div><div><br></div><div>I will conclude by outlining future research directions for further accelerating ML pipelines and making ML more accessible to the general community, such as software-hardware co-design, data-centric AI, and ML for scientific computing and medical imaging.</div><div><br></div><div><b>Bio: </b></div><div>Beidi Chen is a postdoctoral scholar in the CS department at Stanford University, working with Prof. Christopher Ré. Her research focuses on large-scale machine learning and deep learning. Specifically, she designs and optimizes randomized algorithms (algorithm-hardware co-design) to accelerate large machine learning systems for real-world problems. Prior to joining Stanford, she received her Ph.D. from the CS department at Rice University, advised by Prof. Anshumali Shrivastava. She received a BS in EECS from UC Berkeley. She has held internships in Microsoft Research, NVIDIA Research, and Amazon AI. Her work has won Best Paper awards at LISA and IISA. She was selected as a Rising Star in EECS by MIT and UIUC. </div><div style="color:rgb(80,0,80)"><font face="arial, sans-serif"><b><span class="gmail_default"><br></span></b></font></div><div style="color:rgb(80,0,80)"><font face="arial, sans-serif"><b>Host: <a href="mailto:mcallester@ttic.edu" target="_blank">David McAllester</a></b></font></div><br></div><div><br></div><div><br></div><div><br></div></div><div><div dir="ltr"><div dir="ltr"><div><span style="font-family:arial,helvetica,sans-serif;font-size:x-small">Mary C. Marre</span><br></div><div><div><font face="arial, helvetica, sans-serif" size="1">Faculty Administrative Support</font></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6" size="1"><b>Toyota Technological Institute</b></font></i></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6" size="1">6045 S. Kenwood Avenue</font></i></div><div><font size="1"><i><font face="arial, helvetica, sans-serif" color="#3d85c6">Chicago, IL  60637</font></i><br></font></div><div><b><i><a href="mailto:mmarre@ttic.edu" target="_blank"><font face="arial, helvetica, sans-serif" size="1">mmarre@ttic.edu</font></a></i></b></div></div></div></div></div><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Mar 22, 2022 at 5:38 PM Mary Marre <<a href="mailto:mmarre@ttic.edu" target="_blank">mmarre@ttic.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div style="font-size:small"><div style="color:rgb(80,0,80)"><font face="arial, sans-serif"><font style="color:rgb(0,0,0);vertical-align:inherit"><font style="vertical-align:inherit"><b>When:</b>    </font></font><font style="color:rgb(0,0,0);vertical-align:inherit"><font style="vertical-align:inherit">    Mon<span class="gmail_default">day, March 28th</span> at<b> <span style="background-color:rgb(255,255,0)">11:30 am CT</span></b></font></font></font></div><p style="font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;line-height:normal;color:rgb(80,0,80);margin:0px"><font face="arial, sans-serif" color="#000000"><font style="vertical-align:inherit"><font style="vertical-align:inherit"><b><span style="background-color:rgb(255,255,0)"><br></span></b></font></font></font></p><div style="color:rgb(80,0,80)"><font face="arial, sans-serif"><b>Where:       </b><font color="#500050"><span>Talk</span> will be given </font><font color="#0000ff" style="font-weight:bold"><u>live, in-person</u></font><font color="#0000ff" style="font-weight:bold"> </font><font color="#000000">at</font></font></div><p class="MsoNormal" style="margin:0in;color:rgb(80,0,80);line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif">                   <span>TTIC</span>, 6045 S. Kenwood Avenue</font></p><p class="MsoNormal" style="margin:0in;color:rgb(80,0,80);line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif">                   5th Floor, Room 530<b><span style="color:black"> </span></b></font></p><p class="MsoNormal" style="margin:0in;color:rgb(80,0,80);line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif"><b><span style="color:black"><br></span></b></font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;color:rgb(80,0,80);line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif"><font style="color:rgb(0,0,0);vertical-align:inherit"><font style="vertical-align:inherit"><b>Where:</b>       </font></font>Zoom Virtual <span>Talk</span> (<b><a href="https://uchicagogroup.zoom.us/webinar/register/WN_Ad_x3I08RUuS99gZKU8h6A" target="_blank"><font color="#0000ff">register in advance here</font></a></b>)</font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;color:rgb(80,0,80);line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif"><br></font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;color:rgb(80,0,80);line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif"><font style="vertical-align:inherit"><font style="vertical-align:inherit"><font color="#000000"><b>Who: </b> </font><font color="#500050">    </font><font color="#000000">    </font></font></font></font><span style="color:rgb(34,34,34)">Beidi Chen, Stanford University</span></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;color:rgb(80,0,80);line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><font face="arial, sans-serif"><br></font></p><p class="MsoNormal" style="margin:0in 0in 0.0001pt;color:rgb(80,0,80);line-height:normal;background-image:initial;background-position:initial;background-size:initial;background-repeat:initial;background-origin:initial;background-clip:initial"><b style="font-family:arial,sans-serif;color:rgb(34,34,34)"><br></b></p><div><b>Title:          </b>Randomized Algorithms for Efficient Machine Learning Systems</div><div><br></div><div><b>Abstract:</b></div><div>Machine learning (ML) has demonstrated great promise in scientific discovery, healthcare, and education, especially with the rise of large neural networks. However, large models trained on complex and rapidly growing data consume enormous computational resources. In this talk, I will describe my work on exploiting model sparsity with randomized algorithms to accelerate large ML systems on current hardware with no drop in accuracy. </div><div><br></div><div>I will start by describing SLIDE, an open-source system for efficient sparse neural network training on CPUs that has been deployed by major technology companies and academic labs. SLIDE blends Locality Sensitive Hashing with multi-core parallelism and workload optimization to drastically reduce computations. SLIDE trains industry-scale recommendation models on a 44 core CPU 3.5x faster than TensorFlow on V100 GPU with no drop in accuracy. </div><div><br></div><div>Next, I will present Pixelated Butterfly, a simple yet efficient sparse training framework on GPUs. It uses a simple static block-sparse pattern based on butterfly and low-rank matrices, taking into account GPU block-oriented efficiency. Pixelated Butterfly trains up to 2.5x faster (wall-clock) than the dense Vision Transformer and GPT-2 counterparts with no drop in accuracy. </div><div><br></div><div>I will conclude by outlining future research directions for further accelerating ML pipelines and making ML more accessible to the general community, such as software-hardware co-design, data-centric AI, and ML for scientific computing and medical imaging.</div><div><br></div><div><b>Bio: </b></div><div><span>Beidi</span> Chen is a postdoctoral scholar in the CS department at Stanford University, working with Prof. Christopher Ré. Her research focuses on large-scale machine learning and deep learning. Specifically, she designs and optimizes randomized algorithms (algorithm-hardware co-design) to accelerate large machine learning systems for real-world problems. Prior to joining Stanford, she received her Ph.D. from the CS department at Rice University, advised by Prof. Anshumali Shrivastava. She received a BS in EECS from UC Berkeley. She has held internships in Microsoft Research, NVIDIA Research, and Amazon AI. Her work has won Best Paper awards at LISA and IISA. She was selected as a Rising Star in EECS by MIT and UIUC. </div><div style="color:rgb(80,0,80)"><font face="arial, sans-serif"><b><span class="gmail_default"><br></span></b></font></div><div style="color:rgb(80,0,80)"><font face="arial, sans-serif"><b>Host: <a href="mailto:mcallester@ttic.edu" target="_blank">David McAllester</a></b></font></div><br></div><div style="font-size:small"><br></div><div style="font-size:small"><br></div><div><div dir="ltr"><div dir="ltr"><div><span style="font-family:arial,helvetica,sans-serif;font-size:x-small">Mary C. Marre</span><br></div><div><div><font face="arial, helvetica, sans-serif" size="1">Faculty Administrative Support</font></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6" size="1"><b>Toyota Technological Institute</b></font></i></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6" size="1">6045 S. Kenwood Avenue</font></i></div><div><font size="1"><i><font face="arial, helvetica, sans-serif" color="#3d85c6">Chicago, IL  60637</font></i><br></font></div><div><b><i><a href="mailto:mmarre@ttic.edu" target="_blank"><font face="arial, helvetica, sans-serif" size="1">mmarre@ttic.edu</font></a></i></b></div></div></div></div></div></div>
</blockquote></div></div>
</blockquote></div></div>
</blockquote></div></div>