<div dir="ltr"><p class="MsoNormal" style="margin-bottom:0.0001pt;font-size:12.8px;line-height:normal"><font face="arial, helvetica, sans-serif">When:     <span class="gmail-m_-8835445654570712268gmail-m_-2510718269459749973gmail-m_-2700415185665105741gmail-m_7776827232588711945gmail-m_-3320638437953326758gmail-m_3990498715904616980gmail-il">Friday</span>, January 27th at noon </font></p><p class="MsoNormal" style="margin-bottom:0.0001pt;font-size:12.8px;line-height:normal"><font face="arial, helvetica, sans-serif"> </font></p><p class="MsoNormal" style="margin-bottom:0.0001pt;font-size:12.8px;line-height:normal"><font face="arial, helvetica, sans-serif">Where:    TTIC, 6045 S Kenwood Avenue, 5th Floor, Room 526</font></p><p class="MsoNormal" style="margin-bottom:0.0001pt;font-size:12.8px;line-height:normal"><font face="arial, helvetica, sans-serif"> </font></p><p class="MsoNormal" style="margin-bottom:0.0001pt;font-size:12.8px;line-height:normal"><font face="arial, helvetica, sans-serif">Who:       Liang Lu; TTIC</font></p><p class="MsoNormal" style="margin-bottom:0.0001pt;font-size:12.8px;line-height:normal"><font face="arial, helvetica, sans-serif"><br></font></p><div><font face="arial, helvetica, sans-serif"><span style="font-size:12.8px">Title:        </span><span class="gmail-m_-5864149409481567474gmail-il" style="color:rgb(0,0,0)">Small</span><span style="color:rgb(0,0,0)">-</span><span class="gmail-m_-5864149409481567474gmail-il" style="color:rgb(0,0,0)">footprint</span><span style="color:rgb(0,0,0)"> Highway Deep Neural Networks for Speech Recognition</span></font></div><div style="font-size:12.8px"><br></div><div style="font-size:12.8px"><div style="font-size:12.8px"><font face="arial, helvetica, sans-serif">Abstract: </font></div><div style="font-size:12.8px"><span style="font-size:12.8px;font-family:arial,helvetica,sans-serif;color:rgb(0,0,0)">State-of-the-art speech recognition systems typically employ neural network acoustic models. However, compared to Gaussian mixture models, deep neural network (DNN) based acoustic models often have many more model parameters, making it challenging for them to be deployed on resource-constrained platforms, such as mobile devices. In this talk, I will present the application of the recently proposed highway deep neural network (HDNN) for training <span class="gmail-m_-5864149409481567474gmail-il">small</span>-<span class="gmail-m_-5864149409481567474gmail-il">footprint</span> <wbr>acoustic models. HDNNs are a depth-gated feedforward neural network, which include two types of gate functions to facilitate the information flow through different layers. Our study demonstrates that HDNNs are more compact than regular DNNs for acoustic modeling, i.e., they can achieve comparable recognition accuracy with many fewer model parameters. Furthermore, HDNNs are more controllable than DNNs: the gate functions of an HDNN largely control the behavior of the whole network using a very <span class="gmail-m_-5864149409481567474gmail-il">small </span>number of model parameters. Finally, HDNNs are more adaptable than DNNs. For example, simply updating the gate functions using the adaptation data can result in considerable gains in accuracy. Teacher-student training will also be studied in this context. I will</span><span style="font-size:12.8px;font-family:arial,helvetica,sans-serif;color:rgb(0,0,0)"> demonstrate these aspects by experiments using the publicly available </span><font color="#000000" style="font-size:12.8px;font-family:arial,helvetica,sans-serif">medium-size </font><span style="font-size:12.8px;font-family:arial,helvetica,sans-serif;color:rgb(0,0,0)">AMI corpus, which has around 80 hours of training data (~28 million data points).</span><br></div></div><div style="font-size:12.8px"><br></div><div style="font-size:12.8px"><br></div><div style="font-size:12.8px"><div style="font-size:12.8px">******************************<wbr>******************************<wbr>******************************<wbr>**********************</div><div style="font-size:12.8px"><br></div><div style="font-size:12.8px"><div class="gmail_default" style="font-size:12.8px"><b><font face="arial, helvetica, sans-serif">Research at TTIC Seminar Series</font></b></div><div class="gmail_default" style="font-size:12.8px"><font face="arial, helvetica, sans-serif"> </font></div><div class="gmail_default" style="font-size:12.8px"><font face="arial, helvetica, sans-serif">TTIC is hosting a weekly seminar series presenting the research currently underway at the Institute. Every week a different TTIC faculty member will present their research.  The lectures are intended both for students seeking research topics and adviser, and for the general TTIC and University of Chicago communities interested in hearing what their colleagues are up to.   </font></div><div class="gmail_default" style="font-size:12.8px"><font face="arial, helvetica, sans-serif"> </font></div><div class="gmail_default" style="font-size:12.8px"><font face="arial, helvetica, sans-serif">To receive announcements about the seminar series, please subscribe to the mailing list: <a href="https://groups.google.com/a/ttic.edu/group/talks/subscribe" target="_blank">https://groups.google.co<wbr>m/a/ttic.edu/group/<span class="gmail-m_-6544832015911959341gmail-m_-2510718269459749973gmail-m_-2700415185665105741gmail-m_7776827232588711945gmail-m_-3320638437953326758gmail-m_3990498715904616980gmail-m_-8247393949946928606gmail-m_-8480526344443392316gmail-m_-1056553444316568634gmail-m_593248408351034154gmail-m_8873931552348078312gmail-m_-3900280345830708483gmail-m_2412953322955092339gmail-m_-3568727914368024249gmail-m_-7538648194147727859gmail-il"><span class="gmail-m_-6544832015911959341gmail-m_-2510718269459749973gmail-m_-2700415185665105741gmail-m_7776827232588711945gmail-m_-3320638437953326758gmail-m_3990498715904616980gmail-m_-8247393949946928606gmail-m_-8480526344443392316gmail-m_-1056553444316568634gmail-m_593248408351034154gmail-m_8873931552348078312gmail-m_-3900280345830708483gmail-m_2412953322955092339gmail-m_-3568727914368024249gmail-il"><span class="gmail-m_-6544832015911959341gmail-m_-2510718269459749973gmail-m_-2700415185665105741gmail-m_7776827232588711945gmail-m_-3320638437953326758gmail-m_3990498715904616980gmail-il">talks</span></span></span>/subsc<wbr>ribe</a></font></div><div class="gmail_default" style="font-size:12.8px"><font face="arial, helvetica, sans-serif"><br></font></div><div class="gmail_default" style="font-size:12.8px"><font face="arial, helvetica, sans-serif">Speaker details can be found at: <a href="http://www.ttic.edu/tticseminar.php" target="_blank">http://www.ttic.edu/tticse<wbr>minar.php</a>.</font></div><div class="gmail_default" style="font-size:12.8px"><font face="arial, helvetica, sans-serif"> </font></div><div class="gmail_default" style="font-size:12.8px"><font face="arial, helvetica, sans-serif">For additional questions, please contact Nathan Srebro at <a href="mailto:mcallester@ttic.edu" target="_blank">nati@ttic.edu</a> </font></div><div><font face="arial, helvetica, sans-serif"><br></font></div></div></div><div style="font-size:12.8px"><br></div><div style="font-size:12.8px">    </div><div><br></div><div><div class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><font face="arial, helvetica, sans-serif">Mary C. Marre</font><div><font face="arial, helvetica, sans-serif">Administrative Assistant</font></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6"><b>Toyota Technological Institute</b></font></i></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6">6045 S. Kenwood Avenue</font></i></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6">Room 504</font></i></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6">Chicago, IL  60637</font></i></div><div><i><font face="arial, helvetica, sans-serif">p:(773) 834-1757</font></i></div><div><i><font face="arial, helvetica, sans-serif">f: (773) 357-6970</font></i></div><div><b><i><a href="mailto:mmarre@ttic.edu" target="_blank"><font face="arial, helvetica, sans-serif">mmarre@ttic.edu</font></a></i></b></div></div></div></div></div></div></div></div></div></div>
</div>