<div dir="ltr">Hi all — please join us <b>tomorrow at 12:30pm</b> for another theory lunch! Details below:<div><br></div><div>*****</div><div><div><b>Date: </b>February 28, 2024</div><div><b>Time: </b>12:30 CT</div><div><b>Location: </b>JCL 390</div><div><br></div><div><b>Title: </b>Deep Learning meets SDP Rounding: Improved Training of Binary Neural Networks</div><div><br></div><div><b>Speaker: </b>Lorenzo Orecchia (UChicago)</div><div><br></div><div><b>Abstract:</b> Binary Neural Networks (BNNs) are neural networks whose weights and activations are restricted to be binary, i.e., {+1,-1}. BNNs promise to greatly improve the deployability of deep learning by requiring simpler hardware and consuming much less energy, while achieving comparable performance to general floating-point neural networks. While much effort has been devoted to design and optimize BNN network architectures, less effort has been devoted to the crucial problem of training BNNs. This problem adds to the non-convexity of neural network training the additional challenge of a combinatorial space of solutions. We attack this problem by leveraging a natural non-convex SDP formulation and design efficient heuristics for minimizing it via a gradient flow over an appropriately chosen manifold. Surprisingly, in our experiments, this theoretical approach immediately yields results that improve on the state-of-the-art for BNN training.</div></div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"></div></div></div></div></div>