<div dir="ltr"><div class="gmail_default" style="font-size:small"><div><b>When</b>:     Monday, June 10th from <span style="background-color:rgb(255,255,0)"><b>12 </b><b>- 2 pm CT</b></span></div><div><b><br></b></div><div><b>Virtually</b>: via <a href=" https://uchicago.zoom.us/j/98062714782?pwd=UFU2b1I2SkY1ZUZYWlFCaEFjN3Zvdz09" target="_blank"><b>Zoom</b></a> <br></div><div><br><b>Who</b>:       Lingyu Gao, TTIC</div><div><br></div><div><div class="MsoNormal" align="center" style="margin:0in 0in 8pt;text-align:center;line-height:15.6933px;font-size:11pt;font-family:Calibri,sans-serif"><hr size="2" width="100%" align="center"></div></div><div><b>Title:</b> Harnessing the Intrinsic Knowledge of Pretrained Language Models for Challenging Text Classification Settings<br><br><b>Abstract: </b>Text classification is essential for applications such as sentiment analysis and toxic text filtering, yet it faces challenges due to the complexity and ambiguity of natural language. Recent advancements in deep learning, particularly transformer architectures and large-scale pretraining, have significantly improved performance in NLP tasks, including zero-shot scenarios without available training data. In this thesis, we explore three challenging settings in text classification, leveraging the intrinsic knowledge of pretrained language models (PLMs). Firstly, to address the challenge of selecting misleading yet incorrect distractors for cloze questions, we develop models that utilize features designed with contextualized word representations derived from PLMs, achieving performance that rivals or surpasses human accuracy. Secondly, to improve generalization to unseen labels, we create small finetuning datasets with domain-independent task label descriptions, enhancing model performance and robustness. Lastly, we tackle the sensitivity of PLMs to in-context learning prompts by selecting effective demonstrations, focusing on misclassified examples and resolving model ambiguity about test example labels.<div><br><b><span class="gmail-il">Thesis</span> Committee: </b><b><a href="mailto:kgimpel@ttic.edu" target="_blank">Kevin Gimpel</a> </b>(<font face="georgia, serif"><span class="gmail-il">Thesis</span> Advisor</font>), Karen Livescu,<b> </b>Debanjan Ghosh.</div></div><div><br></div><div><br></div><div><br></div><div><br></div><div><br></div></div><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><span style="font-family:arial,helvetica,sans-serif;font-size:x-small">Mary C. Marre</span><br></div><div><div><font face="arial, helvetica, sans-serif" size="1">Faculty Administrative Support</font></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6" size="1"><b>Toyota Technological Institute</b></font></i></div><div><i><font face="arial, helvetica, sans-serif" color="#3d85c6" size="1">6045 S. Kenwood Avenue, Rm 517</font></i></div><div><font size="1"><i><font face="arial, helvetica, sans-serif" color="#3d85c6">Chicago, IL  60637</font></i><br></font></div><div><font size="1"><i><font face="arial, helvetica, sans-serif" color="#3d85c6">773-834-1757</font></i></font></div><div><b><i><a href="mailto:mmarre@ttic.edu" target="_blank"><font face="arial, helvetica, sans-serif" size="1">mmarre@ttic.edu</font></a></i></b></div></div></div></div></div></div>