本周精选了10篇NLP领域的优秀论文，来自浙大、哈工大、UIUC、UCSB、剑桥、谷歌等机构。
为了更方便地阅读，只整理了论文标题、作者、链接等，如果感兴趣可扫码查看原文，PC端数据同步，每日新论文也可登录小程序查看。
1. FETA: A Benchmark for Few-Sample Task Transfer in Open-Domain Dialogue 论文详情页
作者：Alon Albalak,Yi-Lin Tuan,Pegah Jandaghi,Connor Pryor,Luke Yoffe,Deepak Ramachandran,Lise Getoor,Jay Pujara,William Yang Wang
AI华同学综述（大模型驱动）：开放领域对话中的任务转换本文探讨了在开放领域中进行对话任务的转换。我们使用三个最受欢迎的语言模型和三个学习算法来分析来自132个目标任务对之间的转换能力。
2. Generative Knowledge Graph Construction: A Review 论文详情页
作者：Hongbin Ye,Ningyu Zhang,Hui Chen,Huajun Chen
AI华同学综述（大模型驱动）：生成知识图构造(KGC)是指利用连贯的序列到顺序框架构建知识图的方法。在本文中,我们简要概述了近年来生成素质图的积极进展。我们展示了每个范畴的特点和弱点,并提供理论洞察和经验分析。基于审查,我们提出了未来有希望的研究方向。
3. Inducer-tuning: Connecting Prefix-tuning and Adapter-tuning 论文详情页
作者：Yifan Chen,Devamanyu Hazarika,Mahdi Namazifar,Yang Liu,Di Jin,Dilek Hakkani-Tur
AI华同学综述（大模型驱动）：词性标注扩展可以显著降低标记规范化和粗略化训练之间的性能差距。在本文中,我们提出了一种新的扩展方法,该方法结合了标准的扩展算法。我们假设,作为输入参数的“诱导变量”的改善,标记规则化将提高整体机制。从核方法的角度,我们建议一种新的标记扩展——词性{诱导变化}的变体,该变体结合了作为输入标记的保留形式。通过深入研究自然语言理解和生成任务的实验,我们证明了诱导扩展能够打破标记和粗标记训练之间的 performance差异。通过对自然语言感知和生成的任务进行全面的实证研究,我们表明,通过诱导规范化可以缩小标记标记与粗略标记培训之间的性能差异。
4. Pre-training Language Models with Deterministic Factual Knowledge 论文详情页
作者：Shaobo Li,Xiaoguang Li,Lifeng Shang,Chengjie Sun,Bingquan Liu,Zhenzhou Ji,Xin Jiang,Qun Liu
AI华同学综述（大模型驱动）：之前的工作表明,能够捕捉事实的语言模型(PLM)。然而,一些分析表明,PLM无法很好地执行这一点,例如在提取事实时对提示的反应。为了克服这个问题,我们建议让PLM学习剩余的上下文和隐藏的内容的确定性关系。确定性的关系确保了隐藏的隐藏内容可以根据上下文中现有的线索推断确定地推断。这使得PLM能够捕获事实知识的更稳定的模式。
5. The Architectural Bottleneck Principle 论文详情页
作者：Tiago Pimentel,Josef Valvoda,Niklas Stoehr,Ryan Cotterell
AI华同学综述（大模型驱动）：在本文中,我们试图测量神经网络中一个组件所能从其表示中提取的多少信息。我们的工作与之前的试图工作相反,大多数这些工作研究了模型的表示量。这项工作提出了一种新的试图原则,即建筑瓶颈原则:为了计算给定组件可以提取多少信息,试图器应该看起来像组件。基于这种原则,我们估计了向变换器提供多少句法信息。
6. BERT for Long Documents: A Case Study of Automated ICD Coding 论文详情页
作者：Arash Afkanpour,Shabir Adeel,Hansenclever Bassani,Arkady Epshteyn,Hongbo Fan,Isaac Jones,Mahan Malihi,Adrian Nauth,Raj Sinha,Sanjana Woonna,Shiva Zamani,Elli Kanal,Mikhail Fomitchev,Donny Cheung
AI华同学综述（大模型驱动）：基于标准字符串的转换模型在许多NLP问题中取得了巨大的成功。然而,以前的ICD编码系统研究得出结论,这些模型无法优于以前的基线,如美国有线电视新闻网的模型。在本文中,我们挑战了这一结论。我们提出了一种简单的和可扩展的方法,用于处理长文,与现有的转ادار模型如BERT这样的转换器进行对齐。我们表明,这种方法将ICD标记的最新结果大幅提高。
7. A Close Look into the Calibration of Pre-trained Language Models 论文详情页
作者：Yangyi Chen,Lifan Yuan,Ganqu Cui,Zhiyuan Liu,Heng Ji
AI华同学综述（大模型驱动）：我们研究了词汇语法模型的校准性能。我们考虑了数据集难度、可供训练样本、训练步骤、可能的任意参数、模型大小和培训。在实验中,我们观察了六个因素的不断变化,这些因素在六个方面都具有一致的差异。我们发现,PLMs在训练中不会学习成为校准的,证明了风险预测的不断增长。
8. HERB: Measuring Hierarchical Regional Bias in Pre-trained Language Models 论文详情页
作者：Yizhi Li,Ge Zhang,Bohao Yang,Chenghua Lin,Shi Wang,Anton Ragni,Jie Fu
AI华同学综述（大模型驱动）：评估语言模型的局部偏好,我们提出了一种基于层次层次偏好评估方法(HERB)的评估方法,该方法利用来自子地区聚类的信息来衡量语言模型在预处理的LMs的偏好。实验表明,我们的层次偏差度量可以有效地评估局部失真,并衡量潜在的局局偏好传播到下流任务。我们表明,该度量能够有效地衡量总体偏好对整体主题的贡献,并测量潜力局部有偏好的传播可能性。
9. Natural Language Inference Prompts for Zero-shot Emotion Classification in Text across Corpora 论文详情页
作者：Flor Miriam Plaza-del-Arco,María-Teresa Martín-Valdivia,Roman Klinger
AI华同学综述（大模型驱动）：文本情感分类的自然语言推理模型本文分析了情感分类器在考虑的语料库中如何对应随机变化的敏感性。建议的启发式方法是使用无监督学习范式作为自然语言线索,而不是无监督的监督学习。我们展示了如何选择某个启发式的最好启发,并表明这种挑战可以成功地解决。
10. Generating Training Data with Language Models: Towards Zero-Shot Language Understanding 论文详情页
作者：Yu Meng,Jiaxin Huang,Yu Zhang,Jiawei Han
AI华同学综述（大模型驱动）：我们提出了一种简单有效的自然语言处理任务无射图学习方法。我们的方法使用两种不同类型的PLMs来实现无射精确学习: unidirectional和双向PLM。我们证明了该方法在七项评估任务中都优于零射训练方法。
— end —
本文编辑志愿者：程煜晴
新疆大学软件工程专业大四学生，主要研究兴趣为自然语言处理、知识图谱、数据挖掘等，现推免至中央音乐学院音乐人工智能与音乐信息科技系。
如果想要获取更多NLP的内容，欢迎使用AMiner订阅推荐系统。
输入“Natural Language Processing”，即可获得与NLP相关的推荐内容，快去试试吧！
【NLP论文交流】微信社群邀你加入！
请必备注加群，发送关键词NLP哦~
点击阅读原文，直达AMinerRec系统
快来定制你的科研动态吧！
