ICLR在2013年由深度学习巨头、图灵奖获得者 Yoshua Bengio 和 Yann LeCun 牵头举办，公认的深度学习领域国际顶级会议之一。在人工智能、统计和数据科学领域以及机器视觉、语音识别、文本理解等重要应用领域中发布了众多极其有影响力的论文。近日，ICLR 2022正在召开，会议于2022年4月29日结束。
其中，谷歌、斯坦福、浙大&阿里等机构也发表了语言模型相关的最新研究：
1.Finetuned Language Models Are Zero-Shot Learners
“我们使用与 GPT-3 相同的提示从基本语言模型报告零样本和少样本 4 结果，因为基本 LM 不适用于没有指令调整的自然指令……
论文链接：https://www.aminer.cn/pub/613586d45244ab9dcbd3a2fa/?f=wx
2.P-Adapters: Robustly Extracting Factual Information from Language Models with Diverse Prompts
“虽然我们专注于从大型语言模型中提取事实信息的任务，但 P-Adapter 可能会提供一个通用框架来适应可变输入，例如在阅读理解或对话中……”
论文链接：https://www.aminer.cn/pub/6168f19d5244ab9dcbe2fa61/?f=wx
3.Differentiable Prompt Makes Pre-trained Language Models Better Few-shot Learners
“本研究提出了一种新颖的可插拔、可扩展且高效的方法，名为Differential pRumpT，它可以将小型语言模型转换为更好的少样本学习器，而无需任何即时工程……
论文链接：https://www.aminer.cn/pub/612d9dd25244ab9dcbdfb33c/?f=wx
4.HTLM: Hyper-Text Pre-Training and Prompting of Language Models
“我们介绍了 HTLM，一种在大规模网络爬虫上训练的超文本语言模型。超文本建模有很多优点：(1) 易于大规模收集，(2) 提供丰富的文档级和最终任务相邻监督（例如，类和 id 属性通常编码……”
论文链接：https://www.aminer.cn/pub/60f160ef5244ab9dcb007cbd/?f=wx
5.Proof Artifact Co-training for Theorem Proving with Language Models
“在大型形式化数学库中用于模拟学习定理证明的标记数据很少，因为此类库需要人类专家多年的集中精力才能建立。这在应用大型 Transformer 语言模型时尤其具有挑战性……”
论文链接：https://www.aminer.cn/pub/60265fcc91e011821e023c99/?f=wx
6.Large Language Models Can Be Strong Differentially Private Learners
“差分私有 (DP) 学习在构建大型文本深度学习模型方面的成功有限，并且尝试直接将差分私有随机梯度下降 (DP-SGD) 应用于 NLP 任务导致性能大幅下降和高 ……”
论文链接：https://www.aminer.cn/pub/61664e595244ab9dcb454ffb/?f=wx
点击阅读全文，查看ICLR 2022语言模型领域全部论文！
