1. Instruction Tuning with GPT-4 查看论文作者：Baolin Peng,Chunyuan Li, Pengcheng He,Michel Galley,Jianfeng GaoAI华同学综述（大模型驱动）：先前的工作表明,使用机器生成的随机指令驱动程序进行大型语言模型建模可以实现令人惊叹的零射能力。在本文中,我们首次试图用GPT4生成用于建模大型语言模型的指导数据。我们的早期实验证明了这些模型比以前最先进的基线模型产生更高的精确误差性能。我们还从GPT 4收集了评价和比较数据,以便实现全面评估和奖励模型训练。链接：https://www.aminer.cn/pub/642f85f1fe260a0994c4c8712. SegGPT: Segmenting Everything In Context 查看论文作者：Xinlong Wang,Xiaosong Zhang,Yue Cao,Wen Wang,Chunhua Shen,Tiejun HuangAI华同学综述（大模型驱动）：SegGPT是一个集上下文无关学习框架的通用模型。我们将各种分词任务统一为一个通用的上下文解析框架,并将它们转换成相同的图像格式。分词训练被模拟为每个数据样本中随机彩色建模问题,每个样本都有单个或多个分词步骤。我们的结果表明,该框架在域内和领域外具有强有力的优势,无论是质量上还是量化上。链接：https://www.aminer.cn/pub/642fb00cfe260a0994c4c9893. CodeGeeX: A Pre-Trained Model for Code Generation with Multilingual Evaluations on HumanEval-X 查看论文作者：Qinkai Zheng,Xiao Xia,Xu Zou,Yuxiao Dong,Shan Wang,Yufei Xue,Zihan Wang,Lei Shen,Andi Wang,Yang Li,Teng Su,Zhilin Yang,Jie TangAI华同学综述（大模型驱动）：我们介绍了可用于编码的大型语法和函数字符串模型。该模型已在23个语言上进行训练,并在人类评估中优于类似大小的平行语料库编码模型。我们的广泛的研究表明,可用于编码的大型语法和函数字符串模型优于类似大小的平行语料库编码模型。链接：https://www.aminer.cn/pub/64264f7b90e50fcafd68e1454. A Survey of Large Language Models 查看论文 作者：Wayne Xin Zhao...Peiyu Liu,Jian-Yun Nie大牛学者,Ji-Rong WenAI华同学综述（大模型驱动）： 语言建模近年来受到了广泛的研究。作为一种主要方法,语言建模在过去两个世纪中受到了广泛的研究。最近,人们开发了用于大规模语料库的大规模语言模型。这些模型不仅可以显著提高性能,而且可以展示出一些具有特殊能力的特性。为了区分标准级别之间的差异,研究社区已经用大型语言模型(LLM)的代价标记了一个术语。链接：https://www.aminer.cn/pub/642a43bc90e50fcafd9b15555. Scaling Down to Scale Up: A Guide to Parameter-Efficient Fine-Tuning 查看论文 作者：Vladislav Lialin,Vijeta Deshpande,Anna RumshiskyAI华同学综述（大模型驱动）：本文系统概述和比较了参数有效优化方法,涉及2019年2月至2022年2月的40多篇论文。这些方法旨在通过仅训练一小部分参数来解决大型语言模型的复杂性和合理性。我们提供了一种分类,涵盖了多种方法的广泛范围,并提出了一种详细的方法对比,重点是实际寿命和精确调整数十亿级语言模型。链接：https://www.aminer.cn/pub/6423ac7790e50fcafd55eaa06. HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in HuggingFace 查看论文 作者：Yongliang Shen,Kaitao Song,Xu Tan,Dongsheng Li,Weiming Lu,Yueting ZhuangAI华同学综述（大模型驱动）：HuggingGPT是一个系统,用于整合机器学习社区中各种模块和领域中的人工智能模型。该系统使用ChatGPT来执行任务规划,并根据其可用功能描述选择模型,执行每个子任务。通过利用HuggingFace的强大语言能力,HuggingGPT能够覆盖许多复杂的AI任务,取得了令人印象深刻的结果。链接：https://www.aminer.cn/pub/64264f7b90e50fcafd68e1627. BloombergGPT: A Large Language Model for Finance 查看论文作者：Shijie Wu,Ozan Irsoy,Steven Lu,Vadim Dabravolski,Mark Dredze, Sebastian Gehrmann,Prabhanjan Kambadur,David Rosenberg,Gideon MannAI华同学综述（大模型驱动）：BloombergGPT是一个50亿个参数语言模型,在覆盖范围广泛的财务数据上进行训练。我们构建了一个363亿美元的标记数据集,可能是该领域的最大实体特定数据集,加上345亿美元从一般purpose数据库中提取的数据。我们在标准的LM基准、开放式银行基准和一系列内部基准上进行了评估,以确保我们的模型优于现有的LM基准。此外,我们解释了我们的建模选择、训练过程和评价方法。链接：https://www.aminer.cn/pub/64267642158fc30f5977f3548. Training Language Models with Language Feedback at Scale 查看论文作者：Jérémy Scheurer,Jon Ander Campos,Tomasz Korbak,Jun Shern Chan,Angelica Chen,Kyunghyun Cho,Ethan PerezAI华同学综述（大模型驱动）：我们描述了从语言和比较反馈中学习 Imitation学习。这项研究表明,对于一个有监督的玩具任务,与人类判断的相关性最好,而对人类总结的贡献也比单独的反馈提高。我们展示了如何将ILF应用于一个精心控制的游戏任务和真实的摘要任务。我们的实验证实,大型语言模型准确地结合了反馈,并且对标记大小和数据集大小都优于仅使用一小部分手动注释的人工注释。链接：https://www.aminer.cn/pub/6424fe3490e50fcafd78b7ee9. LLaMA-Adapter: Efficient Fine-tuning of Language Models with Zero-init Attention 查看论文作者：Renrui Zhang,Jiaming Han,Aojun Zhou,Xiangfei Hu,Shilin Yan,Pan Lu,Hongsheng Li,Peng Gao,Yu QiaoAI华同学综述（大模型驱动）：本文介绍了一种名为LLaMA-Adapter的轻量级自适应方法，用于高效地微调Language Models，使其成为一种按照指令进行操作的模型。通过使用大约52K个自我指导演示，LLaMA-Adapter仅在LLaMA 7B模型的冻结状态下引入了1.2M可学习参数，并且在8个A100 GPU上的微调耗时不到一个小时。具体来说，作者采用了一组可学习的自适应提示，并将它们作为输入文本令牌附加到更高的Transformer层中。然后，提出了一种名为“零启动”的注意力机制，该机制具有零门控能力，可以自适应地将新的指令提示注入LLaMA中，同时有效地保留它的预训练知识。通过高效的训练，LLaMA-Adapter可以生成高质量的响应，与全面微调的7B参数的Alpaca相当。此外，本文的方法可以简单地扩展到多模态输入，例如图像，并用于基于图像的LLaMA上，在ScienceQA上实现了出色的推理能力。作者已将代码发布在https://github.com/ZrrSkywalker/LLaMA-Adapter上。链接：https://www.aminer.cn/pub/6423ac7890e50fcafd55f26b10. ChatGPT Outperforms Crowd-Workers for Text-Annotation Tasks 查看论文作者：Fabrizio Gilardi,Meysam Alizadeh,Maël KubliAI华同学综述（大模型驱动）：我们证明了聊天数据提取器优于众包工作者。ChatGPT在几个注释任务中都优于众包工作者。特别是,其无射击精度为四分之一的五个标记任务超过了众包工人的零射击精度。此外,该语料库的每标记价格比MTurk便宜两倍。这些结果表明,大型语言模型的潜力可以将大幅提高文本分类器的效率。链接：https://www.aminer.cn/pub/64225b7d90e50fcafde14d48
AMiner AI