LLM与搜索引擎服务：结合的创新与实践- 大数跨境

首页

LLM与搜索引擎服务：结合的创新与实践

AMiner AI

2024-07-09

导读：快速了解大模型科研动态！

想把握最新的科技进展和研究成果，却发现自己的阅读速度根本赶不上文献产出的速度？

别担心，AMiner AI会帮助你高效检索和阅读文献！

AMiner AI，一款集发现论文、分析论文、理解论文、写作论文于一体的科研小助手。它会帮助你更加游刃有余地穿梭在学术海洋中，让科研变得更加有趣和高效！

大模型(LLM)是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大，包含数十亿的参数，帮助它们学习语言数据中的复杂模式。这些模型通常基于深度学习架构，如转化器，这有助于它们在各种NLP任务上取得令人印象深刻的表现。

2022年底，OpenAI 推出的基于 GPT-3.5 的大型语言模型 ChatGPT，由于其优秀的表现，ChatGPT 及其背后的大型语言模型迅速成为人工智能领域的热门话题，吸引了广大科研人员和开发者的关注和参与。

今日精选了5篇LLM领域的优秀论文，为了方便大家阅读，只列出了论文标题、AMiner AI综述等信息，如果感兴趣可扫码查看原文，PC端数据同步（收藏即可在PC端查看），每日新论文也可登录小程序查看。

1.LLM-Select: Feature Selection with Large Language Models✦

✦

本文展示了一个大型语言模型（LLM）的惊人能力：仅凭输入特征名称和预测任务的描述，它们就能够选择最具有预测性的特征，其性能可与数据科学的常用工具相媲美。值得注意的是，这些模型在不同查询机制下都表现出这种能力。例如，我们可以零样本提示LLM为某个特征（如“血压”）在预测感兴趣的 outcomes（如“心力衰竭”）输出一个数值重要性分数，无需额外上下文。特别是，我们发现最新的模型，如GPT-4，可以一致地识别最具有预测性的特征，无论查询机制如何，还是 prompting策略如何。我们通过在现实世界数据上的大量实验来证明这些发现，实验结果表明，基于LLM的特征选择始终能够实现强大的性能，可与数据驱动方法如LASSO相媲美，尽管从未查看过下游训练数据。我们的发现表明，LLM可能不仅适用于选择最佳特征进行训练，还可能用于决定首先收集哪些特征。这可能会 potentially benefit practitioners in domains like healthcare，因为高质量的数据显示成本很高。

链接：https://www.aminer.cn/pub/668601cc01d2a3fbfcd352ff/?f=wx阅读原文

2.SOS! Soft Prompt Attack Against Open-Source Large Language Models ✦✦

✦✦

这篇论文探讨了开源大型语言模型（LLM）的安全性问题。由于这些模型可以被定制、微调和免费使用，它们在公众和工业界越来越受欢迎。然而，一些开源LLM在使用前需要批准，这导致第三方发布了它们容易获取的版本。此外，第三方还发布了这些LLM的微调或量化变体。这些版本因易于获取和计算资源需求较低而受到用户的青睐。这种趋势增加了训练时间攻击的风险，从而破坏了LLM的完整性和安全性。本文提出了一种新的训练时间攻击方法SOS，它具有较低的计算需求，不需要干净的数据或修改模型权重，从而保持模型的实用性。该攻击适用于各种场景，包括后门攻击、越狱攻击和提示窃取攻击。实验结果表明，所提出的攻击在对所有评估目标的有效性方面均取得了成功。此外，我们还介绍了SOS技术的另一面，即版权令牌——一种新颖的技术，使用户能够标记他们的版权内容，并防止模型使用它。

链接：https://www.aminer.cn/pub/668601d101d2a3fbfcd35b8f/?f=wx阅读原文

3.Meta Large Language Model Compiler: Foundation Models of Compiler Optimization✦✦

本文介绍了一种名为Meta大型语言模型编译器（LLM编译器）的新型模型，该模型专门为代码优化任务而设计，基于Code Llama模型构建，并增强了编译器中间表示（IRs）、汇编语言和优化技术的理解。该模型经过大规模的LLVM-IR和汇编代码语料库训练，并通过指令微调来解释编译器行为。LLM编译器发布时采用定制商业许可，允许广泛重复使用，并提供两种尺寸版本：70亿和130亿参数。文中还展示了微调后的模型版本，在优化代码大小和将x86_64和ARM汇编代码反汇编回LLVM-IR方面表现出增强的能力。这些成果为实现可扩展、成本效益高的基础，为学术界和行业从业者在编译器优化领域的研究与发展提供了新的可能性。

链接：https://www.aminer.cn/pub/668601cc01d2a3fbfcd3525a/?f=wx阅读原文

4.Commonsense Reasoning for Legged Robot Adaptation with Vision-Language Models✦✦✦

本文研究了如何利用视觉语言模型（VLMs）对世界结构的认识和常识推理能力，帮助四足机器人处理困难、不明确的情况。提出了一个名为VLM-预测控制（VLM-PC）的系统，结合了两个关键组件，对于激发VLMs的即时、适应性行为选择至关重要：（1）在上下文中对先前机器人交互进行适应（2）规划多个技能到未来并进行重新规划。在Go1四足机器人上对几个具有死胡同和攀爬和爬行挑战的真实世界障碍课程进行了VLM-PC评估。实验表明，通过推理交互历史和未来计划，VLMs使机器人能够自主感知、导航和在不需要环境特定工程或人类指导的情况下，处理各种复杂场景。

链接：https://www.aminer.cn/pub/668601cc01d2a3fbfcd352e7/?f=wx阅读原文

5.When Search Engine Services meet Large Language Models: Visions and Challenges ✦

✦✦✦

论文深入探讨了将大型语言模型（LLM）与搜索引擎服务相结合的可能性及其面临的挑战。这一结合为信息搜索、内容理解和互联网服务互动带来了新的可能性。文章主要关注两个领域：一是利用搜索引擎改进LLM（Search4LLM），二是使用LLM增强搜索引擎功能（LLM4Search）。对于Search4LLM，文章研究了搜索引擎如何为LLM提供多样化的高质量数据集进行预训练，如何利用最相关的文档帮助LLM更准确地回答查询，如何通过学习排序（LTR）任务增强LLM的响应精确度，以及如何通过整合最新搜索结果使LLM生成的内容更加准确和时效。在LLM4Search方面，文章探讨了LLM如何用于内容摘要以更好地被搜索引擎索引，通过优化改进查询结果，通过分析文档相关性提高搜索结果的排名，以及在各种学习环境中帮助标注数据以进行排序学习任务。然而，这种有前景的整合也带来了挑战，包括在训练模型中解决潜在偏见和伦理问题，管理将LLM纳入搜索服务中的计算和其他成本，以及持续更新LLM培训以适应不断变化的网络内容。文章讨论了这些挑战，并规划了需要研究的方向来解决它们。同时，文章还讨论了对服务计算更广泛的影响，如可扩展性、隐私担忧以及对这些先进模型适应搜索引擎架构的需要。