由于微信公众号开始试行乱序推送，为了让您在第一时间获取AI新文，请将"AI新文"设为星标。
混合事项：长上下文问答中序列混合器的证据位置偏差(Mixing Matters: Evidence Position Bias Across Sequence Mixers in Long-Context Question Answering)
原标题：Mixing Matters: Evidence Position Bias Across Sequence Mixers in Long-Context Question Answering
作者：Aman Behera; Namit Solanki; Mehul Anand
期刊：arXiv每日人工精选
出版时间：2026/10/22
摘要：长上下文模型在提示边界附近出现时往往不能同样有效地利用包含答案的证据。我们将这种位置偏差通过移动一个金文档穿过一组固定的九个干扰文档，在Transformer、状态空间和混合Mamba架构之间进行比较。评估的Transformer显示出一种初始优势，而评估的状态空间模型缺乏这种优势，然而这两类模型都倾向于在末尾阶段重视证据。匹配的纯混合Mamba对比指出了相同的方向但仍具有统计不确定性。在能够完成任务的模型之间出现了家族差异。变压器主导地位在合成检索中重新出现，在这种情况下，状态空间上限阻止了家族比较。在一种状态空间架构内进行语料库交换不会导致曲线形状可检测的变化但会改变总体准确率。提示的变化可以创造或者几乎消除一个初始优势。位置在不同架构中仍然可解码即使响应曲线不同，并且注意力集中在初始标记附近与测试的Transformer家族中的起始敏感性呈共变关系。这些探索性结果表明，有效利用上下文取决于评估的架构家族、能力、任务和提示，而不会孤立地将序列混合器视为唯一原因。
原文链接
基于LLM的表格数据生成中的上下文偏见传播
原标题：In-Context Bias Propagation in LLM-Based Tabular Data Generation
作者：Pol G. Recasens; Alberto Gutierrez; Jordi Torres; Josep. Ll Berral; Javier Carnerero-Cano; Anisa Halimi; Kieran Fraser
期刊：arXiv每日人工精选
出版时间：2026/10/21
摘要：大型语言模型（LLMs）通过上下文学习（ICL）被越来越多地用于合成表格数据生成，在数据稀缺场景中提供了一种数据增强的实际解决方案。先前的研究表明，通过增强代表性不足的群体，LLM有能力改善下游任务的表现；然而，这些好处通常假设可以访问一组无偏见的上下文示例（该组示例代表真实数据集的一个子集）。然而，在现实环境中，数据经常是嘈杂的并且人口统计学上存在偏差。在本文中，我们系统地研究了上下文中统计偏差如何传播到合成表格数据，表明即使是轻微的上下文偏差也会导致全局统计扭曲。我们进一步引入了一种对抗性场景，在这种场景中，恶意贡献者可以通过上下文示例的一个子集向合成数据集中注入偏差，最终损害了针对目标和受保护的亚群体的下游分类器的公平性。最后，我们基于预处理上下文示例和指令防御评估提示侧缓解策略，证明尽管这些技术可以减轻差异，但大型语言模型对对抗性提示的内在敏感性仍然是一个持久的挑战。我们的研究结果强调了在敏感领域基于LLM的数据生成管道中的一个关键新漏洞。
原文链接
上下文中的隐私在通用大型语言模型时代被忽视
原标题：Privacy in Context Is Being Overlooked in the Age of General-Purpose LLMs
作者：Prakhar Ganesh; Yash More; Marco Romanelli; Ferdinando Fioretto; Golnoosh Farnadi
期刊：arXiv每日人工精选
出版时间：2026/10/21
摘要：随着大型语言模型(LLMs)的范围和能力不断扩大，隐私问题日益增多。由于用户在许多不同的上下文中越来越多地与一个通用系统交互，因此追求一种适用于所有情况的隐私解决方案是一种自然的趋势。不幸的是，这忽视了隐私研究数十年来的一个关键见解：隐私本质上是情境化的。在本文中，我们认为现有的提示隐私研究正逐渐转向试图设计一个统一框架的努力，这极具误导性，并且可以培养一种虚假的安全感。此外，我们认为即使未来在这方面的工作也需要解决提示隐私的各种理想属性之间的基本矛盾。因此，对于统一框架的持续尝试需要重新考虑。我们推荐三条关键路径前进：特定应用部署LLMs，特定情境评估隐私框架，以及更好的隐私素养。
原文链接
图拓扑遇见能量驱动路径查找：在检索增强生成中保持上下文一致性
原标题：Graph Topology Meets Energy-Driven Pathfinding: Preserving Contextual Consistency in Retrieval-Augmented Generation
作者：Yufeng Li; Zaijing Li; Fuchen Zhang; Zongzong Wu; Ming Zhao; Fengxiao Tang
期刊：arXiv每日人工精选
出版时间：2026/10/21
摘要：检索增强生成（RAG）经常整合知识图谱（KGs）用于复杂的多跳问答。然而，它们的性能越来越受到知识结构化和推理过程的限制。严重的语义损失：将连续文本提炼成离散符号剥离了上下文细微差别和叙事连贯性。i)(ii) 显著的模式不匹配：片段化的图结构与其预训练所用的连续文本相冲突，而在将其重写为自然语言时会引入生成噪声并遗漏信息。为了应对这些限制，我们提出ThreadRAG，一个基于语义拓扑的RAG框架，用于保持上下文的知识结构化和模态原生证据推理。ThreadRAG 引入了一个语义拓扑映射器（STM），它将检索到的文档组织成保持上下文完整的语义节点，并通过叙述性、语义性和词汇性的边构建一个语义拓扑图（STG）。它进一步结合了能量驱动寻路(EDP)，该方法通过能量扩散识别查询相关的子图，并确定性地将其线性化为连贯的文本证据路径。在三个多跳问答基准上进行的实验表明，ThreadRAG 一致地优于强大的基线模型。值得注意的是，在HotpotQA上它比以文本为中心的方法实现了14.4％的EM改进，并在2WikiMultihop上超越了最佳基线5.8％的EM，同时将标记成本降低到最强基线的23.3％。
原文链接
PRISM：用于金融检索的上下文细化系统建模
原标题：PRISM: Prompt-Refined In-Context System Modelling for Financial Retrieval
作者：Chun Chet Ng; Jia Yu Lim; Zhen Hao Chu; Yixi Zhou; Wei Zeng Low
期刊：arXiv每日人工精选
出版时间：2026/10/21
摘要：部署大型语言模型用于财务信息检索需要准确性、成本效益和可重复性，然而大多数方法要求昂贵的微调过程。PRISM 是一个无需训练的框架，它组合了三个可部署模块（提示工程，上下文学习以及候选优化模块）并结合多智能体协调的边界条件研究用于财务文档检索。在FiQA-2018上，堆叠重排序和k-互反编码使Recall@100从0.7783提高到0.8326。在FinAgentBench上，一个经过Cohere精炼的前50名池获得了更高的观察到的整体NDCG@5，低于此评估的最小可检测效应，同时将每次查询的成本减少了大约35%。增加的复杂性并不总是值得的:k-互惠编码在上游阶段已经具有高召回率时就不再有帮助，多代理协调也不是细粒度块排名的默认选项。匹配对在提示、模型和示例固定的情况下，分别损失了0.0702和0.0681的组合NDCG@5，并且整个差距出现在块阶段。我们发布了一个专家标注的FinAgentBench评估数据集，并对16种替代真实标签构造进行了鲁棒性扫描，在原始评估者下线后恢复了可重复的评估路径。无需微调，PRISM 在官方 FinAgentBench 私有排行榜（leaderboard basis，NDCG@5 0.71181）上排名第三，在 FiQA-2018 上达到 NDCG@10 0.6197，并在 FinanceBench 上达到 98% 的准确率。我们报告了大约40种配置下的每查询延迟、令牌和美元核算，展示了质量-成本-延迟帕累托前沿，并介绍了FACET，一种透明的SLA特定标量化方法，用于在非支配配置中进行选择。代码和数据集发布于https://bit.ly/prism-ailens。
原文链接
基于LLM的ASR会话音频上下文的摘要压缩
原标题：Abstract Compression of Conversational Audio Context for LLM-based ASR
作者：Shashi Kumar; Esaú Villatoro-Tello; Sergio Burdisso; Kadri Hacioglu; Thibault Bañeras-Roux; Hasindri Watawana; Dairazalia Sanchez-Cortes; Srikanth Madikeri; Petr Motlicek; Andreas Stolcke
期刊：arXiv每日人工精选
出版时间：2026/10/20
摘要：基于标准LLM的语音识别系统孤立地处理话语，限制了它们利用对话上下文的能力。在这里我们研究来自先前回合的多模态上下文是否能改善基于大语言模型的语音识别(ASR)，以及如何高效地表示该上下文。我们发现，在监督的多轮训练之后，对话上下文主要有助于识别上下文实体。然而，基于原始上下文的条件处理是昂贵的，因为前一回合的音频嵌入序列随着对话长度迅速增长。为了解决这个问题，我们提出抽象压缩，一种学习到的潜在抽象，它用固定数量的潜在标记替换每个前一回合的音频序列，同时明确保留相应的文字记录。在域内和域外测试集上，启用压缩的模型通过更小的前一回合音频足迹恢复了部分原始上下文条件化带来的收益。我们也提供了对压缩设置及其权衡的针对性分析。
原文链接
基于上下文驱动类渐进学习的多模态基础模型泛化
原标题：Generalizing Multimodal Foundational Models in Context-Driven Class Incremental Learning
作者：Avi Gupta; Nilotpal Sinha; Vishnu Raj; Sambuddha Saha; Pratik Joshi; Koteswar Rao Jerripothula; Tammam Tillo
期刊：arXiv每日人工精选
出版时间：2026/10/19
摘要：类增量学习（CIL）旨在持续学习新类别而不遗忘先前已学的类别。最近在CIL方面取得了显著进展；然而，在音视频模态的交叉领域，这个问题仍然研究不足。虽然来自多模态基础模型（MFMs）的表示包含丰富的静态先验知识，我们的初步分析表明，在增量设置中这些表示力不从心。受此启发，我们提出了一种框架，将冻结的MFMs泛化到音频-视觉CIL。具体来说，我们利用它们密集的音频和视觉表示，并采用基于注意力的上下文引导模块，在该模块中，音频表示作为任务稳定的上下文引导用于视觉表示，从而在增量设置下实现有效的类别识别。为了进一步减轻灾难性遗忘并保持任务间的稳定性，我们采用特征级和 logits 级蒸馏，它们主要负责减少遗忘。广泛的跨各种音视频CIL基准的评估表明，我们的方法始终优于最先进的方法。代码可在https://github.com/avigupta2798/MFM-CIL获得。
原文链接
FocusOVD：面向开放词汇小目标检测的几何和上下文特征优化
原标题：FocusOVD: Geometric and Contextual Feature Refinement for Open-Vocabulary Small-Object Detection
作者：Hanlin Kou; Beiqi Bai; Li Chen; Youjia Jing; Shupan Li; Mingyuan Jiu
期刊：arXiv每日人工精选
出版时间：2026/10/19
摘要：开放词汇对象检测旨在通过利用视觉-语言模型的语义知识来检测已见和未见类别。然而，现有方法由于无法充分保存高分辨率细节，跨特征层级的信息聚合无效以及区域级区分能力有限，往往难以处理小物体。为了解决这些挑战，我们提出了FocusOVD，一个开放词汇对象检测器，它在不修改冻结的VLM骨干网的情况下增强了小物体的表示。FocusOVD引入了三个互补的组件：一个重新加权跨尺度特征融合模块，该模块学习归一化的层级权重，在特征金字塔聚合过程中自适应地平衡浅层外观细节和深层语义线索；一个残差轮状门控卷积模块，该模块增强了高分辨率特征中的局部几何响应；以及一个残差卷积门控线性单元模块，在预测前抑制背景主导的激活并增强RoI区分能力。在COCO-OVD和LVIS-OVD上的大量实验展示了FocusOVD的有效性。在COCO-OVD上，FocusOVD实现了36.3%的新类别AP，分别比CORA、UniDetector和SAMP高出1.3%，1.1%和1.5%；在LVIS-OVD上，它实现了总体AP为33.7%，超过最强竞争方法0.6%这些结果展示了FocusOVD在开放词汇小物体检测中的强大泛化能力。
原文链接
有效训练长上下文视觉语言模型 超越128K上下文的泛化(Training Long-Context Vision-Language Models Effectively with Generalization Beyond 128K Context)
原标题：Training Long-Context Vision-Language Models Effectively with Generalization Beyond 128K Context
作者：Zhaowei Wang; Lishu Luo; Haodong Duan; Weiwei Liu; Sijin Wu; Ji Luo; Shen Yan; Shuai Peng; Sihang Yuan; Chaoyi Huang; Yi Lin; Yangqiu Song
期刊：arXiv每日人工精选
出版时间：2026/10/18
摘要：长上下文建模正成为现代大型视觉-语言模型（LVLMs）的核心能力，支持在理解长文档、视频分析以及长期代理中的多轮工具使用中进行持续的上下文管理。然而实际的培训食谱仍然研究不足，特别是在设计和平衡长上下文数据混合物方面。在这项工作中，我们对LVLM的长上下文持续预训练(LongPT)进行了系统研究，通过在长文档数据上进行广泛的消融实验，将一个7B模型从32K上下文扩展到128K上下文。我们首先证明了长文档VQA比OCR转录有效得多。基于这一观察，我们的消融实验进一步得出了三个关键发现：i) 对于序列长度分布，平衡数据优于目标长度集中型数据（例如，128K），表明长上下文能力需要在各种长度和位置上具有可泛化的关键信息检索；ii) 检索仍然是主要瓶颈，偏好包含适度推理数据的以检索为主的混合模型来实现任务多样性；iii) 纯长文档VQA基本上保持了短上下文的能力，表明指令格式的长数据减少了对短数据混合的需求。基于这些发现，我们引入了MMProLong，它是通过从Qwen2.5-VL-7B进行长上下文持续预训练而获得的，仅使用了50亿个token预算。MMProLong 提高了长文档 VQA 分数 7.11%，并且在超出其 128K 训练窗口的 256K 和 512K 上下文中保持了强劲的表现，而无需额外训练。它进一步推广到基于网页的多模态针检索，长上下文视觉-文本压缩以及无特定任务监督的长视频理解。我们的研究建立了实用的LongPT配方，并为进一步发展长上下文视觉-语言模型奠定了实证基础。
原文链接
PCDFusion：红外-可见光图像融合的提议-上下文-细节贝叶斯渲染
原标题：PCDFusion: Proposal-Context-Detail Bayesian Rendering for Infrared-Visible Image Fusion
作者：Rui Liu; Lin Gu; Hesong Li; Ying Fu
期刊：arXiv每日人工精选
出版时间：2026/10/16
摘要：红外可见图像融合（IVIF）旨在结合可见光和热红外观测，以供人类感知及下游视觉任务使用。可见光和热红外观测在物理上是互补的，但不可靠的方式不同。现有的深度IVIF方法主要改进了特征交互和重建，但通常缺乏一个明确的局部规则来决定何时可见外观应占主导地位以及何时热响应应作出贡献。为了解决这个问题，我们将IVIF重新表述为局部贝叶斯后验渲染，其中融合通过后验动作权重控制而不是直接模态混合。本文提出Proposal-Context-Detail融合（PCDFusion），这是一种基于可见性锚定的框架，通过三个渲染阶段实现该公式化。PCDFusion 保持潜在有用的热响应，更新曝光退化的可见区域，并将可靠的带限红外结构渲染到最终的亮度中。在公共IVIF基准上的广泛实验表明，PCDFusion改善了融合质量、目标恢复以及在挑战性光照条件下的下游检测和分割性能。代码可在https://github.com/BIT-RuiLiu/PCDFusion.git获取。
原文链接
NOCE-Net：通过嵌套序列建模学习电池运行上下文的表征学习
原标题：NOCE-Net: Representation Learning for Battery Operational Context via Nested Sequence Modelling
作者：Arnab Bhattacharjee; Wayes Tushar; Tapan Kumar Saha
期刊：arXiv每日人工精选
出版时间：2026/10/15
摘要：从电池运行历史中学习有效的表示对于预测性健康管理以及控制导向的应用是必不可少的。现有方法依赖于响应相关的工程特征或短暂的早期生命窗口，限制了其通用性，并且排除了在前瞻性设置中的应用，因为在这些设置中未来的反应是不可用的。我们提出NOCE-Net，一种深度嵌套序列模型，该模型直接从原始循环操作或遥测数据中学习控制使能表示。我们的数据管道，re-BatteryData，将异构老化数据集标准化为由绝对充放电总量定义的语义等效全等循环（FECs），使跨不同运行模式的端到端学习成为可能。NOCE-Net结合了用于周期内动态的多补丁变压器编码器和用于周期间状态演化的GRU骨干网络，在跨越超过300个运行配置文件的十个公共数据集上操作，涉及大约700个电池。在未见过的电池化学成分和使用模式的零样本评估中，NOCE-Net 在电压响应预测方面实现了13.7％MAPE，优于强大的长序列基线超过43％，同时参数少40×。形状和组件诊断表明，学习到的隐藏状态的主要演化方向在所有具有单调退化曲线的数据集上（包括零样本测试电池）与容量衰减轨迹实现了Spearman|ρ|≥0.95的相关性，这提供了证据证明这些表示编码了可转移到下游任务中的退化动力学，而不仅仅是电池响应建模。代码可在https://github.com/BeArnab96/NOCE-Net获得。
原文链接
上下文的成本：大型语言模型中输入令牌的能耗分析(Profiling the Energy Footprint of Input Tokens in Large Language Models)
原标题：The Cost of Context: Profiling the Energy Footprint of Input Tokens in Large Language Models
作者：Boris Ruf; Marcin Detyniecki
期刊：arXiv每日人工精选
出版时间：2026/10/14
摘要：快速采用检索增强生成（RAG）和长上下文大型语言模型（LLM）已经将计算负担转移到了预填充阶段——即模型在生成响应之前并行处理所有输入标记的初始阶段——然而其能源影响仍然研究不足。我们调查了硬件层面的巨大功耗峰值与系统层面研究中报告的输入代币次线性边际成本之间的矛盾。通过对Llama-3.1和Qwen-2模型在NVIDIA A100硬件上的高分辨率遥测，我们确定了O(n2)注意力复杂度克服GPU并行化的效率阈值。我们的结果量化了优化内存编排（PagedAttention）如何在三个数量级的上下文扩展中延迟这种扩展瓶颈，在112,000个令牌的情况下，与标准基线相比最多可获得高达8.9倍的能量效率优势。此外，我们描述了输入和输出令牌之间的能量差异，证明优化服务(vLLM)导致这一比例缩小(from≈850×to 750×)，因为随着上下文规模的扩大，解码效率很高；而未经优化的基础线显示出一个更小的大致恒定的差距(≈150--230×)，因为它们自身的预填充成本高昂。本研究建立了区分发动机级优化与固有模型约束的上下文缩放规律，提供了可持续部署大型语言模型的经验框架。
原文链接
BenchPreS：用于上下文感知个性化偏好选择性的持久内存LLM基准测试
原标题：BenchPreS: A Benchmark for Context-Aware Personalized Preference Selectivity of Persistent-Memory LLMs
作者：Sangyeon Yoon; Hyesoo Hong; Wonje Jeung; Yongil Kim; Wooseok Seo; Heuiyeen Yeen; Albert No; Sunkyoung Kim
期刊：arXiv每日人工精选
出版时间：2026/10/14
摘要：大型语言模型（LLMs）越来越多地将用户偏好存储在持久内存中，以支持跨交互的个性化。然而，在受社会和制度规范约束的第三方通信环境中，一些用户偏好可能不适当应用。我们介绍了BenchPreS，它评估在不同的通信情境中基于内存的用户偏好是否得到了适当的运用或抑制。使用两种互补的指标，Misapplication Rate (MR) 和 Appropriate Application Rate (AAR)，我们发现即使是前沿的大语言模型也难以在语境敏感的方式下应用偏好。偏好依从性更强的模型表现出更高的过度应用率，并且无论是推理能力还是基于提示的防御措施都无法完全解决这一问题。这些结果表明当前的大规模语言模型将个性化偏好视为可在全球范围内强制执行的规则，而不是视作依赖于上下文的规范信号。
原文链接
上下文价值信息增强的在上下文中强化学习
原标题：Context Value Informed In-Context Reinforcement Learning
作者：Wenhao Zhang; Shao Zhang; Xihuai Wang; Yang Li; Ying Wen
期刊：arXiv每日人工精选
出版时间：2026/10/14
摘要：上下文强化学习（ICRL）已成为在无需参数更新的情况下适应未见任务的测试时间有效范式。然而，现有的ICRL方法可以表现出脆弱且不稳定的适应性，并且此类适应性的内在机制仍然理解不足。我们从策略梯度的角度分析了ICRL，并认为依赖于轨迹级回报反馈在测试时间滚动有限的情况下可能导致高方差更新。受演员-评论家原则的启发，我们提出了上下文价值信息引导的ICRL（CV-ICRL），该方法赋予了在上下文中策略一个明确的上下文值：当前状态和累积交互上下文下的预期折现回报。CV-ICRL 训练一个价值头，并将其预测写回到上下文中作为价值标记，从而为方差更低的策略更新提供TD风格的回报目标。在暗室(Dark Room)、迷宫网格(Minigrid)和Procgen测试平台上的实验表明，CV-ICRL显著提高了测试时间适应的稳定性，并在各项任务和环境中实现了更高的回报。代码和数据可在https://github.com/Bluixe/CV-ICRL 获取。
原文链接
从关系特定头部到共享干预：语言模型中的上下文同步
原标题：From Relation-Specific Heads to Shared Interventions: Contextual Entrainment in Language Models
作者：Jinghan Zheng; Jiajun Shi
期刊：arXiv每日人工精选
出版时间：2026/10/13
摘要：大型语言模型依赖提示上下文来进行上下文学习，遵循格式，并适应局部证据。这种能力却也引发了稳健性的问题：模型可能在回答后续查询时重用早期上下文中无关的标记。先前的工作将这种行为识别为情境同步，并发现删除某些注意力头会降低它，认为这些头大多具有任务或关系特定性。但是这些上下文同步背后的机制是否真的在关系上是隔离的，还是关系条件下的搜索恢复了跨越关系共享的可重用组件？通过使用包含19种词汇语义亚型的事实干扰关系完成提示，我们识别出消融后会降低同步效果的注意力头，并测试由此产生的头部集合在精确关系、语义家族以及混合关系分布之间转移恢复能力的表现。同家族转移超过跨家族转移，去除全球共享头部后家庭残差减弱，并且特定亚型的搜索多次重新发现许多全局头部。清洁完成和上下文使用探测进一步表明，这种共享干预可以减少有害复制，同时保持普通关系完成和简单的在上下文中能力。我们的研究结果提供了对情境同步及其缓解的更精确的视角：有害的情境跟随不是通过寻找孤立的关系特定电路来最好地解决的，而是通过使用异质攻击提示来揭示可重复使用的干预目标，其效果受到语义关系结构的影响。
原文链接
RCStat：用于在变压器中使用相对上下文化的统计框架
原标题：RCStat: A Statistical Framework for using Relative Contextualization in Transformers
作者：Debabrata Mahapatra; Shubham Agarwal; Apoorv Saxena; Subrata Mitra
期刊：arXiv每日人工精选
出版时间：2026/10/13
摘要：识别哪些标记和激活真正影响模型预测对于大型自回归语言模型的效率和可解释性都至关重要。然而在实践中，token的重要性通常是从注意力分布中推断出来的，这些分布纠缠了上下文相关性和softmax归一化效应，掩盖了不同token和head之间的相对影响。我们提出RCStat，一个用于量化注意力机制中上下文影响的统计框架。在核心上，相对上下文化（RC）是一个随机变量，它衡量一个标记子集如何在模型的内部评分方案下对另一个标记子集贡献的程度。RCStat 可以在推理时间估计预期影响的计算效率高的界。无需重新培训。我们将RCStat应用于两个任务。对于归属，具有高预期RC的注意力头准确地识别出驱动生成的提示跨度，从而能够提供可靠的跨度级解释。对于键值缓存淘汰，基于RC的自适应阈值选择性地淘汰低影响的KV条目，在保持生成质量的同时大幅减少缓存大小。在问答、摘要和归因基准测试中，RCStat 实现了持续的改进，生成质量提高了15-40%，KV驱逐错误减少了最多36%，归因准确性提高了2-16%。这些结果表明，显式建模上下文影响提供了一种基于注意力的启发式的原理性和实用性替代方案。
原文链接
探针与跳过：自预测令牌跳过用于高效长上下文LLM推理
原标题：Probe and Skip: Self-Predictive Token Skipping for Efficient Long-Context LLM Inference
作者：Zimeng Wu; Donghao Wang; Chaozhe Jin; Jiaxin Chen; Yunhong Wang
期刊：arXiv每日人工精选
出版时间：2026/10/13
摘要：长上下文推理增强了大型语言模型（LLMs）的推理能力，但带来了显著的计算开销。基于标记的方法（例如修剪和跳过），在减少推理延迟方面显示出巨大的潜力，但仍受制于内在的结构优化不足，陈旧的选择标准以及冗余干扰，导致速度与精度之间的权衡不佳。为了解决这些问题，我们提出了一种名为自预测令牌跳过（Self-Predictive Token Skipping，SPTS）的无训练框架，用于高效的长上下文LLM推理。具体而言，为了探究跳过之前目标层的影响，我们设计了两种选择性标记跳过策略，适用于典型的结构，包括多头注意力的局部注意探测(PAP)和前向网络的低秩变换探测(LTP)。前者通过部分前向注意力计算选择信息性标记，而后者构建一个低秩代理网络来预测标记转换。此外，一个多阶段延迟修剪（MSDP）策略重新分配跳过预算，并逐步跨层移除冗余标记。广泛的实验展示了我们方法的有效性，在保持最先进的精度的同时，分别实现了高达2.46×和2.29×的预填充和端到端生成加速。源代码可在https://github.com/Wuzimeng/SPTS获取。
原文链接
RT-J：大规模预训练关系变压器以实现上下文高效预测
原标题：RT-J: Large-Scale Pretraining of Relational Transformers for Context-Efficient Predictions
作者：Rishabh Ranjan; Vignesh Kothapalli; Harshvardhan Agarwal; Charilaos Kanatsoulis; Roshan Upendra; Tom Palczewski; Carlos Guestrin; Jure Leskovec
期刊：arXiv每日人工精选
出版时间：2026/10/13
摘要：用于表格和关系数据库的基础模型在各种科学和工业领域中越来越被用于预测任务。然而，将现有模型适应未见的数据集需要数万个例子。这里我们介绍了RT-J，一个具有85M参数的关系基础模型(RFM)，即使在有数百个上下文示例或更少的情况下也能做出准确的预测。为了实现这一目标，我们首先汇集了Join，一个包含639个网络爬取数据库的大集合，其中包含6,023个大型语言模型生成的预测任务。我们使用来自一种新型轻量级随机游走检索器的上下文示例进行预训练，上下文长度最长可达8,192个数据库单元。最后，我们利用上下文调优和集成来扩大测试时间计算。在RelBench的上下文回归任务上，RT-J平均只需要10倍少的例子就能匹配具有LLM-agent或RDBLearn特征提取器以及TabICLv2或LightGBM预测器的强大特征工程管道。总体而言，我们的工作推动了关系数据上下文高效预测的前沿，并突显了现实世界语义、上下文工程以及RFMs的大规模预训练的重要性。
原文链接
层次化驾驶VQA中的跨阶段一致性：一种一致性协议和参数高效门控上下文路由
原标题：Cross-Stage Coherence in Hierarchical Driving VQA: A Consistency Protocol and Parameter-Efficient Gated Context Routing
作者：Gautam Kumar Jain; Carsten Markgraf; Julian Stähler
期刊：arXiv每日人工精选
出版时间：2026/10/13
摘要：自动驾驶中的图可视问答（GVQA）将推理组织成有序的阶段，即感知、预测和规划，在规划决策中应保持与模型自身的感知一致。我们使用两种互补机制对DriveLM-nuScenes进行了跨阶段上下文传递的比较研究。明确的变体在无需额外训练的情况下评估了三种基于提示的条件策略，这些策略应用于领域适应的40亿参数视觉语言模型（Mini-InternVL2-4B-DA-DriveLM），减少了NLI矛盾率高达42.6%，建立了强大的零样本训练基线。隐式的变体引入了门控上下文投影器，它从一个阶段提取隐藏状态向量，并在下一阶段的输入嵌入中注入归一化后的、带门控的投影。这些投影机在通用的8B视觉语言模型（InternVL3-8B-Instruct）上通过特定阶段的QLoRA适配器联合训练，同时仅更新大约0.5％的参数。隐式变体实现了规划阶段NLI矛盾显著减少34%（bootstrap 95% CIs, p < 0.05），并通过多语言NLI分类器评估，跨阶段蕴含增加了50%，以考虑混合语言输出。规划语言质量也有所提高（CIDEr +30.3%），但由于缺少驾驶领域预训练，词汇重叠度和结构一致性下降了由于这两个变体使用不同的基础模型，我们将它们作为互补案例研究呈现：显式上下文传递为表面一致性提供了一个强大的无需训练的基准，而隐式的门控投影则在规划阶段带来了显著的语义收益，表明领域适应可能是实现全方位改进的一个合理的下一个成分。
原文链接
