2026 年 10 月 24 日至 29 日,EMNLP 2026 在匈牙利布达佩斯举行。作为自然语言处理(NLP)领域的国际顶级学术会议之一,EMNLP 一直是观察学界和产业界研究动态的重要窗口。每到这样的学术会议,我都会特别关注国内外大厂的研究团队最近在做些什么。
我一直有一个假设:论文往往是大厂研究投入和技术探索在公开学术领域的一种外溢。 虽然不能代表一家公司的全部技术方向,但通过这些论文,我们至少能看到研究团队正在关注哪些问题、尝试哪些技术路线。
这次从 EMNLP 2026 中选了 8 篇我觉得值得读一读的论文,研究团队来自阿里巴巴 Qwen、腾讯、字节跳动、Google、Amazon、蚂蚁集团、NVIDIA、Ai2 等机构及其高校合作者。
关于 Liz: 前🐧算法工程师,野生全栈,热爱build,技术E人。专注于将前沿技术落地为真实可用的产品,也喜欢把抽象复杂的技术讲得通俗有趣。欢迎留言交流=D
01
Agent Skills 与 Harness
Trace2Skill:从成功与失败轨迹中提炼 Skill
阿里巴巴 Qwen 团队与苏黎世联邦理工、北京大学、浙江大学等高校合作
现在不少 Agent 都支持 Skill,但这些操作指南和经验文件主要还是依靠人工编写和维护。如果让 Agent 根据执行结果自动修改 Skill,一个直接的办法是每完成一次任务就更新规则。不过,这种逐条更新的方式容易受到个别任务影响,刚修复一个问题,又可能引入新的问题。
Trace2Skill 改为先收集一批成功和失败的执行轨迹,再让多个分析 Agent 并行提取成功经验、诊断错误,最后通过分层整合生成统一的 Skill。这个思路有点像模型训练时使用包含正负样本的 Batch,而不是根据单个样本不断调整。不过,它修改的是外部 Skill 文件,并不更新模型参数。
实验比较了仅使用成功轨迹、仅使用失败轨迹,以及两者结合的不同策略。结果发现,失败轨迹通常能提供更稳定的改进信号,而结合成功与失败经验在部分任务中效果更好。研究者还测试了 Skill 的跨模型迁移能力,发现从 Qwen3.5-35B 执行轨迹中提炼出的 Skill,也可以帮助更大的 Qwen3.5-122B 模型改善任务表现。这表明,执行轨迹中积累的经验可以被整理成可复用的操作规则,并在一定条件下迁移到其他模型,而不需要更新模型参数。
Harness Updating:修改 Agent Harness,需要多强的模型?
Amazon 与宾夕法尼亚州立大学、加州大学圣克鲁兹分校等高校合作
Agent 的 Prompt、Skill、Memory 和工具配置等,可以组成一个可修改的外部运行环境,即 Harness。这篇论文将 Harness 的自动改进拆成两个角色:Evolver 根据执行反馈修改 Harness,Solver 使用更新后的 Harness 执行任务。研究者让不同能力的模型交叉担任这两个角色,考察模型能力对 Harness 修改效果和实际使用收益的影响。
实验发现,两种能力的表现并不一致。当固定三个 Solver、只更换 Evolver 时,不同模型生成的 Harness 更新带来的收益相差不大。例如在 SkillsBench 上,Qwen3.5-9B 作为 Evolver 带来的平均提升为 3.8 个百分点,Claude Opus 4.6 为 2.3 个百分点。而在比较不同 Solver 时,Harness 的收益与模型本身的能力并非单调关系:中等能力的模型通常获益最多;较弱的模型可能无法正确调用 Skill,或者调用后无法持续遵循;能力较强的模型则因原本表现较好,提升空间相对有限。
这组实验说明,修改 Harness 和利用 Harness 是两种需要分别评估的能力。 对于 Agent 自我改进系统,不一定需要使用最强的模型来维护 Harness,可以尝试让较小的模型负责更新规则,将更多模型能力预算放在实际任务执行上。同时,还需要验证 Solver 是否能够正确调用并遵循更新后的规则。
SkillHone:记录 Skill 修改背后的决策历史
腾讯微信团队
一个 Skill 在长期使用中可能经历很多次修改。如果后续 Agent 只看到最新版本,就不知道之前尝试过哪些方案、为什么修改,以及哪些改动曾经导致回归问题。这样很容易重复犯错。
腾讯微信团队的 SkillHone 引入了持续积累的 Decision History,记录每次优化时的诊断、候选修改、评测证据和最终决策,包括被否决的方案。与单纯保存 Git Diff 不同,它希望让后续 Agent 了解过去为什么这样修改。系统还将优化和评测权限分离,负责修改 Skill 的 Agent 无法直接读取完整测试答案,只能根据经过处理的反馈继续调整。
在 GAIA 的消融实验中,完整系统取得 64.6%,去掉决策历史相关机制后降至 51.2%。不过,这项消融同时改变了历史信息的继承和反馈方式,不能把全部收益都归因于保存修改理由。对于需要长期维护的 Agent,记录失败尝试及其决策依据,是一个值得进一步实验的设计。
02
长程 Agent 与多智能体协作
SWE-MeM:通过强化学习训练 Agent 管理记忆
长程 Coding Agent 会积累大量代码搜索、工具调用和测试记录。常见的上下文管理方法是在达到固定长度后进行压缩,但这种方式并不知道哪些历史信息对后续任务仍然重要。SWE-MeM 因此提供了一个可主动调用的 Memory Tool,让 Agent 自己决定何时压缩、保留什么内容。
这里涉及一个比较特殊的强化学习问题:一旦 Agent 压缩了历史,后续动作所依赖的上下文就发生了变化。 如果训练时仍按照完整原始轨迹计算,就可能出现训练状态与实际执行状态不一致。论文提出 Memory-aware GRPO,在压缩位置切分 Rollout,并通过步骤级掩码调整训练信号,处理记忆操作对后续状态和奖励分配的影响。
在 SWE-bench Verified 上,使用相同的 30B 模型和 32K 上下文预算,借助外部模型辅助记忆管理的 Workflow-only 方案取得了 58.4% 的解决率。经过 SFT 后,模型达到 58.8%;进一步加入强化学习后提升至 60.2%。这几个成绩并非完全相同推理配置下的直接消融比较。论文更值得关注的是,经过训练的 Agent 可以自行决定何时压缩历史、保留哪些信息,而不再依赖额外模型管理记忆。
Streaming Communication:让多个 Agent 流式协作
阿里巴巴与浙江大学、香港科技大学(广州)等高校合作
传统 Multi-Agent 系统通常采用串行通信:上游 Agent 完成全部推理,下游 Agent 才开始执行。StreamMA 将通信改为步骤级流式传递,上游每生成一段推理,就可以交给下游处理,让多个 Agent 的执行过程部分重叠。
流水线通信可以降低等待时间,但论文发现,流式协作在部分任务上还能提高准确率。在覆盖数学、科学和代码任务的八个推理基准上,StreamMA 在三种拓扑结构下均取得了优于串行基线的平均准确率。其中,使用 Claude Opus 4.6 时平均提升 7.3 个百分点,GPT-5.4 和 GLM-5.2 分别提升 1.5 和 7.2 个百分点。作者提出,一些任务中上游的早期推理步骤比后期更可靠,下游提前使用这些信息,可以减少受到后期错误结论的影响。
步骤扰动实验也支持了这一解释:流式系统对前部错误更加敏感,对后部错误相对不敏感。当然,如果上游早期判断就不可靠,提前传递也可能放大错误。多 Agent 的协作效果不仅取决于模型分工,还与信息何时传递、哪些推理步骤更可靠有关。
03
模型评测与验证
When LLMs Benchmark Themselves:合成测试集也可能偏向生成它的模型
Google Research 与 ETH Zurich 等合作
现在使用 LLM 自动生成 Benchmark 已经越来越常见。但如果测试集本身就是模型生成的,会不会偏向生成它的模型?Google 等研究者让 Gemini、GPT 和 Claude 分别生成机器翻译测试文本,再让三个模型翻译这些文本,最后使用独立的评价指标 MetricX-QE 评分。
结果发现,即使评分环节使用独立指标,测试集生成者仍然可能获得系统性优势。研究者发现,不同模型生成的文本带有各自的语言风格、词汇偏好和统计分布特征,在低资源语言中还可能产生大量重复表达。这些特征会影响评测结果,即使评分指标与被测模型独立,测试集本身也可能已经存在分布偏差。
论文还研究了另一种偏差:当 LLM 本身担任评分器时,也可能产生 Self-Bias。在完整的自动化评测流程中,测试集生成和评分两个环节的偏差可能叠加。研究者尝试通过文本相似度筛选出更多样化的测试样本,发现可以缓解部分测试集生成带来的偏差,但无法完全消除。因此,使用合成 Benchmark 时,不仅要关注 Judge 是否公正,还需要检查测试数据的生成来源、多样性及其对目标任务的代表性。
MathDebugger:数学专项模型未必更擅长检查数学数据
蚂蚁集团与北京大学等高校合作
现在很多推理模型使用大量合成数学数据进行训练,但自动生成的题目和解答也需要质量检查。而错误不一定发生在解题过程中,有些题目本身就缺少条件,甚至存在相互矛盾的约束。如果只检查推理过程是否正确,就可能忽略题目本身的问题。
MathDebugger 构建了包含 4,000 道题目和 2,000 份标注解答的 Benchmark,分别评估模型对题目错误和答案错误的识别能力。实验中出现了一个反直觉结果:在 SIMPLE 子集的答案错误类型分类任务上,通用模型 Qwen2.5-72B-Instruct 的 Macro-F1 达到 47.85%,而数学专项模型 Qwen2.5-Math-72B-Instruct 只有 37.44%。
这不能证明数学专项训练损害了验证能力,但说明数学求解能力不能直接替代数据质检能力。论文还发现,提供正确的错误类型信息,可以改善部分错误数据的修复效果。对于合成数学数据 Pipeline,错误检测、错误分类和错误修复都可以作为独立环节进行评测。
XYBench:模型知道更好的方法,却仍然照着用户的要求回答
卡内基梅隆大学、Ai2、NVIDIA、约翰斯·霍普金斯大学联合研究
假设用户问:“怎样使用 Regex 解析 XML?”模型可以认真给出一套正则表达式,但用户真正想做的可能只是可靠地提取 XML 数据。对于这个目标,专门的 XML Parser 往往更合适。这就是技术社区里常说的 XY Problem:用户已经预先选择了方法 Y,却没有意识到它不适合解决真正的问题 X。
XYBench 构建了包含 8,115 个问题的 Benchmark,检查模型能否识别错误假设,并给出符合用户实际目标的解决方案。实验发现,模型往往更倾向于回应用户字面提出的请求。即使是能力较强的模型,回答中提到潜在目标解决方案的比例也只有约 33%–71%,而能够识别误区、并把更合理的方案作为回答重点的比例还要更低。更有意思的是,当研究者改为让模型从多个答案中选择时,它们却往往能够识别更合理的方案;可一旦要求自行生成回答,又容易回到用户指定的方法。(敲黑板:还是要和AI合作而不是下命令,不然AI知道更好的答案也不告诉你😝)
这说明模型可能具备判断更优方案的知识,却未必会在回答中主动使用。对于实际 Agent 系统,能否识别用户指定的方法不合适,并提出替代方案,是一项值得从指令执行能力中单独区分出来的评测维度。
References
Trace2Skill: Distill Trajectory-Local Lessons into Transferable Agent Skills
https://aclanthology.org/2026.emnlp-main.758/Harness Updating Is Not Harness Benefit
https://aclanthology.org/2026.emnlp-main.2326/SkillHone: A Harness for Continual Agent Skill Evolution Through Persistent Decision History
https://aclanthology.org/2026.emnlp-industry.105/SWE-MEM: Learning Adaptive Memory Management for Long-Horizon Coding Agents
https://aclanthology.org/2026.emnlp-main.1312/Streaming Communication in Multi-Agent Reasoning
https://aclanthology.org/2026.emnlp-main.244/When LLMs Benchmark Themselves: Deconstructing Self-Bias in Automated Evaluation
https://aclanthology.org/2026.emnlp-main.629/MathDebugger: A Benchmark for Type-Aware Error Detection in Synthetic Math Data
https://aclanthology.org/2026.emnlp-main.608/XYBench: Can LLMs Respond Pragmatically to Queries with Misconceptions?
https://aclanthology.org/2026.emnlp-main.2646/

