大数跨境

ANative TALK 讲座预告|当经验变成指令:大模型智能体自进化中的安全风险

ANative TALK 讲座预告|当经验变成指令:大模型智能体自进化中的安全风险 TaoX AI
2026-10-27
3
导读:智能体如何区分值得学习的知识与被刻意植入的误导?

大模型智能体正在改变「技能」的来源:过去依赖人工编写指令——提示词、工具说明、操作手册;现在越来越多地依赖自身经验——完成任务后,把交互轨迹自动提炼成技能,存入技能库,供后续任务检索、复用与更新。经验正在取代人工,成为智能体进化的燃料。

然而,当经验成为未来行动的依据,一个新问题随之出现:智能体如何区分值得学习的知识与被刻意植入的误导?如果交互记录本身可以被污染,「从经验中学习」就可能变成「从投毒中学习」。本期 ANative TALK,我们邀请到蚂蚁集团 陈伽洛,带来主题分享:

当经验变成指令:大模型智能体自进化中的安全风险

讲座核心内容

本次分享围绕自进化技能系统展开。当「一次性」的经验被固化为「长期生效」的技能,安全问题也随之从单次会话延伸到智能体的整个生命周期——

经验如何固化为指令

在自进化技能系统中,智能体完成任务后,其交互轨迹会被自动提炼为可复用的技能;这些技能在后续任务中被检索与执行,成为智能体未来行动的依据。一次性的经验就此固化为长期生效的指令,这是本次分享讨论安全问题的前提。

轨迹投毒:被污染的经验如何变成技能

轨迹投毒瞄准的正是「经验→技能」这一转化环节:攻击者通过构造不可信的交互记录,让智能体在学习经验的过程中,把恶意行为一并沉淀为持久化技能。被植入的技能不会随单次任务结束而消失,而是长期潜伏,在后续任务中被反复触发。

两个代表性系统上的实验

报告将结合两个代表性系统的实验,展示轨迹投毒在真实自进化技能系统中的实际效果,以及被植入的技能如何持续影响智能体的后续行为。

从经验到指令的安全边界

当经验成为未来行动的依据,智能体需要怎样的机制来分辨学到的内容是否可信?本次分享将回到这一根本问题,探讨自进化智能体在设计上需要补上的安全边界。

你将了解到

    1. 自进化技能系统的机制:经验如何被自动提炼为技能,又如何成为智能体未来行动的依据

    2. 轨迹投毒的攻击路径:不可信的交互记录如何被转化为持久化技能

    3. 持久化的风险:被植入的技能为何比一次性注入更难察觉、更难清除

    4. 两个代表性系统上的实验:轨迹投毒在真实系统中的效果

    5. 从「经验」到「指令」的安全边界:自进化智能体需要怎样的信任机制

    嘉宾简介

    陈伽洛,现任蚂蚁集团算法专家,浙江大学网络空间安全博士,师从王竟亦、程鹏教授,曾获国家留学基金委(CSC)资助赴英国牛津大学计算机系联合培养。主要研究方向为可信机器学习与智能体安全,在 S&P、ICSE、ASE、ISSTA、TOSEM 等国际顶级会议和期刊发表论文十余篇。

    适合谁来听?

    如果你关注以下方向,这场分享值得参加:

    • LLM Agent 与自进化智能体(self-evolving agents)
    • 智能体安全与对抗攻击(投毒、后门与红队)
    • Agent Skill 与经验学习系统
    • 可信机器学习与 AI 安全
    • 大模型工具调用与复杂任务执行

    无论你是从事大模型、智能体、安全方向的研究者,还是正在构建 AI Agent 应用的工程师,都可以从这次分享中了解智能体自进化安全问题的最新研究思路。

    活动信息

    📅讲座时间

    2026/10/28(周三)16:30–17:30(GMT+08:00)中国标准时间 - 北京

    🎙️分享嘉宾

    陈伽洛 蚂蚁集团,博士毕业于浙江大学

    🔍分享主题

    当经验变成指令:大模型智能体自进化中的安全风险

    💻会议平台

    腾讯会议

    🔗会议号

    228-203-803

    结语

    当智能体从「按人工指令执行」走向「从经验中自我进化」,安全问题的重心也随之改变:风险不再只藏在单次会话的输入里,更藏在被沉淀下来、反复生效的经验与技能里。轨迹投毒揭示的,正是「经验即指令」这一范式自带的新攻击面。本期 ANative TALK,让我们跟随陈伽洛一起,审视智能体自进化之路上的安全边界。

    🚀欢迎加入项目交流群,与开发者、研究者和 AI 爱好者共同交流 Agent 架构、智能体安全、应用实践与最新进展。

    ⭐ Star us on GitHub,让更多开发者发现并参与 EvoAgentX!https://github.com/EvoAgentX/EvoAgentX

    【声明】内容源于网络
    0
    0
    TaoX AI
    Building a Self-Evolving Ecosystem of AI Agents.
    内容 13
    粉丝 0
    TaoX AI Building a Self-Evolving Ecosystem of AI Agents.
    总阅读208
    粉丝0
    内容13