事情是这样的。

昨天晚上,国家安全部发了一篇提示,专门点了 AI 投毒。
我当时就愣住了。
因为这条消息真正让我发凉的地方,不是又多了一个安全名词。
而是它把一件原本很多人以为只跟模型公司有关的事,突然拽到了所有人面前。
这就不一样了。
过去一聊 AI 风险,很多朋友脑子里冒出来的还是那几个老问题。
会不会胡说。
会不会幻觉。
会不会把代码写炸。
这些当然都很麻烦。
但说真的,它们大多还是明牌风险。你一看答案不对,一跑结果不通,一上线报错,你知道它坏了。
AI 投毒更阴。
它不是一下子把系统打趴。
它是悄悄往你的认知链路里掺沙子。
看起来一切都还能跑,界面也没炸,流程也没断, Agent 还在那一本正经地替你执行任务,可它接住的上下文、吃进去的知识、信任的来源,已经开始慢慢歪了。
这尼玛就是最难防的一种坏。
央视那条解释其实说得挺直白,不法分子会把恶意数据伪装成正常样本,往训练、检索、排序这些环节里一点点塞。你如果再把知识库、网页内容、自动化工作流、企业文档都接给 AI ,这玩意就不再只是模型团队的事。
它会变成每一个正在把 AI 接进系统的人都得面对的事。
顺着上面的再聊聊,你可能会觉得,这离普通用户是不是还有点远。
你不是做大模型的。
你也没在训练参数。
你可能只是拿 AI 写文案、查资料、做客服、补代码、跑流程。
我非常理解这种感觉。
坦率的讲,如果是半年前的我,我也会下意识觉得,这更像底层厂商的问题,离业务团队、内容团队、软件团队还隔着几层。
但这两天我是真的越来越不这么看了。
因为 AI 已经不是那个你问一句它答一句的小助手了。
它开始进知识库。
开始进客服后台。
开始进代码仓库。
开始进审批流。
开始进企业 Copilot 。
开始进一堆要真正动手的 Agent 。
这块需要注意一下,一旦 AI 拿到的不是单轮对话,而是记忆、检索、调用、执行这些连续能力,投毒的杀伤半径就会一下子变大。
以前的软件 bug ,很多时候像灯泡烧了。
你知道哪黑了。
修就是了。
现在的 AI 投毒,更像有人悄悄把地图改了。
路还在。
导航也还在。
可你越信它,越可能被它带到沟里去。
而且最离谱的点就在这,它不是只会把你带偏一点点。
当 AI 开始能调用工具、能写入系统、能改配置、能触发后续动作的时候,一个被污染的判断,后面可能接着就是一串被污染的执行。
这不是回答错一道题。

这是认知错了以后,还继续替你干活。
很麻烦。
所以我看到另外两条消息的时候,脑子里一下子就串起来了。
一条是微软在上海讲企业智能体,披露 Copilot 最近一个季度日活涨了近 10 倍,付费用户同比涨超 160%, Microsoft Agent 365 国际版会在 2026 年 5 月 1 日上线。
另一条是国务院 4 月 21 日那份意见,已经明确写到支持采购大模型、智能体服务,还顺手把工业软件、基础软件生态也一起带上了。
你把这两条跟 AI 投毒放在一起看,味道就完全变了。
这说明什么呢。
说明 AI 不再只是被大家拿来试玩的新玩具。
它开始进预算了。
进采购了。
进正式系统了。
进企业核心流程了。
说实话我也不确定每家公司会在多快的时间里把这个教训补齐,但我很确定一件事。
Agent 时代的软件竞争,接下来一定不只拼谁更聪明。
还要拼谁更不容易被带偏。
这话听着有点刺耳,但我还是想讲得更直一点。
过去两年,很多公司聊 AI ,最兴奋的都是能力侧。
模型更强了。
上下文更长了。
调用更多工具了。
可以连续执行更久了。
这些当然重要。
可如果你的数据洁净度、来源可信度、权限边界、审计回溯、记忆擦除、异常报警全都没跟上,那你其实是在把一个越来越能干的系统,接到一堆越来越脏的水管上。
不是哥们,这风险能不大吗???
而且 AI 投毒最让人无语凝噎的一点,是它会制造一种很假的稳定感。
模型不报错。
接口不报警。
流程照常跑。
报表甚至还挺漂亮。
可你往里扒开看,发现底下信任链条已经松了。
一个知识源被污染。
一个网页排序被操纵。
一组内部文档被混进了看似合理的脏内容。
后面整条 Agent 链就会开始一本正经地引用、总结、扩写、执行。
你敢信???
它甚至会因为太流畅,而更容易骗过人。
这一下给我更干懵了。
因为这不像传统安全问题那样,总让人带着警觉心去看。
它更像一种认知层的慢性病。
前期没感觉。
等你发现不对,往往已经不是修一个接口、删一条脏数据那么简单。
很多朋友看到这里可能会本能地觉得,那是不是以后就别用 Agent 了。
我反而不这么看。
我自己的感受是,越是这种时候,越说明 Agent 不是假需求。

如果它没那么重要,国安部不会点它,企业不会采购它,微软不会把它往核心里推,软件行业也不会突然重新涨估值。
正因为它真的会成为下一层生产力,所以免疫系统这门课才必须补。
就像工业化刚起来的时候,大家最先盯着的是产量、速度、机器马力。
可城市越长越大,真正决定一座城市能不能长期活下去的,往往不是烟囱有多高,而是下水道、消毒系统、公共卫生。
这些东西不性感。
甚至很少会出现在海报正中间。
但没有它们,前面的繁荣根本撑不住。
AI 软件接下来也会走到这个阶段。
模型能力当然还是发动机。
可真正决定你能不能把它放心接进业务里的,会越来越像另一套东西。
数据源能不能追。
记忆能不能控。
权限能不能锁。
异常能不能停。
结果能不能审。
污染能不能回滚。
这才是过日子的系统。
愚钝如我,也是到这两天才把这件事想得这么具体。
以前我总觉得,安全是 AI 落地之后的配套题。
先把能力做出来,再慢慢补治理。
现在我越来越觉得,这顺序可能反了。
至少在 Agent 这件事上,治理不是装修。
治理就是地基。
你前面盖得越高,后面越不能含糊。
说到这个,我甚至觉得,未来软件公司最值钱的那部分能力,未必还写在演示视频里。
很多真正决定生死的东西,用户未必一眼能看到。
它藏在权限模型里。
藏在审计日志里。
藏在知识源白名单里。
藏在多一步确认里。
藏在你准备按下执行按钮之前,那句不那么酷、但能救命的拦截里。
这玩意听起来不性感。
可真正要进企业,真正要进生产,真正要进那些一旦出事就不是删个对话记录那么简单的场景,它比多跑 5 分 benchmark 更重要。
回到开头。
昨天晚上那条国安部提示,真正让我后背发凉的,不是 AI 又出现了一个新的风险名词。
而是我突然意识到, Agent 时代已经走到一个很现实的阶段了。
大家不能再只盯着它会不会做事。
还得盯着它会不会在被污染之后,继续替你做错事。
前者决定它好不好用。
后者决定你敢不敢用。
这两者之间,差的可能就是下一轮软件公司的生死线。
所以反正我觉得,接下来再看 AI ,不妨少问一句它到底有多聪明。
先多问一句,它的免疫系统长出来没有。
这可能才是 Agent 时代最现实,也最贵的一层。

以上,既然看到这里了,如果觉得不错,随手点个赞、在看、转发三连吧,如果想第一时间收到推送,也可以给我个星标⭐~
谢谢你看我的文章,我们,下次再见。
/ 作者, AI 测试开发
/ 投稿或爆料,请联系邮箱, testeg@163.com

