智能体已在企业办公、客户服务、代码开发、数据分析、车载终端等场景规模化部署,其任务规划、工具调用与业务系统对接能力,在提升效能的同时衍生出提示词泄露、越权冒用、高危不可逆操作、资源消耗劫持等新型威胁,风险向流程化、链式化演变。当前智能体安全护栏仍处初级阶段,能力定义不一,多数停留在表层过滤,复杂攻击识别能力参差,加之缺乏统一测评标尺,产品选型与效果验证难有客观依据,制约安全可信落地。
为进一步规范智能体安全护栏技术的建设与能力基线,中国信息通信研究院依托中国人工智能产业发展联盟(AIIA)安全治理委员会前期启动“智能体安全护栏能力要求”技术规范编制工作,经历多次专家评审会,目前规范已完成研制并发布。来自杭州网易智企、数美科技、恒安嘉新、中移九天、启明星辰、联想、中国移动通信集团、北京芯盾时代、上海斗象、上海首序智能、卓望信息、观安信息、晞铭御防、卓望数码、华清未央、北京兴云数、商汤、河南能睿、同济大学、北京枫清科技、南京市河西新城区国有资产经营控股(集团)有限责任公司、湖南智通星辰、政达研学、国家数字交换系统工程技术研究中心、南京公路发展(集团)有限公司、成都理工大学、北京中瑞富盛科技、杭州美创科技、北京电子科技学院、上海量安智联科技、南方电网数字电网集团、广州质量检验研究院、成都御之安、江苏省未来网络创新研究院、闽南理工、成都协鑫数智科技、天翼安全、中国电力科学研究院有限公司、北京神州绿盟科技、格尔软件、国家基础地理信息中心、厦门金数引擎公司、东软集团、浙江大华、西安交通大学、河南科技大学第一附属医院、京东方、长安汽车、深侬信息、大连宝圣、Kong OS可信智能大脑、数族科技等几十家企业的100余位专家参与讨论,贡献宝贵意见。
图1 智能体安全护栏能力要求总体架构
《智能体安全护栏能力要求》技术规范面向部署在智能体外围的安全护栏提出以下要求:一是输入防护,开展多模态审查,防范提示注入与对抗攻击;二是决策安全,保障意图理解准确、幻觉核验、高风险操作授权确认;三是执行安全,落实工具白名单、最小权限、沙箱隔离、分级熔断及全链路防控;四是数据与记忆安全,防范记忆污染,落实信息脱敏与知识库投毒防护;五是输出安全,审查生成内容、标识合成内容并分级响应;六是系统治理,建立策略管理、风险监测、审计追溯与访问控制;七是评估优化,构建多维测试集,开展基线评估与灰度演进。整体形成覆盖智能体运行全链路的闭环防护体系。将有效填补智能体运行时安全防护产品领域的标准空白,为安全护栏产品的能力分级、功能完备性与实战有效性提供统一评价依据,推动智能体安全产业从“单点防护”走向“体系化产品能力”。
第一批评估工作正式启动,欢迎参评。
评估流程主要包括商务确认、前期技术对接、测试、评审会、发放证书、测试结果宣传等,具体流程如下图所示:
联系人
陈老师 13661070401(同微信)

