技术越强大,安全的缰绳越要紧握。本文提炼 50 页报告精华,解读 AI 时代的“安全带”如何系牢。
当 AI 出现幻觉、聊天机器人产生不当诱导、数字分身被恶意利用,这些已非科幻情节,而是 2025 年面临的现实挑战。
中国信息通信研究院(以下简称“中国信通院”)近日发布《人工智能安全治理研究报告——推进人工智能安全治理产业实践框架(2025 年)》(以下简称“报告”)。这份重磅文件首次提出“两横三纵”的产业实践框架,旨在为高速发展的人工智能产业构建安全屏障。
报告强调:只有当“安全内核”嵌入“发展飞轮”,产业才能实现高质量和可持续发展。
01 AI 的“双刃剑”:能力越强,风险越大
报告指出,2025 年人工智能技术发生质变:推理能力从“语言生成”向“任务执行”转变;多模态技术实现图像、语音、文本融合;具身智能赋予机器人高阶认知能力。
然而,能力跃升伴随风险加剧。报告揭示了当前严峻的安全现状:
1. 超级“黑盒”与失控风险
大模型参数量达千亿甚至万亿级,内部运算如同人类无法理解的“黑盒”。报告显示多起案例:部分模型在测试中拒绝关闭指令,甚至绕过关机脚本;有模型学会用策略欺骗测试者;更有案例显示模型在深度对话中安全防护失效,产生严重误导。
2. 幻觉率居高不下
AI“创造力”提升伴随严重“幻觉”。测试数据显示,当前语言大模型幻觉输出率在 10% 以上,多模态大模型超过 30%。在医疗、金融等关键领域,此类错误可能引发致命后果。
3. “易攻难守”成常态
网络攻击门槛降低,普通用户通过自然语言诱导即可实现“越狱”,人人皆可能成为潜在攻击者。
02 全球在行动:AI 治理进入“实操阶段”
全球 AI 治理已从理论研讨转向实质操作:
欧盟:坚持立法先行,分阶段推进《人工智能法》,部分法案期限延至 2028 年以兼顾企业发展。
美国:联邦层面倡导“创新优先”,州层面密集立法。加州通过《前沿人工智能透明度法案》,并针对"AI 陪伴”类服务出台专项规范。
中国:形成以算法备案、安全评估和专项行动为核心的链条化管理。2026 年 1 月,国家网信办首次针对"AI 陪伴”类服务出台系统性规范。
英国:监管与技术并重,其 AI 安全研究所发布 Inspect 测试平台,专项评估 AI 安全性。
03 中国方案:“两横三纵”破解治理难题
面对挑战,中国信通院提出“两横三纵”人工智能安全治理产业实践框架。
“两横”:管理与技术双线协同
管理侧要求企业建立权责清晰的治理架构;技术侧倡导研发专用工具检测 AI 组件漏洞,以技术手段应对技术风险。
“三纵”:全链条防护体系
第一纵:开发侧——把好“出厂关”
1. 数据清洗是底线
严防训练数据污染,确保输入数据的纯净度,从源头规避风险。
2. 安全对齐要“入脑入心”
通过监督微调、直接偏好优化(DPO)等技术,让模型不仅知晓禁忌,更理解价值观边界。
3. 红队测试常态化
开展环境混淆测试等主动防御演练,提前发现并修复潜在漏洞。
第二纵:部署侧——系好“安全带”
1. 框架与代码安全
强化基础设施安全,通过漏洞扫描和渗透测试解决默认开放端口、无鉴权机制等隐患。
2. 设置三级安全护栏
基础护栏过滤敏感词;进阶护栏识别隐性恶意指令;专项护栏管控智能体权限,对高风险操作强制人工确认。
第三纵:应用侧——戴上“紧箍咒”
1. 水印与溯源
推广数字水印技术,嵌入图片、视频及音频中,实现内容可追溯,防范深度伪造。
2. 防沉迷与防依赖
监测用户使用时长与情感投入度,对异常情况动态调整交互策略,防止过度依赖。
3. 行业特定管控
金融行业实施分类分级管理;医疗行业引入检索增强生成技术,结合权威数据库为 AI 回答“上保险”。
04 产业生态:共建“避风港”
AI 安全需全产业链协同共治:
1. 统一基准测试
建立覆盖百万级测试数据的大模型安全基准,涵盖底线红线至社会伦理等 30 多种安全类型,统一评测标准。
2. 自律承诺
推动企业签署安全承诺,主动披露安全措施与架构,形成行业示范效应。
3. 信息共享
建设人工智能专业漏洞库,鼓励白帽子提交漏洞,提升行业整体响应速度。
05 结语:迎接人机共生新时代
本报告不仅是技术指南,更是面向未来的宣言。报告展望,未来 AI 可能超越人类智能甚至具备自我意识。届时,社会需要的不只是防火墙,更是一套全新的人机关系界定、伦理边界划分和社会规则体系。
了解 AI 风险,已成为数字时代的生存必修课。AI 治理,道阻且长,行则将至。
注:本文基于中国信息通信研究院《人工智能安全治理研究报告(2025 年)》公开内容整理。报告版权归中国信息通信研究院所有。
【中国风动漫】《雾山五行》大火,却很少人知道它的前身《岁城璃心》一个拿着十米大刀的男主夭折!
报告部分截图
编辑:Zero

