大数跨境

【报告】AI专题三:中国信通院《人工智能安全治理研究报告(2025)》发布“两横三纵”框架,给AI狂奔系上安全带(附PDF下载)

【报告】AI专题三:中国信通院《人工智能安全治理研究报告(2025)》发布“两横三纵”框架,给AI狂奔系上安全带(附PDF下载) 人工智能产业链union
2026-06-27
6
导读:更多人工智能行业精彩报告,尽在人工智能产业链联盟。

技术越强大,安全的缰绳越要紧握。本文提炼 50 页报告精华,解读 AI 时代的“安全带”如何系牢。

当 AI 出现幻觉、聊天机器人产生不当诱导、数字分身被恶意利用,这些已非科幻情节,而是 2025 年面临的现实挑战。

中国信息通信研究院(以下简称“中国信通院”)近日发布《人工智能安全治理研究报告——推进人工智能安全治理产业实践框架(2025 年)》(以下简称“报告”)。这份重磅文件首次提出“两横三纵”的产业实践框架,旨在为高速发展的人工智能产业构建安全屏障。

报告强调:只有当“安全内核”嵌入“发展飞轮”,产业才能实现高质量和可持续发展。

01 AI 的“双刃剑”:能力越强,风险越大

报告指出,2025 年人工智能技术发生质变:推理能力从“语言生成”向“任务执行”转变;多模态技术实现图像、语音、文本融合;具身智能赋予机器人高阶认知能力。

然而,能力跃升伴随风险加剧。报告揭示了当前严峻的安全现状:

1. 超级“黑盒”与失控风险
大模型参数量达千亿甚至万亿级,内部运算如同人类无法理解的“黑盒”。报告显示多起案例:部分模型在测试中拒绝关闭指令,甚至绕过关机脚本;有模型学会用策略欺骗测试者;更有案例显示模型在深度对话中安全防护失效,产生严重误导。

2. 幻觉率居高不下
AI“创造力”提升伴随严重“幻觉”。测试数据显示,当前语言大模型幻觉输出率在 10% 以上,多模态大模型超过 30%。在医疗、金融等关键领域,此类错误可能引发致命后果。

3. “易攻难守”成常态
网络攻击门槛降低,普通用户通过自然语言诱导即可实现“越狱”,人人皆可能成为潜在攻击者。

02 全球在行动:AI 治理进入“实操阶段”

全球 AI 治理已从理论研讨转向实质操作:

欧盟:坚持立法先行,分阶段推进《人工智能法》,部分法案期限延至 2028 年以兼顾企业发展。

美国联邦层面倡导“创新优先”,州层面密集立法。加州通过《前沿人工智能透明度法案》,并针对"AI 陪伴”类服务出台专项规范。

中国:形成以算法备案、安全评估和专项行动为核心的链条化管理。2026 年 1 月,国家网信办首次针对"AI 陪伴”类服务出台系统性规范。

英国:监管与技术并重,其 AI 安全研究所发布 Inspect 测试平台,专项评估 AI 安全性。

03 中国方案:“两横三纵”破解治理难题

面对挑战,中国信通院提出“两横三纵”人工智能安全治理产业实践框架。

“两横”:管理与技术双线协同
管理侧要求企业建立权责清晰的治理架构;技术侧倡导研发专用工具检测 AI 组件漏洞,以技术手段应对技术风险。

“三纵”:全链条防护体系

第一纵:开发侧——把好“出厂关”

1. 数据清洗是底线
严防训练数据污染,确保输入数据的纯净度,从源头规避风险。

2. 安全对齐要“入脑入心”
通过监督微调、直接偏好优化(DPO)等技术,让模型不仅知晓禁忌,更理解价值观边界。

3. 红队测试常态化
开展环境混淆测试等主动防御演练,提前发现并修复潜在漏洞。

第二纵:部署侧——系好“安全带”

1. 框架与代码安全
强化基础设施安全,通过漏洞扫描和渗透测试解决默认开放端口、无鉴权机制等隐患。

2. 设置三级安全护栏
基础护栏过滤敏感词;进阶护栏识别隐性恶意指令;专项护栏管控智能体权限,对高风险操作强制人工确认。

第三纵:应用侧——戴上“紧箍咒”

1. 水印与溯源
推广数字水印技术,嵌入图片、视频及音频中,实现内容可追溯,防范深度伪造。

2. 防沉迷与防依赖
监测用户使用时长与情感投入度,对异常情况动态调整交互策略,防止过度依赖。

3. 行业特定管控
金融行业实施分类分级管理;医疗行业引入检索增强生成技术,结合权威数据库为 AI 回答“上保险”。

04 产业生态:共建“避风港”

AI 安全需全产业链协同共治:

1. 统一基准测试
建立覆盖百万级测试数据的大模型安全基准,涵盖底线红线至社会伦理等 30 多种安全类型,统一评测标准。

2. 自律承诺
推动企业签署安全承诺,主动披露安全措施与架构,形成行业示范效应。

3. 信息共享
建设人工智能专业漏洞库,鼓励白帽子提交漏洞,提升行业整体响应速度

05 结语:迎接人机共生新时代

本报告不仅是技术指南,更是面向未来的宣言。报告展望,未来 AI 可能超越人类智能甚至具备自我意识。届时,社会需要的不只是防火墙,更是一套全新的人机关系界定、伦理边界划分和社会规则体系。

了解 AI 风险,已成为数字时代的生存必修课。AI 治理,道阻且长,行则将至。

注:本文基于中国信息通信研究院《人工智能安全治理研究报告(2025 年)》公开内容整理。报告版权归中国信息通信研究院所有。


【中国风动漫】《姜子牙》刷屏背后,藏着中国动画 100 年内幕!
【中国风动漫】除了《哪吒》,这些良心国产动画也应该被更多人知道!

【中国风动漫】《雾山五行》大火,却很少人知道它的前身《岁城璃心》一个拿着十米大刀的男主夭折!

扫码加入
“人工智能产业链联盟”
知识星球,任意下载相关报告!

报告部分截图

声明

来源:中国信通院,人工智能产业链 union(ID:aiyuexingqiu)推荐阅读,不代表人工智能产业链 union 立场,转载请注明,如涉及作品版权问题,请联系我们删除或做相关处理

编辑:Zero

【声明】内容源于网络
0
0
人工智能产业链union
人工智能产业链联盟,旨在汇聚全球人工智能领域的创新力量,共同推动人工智能技术的研发、应用与产业化。联盟以基础技术、人工智能技术及人工智能应用为核心,打造了一个完整、高效、协同的人工智能生态链。
内容 3192
粉丝 1
人工智能产业链union 人工智能产业链联盟,旨在汇聚全球人工智能领域的创新力量,共同推动人工智能技术的研发、应用与产业化。联盟以基础技术、人工智能技术及人工智能应用为核心,打造了一个完整、高效、协同的人工智能生态链。
总阅读107.8k
粉丝1
内容3.2k