

360大模型安全白皮书

求数科技

2025-12-13

导读：安全边界从网络扩展到模型全栈“人工智能+千行百业”将带动新一轮工业革命，为高质量发展注入强大动能，引领人类社会

安全边界从网络扩展到模型全栈

“人工智能+千行百业”将带动新一轮工业革命，为高质量发展注入强大动能，引领人类社会进入智能化时代，为生产、生活方式带来巨大变革。大模型作为目前人工智能技术的核心引擎和技术底座，重塑着各行业的应用生态，其安全内涵已发生根本性转变。我们正在经历一场从传统“网络安全”向新型“大模型安全”的范式迁移。据ISC.AI 2025大会披露的数据，“大模型安全漏洞呈指数级增长”已成为现实。2025年9月16日，第22届中国网络安全年会暨国家网络安全宣传周网络安全协同防御分论坛活动中，国家计算机网络应急技术处理协调中心发布了国内首次针对AI大模型的实网众测检验结果，累计发现各类安全漏洞281个，其中大模型特有漏洞177个，占比超过60%。这充分表明，当前AI大模型产品面临着大量传统安全领域之外的新安全风险。

针对大模型的新型攻击手段层出不穷。已从技术层面的单一威胁演变为系统性风险，包括提示注入攻击、敏感信息泄露、供应链组件风险、模型中毒攻击、模型拒绝服务等多样化攻击。当前，攻击者从专业黑客变为全民黑客，攻击主体的开始趋向平民化，以往需要精通机器语言的专业黑客，如今只需通过自然语言指令即可让大模型自动生成攻击代码、设计钓鱼邮件、实施社会工程学攻击。另一方面，企业为了实现大模型和智能体能够真正结合实践生产，往往需要将企业的数据知识训练到大模型、知识库中，而用户或员工仅需要“套话”的方式就能将企业核心数据套走。360集团创始人周鸿祎曾指出，“如今，从前台小文秘也能欺诈后台大模型”，普通人无需技术背景，仅凭简单的提示词就能发动专业级攻击，真正实现了 “有手就行”的攻击平民化。这种“全民黑客”现象正使网络犯罪从技术壁垒走向大众化、产业化，给安全防御带来前所未有的挑战。大模型幻觉问题严重影响生成内容可靠性。

由于大模型固有的技术特性带来的忠实性和事实性模型幻觉问题，会侵蚀生成内容可靠性基石，进而引发决策失误、信任危机并阻碍其在关键领域的深度应用。智能体安全风险进一步放大了威胁范围。涵盖了从底层模型到高层行为的多个维度，主要包括记忆篡改、提示词注入、敏感数据泄露、Agent越权与失控风险、工具调用风险，以及智能体仿冒、中间人劫持等多智能体风险，这些风险相互交织，形成了传统安全体系难以应对的复杂威胁矩阵。

近年来，国家网信办等多部门联合发布了《互联网信息服务算法推荐管理规定》、《互联网信息服务深度合成管理规定》、《生成式人工智能服务管理暂行办法》（以下简称《办法》）、《人工智能生成合成内容标识办法》等法规，明确了服务提供者主体责任，在算法推荐、内容合成、模型管理等方面提出规范要求。其中，《办法》建立了“包容审慎、分类分级”的监管体系，要求服务提供者履行安全评估、内容过滤、算法备案、模型备案以及产品登记等责任，并承担包括坚持社会主义核心价值观、防止生成歧视性内容、尊重知识产权、尊重他人合法权益等多项义务，该体系在为技术创新预留充分空间的同时，也充分体现了“安全与发展并重”的治理理念。

2025年10月28日，第十四届全国人民代表大会常务委员会第十八次会议通过了关于修改《中华人民共和国网络安全法》的决定，其中第二十条明确提出了“完善人工智能伦理规范，加强风险监测评估和安全监管，促进人工智能应用和健康发展”。 2025年4月30日，中央网信办启动 “清朗・整治 AI 技术滥用” 专项行动。第一阶段强化AI技术源头治理，清理整治违规AI应用程序，加强AI生成合成技术和内容标识管理，推动网站平台提升检测鉴伪能力。第二阶段聚焦利用AI技术制作发布谣言、不实信息、色情低俗内容，假冒他人、从事网络水军活动等突出问题，集中清理相关违法不良信息，处置处罚违规账号、 MCN机构和网站平台。多地网信部门对辖区大模型生成内容开展实时监测、内容安全评测等工作，利用大模型监管生成式人工智能服务，通报生成式人工智能服务存在的问题，以技术应对技术，以智能管理智能。