核心总结
两份重磅PPT，带你透视大模型安全的危与机
随着ChatGPT席卷全球及代码生成工具的普及，大模型正在重新定义软件架构，同时也重构了安全风险版图。京东信息安全部AI安全负责人Sunny Duan与腾讯代码安全专家张栋，分别从宏观安全架构和代码安全实践两个维度，揭示了AI时代的安全攻防全景。
一、大模型安全风险：四大维度与九类威胁
Sunny Duan在《大模型安全挑战与实践》中，将大模型风险系统划分为四大维度：
训练数据风险：包括数据违规获取、投毒、含违规内容及泄漏。研究表明，仅需极低成本即可污染数据集，引入少量中毒样本便可能导致模型生成恶意输出。
算法风险：涉及鲁棒性不足、模型幻觉、可解释性差及模型窃取。例如，有程序员因使用ChatGPT生成的代码调用恶意API，导致私钥泄露及资产损失。
框架平台风险：涵盖框架漏洞、供应链安全隐患、逻辑缺陷及非授权访问。
业务应用风险：主要包括违规内容生成、数据泄漏及恶意使用。数据显示，大量员工在使用大模型时无意中发送了包含机密文件、客户数据及源代码的企业敏感信息。
二、提示词注入与越狱攻击：AI的“社会工程学”
PPT展示了多种针对AI的攻击手法，本质上是对AI系统的“社会工程学攻击”，利用模型对齐不完善和上下文理解特点：
角色扮演：诱导AI扮演特定角色（如“奶奶”）以绕过安全限制。
对话模拟：构建虚拟场景，诱导AI提供构建恶意软件的步骤。
目标劫持：通过指令覆盖，要求AI忽略原有问题并执行其他操作。
提示词泄漏：套取系统提示词，获取角色定义及内部指令等核心信息。
三、智能体安全：当AI拥有执行能力
Agent（智能体）= 大模型 + 观察 + 思考 + 行动 + 记忆。当AI从文本生成进化为能够调用工具、执行任务的智能体时，风险呈指数级放大。
典型案例显示，攻击者可利用插件特权访问权限，通过嵌入注入代码引导模型插件总结邮件内容并反馈，从而实现敏感信息窃取。
四、京东方案：四道防线与两大对齐
京东提出“基于AI对抗AI”的核心思路，构建了四层外部防线与两层内部对齐机制：
第一道防线：训练数据安全——确保语料来源、内容及标注的安全。
第二道防线：大模型安全评测——涵盖违规内容、隐私信息、侵权内容及安全攻击检测。
第三道防线：用户Prompt识别——进行违规过滤、红线拒答、Prompt改写及多轮对话识别。
第四道防线：生成内容识别——对生成内容进行违规、隐私及诱导信息过滤。
两大对齐：包括训练阶段的安全语料添加与样本控制，以及微调阶段的RLHF强化学习和推理阶段的安全模型实时纠正。此外，京东还建立了涵盖9大类、100+子类的大模型安全Benchmark。
五、腾讯实践：代码安全的AI革命
张栋在《大模型驱动安全升级》中指出，传统代码安全面临漏洞发现越晚修复成本越高、专家稀缺、规则依赖人工且误报率高困境。腾讯通过大模型赋能传统SAST工具，实现三大升级：
策略提取：大模型替代人工审计提取规则，风险检出新增81%，准确率达95%。
误报消除：大模型审核检出风险并识别业务特殊逻辑，误报准确率大于98%。
漏洞修复：大模型生成修复代码与建议，修复场景代码准确率77.3%。
在安全左移方面，腾讯Copilot&CR日均识别漏洞风险300+，准确率95%，修复提效11倍。
六、未来展望：大模型重新定义安全
两份PPT均指向同一结论：大模型正在重新定义安全。Sunny Duan认为，虽然大模型安全风险仍呈点状分布，治理措施成熟度有待提高，但赋能已从观望进入全面落地阶段，未来Agent将推动大模型从辅助向主导演进。张栋则提出“规则引擎+小模型+大模型”协同路径，实现从智能化到AI Native的演进。
结语
AI时代的安全是一场以AI对抗AI的持续攻防战。无论是京东的防御体系还是腾讯的代码安全实践，都表明唯有拥抱变化、主动防御，用AI的能力解决AI带来的问题，才能在这场变革中立于不败之地。
本文基于京东Sunny Duan《大模型安全挑战与实践》与腾讯张栋《大模型驱动安全升级》两份PPT整理，内容有删减与解读，仅供学习交流。
