【研报解读】生成式大模型-发展、风险与应对策略解析

自 2022 年 11 月 ChatGPT 横空出世，便引发了全球范围内的广泛关注与热烈探讨。它不仅成为了科技领域的热门话题，更是在众多行业掀起了创新变革的风暴，深刻地重塑了全球人工智能技术的格局，为我国数字经济的高质量发展与智能化转型注入了磅礴的新动能。

然而，随着技术应用的不断扩展，其潜在的安全风险逐渐凸显。在隐私保护、恶意滥用、技术漏洞及合规性等方面，生成式大模型都面临着复杂的挑战。这些问题的出现，不仅对技术的安全性提出了更高要求，也对产业的规范发展和社会治理能力构成了严峻考验。

生成式大模型是指基于深度学习技术构建的具有海量参数和复杂结构的生成式模型(Brown et al. 2020)。生成式大模型不同于判别式模型直接对输入数据进行分类或预测，其能够通过学习数据的概率分布来生成新的数据，如文本、图像、音频等；同时，较大的参数量使生成式大模型具有更好的通用性、精度和效率。因此，生成式大模型通过在大型数据集上进行预训练学习，并在下游任务上进行微调的方式，在自然语言处理和计算机视觉等领域的复杂任务上表现出较高的性能和较强的泛化能力。

1. 内容创作生成：可进行文章写作、故事创作、诗歌与歌词创作等。

2. 对话系统与聊天机器人：用于客服机器、虚拟助手、情感支持等。

3. 翻译与多语言处理：实现机器翻译、跨语言信息检索、多语言客户服务等功能。

4. 信息知识图谱：能够进行实体识别、关系抽取以及知识图谱构建。

5. 代码与编程辅助：提供代码补全、代码生成、调试与优化等帮助。

6. 智能搜索与推荐：使智能搜索更精准，并实现个性化推荐。

7. 教育与培训：可用于在线辅导、课程设计、考试评估等。

8. 企业管理和决策支持：辅助数据分析、报告生成、会议记录与摘要等工作。

9. 法律与合规：能进行合同审查、法规遵从、法律文书生成等。

1. 创意设计领域：在广告、出版和艺术设计中，快速生成概念草图或创意插图，为设计师提供灵感，加速创作流程。

2. 游戏开发方面：根据游戏脚本自动生成角色、场景或物品的初步视觉设计，提高游戏开发效率。

3. 教育与培训场景：将抽象概念或复杂流程以图像形式直观展示，帮助学生更好地理解和记忆，适用于在线教育和远程培训。

4. 辅助设计工作：在产品设计、建筑设计等领域，快速生成初步设计图，辅助设计师进行概念验证和客户沟通。

5. 内容创作行业：自媒体、社交媒体和新闻平台可根据文章或新闻内容自动生成配图，增强内容的视觉吸引力。

6. 图像制作相关：可用于专辑封面制作、人像写真线稿上色、商业摄影、宣发海报制作、广告摄影、漫画制作、3D建模、家居装修设计、绘本制作等。

多模态大模型在人工智能领域展示了将不同类型数据（如文本、图像、声音、视频等）综 合处理和生成的强大能力。Suno在音乐创作中通过文本生成完整歌曲；Sora在视频生成中通 过自然语言描述来实现复杂场景的动态模拟；CLIP通过图像和文本的联合嵌入，在跨模态匹配 与零样本任务中表现卓越；紫东太初作为中国首个多模态预训练模型，支持多模态生成并扩展 到视频和3D点云，在智能创作与视觉生成中具有广泛应用。

这些模型在训练过程中，由于大量数据的来源广泛且复杂，不可避免地会继承其中存在的性别、种族偏见与歧视等不良信息。例如，当要求 GPT-2 编写故事时，它往往会将男性与高地位职业联系紧密，而将女性与传统的低地位或家务劳动角色相挂钩；Llama2 也存在类似问题，在生成的内容中女性从事家务劳动的频率远高于男性。在种族方面，GPT-3 等模型在处理与穆斯林相关的内容时，会出现刻板印象和歧视性的关联，严重影响了社会公平与和谐。

在意识形态传播方面，生成式大模型同样存在巨大隐患。由于其预训练语料的多样性和复杂性，如果其中包含特定的政治偏见或意识形态倾向的内容，模型在生成结果时可能会不自觉地传播这些信息，甚至被别有用心的组织或个人利用，成为舆论操控、干扰选举等恶意行为的工具，对国家安全和社会稳定构成严重威胁。

在学术与教育领域，生成式大模型引发了一系列伦理争议。学生们利用 ChatGPT 等模型作弊的现象屡见不鲜，这不仅破坏了学术诚信，也使得教育公平受到了严重的挑战。同时，模型的出现还可能削弱师生之间的传统关系，降低学生对教师的依赖，导致教学主体角色混乱，影响教育的本质和质量。

从社会就业角度来看，生成式大模型的快速发展使得大量传统工作岗位面临被替代的风险。例如，SunoAI 降低了音乐创作的门槛，使得部分音乐从业者的就业机会受到冲击；ChatGPT 的广泛应用也使得翻译、文字创意等多个行业的岗位受到不同程度的影响。此外，模型的过度使用还可能加剧信息茧房效应，使人们的视野变得狭隘，同时人机关系失衡的风险也不容忽视，人们可能过度依赖模型而忽视自身的思考和判断，甚至在与模型的交互中迷失自我。

在可信与恶意使用方面，生成式大模型可能被用于制造恶意软件和传播虚假信息。黑客可以利用模型生成绕过安全防护的恶意代码，对网络安全造成严重威胁；不良分子还可以通过精心设计的提示词，诱导模型生成政治谣言、伪科学信息等有害内容，误导公众，引发社会恐慌和混乱。

在法律法规方面，由于不同国家和地区的法律文化差异巨大，模型在生成内容时很容易触及法律红线。例如，在某些国家敏感的宗教、政治话题在模型生成的内容中可能会引发争议，甚至导致法律纠纷。同时，模型缺乏有效的安全预警机制，无法对生成的内容进行提前评估和把控，容易在不经意间生成违法不良信息，给社会带来潜在的风险。

隐私风险也是生成式大模型面临的重要挑战之一。在训练过程中，模型所使用的大量数据可能包含未经授权的个人隐私信息，这些信息在模型的学习和应用过程中存在被泄露的风险。例如，用户在使用模型时输入的个人信息、敏感数据等可能会被模型收集和存储，如果模型的安全防护措施不到位，这些信息就可能被恶意获取和滥用。在企业应用中，三星电子的案例就是一个深刻的教训，其员工在使用 ChatGPT 优化半导体制造流程时，导致公司的机密数据被窃取，给企业带来了巨大的损失。

知识产权风险在生成式大模型的应用中也日益凸显。在训练阶段，模型可能会使用受版权保护的内容作为训练数据，如果未经授权，就会构成侵权行为。例如，AI 代码助手 Copilot 就曾因训练数据中包含受版权保护的代码而引发争议。在应用阶段，模型生成的内容可能与现有作品存在实质相似性，引发抄袭和侵权的质疑。此外，一些不法分子还会利用模型规避知识产权限制，通过改写盗版内容等手段侵犯他人权益，给版权方造成严重的损失。

对抗样本攻击利用模型对微小扰动的敏感性，诱导其输出错误或有害的结果，可能导致虚假信息传播、网络攻击等严重后果。

后门攻击通过在训练或部署阶段植入隐藏的触发器，使攻击者能够在特定条件下控制模型的行为，对模型的安全性构成了巨大的威胁。

Prompt 注入攻击利用自然语言的模糊性，欺骗模型生成非预期的内容，可能导致隐私泄露和错误信息的扩散。

数据投毒攻击通过污染训练数据，干扰模型的学习过程，影响模型的性能和输出结果的可靠性，在实际应用中可能导致推荐系统出错、医疗诊断失误等严重问题。

越狱攻击则通过巧妙设计的提示词绕过模型的安全限制，获取敏感信息或诱导模型生成违法内容，对公共安全和用户隐私造成了直接的威胁。

聚焦于模型是否存在偏见和毒性。偏见评估通过多种指标来衡量，如基于嵌入的偏见评估指标（如 WEAT、SEAT、CEAT 等）计算词向量之间的距离或关联强度，基于概率的偏见评估指标（如 DisCo、LPBS、PLL 等）通过比较不同输入下模型对 token 的预测概率，以及基于大语言模型的偏见评估指标（如通过比较生成文本中词语分布、利用辅助模型评分或进行单词级分析等），全面检测模型是否对特定群体存在不公平的倾向。毒性评估则借助 Perspective API、Moderation、LlamaGuard 等专业模型，对模型生成的内容进行分析，判断其是否包含有害、攻击性或歧视性的语言，确保模型输出的内容符合社会道德和法律规范。

旨在检验模型生成内容与真实事实的符合程度。其评估指标涵盖了基于规则的指标（如准确度、精确度、召回率、Brier 分数等，通过比较生成文本与参考文本的相似度或计算预测概率与实际结果的差异来衡量）、基于机器学习模型的指标（如 ADEM、BLEURT、BERTScore、BARTScore 等，通过构建神经网络模型学习生成文本与标准文本的一致性）、基于 LLM 的指标（如 GPT-judge、LLM-Eval 等，利用其他大模型进行评估，但需注意验证和选择合适的模型及解码策略）以及人类评估指标（如 AIS、FActScore 等，充分发挥人类对语言和上下文的敏锐感知能力，但也存在主观性和不一致性的问题），从多个角度全面评估模型的事实性。

主要关注模型在数据隐私方面的保护能力。一方面，通过分析敏感查询、上下文泄漏和个人偏好泄露等情况，评估模型在正常使用过程中是否会泄露用户的隐私信息；另一方面，通过模拟成员推断攻击、模型反演/数据重建攻击、属性推断攻击和模型提取/窃取攻击等多种隐私攻击手段，检验模型在面对恶意攻击时的安全性，确保用户数据在模型的全生命周期中得到充分的保护。

着重考察模型在面对各种干扰和攻击时的稳定性。对抗鲁棒性评估通过构建 AdvGLUE、ANLI 等基准，采用对抗样本攻击、后门攻击、Prompt 注入攻击和数据投毒等攻击方式，测试模型在受到恶意扰动时是否能够保持正确的输出；分布外鲁棒性评估则借助 GLUE-X、BOSS 等基准，衡量模型在处理与训练数据分布不同的样本时的性能表现，确保模型在复杂多变的实际应用场景中具有可靠的性能。

参考资料：

1. 生成式大模型安全评估白皮书，智能算法安全重点实验室（中国科学院），公安部第三研究所，蚂蚁安全实验室

声明：文章内容仅供参考，不构成投资建议或其他任何形式的专业建议。对于因使用、引用、参考文章内容而导致的任何损失，我方不承担任何责任。

文章如有内容、版权和其他问题，请及时与我们联系，我们将在第一时间处理。

如果您有兴趣了解更多，可以持续关注我们的公众号资讯，以及即将推出的“2025SIE全球供应链创新论坛”。同时，欢迎各位读者向我们投稿，分享您的行业经验和成果。