企业在引入新兴技术时会带来额外的安全风险，大模型技术也不例外。
在大模型领域，企业新的攻击面有两类：
第一类攻击面与企业自己训练大模型有关，这些大模型是企业自己拥有的资产。这类攻击面具体包括：
• 输出的结果：大模型生成的信息不包含在企业的数据安全治理系统中，因此无法执行相关的数据安全控制措施。
• 训练数据投毒：攻击者可能会通过“投毒”的方式来操纵大模型，向大模型输入有偏见或恶意的训练数据，使其产生错误或不理想的结果。
• 提示词：对抗性提示（如提示注入）是大模型最可能被滥用的方式之一。提示注入攻击有多种形式，一种是直接提示注入，用户直接向大模型输入恶意指令，试图让大模型发表不当的言论；另一种是间接提示注入，通过文档、网页、图像等载体，将恶意指令隐藏在其中，绕过大模型的安全检测机制，以间接方式触发提示注入攻击，这种攻击形式更需要企业关注，因为这种攻击带来的后果可能更加严重，恶意的指令不是来自于用户输入的提示词，而是来自于第三方，例如大模型正在阅读的网站或正在分析的PDF文件中可能包含隐藏的恶意指令。
• 其他大模型应用中的的安全漏洞：提示注入、不安全的输出结果、训练数据投毒、拒绝服务、供应链、权限问题、数据泄露、过度代理、过度依赖、不安全的插件等。
第二类攻击面来源于企业的业务或IT部门使用第三方的大模型。这类攻击面具体包括：
• 与企业系统集成的第三方组件，包括应用、模型、代码库等：这些组件可能会引发数字供应链安全问题，因为攻击者会试图利用第三方组件中的任何弱点，而这些组件可能会作为微服务广泛部署在常用的业务应用中。
• 直接用户输入和API接口：通过用户输入和API接口，大模型可能会泄露敏感信息，如个人数据或知识产权。
• 大模型应用可能会使用受版权保护的内容：某些大模型可能会使用他人创建的内容，增加了侵权和剽窃的风险。
• 未经授权的内部活动：内部人员可能滥用大模型，例如生成虚假文件或错误信息。
恶意行为者还可能利用大模型作为诱饵，例如伪造大模型应用来传播恶意软件或作为网络钓鱼活动的一部分。
企业在积极开展大模型探索工作的同时，也需要采取以下措施，提前做好对大模型安全风险的应对：
第一，在构建大模型应用时确保企业活动的安全。人工智能应用程序扩大了攻击面，带来了新的潜在风险，需要企业调整现有的应用程序安全实践。
第二，管理和监控企业如何使用大模型。企业正在尝试使用嵌入到现有应用中的生成式AI助手，这些应用都有独特的安全需求而传统的安全控制手段无法满足。
第三，利用大模型技术提高企业的安全运营能力。企业应该抓住大模型的机会，改善安全和风险管理、优化资源，防御新出现的攻击手段，甚至降低成本。
第四，做好被大模型攻击的准备。由于大模型工具和技术正在迅速发展，企业必须积极应对恶意行为者不断进化的攻击技术或是利用新的攻击向量。
查看完整内容：大模型对网络安全的影响与企业应对措施