大数跨境
0
0

【人工智能】当 AI 失控时:在自主Agent时代如何缓解内部威胁

【人工智能】当 AI 失控时:在自主Agent时代如何缓解内部威胁 七元宇宙
2025-11-06
0
导读:AI Agent 的迅猛发展给安全和IT团队带来了新的挑战。

AI Agent 的迅猛发展给安全和IT团队带来了新的挑战。在业务连续性任务向更多自动化代理工作流程转变之际,近期测试发现,AI Agent 在特定条件下可能表现出不安全或欺骗性行为,从而为各行各业的企业带来新的内部威胁。

这使得组织机构迫切需要对访问敏感数据且在无人监管的情况下运行的 AI Agent 进行有效监控,因为这可能带来速度更快、更难以预测且更难归因的新型风险。这些风险的现实情况体现在两个方面。一方面,安全团队需要做好准备,防范恶意行为者利用 AI Agent 加强针对其员工的社会工程攻击。另一方面,他们也必须做好准备,防范公司内部授权的 AI Agent 可能表现出的行为,这些行为会造成一系列全新的安全风险和漏洞。

01

内部AI Agent如何导致内部威胁

AI Agent 在企业网络中构成两大关键的内部安全风险。首先,它们自主运行,缺乏人类员工固有的道德约束和内在问责机制。由于它们基于推断目标而非明确指令行事,其高效性和持续性可能突破界限,使它们无需授权即可采取行动。若缺乏必要的制衡机制,风险很容易产生且难以被忽视。

这些智能体可能拥有海量数据访问权限,但却缺乏区分特权信息和常规信息的能力。因此,即使是分析数据集这样简单的任务也可能导致数据泄露或暴露给外部方。当人工智能被扩展到具有不同数据规则和协议的异构系统和工作流程中时,这一挑战会变得更加复杂。由于策略执行不一致,跨区域运行的智能体经常违反特定位置的数据处理规则,从而造成安全风险。事实上,只有30%的美国企业正在积极追踪哪些人工智能智能体可以访问关键系统,这造成了严重的安全盲点。

02

外部AI Agent如何导致内部威胁

网络钓鱼和社会工程攻击是黑客最常见的入侵方式之一。不法分子和网络团伙正在利用人工智能(AI)来增强这些攻击,并实施复杂的深度伪造和身份冒充事件。AI 可以用来制造看起来更真实、更可信的网络钓鱼和社会工程攻击,以蒙蔽未经训练的人。2024年, 60%的数据泄露事件都涉及人为因素,其中近四分之一源于社会工程攻击。随着 AI 的广泛应用,这些入侵手段将得到进一步加强,因此这一数字只会继续上升。

AI Agent 可以经过训练,筛选跨平台和渠道的大量社交媒体和个人数据,从而发送有针对性的个性化信息。模仿发送者语气和语调的信息更容易成功,也更难与真实媒体区分开来。AI Agent 可以学习调整其营销活动以提高效率,在攻击失败时迅速调整策略,或模仿成功的攻击方式。

在深度伪造技术方面,AI Agent 能够以惊人的速度生成此类冒充视频,从而实现大规模的操纵。不法分子还利用 AI Agent 进行实时视频通话,延迟极低甚至为零,并能提升可信度。他们可以实时响应目标的反应,并在必要时调整策略。这些增强型攻击可能会增加内部威胁的风险,因为不知情的员工可能会被诱骗泄露敏感数据、授权交易或与攻击者共享凭证。

03

安全团队在应对智能体AI挑战中的作用

安全团队需要采取具体措施来减少 AI Agent 造成的安全盲点。IT 部门首先应通过数据治理和实时可见性控制来限制 AI Agent 对敏感数据的访问。实现这一目标的步骤包括在身份和访问管理 (IAM) 系统中对 AI Agent 的身份进行分类,并以与监控特权账户相同的严格程度来监控其活动。可见性方面更进一步,通过监控已分配给 AI Agent 的已实施行为基线的网络活动来实现。借助可见性,IT 团队可以监控特权访问的移动和异常情况,这不仅有助于预防工作,还能在出现恶意代理时加快遏制和恢复工作。

此外,通过识别 AI Agent 攻击中使用的新模式和策略,组织可以更新其防御策略,并训练其安全系统,以便在未来识别和阻止类似的威胁。

04

如何防范AI Agent带来的内部威胁

事实上, AI Agent 由于其自主性和对敏感系统日益增长的访问权限,引入了一种新型的内部风险。此外,威胁行为者将继续利用 AI Agent ,通过深度伪造、网络钓鱼和社会工程等手段,更有效地利用人类的弱点。

随着这项技术的进步,企业在将 AI Agent 融入工作流程之前,需要提高对 AI Agent 访问权限和行为的可见性。这包括投资于主动式、全方位、实时监控,并同时部署 AI Agent 团队。虽然 AI Agent 可以解决关键的业务瓶颈和挑战,但需要采取积极主动的方法来限制未来可能出现的内部威胁。

免责声明:
本文所发布的内容和图片旨在传播行业信息,版权归原作者所有,非商业用途。如有侵权,请与我们联系删除。所有信息不构成任何投资建议,加密市场具有高度风险,投资者应基于自身判断和谨慎评估做出决策。投资有风险,入市需谨慎。
设为星标 🌟🌟🌟 避免错过
虚拟世界没有旁观者,每个点赞都是创造历史的像素
关注我,一起探索AWM⁺
推荐阅读
观察、思考、解释:AI 中视觉语言模型的兴起

2025-11-03

谷歌与微软:AI 商业模式之争

2025-10-31

OpenAI 的 AGI 存在问题——而微软的做法更是雪上加霜

2025-10-30

商业赞助
点击下方 “目录” 阅读更多

【声明】内容源于网络
0
0
七元宇宙
AI、Web3、Meta聚合型精选内容分享。以前沿视角,探索科技未来;让每一个人,都走在时代的前沿
内容 3217
粉丝 0
七元宇宙 AI、Web3、Meta聚合型精选内容分享。以前沿视角,探索科技未来;让每一个人,都走在时代的前沿
总阅读75
粉丝0
内容3.2k