谷歌威胁情报组 (GTIG) 近日发布警告称,今年的网络威胁态势出现了一个重大转变:攻击者正积极利用人工智能(AI),在恶意软件执行过程中集成大语言模型 (LLM) 来部署新型恶意软件家族。
这种新方法使恶意软件能够在执行中期动态改变自身行为,达成了传统恶意软件难以企及的全新作战灵活性。
谷歌将这项技术称为 “即时”(just-in-time) 自我修改。GTIG重点提到了两个在乌克兰部署的实例:实验性的PromptFlux恶意软件投递器和PromptSteal(又名 LameHug)数据挖掘器。这些恶意软件展示了利用AI进行动态脚本生成、代码混淆和按需创建新功能的能力。
武器级恶意软件PromptFlux及其“思考机器人”
PromptFlux是一款实验性的VBScript投递器。其最新版本利用谷歌的LLM(Gemini)来生成混淆后的VBScript变体。
持久化与传播:它试图通过“启动”文件夹条目实现持久化。
横向移动:它会在可移动驱动器和已映射的网络共享上传播。
“PromptFlux最核心的新组件是其‘思考机器人’(Thinking Robot) 模块,该模块旨在定期查询Gemini,以获取用于规避反病毒软件的新代码。” —— 谷歌研究人员解释道。
研究人员发现,其使用的提示词非常具体且可被机器解析。这表明该恶意软件的创建者旨在创造一种不断进化的“变形脚本”(metamorphic script)。
PromptFlux的"StartThinkingRobot"函数(来源:
Google)
目前,谷歌无法将PromptFlux溯源到特定的威胁行为者,但指出其战术、技术和程序 (TTP) 表明它正被一个出于经济动机的团伙所使用。
尽管PromptFlux尚处于早期开发阶段,未能对目标造成实际损害,但谷歌已采取行动,禁用了其对Gemini API的访问权限,并删除了所有与之相关的资产。
盘点:其他已现身的AI恶意软件
除了PromptFlux,谷歌今年还发现了其他几款在实际攻击中使用的AI驱动恶意软件:
FruitShell:一个PowerShell反向Shell。它利用硬编码的提示词来绕过由 LLM驱动的安全分析,从而在受感染主机上建立远程命令与控制 (C2) 访问并执行任意命令。该恶意软件已在网络上公开。
QuietVault:一个JavaScript凭证窃取器,专门针对GitHub和NPM令牌。它利用宿主机上的AI CLI工具和提示词来搜索并窃取额外的机密信息,然后将窃取到的凭证泄露到动态创建的公共GitHub仓库中。
PromptLock:一款实验性勒索软件。它依靠Lua脚本在Windows、macOS和Linux机器上窃取和加密数据。
Gemini被玩坏:APT组织利用Gemini贯穿攻击全周期
谷歌的报告还记录了多起威胁行为者在整个攻击生命周期中滥用Gemini的案例。AI已不仅仅是恶意软件的组件,更成为了攻击者的“智能助手”。
中国背景的某黑客:伪装成夺旗赛 (CTF) 参与者,绕过Gemini的安全过滤器以获取漏洞利用详情。该组织利用模型来发现漏洞、制作网络钓鱼诱饵并构建数据外泄工具。
伊朗黑客 (MuddyCoast/UNC3313):伪装成学生,利用Gemini进行恶意软件开发和调试,并在此过程中意外暴露了其C2域名和密钥。
伊朗组织(APT42):滥用Gemini进行网络钓鱼和数据分析。他们创建诱饵、翻译内容,并开发了一个“数据处理代理”,能将自然语言转换为SQL,用于挖掘个人数据。
APT41:利用Gemini进行代码辅助,增强其OSSTUN C2框架,并利用混淆库来提高恶意软件的复杂性。
朝鲜威胁组织 (Masan/UNC1069&Pukchong/UNC4899):Masan利用Gemini进行加密货币盗窃、多语言网络钓鱼和创建深度伪造 (Deepfake) 诱饵。Pukchong则用其开发针对边缘设备和浏览器的代码。
针对所有已识别的滥用案例,谷歌均禁用了相关账户,并根据观察到的策略加强了模型的安全防护措施,使其更难被绕过和滥用。
地下黑市新风向:AI 驱动的网络犯罪工具成为主流
谷歌研究人员发现,在英语和俄语的地下市场和论坛上,对基于AI的恶意工具和服务的兴趣与日俱增,因为AI显著降低了部署更复杂攻击的技术门槛。
“许多地下论坛的广告语言与合法AI模型的传统营销非常相似,声称需要提高工作流程的效率,同时还为感兴趣的潜在客户提供指导。” ——谷歌报告。
这些非法服务涵盖了从生成深度伪造和图像,到恶意软件开发、网络钓鱼、研究与侦察,乃至漏洞利用的方方面面。
随着AI驱动的网络犯罪工具市场日趋成熟,这一趋势表明传统恶意操作工具正被逐步替代。GTIG已识别出多个可覆盖攻击各个阶段的“多功能AI工具”:
这种“犯罪智能化”趋势非常激进,许多开发者在他们产品的免费版本中就推广新功能,而付费版本(通常价格更高)则包括API和Discord访问权限。
由CSA(国际云安全联盟)推出的CAISP人工智能安全认证专家课程内容全面覆盖技术细节、政策法规以及安全标准,并通过丰富的实践案例分析,确保学员能够深入掌握人工智能安全领域的专业知识,该认证课程内容符合企业对AI安全人才的需求。
CAISP课程专注于理解人工智能安全的治理与管理环境,学习 AI 安全的术语与安全目标、针对于算法、模型以及数据安全和隐私进行学习,全面提升对 AI 安全风险的识别、评估与测评等实战化能力;课程还涵盖了 AI 安全的国内与国外的法律法规框架,并通过实际案例,探讨如何在组织中实施 AI 安全;此外,学员还将具体学习如何应对 AI 安全的风险与挑战,包括应对数据投毒、对抗性攻击和供应链威胁等多种安全挑战。
承制CAISP培训班
承制科技作为CSA授权培训机构,已成功举办了多期CAISP认证培训班,并且有不少学员已经申请并通过考试。
承制将继续提升CAISP教学服务质量,现在报名可直接进入录播群与讲师面对面,学习完成之后可随时预约考试。
CAISP课程收益
对个人价值
技术与实战结合:通过实际案例和实践指导,提升解决实际问题的能力,将理论知识转化为实际操作技能,促进个人技术成长与实操经验积累。
国际视野拓展:结合全球AI安全标准和法规的学习,帮助个人形成国际化的视角,提升在跨国企业或国际合作项目中的适应性和价值。
法律法规精通:熟悉国内外政策法规,增强伦理道德意识,为个人职业生涯树立合规操作的基石,降低法律风险。
职业发展加速:获得CAISP认证,证明个人在AI安全领域的专业地位,有利于职业晋升、薪资增长以及更广泛的职业选择。
安全思维培养:从设计到运营的全周期安全管理能力,使得个人能够在任何涉及AI安全的项目中发挥关键作用,成为企业不可或缺的安全专家。
对企业价值
合规性保障:员工熟悉国内外AI安全政策和伦理道德,帮助企业建立合规的安全管理体系,避免法律风险,提升企业形象和社会责任感。
成本效率优化:通过DevSecOps的集成,提高AI开发流程的安全性与效率,减少因安全问题导致的修复成本和时间延误。
创新能力提升:在大语言模型安全实践与ChatGPT安全最佳实践的指导下,企业能够安全高效地利用最新技术,推动产品和服务创新。
安全化构建:培养员工在全生命周期的AI安全管理意识,形成以安全为导向的企业文化,为企业的可持续发展打下坚实基础。
竞争力增强:拥有具备CAISP认证的专家团队,企业能够在激烈的市场竞争中展现更高的安全标准和专业实力,吸引更多合作伙伴和客户信任。
CAISP学习对象
AI行业相关人员:AI工程师与开发者、AI安全工程师、AI应用终端用户;
安全相关人员:安全研究员、合规与风险管理专员、网络安全从业者;
其他:政策制定者和监管机构、科技管理者、在校学生
CAISP课程大纲
|
模块 |
培训内容 |
|
AI安全概述篇 |
|
|
技术基础篇 |
|
|
安全风险篇 |
|
|
政策与治理篇 |
|
|
全生命周期管理篇 |
|
|
标准与评估篇 |
|
|
特别篇ChatGPT的安全影响 |
|
|
实践案例篇 |
|
|
伦理与未来发展 |
|
|
考前串讲 |
|
CAISP证书样例
往期推荐

