所谓的AI垃圾内容，即由大型语言模型生成的低质量图像、视频和文本，在过去几年中席卷了互联网，污染了网站、社交媒体平台、至少一家报纸，甚至波及现实世界的事件。
网络安全领域也无法幸免于这一问题；在过去一年里，整个网络安全行业的人们对AI垃圾内容的漏洞赏金报告提出了担忧，这些报告声称发现了实际上并不存在的漏洞，因为它们是由一个凭空捏造漏洞的大型语言模型创建的，并被包装成看似专业的报告。
“人们收到的报告听起来很合理，看起来在技术上也正确。但当你深入挖掘时，却发现‘哦不，这个漏洞到底在哪里？’”RunSybil这是一家开发基于人工智能的漏洞扫描初创公司，Vlad Ionescu在接受TechCrunch采访时表示。
“结果发现这从头到尾都是幻觉。技术细节完全是由大语言模型（LLM）编造的。”Ionescu说。
Ionescu曾在Meta的红队工作，负责从内部对公司进行渗透测试。他解释说，问题之一在于大语言模型被设计为乐于助人并提供正面回应。“如果你让它生成一份报告，它就会给你一份报告。然后人们会将这些内容复制粘贴到漏洞赏金平台上，导致平台本身和客户不堪重负，陷入令人沮丧的局面。”Ionescu说。
“这就是人们遇到的问题：我们收到了大量看似像金子一样的东西，但实际上只是垃圾。”Ionescu说。
开源项目深受其害
仅在过去一年中，就出现了此类问题的现实案例；安全研究员Harry Sintonen揭露开源安全项目Curl收到了一份虚假报告，他在Mastodon上的一篇帖子中写道：“攻击者严重误判了，Curl能从几英里外嗅出AI垃圾内容。”
针对Sintonen的帖子，面向非营利组织的技术平台Open Collective的Benjamin Piouffle表示他们面临同样的问题：他们的收件箱“被AI垃圾信息淹没”。
一位维护GitHub上CycloneDX项目的开源开发者，今年早些时候完全撤回了其漏洞赏金计划，原因是收到了“几乎全是AI生成的垃圾报告”。
漏洞赏金平台应对策略
据TechCrunch获悉，主要的漏洞赏金平台——这些平台本质上充当漏洞赏金黑客与愿意付费奖励他们发现产品和软件缺陷的公司之间的中介——也目睹了AI生成报告的激增。
HackerOne的联合创始人兼产品管理高级总监Michiel Prins告诉TechCrunch，该公司遇到了一些AI生成的垃圾内容。
“我们还观察到误报的增加——即那些看似真实但实际上由大语言模型生成、缺乏现实影响的漏洞。”Prins表示，“这些低信噪比的提交会产生噪音，从而削弱安全计划的效率。”
Prins补充称，包含“幻觉漏洞、模糊的技术内容或其他形式的低质量噪音”的报告会被视为垃圾信息。
Bugcrowd的创始人Casey Ellis表示，确实有研究人员利用AI来发现漏洞并撰写报告，然后提交给公司。Ellis称，他们每周收到的提交量整体增加了500份。
Ellis告诉TechCrunch：“AI在大多数提交中已被广泛使用，但尚未导致低质量的‘垃圾’报告出现显著激增。”他补充道：“这种情况未来可能会加剧，但目前还没有发生。”
Ellis表示，负责分析提交的Bugcrowd团队会使用既定的操作手册和工作流程手动审查报告，同时辅以机器学习和AI的“协助”。
科技巨头现状与未来展望
为了了解其他公司（包括那些运营自有漏洞赏金计划的公司）是否也收到了无效报告或包含由大语言模型（LLM）幻觉出的不存在漏洞的报告数量的增加，TechCrunch联系了Google、Meta、Microsoft和Mozilla。
开发Firefox浏览器的Mozilla发言人Damiano DeMonte表示，该公司“没有看到看似由AI生成的无效或低质量漏洞报告大幅增加”，报告的拒绝率——即被标记为无效的报告比例——一直稳定在每月五到六份，占所有月度报告的不到10%。
DeMonte在一份电子邮件中表示，Mozilla负责审查Firefox漏洞报告的员工不使用AI来过滤报告，因为这很可能难以做到，且存在误拒合法漏洞报告的风险。
大力押注AI的Microsoft和Meta拒绝置评。Google未回应置评请求。
Ionescu预测，应对日益增多的AI垃圾报告问题的解决方案之一，将是继续投资基于AI的系统，至少能够执行初步审查并筛选提交的准确性。
事实上，在周二，HackerOne推出了Hai Triage这一结合人工与AI的新分类系统；据HackerOne称，该系统正利用“AI安全代理来过滤噪音、标记重复项并优先处理真实威胁”，随后由人工分析师介入验证漏洞报告并在必要时进行升级。
随着黑客越来越多地使用大语言模型，而公司则依赖AI来对这些报告进行分类处理，究竟哪一方的人工智能将占据上风，仍待观察。