无需担心你的秘密 ChatGPT 对话在近期曝光的 OpenAI 系统泄露事件中被获取。这次黑客攻击虽然令人不安，但看起来只是表面性的——这也提醒我们，AI 公司在短时间内已成为黑客眼中最具吸引力的目标之一。
《纽约时报》在前 OpenAI 员工 Leopold Aschenbrenner 最近在播客中暗示此事后，对该黑客事件进行了更详细的报道。他称这是一起“重大安全事件”，但未具名的公司消息人士告诉《纽约时报》，黑客仅访问了一个员工讨论论坛。（我已联系 OpenAI 以确认并发表评论。）
任何安全漏洞都不应被视为微不足道，窃听 OpenAI 内部开发讨论确实有其价值。但这远非黑客访问内部系统、进行中的模型、秘密路线图等那样严重。
但它仍应让我们感到担忧，原因未必是中国或其他对手在 AI 军备竞赛中超越我们。简单的事实是，这些 AI 公司已成为海量高价值数据的守门人。
我们来谈谈 OpenAI 以及（在一定程度上）其他 AI 公司创建或拥有的三类数据：高质量训练数据、大量用户交互数据和客户数据。
由于这些公司对它们的数据储备极其保密，因此不确定它们具体拥有哪些训练数据。但认为它们仅仅是堆积如山的网络抓取数据是一种错误。是的，它们确实使用网络爬虫或像 The Pile 这样的数据集，但要将这些原始数据处理成可用于训练 GPT-4o 等模型的格式是一项艰巨的任务。这需要耗费巨大的人力工时——这只能部分自动化。
AI 训练数据的价码只有大型科技公司才负担得起
一些机器学习工程师推测，在所有影响大型语言模型（或者也许是任何基于 Transformer 的系统）创建的因素中，最重要的单一因素是数据集质量。这就是为什么在 Twitter 和 Reddit 上训练出的模型永远不如在一百年来所有出版作品上训练出的模型那样文笔优美。（这也可能是为什么 OpenAI 据报道在训练数据中使用了来源合法性存疑的材料，例如受版权保护的书籍，而他们声称已放弃这种做法。）
因此，OpenAI 构建的训练数据集对竞争对手具有巨大价值，这些竞争对手包括其他公司、敌对国家以及美国的监管机构。联邦贸易委员会（FTC）或法院难道不想知道究竟使用了哪些数据，以及 OpenAI 是否如实披露了吗？
但或许更有价值的是 OpenAI 庞大的用户数据宝库——其中可能包含数十亿条关于成千上万个主题的 ChatGPT 对话记录。正如搜索数据曾是理解网络集体心理的关键一样，ChatGPT 也把握着一部分人群的脉搏；虽然这部分人群的范围可能不如 Google 用户群体广泛，但其深度却远超后者。（如果你尚未意识到这一点，除非你选择退出，否则你的对话内容正被用作训练数据。）
人工智能驱动的诈骗及其应对措施
以 Google 为例，针对“空调”的搜索量增加表明市场正在升温。但这些用户随后并不会就他们想要什么、愿意花多少钱、房屋状况、希望避免的品牌等进行完整的对话。你知道这些数据之所以有价值，是因为 Google 自身正试图通过用 AI 交互替代搜索，促使用户提供此类信息！
想想人们与 ChatGPT 进行了多少对话，这些信息是多么有用，不仅对 AI 开发者而言如此，对营销团队、顾问、分析师等也是如此。这简直是一座金矿。
最后一类数据可能是公开市场上价值最高的：客户实际上如何使用 AI，以及他们向模型输入了哪些数据。
数百家大型公司和无数小型公司使用 OpenAI 和 Anthropic 的 API 来处理同样多样的任务。为了让语言模型对他们有用，通常必须在其内部数据库上进行微调或以其他方式授予访问权限。
这可能是一些平凡的事物，如旧预算表或人事记录（例如，使其更易于搜索），也可能是极具价值的未发布软件代码。他们如何利用 AI 的能力（以及这些能力是否真正有用）是他们的业务，但简单的事实是，AI 提供商拥有特权访问权限，就像任何其他 SaaS 产品一样。
这些都是商业机密，而 AI 公司突然处于大量此类机密的核心位置。该行业这一方面的新颖性带来了特殊风险，因为 AI 处理流程尚未标准化或完全被理解。
Hugging Face 称检测到其 AI 模型托管平台存在“未经授权的访问”
与任何 SaaS 提供商一样，AI 公司完全有能力提供符合行业标准的安全性、隐私保护、本地部署选项，并总体上负责任地提供服务。我毫不怀疑 OpenAI 的财富 500 强客户的私有数据库和 API 调用都受到了极其严密的保护！他们必然对在处理 AI 背景下机密数据时固有风险有着充分甚至更深刻的认识。（OpenAI 未报告此次攻击是其自身的选择，但这并不有助于建立一家亟需信任的公司形象。）
但良好的安全实践并不能改变其所保护对象的价值，也无法改变恶意行为者和各类对手正拼命试图入侵的事实。安全不仅仅是选择正确的设置或保持软件更新——尽管这些基础工作当然也很重要。这是一场永无止境的猫鼠游戏，讽刺的是，这场游戏如今正被 AI 本身极大地加速：代理程序和攻击自动化工具正在探查这些公司攻击面的每个角落。
无需恐慌——那些能够访问大量个人或商业有价值数据的公司多年来一直面对并管理着类似的风险。但 AI 公司代表了一种比普通的配置不当的企业服务器或不负责的数据经纪商更新、更年轻且可能更具吸引力的目标。即使像上述报道的那样，没有造成我们已知的严重数据泄露，任何与 AI 公司有业务往来的人都应感到担忧。它们已在背上画好了靶心。当任何人或所有人开火时，不要感到惊讶。
NSA 网络主管称：AI 既助力国家黑客，也帮助美国间谍发现他们