苹果发布了一份技术论文，详细说明了其用于驱动 Apple Intelligence 的生成式 AI 功能，这些功能将在未来几个月内登陆 iOS、macOS 和 iPadOS。
在论文中，苹果反驳了关于其在训练部分模型时采取道德上值得怀疑方法的指控，并重申未使用私人用户数据，而是结合了公开可用和授权的数据来开发 Apple Intelligence。
“[预]训练数据集包括……我们从出版商处获得授权的数据、精心策划的公开或开源数据集以及由我们的网络爬虫 Applebot 抓取的公开信息，”苹果在论文中写道。“鉴于我们专注于保护用户隐私，我们指出，数据混合物中不包含任何私人 Apple 用户数据。”
今年7月，Proof News 报道称苹果使用了一个名为 The Pile 的数据集来训练专为设备端处理设计的模型，该数据集包含数十万个 YouTube 视频字幕。许多被纳入 The Pile 的字幕所属创作者对此并不知情且未表示同意；苹果随后发表声明称，无意将这些模型用于其产品中的任何 AI 功能。
这份技术论文揭开了苹果今年6月在 WWDC 2024 上首次公布的 Apple Foundation Models (AFM) 的面纱，强调 AFM 模型的训练数据是以一种“负责任”的方式获取的——或者至少是按照苹果的定义是负责任的。
AFM 模型的训练数据包括公开的网页数据以及来自未披露出版商的授权数据。据《纽约时报》报道，苹果于2023年底联系了 NBC、Condé Nast 和 IAC 等多家出版商，就价值至少5000万美元的多年期协议进行洽谈，以便在新闻档案上训练模型。此外，苹果 AFM 模型还使用了托管在 GitHub 上的 Swift、Python、C、Objective-C、C++、JavaScript、Java 和 Go 等开源代码进行训练。
未经授权在代码上训练模型（即使是开源代码）也是开发者之间争议的焦点。一些开发者认为某些开源代码库未获得许可或其使用条款不允许进行 AI 训练。但苹果表示，它对代码进行了“许可过滤”，试图仅包含 MIT、ISC 或 Apache 等限制最少的许可证存储库。
据论文称，为提升 AFM 模型的数学能力，苹果特别将来自网页、数学论坛、博客、教程和研讨会的数学问题及答案纳入了训练集。该公司还利用了“高质量、公开可用”且拥有“允许用于训练模型许可”的数据集（论文未指明具体名称），并经过过滤以移除敏感信息。
总体而言，AFM 模型的训练数据集包含约6.3万亿个 token（令牌是数据的小块片段，通常更容易被生成式 AI 模型处理）。相比之下，这一数量不到 Meta 用于训练其旗舰文本生成模型 Llama 3.1 405B 所用 token 数量（15万亿）的一半。
苹果还获取了人类反馈数据和合成数据等额外数据，以微调 AFM 模型并尝试减轻输出有害内容等不良行为。
该公司表示：“我们的模型旨在帮助用户在其 Apple 产品上完成日常活动，深深植根于苹果的核心价值观，并在每个阶段都立足于我们负责任的 AI 原则。”
这篇论文中没有确凿的证据或令人震惊的见解——这是精心设计的结果。由于竞争压力以及披露过多可能会使公司陷入法律麻烦，因此这类论文很少提供太多内幕信息。
一些通过抓取公开网页数据来训练模型的公司声称其做法受到合理使用原则的保护，但这仍然是一个备受争议的问题，也是越来越多诉讼的主题。
苹果在报告中指出，它允许网站管理员阻止其爬虫抓取数据。但这会让个人创作者陷入困境：例如，如果艺术家的作品集托管在一个拒绝阻止苹果数据抓取的网站上，他们该怎么办？
法庭上的斗争将决定生成式 AI 模型及其训练方式的命运。不过，目前苹果正试图将自己定位为一家合乎道德的企业，同时避免不必要的法律审查。