OpenAI 的 ChatGPT 开始与电脑上的其他应用程序协同工作。
周四，这家初创公司宣布，ChatGPT 的 macOS 桌面版现在可以读取少数几款面向开发者的编码应用中的代码，例如 VS Code、Xcode、TextEdit、Terminal 和 iTerm2。
这意味着开发者不再需要将代码复制并粘贴到 ChatGPT 中——这已成为使用该聊天机器人的常见方式。现在，当启用该功能时，OpenAI 会自动将你正在处理的代码部分连同你的提示词一起作为上下文发送给其聊天机器人。
然而，与 Cursor 或 GitHub Copilot 等流行的 AI 编码工具不同，ChatGPT 目前无法直接在你的开发者应用中代为编写代码。
该功能名为“与应用程序协作”（Work with Apps），远非一个 AI 智能体，但 OpenAI 表示，让 ChatGPT 理解其他应用程序是构建智能体系统的一个“关键基础模块”。当前 AI 智能体面临的最大挑战之一，是让它们理解你电脑屏幕上的其余内容，而不是仅仅依赖提示词或自身的回复。
OpenAI 表示，它最初将这一功能聚焦于编码类应用；这可能是因为 AI 编码助手已成为大语言模型（LLMs）最受欢迎的用例之一。该功能今天已向 Plus 和 Teams 用户开放，未来几周内将向 Enterprise 和 Edu 用户推出。OpenAI 表示，ChatGPT 将来还能与其他类型的应用程序协同工作，特别是可用于写作任务的基于文本的应用程序。
在与 TechCrunch 的一次演示中，一名 OpenAI 员工打开了 ChatGPT 应用和一个包含简单太阳系建模项目的 Xcode 环境——尽管该项目缺少地球。该员工在 ChatGPT 中选择了 Xcode 标签页，指示 AI 聊天机器人查看该应用，并提示聊天机器人“添加缺失的行星”。聊天机器人成功完成了任务，写了一行代表地球的代码，且格式与项目其余部分一致。不过，他们仍需将 ChatGPT 的答案粘贴回自己的环境中。
据 OpenAI 桌面产品负责人 Alexander Embiricos 称，为了读取不同应用的内容，OpenAI 主要依赖 macOS 辅助功能 API 来读取文本并将其翻译给 ChatGPT。macOS 上的屏幕阅读器（用于支持 Apple 的 VoiceOver 功能）已存在近二十年。它通常被认为对大多数常见应用相当可靠，但并非适用于所有情况。
对于某些应用（如微软的 VS Code），“与应用程序协作”功能要求用户安装一个特殊的扩展程序以查询内容。此外，正如名称所示，Apple 的屏幕阅读器只能读取文本，因此它无法帮助 ChatGPT 理解视觉元素，例如照片、物体的方向或视频。
对于某些应用，“与应用程序协作”功能会将你最近的 200 行代码随每个提示词一起发送给 ChatGPT。而对于其他应用，则会将你最前端窗口中的所有代码用作聊天机器人的输入。你可以高亮显示代码或文本的特定部分，以帮助 ChatGPT 聚焦于项目的正确部分，但 ChatGPT 也会包含周围的文本。这一切听起来都会消耗大量的输入 token。
目前尚不清楚 OpenAI 计划如何将此功能扩展到其他不兼容 Apple 屏幕阅读器的应用。OpenAI 的竞争对手 Anthropic 发布了一个分析用户桌面截图以理解和使用其他应用的 AI 系统。坦率地说，Anthropic 的方法在其当前状态下仍有诸多不足：它运行缓慢且错误频出。然而，它是一种更通用的 AI 智能体版本，不依赖 API，能够执行的功能不止于读取另一个窗口中的文本。
“这并非旨在成为一个智能体，而是一种与编码工具协作的方式，以便启动工作，并且很快会有更多工具推出。”Embiricos 在 TechCrunch 的一次简报中表示。“从智能体的角度来看，我认为这是一个非常关键的构建模块。ChatGPT 能够理解或处理你所拥有的所有内容，从而提供帮助。”
鉴于最近的报道指出 OpenAI 即将发布一款代号为“Operator”的通用 AI 智能体，这一迈向智能体的步骤显得尤为引人注目，该消息来自 Bloomberg。预计该工具将于 2025 年初推出，并将与其他早期通用 AI 智能体尝试相抗衡，例如 Anthropic 的 Computer Use 或 Google 据报道的“Jarvis”智能体。
OpenAI 首先在 macOS 上发布这些功能，紧随其后的是 Apple 将在 12 月推出的与 ChatGPT 的集成。目前尚不清楚“Work with Apps”功能何时会登陆 Windows，而 Windows 是由 OpenAI 最大支持者 Microsoft 开发的操作系统。