我们此前曾向大家介绍过，人工智能巨头 OpenAI 推出了适用于 Mac 的 ChatGPT 应用。该公司继续逐步完善该应用，包括增强语音功能。甚至 ChatGPT 现在已经开始访问您在 macOS 上其他应用中的内容。在新功能的帮助下，用户可以轻松获取 AI 对其在其他应用中操作情况的见解，从而无需再手动截图或复制粘贴文本。
名为“与应用程序协作”的新功能目前仅支持 Apple 的开发环境 Xcode、微软支持的 Visual Studio Code 以及 iTerm2等开发者工具。此外，该功能还将能够访问 TextEdit 和Terminal。根据 OpenAI 分享的信息，这项处于“早期测试版”的功能重点在于帮助开发者更轻松地使用 ChatGPT 进行项目开发。
开发者可以将终端或开发环境与 ChatGPT 连接。这样，ChatGPT 就能查看该应用中的内容，从而为您提供更快、更具上下文关联性的回答。目前，该功能仅在 Mac 上的 ChatGPT 桌面应用中提供。值得注意的是，所有 Plus 和 Teams 订阅用户均可访问此功能。使用企业版和教育版的用户将在几周内获得对该功能的访问权限。
OpenAI 桌面产品负责人 Alexander Embiricos 表示，OpenAI 主要利用 macOS 辅助功能 API 来读取不同应用中的文本并将其传递给 ChatGPT。“与应用程序协作”功能会针对特定应用，在每次请求时通过 ChatGPT 发送相关代码片段。其余部分中，您主窗口内的所有代码都将被用作聊天机器人的输入。为了帮助 ChatGPT 聚焦于项目的正确部分，您可以高亮显示代码或文本片段，但 ChatGPT 不仅会包含您指定的部分，还会将其周围的文本一并纳入考虑。
据 OpenAI 发言人表示，ChatGPT 目前仅能查看您在应用中的操作并提供建议。公司正在探索使这些建议在应用中更无缝融合的方法。此外，OpenAI 表示，ChatGPT 即将能够访问更多应用程序。据 OpenAI 称，ChatGPT 将能够与基于文本的应用程序协同工作，尤其适用于写作任务。
需指出的是，目前第三方应用集成仅在 Mac OS 上可用。但根据 Embiricos 的说法，PC 用户最终也将获得此功能。与此同时，公司还宣布了 ChatGPT 桌面应用 Windows PC 版本的若干新特性。此前以有限版本向订阅用户提供的 ChatGPT Windows PC 桌面版现已可供所有 ChatGPT 用户下载。在扩大用户群的同时，OpenAI 还通过增加高级语音模式和屏幕截图功能的使用权限，更新了 PC 应用。
OpenAI 的“与应用程序协作”功能实际上是人工智能巨头之间日益流行的 AI Agent 技术的一种体现。上周，Anthropic 在其升级版的 Claude 3.5 Sonnet 模型中引入了处于测试阶段的 Computer Use API，该功能允许 AI 与操控计算机桌面的工具进行交互。与此同时，据分享的信息显示，Microsoft 的 Copilot Vision 产品将使用户能够就其浏览的网页内容进行对话。Google 则正在开发具备计算机操作能力的 AI Agent 系统。最后，预计明年 Apple Intelligence 将具备感知用户屏幕内容的能力。此外，OpenAI 也计划在 2026 年推出首款自主 AI Agent，超越当前的“与应用程序协作”功能。