如果你能够用自然语言与任何软件进行交互，会怎样？想象一下，输入一个提示词，让 AI 将指令翻译成机器可理解的命令，在电脑或手机上执行任务，从而实现你刚刚描述的目标。
这正是 Rabbit 背后的理念。它是 Cyber Manufacture Co. 的品牌重塑，后者正在构建一个定制的、由 AI 驱动的用户界面层，旨在位于用户与任何操作系统之间。
Rabbit 由拥有利物浦大学数学学士学位的 Jesse Lyu 和此前在卡内基梅隆大学担任研究人员的 Alexander Liao 共同创立。他们正在打造一个名为 Rabbit OS 的平台，该平台由一个 AI 模型支撑。据 Lyu 和 Liao 称，该模型能够像人类一样查看并操作桌面和移动界面。
Lyu 在一封电子邮件采访中表示：“生成式 AI 的进步激发了科技行业广泛开展各项举措，以定义并确立下一代人机交互方式。”“我们的观点是，成功的最终决定因素在于提供卓越的终端用户体验。借鉴我们过去的努力和经验，我们意识到，革新用户体验需要一个定制化的专属平台和设备。这一基本原则构成了 Rabbit 当前选择的产品和技术栈的基础。”
Rabbit 已获得 Khosla Ventures、Synergis Capital 和 Kakao Investment 提供的 2000 万美元融资。据知情人士透露，该初创公司估值在 1 亿至 1.5 亿美元之间。它并非首个尝试在现有软件之上叠加自然语言界面的项目。
Google 的 AI 研究实验室 DeepMind 已经探索了多种方法来教 AI 控制计算机，例如让 AI 观察人们完成“遵循指令”任务（如预订航班）时的键盘和鼠标操作。上海交通大学的研究人员最近开源了一个网页导航 AI 智能体，声称它能弄清楚如何使用搜索引擎和在线订购商品。此外，还有像病毒式传播的 Auto-GPT 这样的应用，它们利用 AI 初创公司 OpenAI 的文本生成模型来“自主”行动，与在线和本地的应用程序、软件和服务（如网络浏览器和文字处理器）进行交互。
但如果 Rabbit 有一个直接竞争对手，那可能是 Adept。这是一家正在训练名为 ACT-1 模型的公司，该模型能够理解并执行诸如“生成月度合规报告”或“在此蓝图中的这两点之间绘制楼梯”等命令，使用的是 Airtable、Photoshop、Tableau 和 Twilio 等现有软件。由前 DeepMind、OpenAI 和 Google 的工程师和研究者联合创立的 Adept，已从包括 Microsoft、Nvidia、Atlassian 和 Workday 在内的战略投资者那里筹集了数亿美元，估值约为 10 亿美元。
那么 Rabbit 希望如何在日益拥挤的领域中竞争呢？Lyu 表示，通过采取不同的技术路线。
虽然听起来 Rabbit 正在创建的东西类似于机器人流程自动化（RPA），即利用自动化、计算机视觉和机器学习的组合来自动化填写表格和回复邮件等重复性任务的软件机器人，但 Lyu 坚持认为它更为复杂。他说，Rabbit 的核心交互模型可以“理解复杂的用户意图”和“操作用户界面”，最终“理解计算机上的人类意图”。
Lyu 说：“该模型已经可以与高频的主要消费类应用程序进行交互——包括 Uber、DoorDash、Expedia、Spotify、Yelp、OpenTable 和 Amazon——涵盖 Android 和网页平台。”“我们计划明年将此支持扩展到所有平台（例如 Windows、Linux、MacOS 等）以及小众消费类应用。”
Rabbit 的模型可以做预订航班或预约等事项，并且它可以编辑 Photoshop 中的图像，使用适当的内置工具。
或者更准确地说，它将来能够做到这一点。我在 Rabbit 网站上尝试了一个演示，目前该模型的功能略显有限——而且它似乎对这一事实感到困惑。我提示模型编辑一张照片，它指示我指定是哪一张；鉴于演示界面没有上传按钮，甚至没有粘贴图片 URL 的字段，这根本不可能实现。
不过，Rabbit 模型确实可以回答需要浏览全球互联网的问题，类似于具有网页访问功能的 ChatGPT。我问它 10 月 5 日从纽约到旧金山最便宜的航班有哪些，大约 20 秒后，它给出了一个看似事实准确或至少合理的答案。当被要求时，该模型还正确列出了至少几个 TechCrunch 播客（例如《Chain Reaction》），在这方面胜过 Bing Chat 的早期版本。
Rabbit 的模型不太倾向于回应更具争议性的提示，例如制造脏弹的指令或对大屠杀真实性提出质疑的内容。显然，该团队从过去大型语言模型的一些错误中吸取了教训（参见：早期 Bing Chat 容易失控的倾向）——至少根据我非常短暂的测试来看是这样。
Lyu 解释说：“通过利用[我们的模型]，Rabbit 平台使任何用户，无论其专业技能如何，都能教会系统如何在应用程序中实现特定目标。”“[该模型]从聚合的演示和互联网上可用的数据中持续学习和模仿，为任何应用程序的底层服务创建‘概念蓝图’。”
Lyu 补充说，Rabbit 的模型在某种程度上对“扰动”具有鲁棒性，比如界面不一致或随时间变化的情况。它只需通过屏幕录制应用“观察”一个人至少一次使用软件界面即可。
目前尚不清楚 Rabbit 模型的稳健性究竟如何。事实上，Rabbit 团队自己也不清楚——至少不够精确。考虑到在操作桌面、智能手机或网页界面时可能会出现无数边缘情况，这并不令人惊讶。因此，除了构建模型外，该公司还在设计一个框架来测试、观察和优化模型，并构建基础设施以在云端验证和运行未来版本的模型。
Rabbit 还计划发布专用硬件来托管其平台。鉴于硬件制造的扩展往往十分困难、供应商锁定会引发消费者反感，以及该设备最终可能不得不与 OpenAI 正在规划的任何产品竞争，我对这一策略的智慧表示怀疑。但 Lyu——他好奇地不愿告诉我该硬件将做什么或其为何必要——承认目前的路线图有些不确定。
Lyu 说：“我们正在打造一种全新的、非常经济实惠且专用的移动设备形态，以运行我们用于自然语言交互的平台。”“这将是首款接入我们平台的设备……我们认为，独特的形态使我们能够设计更直观、更令人愉悦的新交互模式，从而让我们能够自由地运行现有平台无法运行或不允许运行的软件和模型。”
如果 Rabbit 决定推进其提出的硬件战略，硬件并非其唯一的扩展挑战。像 Rabbit 正在构建的这类模型，显然需要大量成功完成的应用程序任务的示例。而收集此类数据可能是一个繁琐——更不用说昂贵——的过程。
例如，在一项 DeepMind 的研究中，研究人员写道，为了为其系统收集训练数据，他们不得不支付 77 人完成超过 240 万次计算机任务演示。将其外推后，问题的巨大规模便清晰显现。
现在，2000 万美元可以发挥很大作用——尤其是因为 Rabbit 是一个小团队（九人），目前正工作在 Lyu 的家中。（他估计每年的资金消耗率约为 25 万美元。）不过，我想知道 Rabbit 是否能够跟上该领域更成熟的参与者，以及它将如何应对微软的 Copilot for Windows 和 OpenAI 致力于培育 ChatGPT 插件生态系统等新兴挑战者。
不过，Rabbit 绝非缺乏雄心壮志——并且有信心通过授权其平台、持续完善其模型以及销售定制设备来赚取维持业务的收入。时间会给出答案。
Lyu 说：“我们尚未发布产品，但我们的早期演示已吸引了数万用户。”“Rabbit 团队最终将开发的成熟形态模型，将使用他们尚未收集的数据，并在他们尚未设计的基准上进行评估。这就是为什么 Rabbit 团队并非单独构建模型，而是构建操作系统中支持该模型所需的全栈必要装置……Rabbit 团队认为，实现前沿研究价值的最佳方式是专注于终端用户，并快速部署经过加固和安全保障的系统投入生产。”