认识 Twin Labs，这是一家总部位于巴黎的初创公司，旨在为重复性任务构建自动化产品，例如将新员工入职并接入所有内部服务、在库存不足时重新订购商品、从多个 SaaS 产品中下载财务报告、联系潜在客户等。
“Twin 的起点是一个科幻概念。我们看到了大型语言模型（LLM）——基础模型——技术能力的发展。我们问自己的问题是，是否能够通过训练一个 AI 代理来复制我们执行任务的方式，从而‘复制’我们自己。” Twin Labs 联合创始人兼首席执行官 Hugo Mercier 告诉我。
在 Twin Labs 的案例中，最有趣的事情并不是他们正在做什么——改进内部流程——而是他们是如何做到的。该公司依赖具有视觉能力的多模态模型，例如 GPT-4 with Vision (GPT-4V)，以复制人类通常所做的操作。
在确定采用多模态模型之前，Twin Labs 曾尝试使用传统的 LLM 开发自主代理。“我们测试了很多东西，实施了研究论文，也测试了开源 GitHub 仓库。总体而言，结论是 LLM 完全不可靠。这意味着 LLM 会做出错误的决策，”Mercier 说，“最终，任务无法完成。”
据他介绍，GPT-4V 经过大量不同软件界面及其底层代码库的训练，从而解锁了新的可能性。“当你展示一个界面时，它能理解按钮背后的功能，”Mercier 说。
与 Zapier 和其他自动化产品不同，Twin Labs 不依赖 API 和复杂的多步骤流程设计。相反，Twin Labs 更像是一个网页浏览器，该工具可以自动加载网页、点击按钮并输入文本。
例如，如果你正在招聘某人，你可能需要将该人员的信息添加到你的薪资系统中，发送 Slack 邀请，创建 Google Workspace 账户，并邀请新员工注册医疗保险提供商的账户。
公司通常会维护一份长长的任务清单，并在有新团队成员加入时逐一执行。这些任务并不复杂，但极其重要，必须做得很好，按正确的顺序进行，并勾选特定的复选框。因此，能够使用屏幕录制和自然语言描述来训练 Twin Labs 的 AI 助手将变得非常重要。
但这家初创公司尚未实现这一目标——它正朝着这个愿景努力。两位联合创始人雨果·梅尔西耶（Hugo Mercier）和若昂·朱斯蒂（Joao Justi）在过去六个月里构建了该产品的原型。他们还从 Betaworks、Motier Ventures、Factorial（Matthew Hartman & Clem Delangue）以及众多天使投资人那里筹集了300万美元的种子前资金。
Twin Labs 的自主代理系统仍面临诸多挑战。例如，完成一项任务需要花费相当多的资金——但人工智能领域的 API 和基础设施成本正在迅速下降。Twin Labs 将首先推出一款包含预训练任务库的产品，以确保其运行良好。此后，该初创公司预计将开放其平台，让客户能够创建自己的任务。
尽管许多人将人工智能产品与聊天机器人界面联系在一起，但 Twin Labs 的方法颇具新意，因为它提供了一种与 AI 模型交互的创新方式。“我们真正想深入探究人们日常所做的工作，以及我们如何接管其中一些对他们来说颇为繁琐的任务，”梅尔西耶表示。