Reworkd 创始人凭借 AgentGPT 在 GitHub 走红，该免费 AI 智能体构建工具一周内日活超 10 万，助其入选 Y Combinator 2023 夏季孵化项目。但联合创始人很快意识到通用 AI 智能体范围过宽，遂转型为网络爬虫公司，专注构建从公开网络提取结构化数据的 AI 智能体。
AgentGPT 提供简易浏览器界面供用户创建自主运行 AI 智能体，引发“智能体是计算未来”的热议。爆火时三位创始人仍居加拿大且 Reworkd 尚未成立；大量用户涌入致 API 调用费高达每日 2,000 美元，迫使其迅速创立公司并融资。因创建网络爬虫是最受欢迎用例，Reworkd 将此作为唯一专注点。
AI 时代网络爬虫的变革
据 Bright Data 报告，2024 年组织使用公开网络数据的首要原因是构建 AI 模型。传统爬虫需人工定制、成本高昂，而 Reworkd AI 代理可在减少人工干预下抓取更多内容。
客户可提供数百至数千个待爬网站列表及数据类型需求，Reworkd AI 智能体利用多模态代码生成技术将需求转化为结构化数据，并为每个网站生成独特提取代码供客户自由使用。
例如获取 NFL 球员统计数据时，无需为各队不同布局单独构建爬虫，只需提供链接和数据描述即可。面对 32 支球队可节省数小时，若涉及 1,000 支球队则可节省数周时间。
Reworkd 独家透露已从 Paul Graham、AI Grant（Nat Friedman 和 Daniel Gross 创办）、SV Angel、General Catalyst 及 Panache Ventures 等筹集 275 万美元种子轮融资。加上此前 125 万美元种子前轮投资，总融资金额达 400 万美元。
能够使用互联网的 AI
团队迁往旧金山后聘请 Rohan Pandey 担任创始研究工程师，他现居湾区热门共享办公空间 AGI House SF，被投资者形容为“单人研究实验室”。
Pandey 表示：“我们认为自己是实现‘语义网’这一 30 年梦想的集大成者。”尽管部分网站无标记，但 LLMs 能像人类一样理解内容，使任何网站可暴露为 API。“从这个意义上说，Reworkd 就像是互联网的通用 API 层。”
Reworkd 擅长捕捉数据需求长尾部分，特别针对成千上万被大型竞争对手忽略的小型公共网站。相比 Bright Data 等为 LinkedIn 或 Amazon 等大型网站构建爬虫，Reworkd 解决了小型网站爬虫不值得人工构建的问题。
究竟什么是“公共”网络数据？
AI 时代网络爬虫引发争议，OpenAI 和 Perplexity 因无限制抓取陷入法律纠纷。Reworkd 采取预防措施避免此类问题。
联合创始人兼 CEO Shrestha 表示：“我们将此视为提升公开可用信息的可访问性，只允许使用公开信息，不会绕过登录墙。”
此外，Reworkd 完全避免抓取新闻内容并谨慎选择合作伙伴。CTO Watkins 指出其他工具有更好新闻聚合能力，非其重点。
例如与 Axis 合作中，Axis 用 Reworkd AI 从欧盟多国数千份政府法规文档提取数据，训练微调 AI 模型后作为产品提供给客户。
Gunderson Dettmer 合伙人 Aaron Fiske 认为创办网络爬虫公司涉足危险领域，关于 AI 模型“公共”网络数据定义尚无定论。但 Reworkd 由客户决定抓取网站的方法可能使其免受法律责任。
Fiske 比喻：“这就像发明复印机，某使用场景产生巨大经济价值但法律可疑。为 AI 公司提供服务的爬虫不一定有风险，但与热衷收集受版权保护内容的 AI 公司合作会有问题。”
Reworkd 对合作伙伴极为谨慎。在网络爬虫与 AI 相关潜在版权侵权案中，爬虫大多规避责任。如 OpenAI 案中《纽约时报》起诉的是复制作品的公司而非爬虫本身，且是否构成真正版权侵权仍未有定论。
越来越多证据表明 AI 繁荣期间网络爬虫在法律上清白。法院最近裁定支持 Bright Data 在抓取 Facebook 和 Instagram 个人资料后的行为。该案涉及包含 6.15 亿条 Instagram 用户数据记录的数据库，Bright Data 以 86 万美元出售，Meta 指控违反服务条款，但法院认定数据公开可被抓取。
投资者看好 Reworkd 成长潜力
Reworkd 吸引 Y Combinator、Paul Graham、Daniel Gross 和 Nat Friedman 等知名早期投资者。投资者认为其技术有望随新模型发展改进并降低成本。目前 OpenAI GPT-4o 在多模态代码生成方面表现最佳，许多技术几个月前还无法实现。
General Catalyst Viet Le 表示：“试图与技术进步速度竞争而非在此基础上构建会面临困难。Reworkd 的思维模式是基于技术进步速度制定解决方案。”
Reworkd 正创建解决市场特定空白的 AI 智能体。随着企业为业务构建定制化 AI 模型，对高质量大规模结构化数据需求增加，Reworkd 有望获得更多客户。
Reworkd 方法具“自愈”能力，爬虫不会因网页更新失效。公司声称避免传统 AI 幻觉问题，因代理生成代码抓取网站。虽 AI 可能犯错抓取错误数据，但团队创建开源评估框架 Banana-lyzer 定期评估准确性。
团队仅四人，需承担运行 AI 代理的巨大推理成本。随着成本下降，定价预计更具竞争力。OpenAI 刚发布较小版本 GPT-4o mini 且基准测试表现优异，此类创新将使 Reworkd 更具竞争力。
Paul Graham 和 AI Grant 未回应置评请求。