大家好,欢迎来到 TechCrunch 的常规 AI 通讯。如果您希望每周三收到这封邮件,请在此注册。
本周AI领域,合成数据崭露头角。
OpenAI 上周四推出了 Canvas,这是一种与ChatGPT(其 AI 驱动聊天机器人平台)交互的新方式。Canvas 打开一个包含用于写作和编码项目工作区的窗口。用户可以在 Canvas 中生成文本或代码,然后在必要时高亮显示部分段落以使用 ChatGPT 进行编辑。
从用户的角度来看,Canvas 是一项重大的生活质量提升功能。但对我们而言,该功能最有趣的地方在于为其提供支持的微调模型。OpenAI 表示,它使用合成数据对其GPT-4o 模型进行了定制,以便在 Canvas 中“启用新的用户交互”。
ChatGPT 产品负责人 Nick Turley 在一篇X 上的帖子中写道:“我们使用了新颖的合成数据生成技术,例如从 OpenAI 的o1-preview 中蒸馏输出结果,对 GPT-4o 进行微调,使其能够打开 Canvas、进行针对性编辑并留下高质量的行内评论。”“这种方法使我们能够快速改进模型并启用新的用户交互,而无需依赖人工生成的数据。”
OpenAI并非唯一一家越来越多地依赖合成数据来训练模型的大型科技公司。
在开发Movie Gen(一套用于创建和编辑视频片段的 AI 驱动工具套件)时,Meta 部分依赖于其Llama 3 模型分支生成的合成字幕。该公司招募了一组人工标注员来修正这些字幕中的错误并添加更多细节,但大部分基础工作已基本实现自动化。
OpenAI首席执行官Sam Altman曾指出,人工智能将有一天生成足以有效自我训练的合成数据。这对像OpenAI这样的公司有利,因为后者在人类标注员和数据许可上花费巨资。
Meta 已经使用合成数据对 Llama 3 模型本身进行了微调。据悉,OpenAI 正在为代号为 Orion 的下一代模型从 o1 获取合成训练数据。
但拥抱以合成数据为先的方法伴随着风险。正如一位研究人员最近向我指出的那样,用于生成合成数据的模型不可避免地会产生幻觉(即捏造事实),并包含偏见和局限性。这些缺陷会体现在模型生成的数据中。
因此,安全地使用合成数据需要对其进行彻底的策展和过滤——这与人工生成数据的标准做法一致。如果不这样做,可能会导致模型崩溃,即模型的输出变得不那么“有创造力”且更具偏见,最终严重损害其功能。
这在大规模下并非易事。但随着真实世界训练数据变得更加昂贵(更不用说难以获取),AI 供应商可能会将合成数据视为唯一可行的前进道路。希望他们在采用时会保持谨慎。
新闻
AI 概览中的广告:Google 表示,它将很快开始在AI 概览中展示广告,这是 Google 为某些 Google 搜索查询提供的 AI 生成摘要。
Google Lens,现已支持视频:作为谷歌的视觉搜索应用,Lens已升级,能够近乎实时地回答关于你周围环境的提问。你可以透过Lens拍摄视频,并就视频中感兴趣的对象提出问题。(预计这项功能也将推出广告。)
从Sora到DeepMind:OpenAI视频生成器Sora的主要负责人之一Tim Brooks已跳槽至竞争对手谷歌DeepMind。Brooks在X平台的一篇帖子中宣布,他将致力于视频生成技术和“世界模拟器”的开发。
掀起Flux热潮:由安德森·霍洛维茨基金支持的初创公司Black Forest Labs(也是xAI助手Grok图像生成组件背后的开发商)已推出API测试版,并发布了一款新模型。
透明度不足:加州最近通过的AB-2013法案要求开发生成式AI系统的公司公布其用于训练系统的数据的高层摘要。目前,鲜有公司愿意表态是否会遵守该规定。法律给予他们的截止日期是2026年1月。
本周研究论文
Apple研究人员多年来一直在致力于计算摄影工作,而该过程中的一个重要方面是深度映射。最初,这是通过立体视觉或专用深度传感器(如激光雷达单元)完成的,但这些方法往往昂贵、复杂且占用宝贵的内部空间。在许多方面,纯软件实现更为可取。这正是这篇名为Depth Pro的论文所探讨的内容。
Aleksei Bochkovskii等人分享了一种高精度零样本单目深度估计方法,该方法使用单个摄像头,无需针对特定事物进行训练(例如,尽管从未见过骆驼,它仍能处理骆驼图像),并能捕捉到诸如发丝等细微难点。它很可能已在iPhone上使用(尽管可能是经过改进的定制版本),但如果你想自己尝试一些深度估计,可以使用GitHub页面上的代码。
本周模型
Google在其Gemini系列中发布了一款新模型Gemini 1.5 Flash-8B,声称其性能处于领先地位。
经过“蒸馏”处理的Gemini 1.5 Flash版本——即Gemini 1.5 Flash-8B,在原本就优化了速度和效率的基础上,使用成本降低了50%,延迟更低,并且在谷歌面向AI开发者的环境AI Studio中,速率限制提高了两倍。
谷歌在博客文章中写道:“Flash-8B在许多基准测试中的表现几乎与今年5月推出的1.5 Flash模型相当。”“我们的模型[继续]根据开发者反馈以及我们对可行性的自身测试进行优化。”
Google 表示,Gemini 1.5 Flash-8B 非常适合聊天、转录和翻译等任务,或任何其他“简单”且“高吞吐量”的任务。除了 AI Studio 之外,该模型还可通过 Google 的 Gemini API 免费使用,速率限制为每分钟 4,000 次请求。
精选合集
说到廉价的 AI,Anthropic 发布了一项新功能——Message Batches API,允许开发者以异步方式处理大量 AI 模型查询,从而降低成本。
与 Google 对 Gemini API 的请求批处理方式类似,使用 Anthropic 的 Message Batches API 的开发者可以按批次发送请求,每批最多包含 10,000 个查询。每个批次将在 24 小时内处理完毕,其费用比标准 API 调用低 50%。
Anthropic表示,Message Batches API非常适合“大规模”任务,如数据集分析、大型数据集分类和模型评估。该公司在帖子中写道:“例如,通过分析整个企业文档存储库——这可能涉及数百万个文件——利用[此]批量折扣可使这一过程在经济上更具可行性。”
Message Batches API目前已处于公开测试阶段,支持Anthropic的Claude 3.5 Sonnet、Claude 3 Opus和Claude 3 Haiku模型。

