大数跨境

微软称其新工具可纠正AI“幻觉”,但专家建议谨慎对待

微软称其新工具可纠正AI“幻觉”,但专家建议谨慎对待 海外洞察
2024-09-24
4
导读:微软发布了一款名为“Correction”的新工具,声称能够修正人工智能的“幻觉”问题。但专家表示,该工具存在局限性。

AI 素有“说谎者”之名,微软虽宣称已找到解决之道,但仍引发外界质疑。对此,我们理当保持审慎态度。

Correction:自动修订事实错误的 AI 服务

微软今日发布 Correction 服务,旨在自动修正 AI 生成文本中的事实错误。该服务首先标记可能存在谬误的内容(如财报会议摘要中错误引用发言),随后通过与真实来源(如逐字稿)比对进行事实核查。

作为 Azure AI 内容安全 API 的一部分(目前处于预览阶段),Correction 可兼容各类文本生成模型,包括 Meta Llama 和 OpenAI GPT-4o。

微软发言人向 TechCrunch 表示:“Correction 依托新流程,利用大小语言模型协同工作,确保输出内容与参考文档一致。我们希望此功能支持医疗等对准确性要求极高的领域。”

今年夏季,谷歌也在 Vertex AI 平台推出类似功能,允许客户通过第三方数据、自有数据集或 Google 搜索来“锚定”模型。

专家警告:未触及幻觉根源

然而专家指出,此类锚定方法并未解决幻觉的根本成因。华盛顿大学新兴技术伦理博士候选人 Os Keyes 直言:“试图消除生成式 AI 幻觉,犹如从水中去除氢元素,这是该技术底层逻辑的固有缺陷。”

文本生成模型本质是统计系统,仅基于海量训练数据预测下一个词语,并非真正“知晓”答案。其回应只是假设问题存在于训练集中时的概率预测,因此往往对事实轻率对待甚至玩弄文字游戏。研究显示,OpenAI ChatGPT 在回答医学问题时错误率高达 50%。

工作原理与潜在风险

微软的解决方案是一对交叉引用的元模型:分类器模型负责识别可能的幻觉片段;一旦检测到异常,即调用语言模型依据指定“参考文档”进行纠正。

图片来源:微软

微软强调,该功能有助于提升内容可靠性,减少用户不满及声誉风险,但需明确:基于参考的检测旨在使输出与文档保持一致,而非彻底解决“准确性”问题。

Keyes 对此存疑:“这或许能缓解部分问题,但也可能引发新隐患。毕竟,Correction 自身的幻觉检测库也可能产生幻觉。”

针对背景资料询问,微软仅提供了描述生产前架构的研究论文,却省略了训练数据集等关键细节。伦敦国王学院 AI 讲师 Mike Cook 认为,即便 Correction 有效,也可能加剧信任危机与可解释性难题,让用户陷入虚假安全感——误以为模型比实际更诚实。

Cook 指出:“微软与 OpenAI、Google 一样,让人们在模型频繁出错时仍过度依赖。此举是在更高层面重蹈覆辙。假设安全性从 90% 提升至 99%,核心风险始终存在于那未被检出的 1% 错误中。”

商业考量与市场压力

Cook 补充道,捆绑销售背后不乏商业算计。Correction 本身免费,但其依赖的“groundedness detection”功能每月仅前 5,000 条记录免费,超出部分每 1,000 条收费 38 美分。

微软正面临向客户及股东证明 AI 投资价值的巨大压力。第二季度,该公司在 AI 相关资本支出上投入近 190 亿美元,却尚未获得显著收入。本周更有华尔街分析师因质疑其长期 AI 战略而下调股票评级。

据《The Information》报道,因性能与成本担忧,许多早期采用者已暂停部署 Microsoft 365 Copilot。有客户反映,Copilot 在处理 Teams 会议时凭空捏造与会者,并暗示从未讨论过的议题。

KPMG 民调显示,准确性及幻觉风险已成为企业试点 AI 工具时的首要顾虑。

Cook 总结道:“若按正常产品周期,生成式 AI 本应处于学术研发阶段。现实却是,微软等公司已将大众送上‘火箭飞船’,却在飞行途中才匆忙建造起落架与降落伞。”

【声明】内容源于网络
0
0
海外洞察
海外资讯洞察,电商,AI
内容 14232
粉丝 0
海外洞察 海外资讯洞察,电商,AI
总阅读3.2k
粉丝0
内容14.2k