大数跨境

谷歌的Gemini迫使承包商对其专业领域之外的AI回复进行评分

谷歌的Gemini迫使承包商对其专业领域之外的AI回复进行评分 海外洞察
2024-12-18
0
导读:谷歌下发的内部指南引发担忧,认为该人工智能模型在医疗等主题上可能出现不准确输出。

生成式人工智能看似如魔法般神奇,但在这些系统的开发背后,是谷歌、OpenAI 等公司中被称为“提示工程师”和分析师的大量员工,他们通过评估聊天机器人输出的准确性来改进其 AI。

但 TechCrunch 看到的一份由谷歌下发给参与 Gemini 项目的承包商的内部指南引发了担忧:Gemini 可能更容易向普通用户输出关于医疗保健等高敏感话题的不准确信息。

为了改进 Gemini,与外包公司 GlobalLogic(日立旗下)合作的承包商被要求根据“真实性”等因素评估 AI 生成的回复。直到最近,这些承包商还可以“跳过”某些超出其专业领域范围的提示,例如涉及心脏病学冷门问题且自身无科学背景时即可跳过。

但上周,GlobalLogic 宣布了一项来自谷歌的变更:无论承包商自身具备何种专业知识,都不再允许跳过此类提示。

TechCrunch 看到的内部通信显示,此前的指南规定:“如果您不具备评估此提示所需的关键专业知识(例如编程、数学),请跳过此任务。”但现在指南改为:“您不应跳过需要专门领域知识的提示。”相反,承包商被要求“对您理解的提示部分进行评分”,并附上说明表示缺乏相关领域知识。

这引发了人们对 Gemini 在特定话题上准确性的直接担忧,因为承包商有时会被要求评估关于罕见疾病等高度技术性 AI 回答,而他们对此毫无背景知识。一位承包商在内部通信中表示:“我以为跳过的目的是为了让更合适的人来处理,从而提高准确性?”

新指南显示,现在承包商仅在两种情况下可以跳过提示:一是“完全缺失信息”(如缺少完整提示或回复内容);二是包含有害内容,需要特殊同意书才能进行评估。

截至发稿时,谷歌未回应 TechCrunch 的置评请求。在该报道发布后,谷歌虽未否认报道内容,但告知 TechCrunch 该公司“一直在努力提升 Gemini 的事实准确性”。

谷歌发言人 Shira McNamara 表示:“评分员在谷歌众多产品和平台上执行广泛的任务。他们不仅审查内容答案,还提供有关风格、格式和其他因素的重要反馈。他们的评分不会直接影响我们的算法,但作为整体汇总时,是帮助我们衡量系统运行效果的一个有益数据点。”

已更新:加入谷歌在发布后的评论。

【声明】内容源于网络
0
0
海外洞察
海外资讯洞察,电商,AI
内容 14232
粉丝 0
海外洞察 海外资讯洞察,电商,AI
总阅读3.2k
粉丝0
内容14.2k