大数跨境

为什么 DeepSeek 的新 AI 模型会认为自己是 ChatGPT

为什么 DeepSeek 的新 AI 模型会认为自己是 ChatGPT 海外洞察
2024-12-27
0
导读:DeepSeek最新推出的AI模型DeepSeek V3声称自己是ChatGPT,这可能指向训练数据存在问题。

本周早些时候,资金雄厚的中国AI实验室DeepSeek发布了开源模型DeepSeek V3。该模型规模庞大且效率极高,在多个流行基准测试中击败众多竞争对手,能轻松处理编码、撰写文章等文本任务。

然而,它似乎认为自己是ChatGPT。

X平台帖子及TechCrunch测试均显示,DeepSeek V3将自己标识为OpenAI的聊天机器人平台ChatGPT。当被进一步询问时,它坚称自己是2023年发布的GPT-4模型版本。

截至今天,这一现象确实可以复现。在8次生成中,有5次DeepSeekV3声称自己是ChatGPT(v4),而只有3次声称自己是DeepSeekV3。

这让你对其训练数据分布有了一个大致的了解。

这种“幻觉”根深蒂固。若向DeepSeek V3询问关于DeepSeek API的问题,它会提供如何使用OpenAI API的说明;它甚至讲起和GPT-4一模一样的笑话,连包袱都相同。

那么,到底是怎么回事?

ChatGPT和DeepSeek V3这类模型本质是统计系统,通过数十亿示例学习模式以做出预测。虽然DeepSeek尚未透露V3的训练数据来源,但公共数据集中并不缺乏包含ChatGPT生成的GPT-4文本的数据集。若DeepSeek V3基于这些数据训练,模型可能记住了GPT-4的输出并逐字复述。

伦敦国王学院AI研究员迈克·库克(Mike Cook)表示:“显然模型在某阶段看到了ChatGPT的原始回复,但不清楚具体来源。”他指出,这可能是意外,但也存在直接利用其他模型输出训练自家模型以“搭便车”的情况。

库克强调,使用竞争对手AI系统的输出来训练模型对质量而言可能是“非常糟糕”的做法,会导致幻觉和误导性答案。“就像复印复印件,我们会失去越来越多的信息和与现实的联系。”此外,这也可能违反相关系统的服务条款。OpenAI的服务条款明确禁止用户使用其输出来开发与OpenAI竞争的产品。

OpenAI和DeepSeek未立即回应置评请求。不过,OpenAI首席执行官山姆·奥特曼(Sam Altman)周五在X上发布了一条看似针对DeepSeek及其他竞争对手的暗讽:“复制已知有效的事物(相对)容易,但在不知道是否可行时,去做全新的、高风险且困难的事情极其艰难。”

诚然,DeepSeek V3并非首个误认自身身份的模型。Google的Gemini有时也会声称自己是竞争模型,例如在中文提示下,Gemini曾表示自己是中国公司百度的文心一言聊天机器人。

这是因为AI公司获取训练数据的网络正充斥着由AI生成的低质内容。内容农场利用AI创建标题党内容,机器人涌入点击诱饵链接。据估计,到2026年,互联网上90%的内容可能由AI生成。

这种所谓的“污染”,使得从训练数据集中彻底过滤掉AI生成内容变得非常困难。因此,DeepSeek完全有可能直接在ChatGPT生成的文本上训练DeepSeek V3——毕竟,Google也曾被指控做过同样的事情。

非营利组织AI Now研究所首席AI科学家Heidy Khlaaf表示,无论风险如何,通过“蒸馏”现有模型知识所带来的成本节约对开发者颇具吸引力。她说:“即使现在的互联网数据充斥着AI输出,其他意外在ChatGPT或GPT-4输出上进行训练的模型,也不一定会表现出让人联想到OpenAI定制消息的输出。如果DeepSeek确实部分使用OpenAI模型进行了蒸馏,那也就不足为奇。”

然而更可能的情况是,大量ChatGPT/GPT-4数据进入了DeepSeek V3的训练集。这意味着该模型不能被信任用于自我识别。更令人担忧的是,DeepSeek V3通过不加批判地吸收和迭代GPT-4的输出,可能会加剧该模型的偏见和缺陷。

【声明】内容源于网络
0
0
海外洞察
海外资讯洞察,电商,AI
内容 14232
粉丝 0
海外洞察 海外资讯洞察,电商,AI
总阅读3.2k
粉丝0
内容14.2k