大数跨境

新 AI 模型超越谷歌强大的 PaLM-2

新 AI 模型超越谷歌强大的 PaLM-2 搜索引擎报
2023-11-27
0
导读:Inflection AI 大型语言模型表现优于谷歌的最佳模型,并将很快为免费的 Pi AI 对话平台提供支持

Inflection AI宣布推出新一代大语言模型Inflection-2。该模型在多项基准测试中表现优异,超越了谷歌PaLM 2,并将在通过安全评估后整合至Pi个人助理中。

Pi个人助理多平台接入

Pi是一款支持网页端及Android、iOS移动应用的个人助理,同时可通过WhatsApp添加联系人,或在Facebook、Instagram私信中使用。作为对话式AI助手,Pi不仅能回答问题、检索涵盖产品与科学等领域的信息,还能以讨论伙伴的身份提供建议。新一代Inflection-2模型完成安全测试后,将很快应用于Pi中。

Inflection-2核心性能评测

Inflection-2在多个权威基准测试中与谷歌PaLM 2、Meta LLaMA 2等主流模型进行了对比。

自然问题数据集表现

在“自然问题”真实世界语料库测试中,Inflection-2得分为37.3,与PaLM 2的37.5分差距极小,两者均显著优于LLaMA 2的33.0分。

MMLU大规模多任务语言理解

MMLU数据集涵盖STEM(科学、技术、工程、数学)及法律等57个学科,旨在模拟人类测试方式评估模型的世界知识与解决问题能力。研究指出,尽管部分模型准确率接近随机猜测,但头部模型仍有提升空间,尤其在道德和法律等社会议题上表现尚待加强。

Inflection-2在该项测试中得分为79.6,仅次于GPT-4(86.4),领先于PaLM-2 Large(78.3)、Claude-2 CoT(78.5)及LLaMA 2 70B(68.9)。

MBPP代码与数学推理

在包含超1000个Python编程问题的MBPP数据集中,未专门针对数学微调的Inflection-2取得53.0分,超过了专为编码任务优化的PaLM-2S(50.0)和LLaMA-2 70B(45.0)。

HumanEval编程问题解决

在OpenAI开发的HumanEval数据集中,Inflection-2得分44.5,大幅领先PaLM-2S(37.6)和LLaMA-2 70B(29.9),仅低于GPT-4(67.0)。Inflection AI表示,该成绩是在未针对此类问题进行微调的情况下取得的,若后续进行专项优化,编程能力有望进一步提升。

未来规划与行业竞争

Inflection-2基于5,000块NVIDIA H100 GPU训练而成。公司计划利用22,000块GPU集群训练规模更大的下一代模型。当前,Google与OpenAI正面临来自闭源及开源初创公司的激烈竞争,Inflection AI凭借前沿技术及Potentially更强大的免费访问模式,已成为AI赛道的重要参与者。

【声明】内容源于网络
0
0
搜索引擎报
搜索引擎时报
内容 2299
粉丝 0
搜索引擎报 搜索引擎时报
总阅读3.0k
粉丝0
内容2.3k