Inflection AI宣布推出新一代大语言模型Inflection-2。该模型在多项基准测试中表现优异,超越了谷歌PaLM 2,并将在通过安全评估后整合至Pi个人助理中。
Pi个人助理多平台接入
Pi是一款支持网页端及Android、iOS移动应用的个人助理,同时可通过WhatsApp添加联系人,或在Facebook、Instagram私信中使用。作为对话式AI助手,Pi不仅能回答问题、检索涵盖产品与科学等领域的信息,还能以讨论伙伴的身份提供建议。新一代Inflection-2模型完成安全测试后,将很快应用于Pi中。
Inflection-2核心性能评测
Inflection-2在多个权威基准测试中与谷歌PaLM 2、Meta LLaMA 2等主流模型进行了对比。
自然问题数据集表现
在“自然问题”真实世界语料库测试中,Inflection-2得分为37.3,与PaLM 2的37.5分差距极小,两者均显著优于LLaMA 2的33.0分。
MMLU大规模多任务语言理解
MMLU数据集涵盖STEM(科学、技术、工程、数学)及法律等57个学科,旨在模拟人类测试方式评估模型的世界知识与解决问题能力。研究指出,尽管部分模型准确率接近随机猜测,但头部模型仍有提升空间,尤其在道德和法律等社会议题上表现尚待加强。
Inflection-2在该项测试中得分为79.6,仅次于GPT-4(86.4),领先于PaLM-2 Large(78.3)、Claude-2 CoT(78.5)及LLaMA 2 70B(68.9)。
MBPP代码与数学推理
在包含超1000个Python编程问题的MBPP数据集中,未专门针对数学微调的Inflection-2取得53.0分,超过了专为编码任务优化的PaLM-2S(50.0)和LLaMA-2 70B(45.0)。

HumanEval编程问题解决
在OpenAI开发的HumanEval数据集中,Inflection-2得分44.5,大幅领先PaLM-2S(37.6)和LLaMA-2 70B(29.9),仅低于GPT-4(67.0)。Inflection AI表示,该成绩是在未针对此类问题进行微调的情况下取得的,若后续进行专项优化,编程能力有望进一步提升。

未来规划与行业竞争
Inflection-2基于5,000块NVIDIA H100 GPU训练而成。公司计划利用22,000块GPU集群训练规模更大的下一代模型。当前,Google与OpenAI正面临来自闭源及开源初创公司的激烈竞争,Inflection AI凭借前沿技术及Potentially更强大的免费访问模式,已成为AI赛道的重要参与者。

