Inflection是一家致力于创造“面向每个人的个人AI”的融资充足的AI初创公司，近日揭开了其Pi对话代理背后的大型语言模型的神秘面纱。这类产品的质量很难以任何方式评估，更不用说客观和系统地评估了，但适度的竞争是件好事。
Inflection-1模型概况
该模型被称为Inflection-1，其规模和能力大致相当于GPT-3.5（即ChatGPT）——以训练它们所使用的计算力来衡量。该公司声称它在这一级别上与其他模型具有竞争力或更优，并通过一份“技术备忘录”提供了支持，其中描述了其在自身模型、GPT-3.5、LLaMA、Chinchilla和PaLM-540B上运行的一些基准测试。
基准测试表现
根据发布的结果，Inflection-1在中学水平考试任务（如生物入门课程）和“常识”基准测试等指标上表现良好。但在编程方面，它主要落后于GPT-3.5；相比之下，GPT-4更是碾压群雄。众所周知，OpenAI的最大模型在编程能力上实现了巨大的质量飞跃，因此这并不令人意外。
未来展望与行业现状
Inflection表示预计将发布与GPT-4和PaLM-2(L)相当的大型模型结果，但无疑他们在等待值得公布之时。目前，Inflection-2或其他正在研发中的模型尚在酝酿中，尚未完全成型。
现在尝试对AI模型进行严格的“重量级”划分还为时过早，因为该领域仍然相对年轻，对于哪些尺寸和形状的AI模型应被视为同一级别，还没有真正的共识。小型模型可在手机上高效运行，而大型模型则需要数据中心支持，二者几乎是不同的赛道。
当然，实践是检验真理的唯一标准。在Inflection将其模型开放给广泛使用和独立评估之前，所有备受推崇的基准测试结果都必须打个折扣。