由 Andreessen Horowitz 支持的 Vals 正致力于成为 AI 基准测试的黄金标准

基准测试已成为行业规范，AI公司借此验证模型能力；当指标有利时，便能脱颖而出并宣传自身优越性。换言之，良好的基准测试几乎总是意味着良好的公关效果。

不幸的是，许多传统基准测试系统年代较久，并非为衡量现代模型能力而设计，公司也找到了规避这些系统的方法。

Vals：修复不完善的评估体系

成立于2024年的初创公司Vals，致力于修复这一极不完善的系统。不到两年时间，该公司已在科技行业确立显著地位：

• 种子轮融资：去年获得由8VC和Bloomberg Beta领投的种子轮融资。
• A轮融资：上个月完成由Andreessen Horowitz领投的4000万美元A轮融资。

25岁的联合创始人Rayan Krishnan此前曾在Palantir实习，并在斯坦福大学就读期间为Microsoft及该校人工智能实验室工作过。Krishnan表示，Vals的诞生源于他对基准测试落后于行业进步的观察。

Krishnan指出：“新的高能力模型迅速进入市场，而学术界的基准测试未能跟上前沿进展。”随着AI融入社会方方面面，基准测试的真正意义在于验证模型是否能够实现公司所宣传的功能。

拒绝“应试教育”，考察真实影响

Vals位于旧金山Folsom街的一栋百年砖砌建筑内，这里曾是一家大型酿酒厂，如今容纳了多家推动科技未来的初创企业。

Krishnan认为，历史上评估智能的方式过于抽象（如通过类似律师资格考试的测试）。在此背景下，Vals力求脱颖而出：

• 保密测试材料：不同于提供公开测试的系统（允许公司针对性训练从而“作弊”），Vals不公开披露具体测试内容。
• 行业深度评估：除通用知识外，还评估模型在法律、金融、编程等特定行业复杂任务中的能力。

Krishnan强调：“我们实际上是在考察模型的真实影响，即它们能否在各个领域完成与人类产出同等质量的工作？”同时，他也关注消极结果，分析“如果模型在现实中失控会产生哪些负面影响”。

目前，Vals衡量的能力正不断拓展至独特领域，包括递归自我改进、心理健康、网络安全、生物安全以及武装冲突法（如向模型应用《日内瓦公约》）。

商业模式与未来展望

公司付费让Vals测试模型，这一概念类似于学生付费参加SAT考试。有效的测量有助于公司随时间推移进行故障排除和改进。反过来，这些评估也成为寻求收购新AI模型的公司做出关键决策的重要因素。

业务增长迅猛：

• 收入：目前是去年的八倍。
• 团队：从年初的8人增至25人，计划再招聘10-15人并搬迁至更大办公室。
• 新业务：推出专注于向联邦机构提供模型评估服务的项目。

Krishnan认为，Vals的基准测试体系代表了AI公司思考业务增长和建立公众信任的未来方向。随着AI公司（如SpaceX、Anthropic、OpenAI等）陆续上市，AI模型成为经济核心组成部分，基准测试和评估将推动其应用，并成为公司在提交公开文件或讨论潜在投资时的重要部分。