Kolena，一家致力于构建工具以测试、基准评估和验证 AI 模型性能的新创公司，今日宣布完成由 Lobby Capital 领投、SignalFire 和 Bloomberg Beta 参投的 1500 万美元融资轮。
联合创始人兼首席执行官 Mohamed Elgendy 表示，这笔新资金使 Kolena 的总融资金额达到 2100 万美元，并将用于扩大公司的研究团队、与监管机构合作以及拓展销售和营销活动。
AI信任危机下的质量框架
“AI 的应用场景极其庞大，但尚未获得开发者和公众的信任，”Elgendy 说，“这项技术的推出必须以改善而非恶化数字体验的方式进行。开盖的魔瓶无法再关上，但作为行业，我们可以确保做出正确的选择。”
Elgendy 于 2021 年与 Andrew Shi 和 Gordon Hart 共同创立了 Kolena，此前他们曾在 Amazon、Palantir、Rakuten 和 Synapse 等公司的 AI 部门共事约六年。通过 Kolena，这三人旨在构建一个“模型质量框架”，提供可定制且适合企业使用的单元测试和端到端模型测试方案。
“首先，我们希望为模型质量提供一个全新的框架——而不仅仅是一个简化现有方法的工具，”Elgendy 强调，“Kolena 使得持续运行场景级或单元测试成为可能，并提供对整个 AI 和机器学习产品的端到端测试，而不仅仅是针对子组件。”
精准识别模型性能缺口
为此，Kolena 可以提供见解以识别 AI 模型测试数据覆盖范围的缺口。该平台还集成了风险管理功能，有助于跟踪与部署特定 AI 系统相关的风险。用户可通过界面创建测试用例评估模型性能，查看表现不佳的潜在原因，并与其他模型进行对比。
“借助 Kolena，团队可以管理和运行针对 AI 产品特定场景的测试，而不是应用像准确率分数这样的笼统‘聚合’指标，后者可能会掩盖细节，”Elgendy 举例道，“例如，在检测汽车方面准确率为 95% 的模型并不一定比 89% 的更好。每个模型都有其优劣势——比如在不同天气条件或遮挡程度下的表现差异。”
如果 Kolena 能如其宣传般发挥作用，将对花费大量时间构建 AI 模型的科学家大有裨益。调查显示，AI 工程师仅将 20% 的时间用于分析和开发模型，其余时间耗费在获取和清洗训练数据上；另有报告指出，受限于开发挑战，最终仅约 54% 的模型能从试点过渡到生产环境。
差异化竞争与隐私保护
尽管 Amazon、Google、Microsoft 等传统巨头及 Prolific、Robust Intelligence、Deepchecks、Bobidi 等初创公司也在布局模型测试与验证领域，但 Elgendy 认为 Kolena 是少数允许客户对测试数据类型、评估逻辑等拥有“完全控制权”的平台之一。
他还强调了 Kolena 的隐私策略：无需上传数据或模型至平台，仅存储测试结果供未来基准比较，且可按请求删除。“要降低 AI 系统风险需在部署前严格测试，然而企业缺乏强大工具，临时测试和失败的概念验证仍是常态，”Elgendy 表示，“Kolena 专注于全面彻底的模型评估，为管理者提供无与伦比的测试覆盖率和可见性，使其能有效影响产品质量。”
业务进展与未来规划
总部位于旧金山的 Kolena 现有 28 名全职员工，目前正采取“选择性方法”与“关键任务”公司合作。Elgendy 透露，公司计划于 2024 年第二季度推出面向中型组织和早期阶段 AI 初创公司的团队套餐。