微软发布开源框架ASSERT：以自适应规范驱动AI评估与回归测试
AI研究人员和实验室在模型评估方面已取得飞跃式进展，涵盖安全性、合规性、对齐等多个维度。然而，企业和开发者仍面临一项特定需求：确保AI系统在自身产品或服务中按预期运行。
为简化这一测试流程，微软于周二正式发布开源框架ASSERT（Adaptive Spec-driven Scoring for Evaluation and Regression Testing，用于评估和回归测试的自适应规范驱动评分）。
该框架利用AI将关于目标、政策或预期行为的高级自然语言描述，转化为详尽且可评分的测试用例，从而轻松评估特定应用中AI系统的实际表现。
核心机制与应用场景
ASSERT接收对AI模型预期行为和政策的通俗语言描述，将其转化为结构化的“可接受”与“不可接受”行为集合，自动生成问题场景和测试用例，并在目标系统上执行测试以评估结果。同时，它还能记录AI系统采取的路径（包括中间操作和工具调用），便于开发人员定位故障点。
若需进一步自定义评估范围，开发人员还可提供系统上下文、工具和约束条件。例如，指定文档研究AI代理不得向外部人员发送邮件、机密信息仅限高管级别访问，且在生成简洁摘要时需结合先前上下文。ASSERT将依据这些规则持续生成测试用例，验证系统是否合规。
填补通用评估空白
据微软介绍，ASSERT填补了通用评估方法无法覆盖的空白，尤其适用于AI行为受应用上下文、内部政策和工具链影响的场景。
微软负责任AI首席产品官Sarah Bird表示：“评估对于做出良好决策至关重要。如果不了解AI系统的行为，就很难判断其是否符合组织标准。要构建真正值得信赖的系统，就必须评估更多与应用相关的维度。”她指出，ASSERT可用于系统构建期、部署后及持续监控阶段。
行业趋势：从能力评测转向可重复测试
此次发布正值AI行业评估范式转变之际。随着模型能力不断增强，研究重心正转向可重复测试与回归检查。斯坦福大学HELM、MLCommons AILuminate以及METR等机构纷纷推出基准测试，以更精准地衡量模型在不同条件下的实际表现。