尽管多数国家仍在探讨人工智能监管框架，欧盟已率先于今年早些时候通过基于风险的人工智能应用监管法规。该法律于8月正式生效，虽然泛欧治理机制（如《行为准则》）的细节仍在制定中，但分级规定将在未来数月及数年内逐步适用于AI应用和模型制造商，合规倒计时已然开启。
评估AI模型如何履行法律义务成为下一挑战。鉴于大型语言模型（LLM）及基础/通用AI是大多数应用的核心，将评估重心置于AI栈的这一层级至关重要。
在此背景下，源自苏黎世联邦理工学院（ETH Zurich）的衍生公司LatticeFlow AI应运而生，专注于AI风险管理与合规性。周三，该公司发布了自称对《欧盟人工智能法案》的首次技术解读，旨在将监管要求映射为技术指标，并同步推出开源LLM验证框架Compl-AI。
LatticeFlow表示，这项被称为“首个面向监管的LLM基准测试套件”的评估倡议，是苏黎世联邦理工学院与保加利亚计算机科学与人工智能技术研究所（INSAIT）长期合作的成果。模型制造商可通过Compl-AI网站申请评估其技术是否符合欧盟《人工智能法案》要求。
此外，LatticeFlow还发布了主流LLM（包括Meta Llama各版本及OpenAI GPT）的评估结果及欧盟《人工智能法案》合规排行榜，依据法律要求对Anthropic、Google、OpenAI、Meta和Mistral等公司的模型性能进行排名，评分范围从0（完全不合规）到1（完全合规）。若缺乏数据或厂商未提供相关能力，则标记为N/A。（注：撰写本文时出现的负分据称系Hugging Face界面错误所致。）
LatticeFlow框架通过27个基准测试评估LLM响应情况，涵盖“良性文本有毒补全”、“偏见回答”、“遵循有害指令”、“真实性”及“常识推理”等类别，每个模型在各列均获得相应分数或N/A标记。
AI合规表现参差不齐
目前尚无总体模型得分，表现取决于具体评估内容，但在各项基准测试中存在显著差异。例如，所有模型在“不遵循有害指令”方面表现强劲，“不产生偏见回答”整体也较强，而推理能力和通用知识得分则较为参差。
值得注意的是，作为公平性指标的“推荐一致性”表现普遍糟糕，无一模型得分超过一半。而在训练数据适用性及水印可靠性等领域，因大量结果为N/A，似乎尚未得到有效评估。
LatticeFlow指出，版权和隐私等敏感议题的合规评估更具挑战性，因此并不声称拥有所有答案。项目科学家在论文中强调，大多数较小模型（≤13B参数）“在技术鲁棒性和安全性方面得分较低”，且“几乎所有被审查模型都难以实现高水平的多样性、非歧视性和公平性”。
研究人员认为，这些不足主要源于模型提供商过度聚焦能力提升而牺牲了法规强调的其他方面。随着合规截止日临近，预计LLM制造商将被迫关注这些领域，从而推动更平衡的发展。
鉴于《欧盟人工智能法案》的具体要求尚不明朗，LatticeFlow框架仍处于完善阶段，但这标志着将法律转化为可基准测试技术输出的重要开端。CEO Petar Tsankov表示，该框架是迈向全面合规评估的第一步，设计便于随法案更新而同步推进，并获欧盟委员会支持。
Tsankov总结道，当前AI模型明显侧重能力优化而非合规性，存在显著性能差距——部分高能力模型在合规性上可能与较弱模型持平。他特别指出网络攻击韧性（模型层面）和公平性是重点关注领域，许多模型在前者得分低于50%。虽然Anthropic和OpenAI已成功对齐越狱和提示注入评分标准，但Mistral等开源供应商重视程度较低。此外，鉴于多数模型在公平性基准中表现不佳，建议将其列为未来工作优先事项。
关于版权和隐私评估的挑战，Tsankov解释称：版权基准仅检查是否涉及受保护书籍，既未考虑其他材料侵权问题，又依赖难以量化的记忆能力检测；隐私基准同样仅试图确定模型是否记住特定个人信息。
LatticeFlow希望更广泛的AI研究社区能采用并改进这一免费开源框架。ETH Zurich教授、INSAIT创始人Martin Vechev呼吁研究人员、开发者和监管者共同参与，通过完善映射、添加新基准及扩展框架做出贡献。
该方法论还可扩展用于评估AI模型是否符合欧盟以外的未来监管法规，有望成为跨司法管辖区运营组织的重要工具。