Giskard是一家法国初创公司，致力于开发用于大型语言模型的开源测试框架，能够提醒开发者注意偏见风险、安全漏洞以及模型生成有害或毒性内容的能力。
尽管围绕AI模型的热议不断，但随着欧盟《人工智能法案》即将实施以及其他国家跟进监管，机器学习测试系统也将迅速成为热门话题。开发AI模型的公司必须证明其符合一系列规则并降低风险，以避免支付巨额罚款。
Giskard是一家拥抱监管的AI初创公司，也是首批专注于以更高效方式进行测试的开发工具之一。
Giskard联合创始人兼首席执行官Alex Combessie表示：“我曾在Dataiku工作，主要参与NLP模型集成。我发现，当我负责测试时，无论是将现有方法应用于实际案例，还是比较不同供应商的性能，都存在诸多困难。”
三大核心产品组件
Giskard的测试框架背后包含三个组成部分：
1. 开源Python库：可集成到大型语言模型项目（尤其是检索增强生成RAG项目）中。该库在GitHub上颇受欢迎，且与Hugging Face、MLFlow、Weights & Biases、PyTorch、TensorFlow和LangChain等主流工具兼容。
完成初始设置后，Giskard会帮助生成测试套件并进行定期测试，涵盖性能、幻觉、虚假信息、非事实性输出、偏见、数据泄露、有害内容生成和提示注入等问题领域。
Combessie指出：“这涉及多个方面：首先是数据科学家最关心的性能层面；但越来越多情况下，还需考虑伦理层面，既关乎品牌形象，也日益受到监管要求影响。”
开发者可将测试集成到CI/CD流水线中，实现代码迭代时自动运行。若发现问题（如幻觉或违规内容），将在GitHub仓库中收到扫描报告。测试还会根据最终使用场景定制，例如为基于IPCC报告的气候变化聊天机器人检查是否存在虚假信息或自相矛盾。
2. AI质量中心（AI Quality Hub）：属于高级服务，用于调试大语言模型并将其与其他模型进行比较。未来计划整合监管功能，生成证明模型合规的文档。目前已向法国银行（Banque de France）和欧莱雅（L’Oréal）等企业出售，协助调试并定位错误原因。
3. LLMon实时监控工具：能在响应发送给用户前，评估大语言模型回答中的常见问题（如毒性、幻觉、事实核查等）。目前主要服务于基于OpenAI API和大语言模型的公司，正致力于与Hugging Face、Anthropic等平台集成。
监管应用场景与前景
关于《人工智能法案》是适用于基础模型还是仅针对应用场景，业界尚无定论。但在后者情况下，Giskard在提醒开发者注意RAG结合外部数据时的滥用风险方面具备独特优势。
目前Giskard拥有20名员工。Combessie表示：“客户对大语言模型的需求非常明确，我们将把团队规模扩大一倍，致力于打造市场上最佳的大语言模型‘杀毒软件’。”