AI初创公司Mistral已推出用于内容审核的新API。
Mistral表示，该API与其Le Chat聊天机器人平台使用的审核API相同，可根据特定应用和安全标准进行定制。它由经过微调的Ministral 8B模型提供支持，该模型被训练为将英语、法语和德语等多种语言的文本分类为九类之一：色情、仇恨与歧视、暴力与威胁、危险与犯罪内容、自残、健康、金融、法律以及个人身份信息（PII）。
此外，该审核API可应用于原始文本或对话文本。
Mistral在博客文章中写道：“在过去几个月里，我们观察到业界和研究社区对基于新AI的审核系统的热情日益高涨，这些系统有助于使审核在各种应用中更具可扩展性和稳健性。我们的内容审核分类器利用了最相关的政策类别以实现有效的护栏，并通过解决模型生成的危害（如无资质的建议和PII）引入了务实的模型安全方法。”
尽管AI驱动的审核系统在理论上很有用，但它们也容易受到困扰其他AI系统的相同偏见和技术缺陷的影响。例如，一些旨在检测毒性的模型会将非裔美国人白话英语（AAVE）中的短语视为不成比例的“有毒”；研究还发现，社交媒体上关于残疾人的帖子也常被常用的公开情感和毒性检测模型标记为更具负面性或毒性。
Mistral声称其审核模型非常准确，但也承认仍在完善中；值得注意的是，该公司并未将其API的性能与其他流行的审核API（如Jigsaw的Perspective API和OpenAI的审核API）进行比较。
该公司表示：“我们正在与客户合作，构建并分享可扩展、轻量级且可定制的审核工具，并将继续与研究社区互动，为更广泛的领域贡献安全方面的进步。”
Mistral今天还宣布推出批量API。该公司表示，通过异步处理高容量请求，可降低其API所提供模型的成本25%；Anthropic、OpenAI、Google等公司也为其AI API提供批处理选项。