微软正在推出一项新的基于人工智能的内容审核服务，旨在营造更安全的网络环境和社区。
这项名为 Azure AI Content Safety 的新产品通过 Azure AI 产品平台提供，包含一系列经过训练的 AI 模型，用于检测图像和文本中的“不当”内容。这些模型能够理解英语、西班牙语、德语、法语、日语、葡萄牙语、意大利语和中文文本，并为被标记的内容分配严重程度评分，从而告知审核人员哪些内容需要采取行动。
微软发言人表示：“微软已针对在线社区中有害内容出现的挑战，致力于开发解决方案超过两年。我们认识到，现有系统未能有效考虑上下文语境，也无法支持多语言处理。新的 [AI] 模型能够更好地理解内容和文化背景。它们从一开始就具备多语言能力……并提供清晰易懂的解释，让用户了解内容为何被标记或移除。”
在微软年度 Build 大会的一次演示中，微软负责任 AI 负责人 Sarah Bird 解释说，Azure AI Content Safety 是用于驱动微软必应和 Copilot（GitHub 的 AI 驱动代码生成服务）聊天机器人的安全系统的产品化版本。
Bird 在一份声明中表示：“我们现在将其作为第三方客户可用的产品推出。”
据推测，自今年 2 月初首次为 Bing Chat 推出以来，Azure AI Content Safety 背后的技术已得到改进。Bing Chat 在预览版初期曾一度失控；相关报道发现该聊天机器人散布疫苗虚假信息，并以阿道夫·希特勒的视角撰写了一篇充满仇恨的文章。其他记者则让它发出威胁，甚至在对其进行谴责后使其感到羞愧。
微软的另一项失策是，该公司仅在几个月前就裁撤了其更大规模 AI 组织内的伦理与社会团队。这一举措导致微软缺乏一个专门的团队来确保其 AI 原则与产品设计紧密挂钩。
暂且不论上述问题，根据微软的说法，Azure AI Content Safety 可防范偏见、性别歧视、种族主义、仇恨言论、暴力以及自残等内容。该产品已集成到 Azure OpenAI Service 中，后者是微软推出的全面托管的企业级产品，旨在让企业在使用 OpenAI 技术的同时获得额外的治理与合规功能。但 Azure AI Content Safety 也可应用于非 AI 系统，例如在线社区和游戏平台的。
定价起步价为每 1,000 张图像 1.50 美元，每 1,000 条文本记录 0.75 美元。
Azure AI Content Safety 与其他 AI 驱动的毒性检测服务类似，包括由 Google 的反滥用技术团队维护的 Perspective 和 Jigsaw，并取代了微软自己的内容审核员工具。（目前尚不清楚它是否基于微软 2021 年收购的内容审核提供商 Two Hat 构建。）这些服务与 Azure AI Content Safety 一样，都会对新评论和图片与之前被识别为有毒内容的相似程度给出 0 到 100 的评分。
但人们有理由对此持怀疑态度。除了 Bing Chat 早期的失误以及微软裁员目标不明确之外，多项研究表明，AI 毒性检测技术仍难以克服诸多挑战，包括对特定用户群体的偏见。
几年前，宾夕法尼亚州立大学的一个团队发现，社交媒体上关于残障人士的帖子可能会被常用的公共情感分析和毒性检测模型标记为更具负面性或毒性。在另一项研究中，研究人员表明，较旧版本的 Perspective 往往无法识别使用“回收”俚语（如“queer”）或拼写变体（如缺少字符）的仇恨言论。
问题不仅限于作为服务的毒性检测器。本周，《纽约时报》的一篇报道揭露，在图像分析软件将黑人误标为大猩猩引发争议八年后的今天，科技巨头们仍害怕重蹈覆辙。
这些失败的部分原因在于标注员——即负责为作为模型示例的训练数据集添加标签的人员——会带入自身的偏见。例如，自我认同为非裔美国人和 LGBTQ+ 社区的标注员与非这两类群体成员的标注员之间，在标注结果上经常存在差异。
为了应对部分这些问题，微软允许对 Azure AI Content Safety 中的过滤器进行上下文微调。Bird 解释道：
例如，在游戏场景中使用的短语“run over the hill and attack”（冲过山丘并发起攻击）会被视为中等程度的暴力内容。如果游戏系统配置为屏蔽中等严重程度的内容，该短语将被拦截。若调整设置以接受中等程度的暴力内容，则模型将容忍该短语。
一位微软发言人补充道：“我们拥有一支语言学和公平性专家团队，他们在制定指南时充分考虑了文化、语言和语境因素。随后，我们训练AI模型以体现这些准则……然而，AI总会犯一些错误，因此对于要求几乎零错误的应用场景，我们建议使用‘人在回路’（human-in-the-loop）机制来验证结果。”
Azure AI Content Safety的早期采用者之一是Koo，这是一个位于印度班加罗尔的 blogging 平台，其用户群体使用超过20种语言。微软表示，他们正与Koo合作，应对诸如分析模因（memes）以及学习非英语语言中口语细微差别等内容审核挑战。
在Azure AI Content Safety发布前，我们未被提供测试机会，且微软未就其标注或偏见缓解方法回答问题。但请放心，我们将密切关注Azure AI Content Safety在实际应用中的表现。
