谷歌表示，其新推出的 AI 模型系列具备“识别”情绪的功能。
周四发布的 PaliGemma 2 系列模型可分析图像，使 AI 能为照片中“看到”的内容生成描述性文字并回答相关问题。谷歌在博客文章中指出：“PaliGemma 2 会为图像生成详细且与上下文相关的描述，超越了简单的物体识别，转而描述动作、情绪以及场景的整体叙事。”
情绪识别需微调，专家担忧前景
情绪识别并非开箱即用，PaliGemma 2 需要为此进行微调。尽管如此，TechCrunch 采访的专家们对这种公开可用的情绪检测器的前景感到担忧。
牛津互联网研究所数据伦理与 AI 教授桑德拉·瓦赫特（Sandra Wachter）表示：“这让我感到非常不安。我认为假设我们可以‘读取’人们的情绪是有问题的。这就像向魔球寻求建议一样。”
科学依据缺乏实证基础
多年来，初创公司和科技巨头都试图构建能够检测情绪的 AI，用于从销售培训到预防事故等各种场景。一些公司声称已实现这一目标，但相关科学依据却缺乏坚实的实证基础。
大多数情绪检测器借鉴了心理学家保罗·艾克曼的早期工作，他提出人类共有六种基本情绪：愤怒、惊讶、厌恶、快乐、恐惧和悲伤。然而，随后的研究质疑了艾克曼的假设，表明不同背景的人表达感受的方式存在显著差异。
伦敦国王学院专注于 AI 的研究员迈克·库克（Mike Cook）指出：“在一般情况下，情绪检测是不可能的，因为人们以复杂的方式体验情绪。当然，我们认为可以通过观察他人来了解他们的感受，多年来也有许多人尝试过，比如间谍机构或营销公司。我相信在某些情况下绝对有可能检测到一些通用的信号，但这永远不是我们能完全‘解决’的问题。”
系统不可靠且存在偏见风险
毫不奇怪的是，情绪检测系统往往不可靠，并受到设计者假设的偏见影响。在 2020 年麻省理工学院的一项研究中，研究人员指出，面部分析模型可能会对某些表情（如微笑）产生非预期的偏好。更近期的研究表明，情绪分析模型对黑人面孔赋予的负面情绪多于白人面孔。
谷歌表示，它对 PaliGemma 2 进行了“广泛测试”，以评估人口统计学偏见，并与行业基准相比发现“毒性和粗俗内容的水平较低”。但该公司并未提供所使用的完整基准列表，也未说明执行了哪些类型的测试。
谷歌唯一披露的基准是 FairFace，这是一组数万人的头像照片。该公司声称 PaliGemma 2 在 FairFace 上表现良好。但一些研究人员已经批评该基准作为偏见指标，指出 FairFace 仅涵盖少数几个种族群体。
研究人工智能社会影响的非营利组织 AI Now Institute 的首席 AI 科学家海迪·克拉夫（Heidy Khlaaf）表示：“解读情绪是一个相当主观的问题，它不仅超出视觉辅助工具的使用范围，还深深嵌入个人和文化背景之中。抛开 AI 不谈，研究表明我们无法仅从面部特征推断情绪。”
监管限制与滥用担忧
情绪检测系统引发了海外监管机构的强烈不满，他们试图限制该技术在高危场景中的应用。欧盟主要的 AI 立法《人工智能法案》禁止学校和雇主部署情绪检测器（但不包括执法机构）。
围绕像 PaliGemma 2 这样开源模型的最大的担忧是，它们可能会被滥用或误用，从而导致现实世界的伤害。PaliGemma 2 可从包括 AI 开发平台 Hugging Face 在内的多个主机处获取。
克拉夫警告称：“如果这种所谓的‘情绪识别’建立在伪科学的假设之上，那么这种能力可能被用来进一步——并且错误地——歧视边缘化群体，例如在执法、人力资源、边境管理等领域，这将产生重大影响。”
被问及公开发布 PaliGemma 2 的危险性时，谷歌发言人表示，公司对其在视觉问答和图像描述方面的“代表性伤害”测试持支持态度。他们补充道：“我们对 PaliGemma 2 模型进行了严格的伦理与安全评估，包括儿童安全和内容安全。”
Wachter 并不认为这就足够了。她说：“负责任的创新意味着从你踏入实验室的第一天起就要考虑后果，并在产品的整个生命周期中持续这样做。我可以想到许多与此类模型相关的潜在问题，这些问题可能导致一个反乌托邦的未来，在那里你的情绪将决定你是否能获得工作、贷款或被大学录取。”