Common Sense Media是一家专注于儿童安全的非营利组织，提供媒体和技术的评级与评论。该组织于周五发布了其对谷歌Gemini AI产品的风险评估报告。
评估核心发现
虽然该组织发现谷歌AI明确告知用户其为计算机而非朋友（这一点有助于避免在情感脆弱个体中引发妄想性思维和精神病），但也指出产品在多个方面仍有改进空间：
- 底层架构问题：Gemini的“13岁以下”和“青少年体验”层级本质上仍是成人版本，仅增加了额外安全功能。该组织认为，AI产品必须从设计之初就将儿童安全纳入考量，而非简单修改成人版。
- 内容安全风险：Gemini仍可能向儿童分享与其年龄不符的“不适当且不安全”内容，涉及性、毒品、酒精及不安全的心理健康建议等。
- 总体评级：尽管添加了安全过滤器，但由于忽视了年轻用户需要区别于年长用户的指导和信息，针对儿童和青少年的产品在总体评级中均被列为“高风险”。
行业背景与潜在影响
心理健康风险尤其令父母担忧。据报道，AI在近几个月的一些青少年自杀事件中扮演了角色。OpenAI正面临首起过失致死诉讼，起因是一名16岁男孩在与ChatGPT咨询数月后自杀身亡；此前，AI伴侣制造商Character.AI也因类似事件被起诉。
此外，随着新闻泄露显示苹果正考虑将Gemini作为明年AI版Siri的大型语言模型（LLM），这项分析恰逢其时。除非苹果能有效缓解这些安全问题，否则可能会让更多青少年面临风险。
专家观点
Common Sense Media AI项目高级总监Robbie Torney表示：“Gemini在一些基本方面做得不错，但在细节上却出了差错。”他强调，面向儿童的AI平台应根据孩子当前的状态提供支持，而非采取一刀切的方法。“为了让AI对儿童既安全又有效，必须根据其需求和发育特点进行设计，而不仅仅是将专为成人设计的产品稍作修改。”
谷歌回应
谷歌对该评估结果提出反驳，同时指出其安全功能正在不断改进：
- 已为18岁以下用户制定具体政策和保障措施，防止有害输出，并通过红队测试和外部专家咨询提升保护能力。
- 承认部分回应未能按预期工作，因此增加了额外的安全措施。
- 设有safeguards防止模型参与可能营造真实关系假象的对话。
- 指出报告似乎引用了18岁以下用户无法使用的功能，但因无法获取测试具体问题而无法确认。
其他AI服务评估对比
Common Sense Media此前已对多款AI服务进行评估，结果如下：
- 不可接受（风险严重）：Meta AI、Character.AI
- 高风险：Perplexity
- 中等风险：ChatGPT
- 极低风险：Claude（面向18岁及以上用户）