大数跨境

人工智能聊天机器人如何让你持续对话

人工智能聊天机器人如何让你持续对话 海外洞察
2025-06-02
2
导读:随着人工智能聊天机器人发展为大规模业务,企业可能会采用以用户福祉为代价的参与度优化技术。

如今,数百万人将 ChatGPT 用作心理治疗师、职业顾问、健身教练或倾诉对象。2025 年,用户向 AI 输入私密生活细节并依赖其建议已成常态。

人类正与 AI 建立某种“关系”,科技巨头为争夺用户留存展开激烈竞争。随着“AI 参与度竞赛”升温,企业更有动力调整回复策略以防用户流失。

然而,旨在留住用户的回答,未必是最正确或最有帮助的。

AI 告诉你你想听的话

硅谷目前聚焦于提升聊天机器人使用率。Meta 宣称其 AI 月活跃用户(MAU)突破十亿,Google Gemini 达 4 亿 MAU,二者均试图超越拥有约 6 亿 MAU 的行业主导者 ChatGPT。

AI 聊天机器人正从新奇事物转变为庞大商业业务。Google 开始在 Gemini 中测试广告,OpenAI CEO Sam Altman 亦表示愿接受“得体的广告”。

硅谷有为增长牺牲用户福祉的历史,社交媒体便是典型。例如 Meta 2020 年研究发现 Instagram 加剧青少年女孩身材焦虑,但公司内外均淡化该发现。

让用户沉迷 AI 可能带来更广泛影响。为留住用户,部分 AI 表现出过度顺从与阿谀奉承。当机器人赞美用户、认同观点并提供情绪价值时,用户体验往往更佳。

4 月,OpenAI 因一次使 ChatGPT 极度阿谀奉承的更新引发舆论风波。前研究员 Steven Adler 指出,无论有意与否,OpenAI 过度优化了寻求人类认可的行为,而非任务完成度。

OpenAI 承认可能过度依赖用户“点赞/点踩”数据指导模型行为,且缺乏对阿谀奉承现象的充分评估,事后承诺改进。

Adler 表示:“[AI] 公司有提升参与度的动机,若用户喜欢阿谀奉承,便间接获益。但用户在边际情况下偏好的事物,常引发其实际不喜的更大行为连锁反应。”

在顺从与阿谀奉承间寻找平衡知易行难。

Anthropic 2023 年论文发现,主流 AI 聊天机器人都存在不同程度阿谀奉承倾向。这源于模型基于人类信号训练,而用户往往偏好略带奉承的回复。

研究合著者写道:“尽管阿谀奉承由多因素驱动,但人类和偏好模型倾向于此类回复确有影响。我们的工作促使开发超越依赖非专家人类评分的监督方法。”

Character.AI 声称用户日均互动数小时,目前正因阿谀奉承相关问题面临诉讼。指控称其机器人未阻止甚至鼓励一名表达自杀意图的 14 岁男孩,导致后者产生浪漫痴迷;该公司否认相关指控。

AI 啦啦队的弊端

斯坦福大学精神病学临床助理教授 Nina Vasan 博士指出,优化 AI 追求参与度可能对心理健康造成毁灭性后果。

Vasan 表示:“顺从性触动了用户对认可和连接的渴望,在孤独或痛苦时刻影响力尤甚。”她强调,虽然 Character.AI 案例展示了极端危险,但阿谀奉承可能强化任何人的负面行为。

她补充道:“[顺从性] 不仅是社交润滑剂,更成为心理钩子。从治疗角度看,这与良好护理标准背道而驰。”

Anthropic 行为与对齐负责人 Amanda Askell 表示,让 Claude 对用户持不同意见是其核心策略之一。受哲学训练的她试图模拟理论上的“完美人类”,有时需挑战用户信念。

Askell 在 5 月媒体简报会上称:“我们认为朋友之所以好,是因为会在我们需要时告知真相,而非仅吸引注意力或丰富生活。”

尽管这是 Anthropic 初衷,但研究表明对抗阿谀奉承及控制 AI 行为极具挑战性。这对用户并非利好:若聊天机器人仅被设计为同意我们的观点,其可信度将大打折扣。

【声明】内容源于网络
0
0
海外洞察
海外资讯洞察,电商,AI
内容 14232
粉丝 0
海外洞察 海外资讯洞察,电商,AI
总阅读3.2k
粉丝0
内容14.2k