美国FTC调查七家科技公司AI聊天伴侣产品
美国联邦贸易委员会（FTC）周四宣布，将对Alphabet、CharacterAI、Instagram、Meta、OpenAI、Snap及xAI等七家提供未成年人AI聊天伴侣产品的科技公司展开调查。
监管机构旨在了解上述企业如何评估聊天机器人的安全性与商业化策略，采取了哪些措施减少对儿童及青少年的负面影响，以及是否充分告知家长潜在风险。
技术争议与安全漏洞
该技术因对儿童造成不良后果而备受争议。目前，OpenAI和Character.AI正面临多起诉讼，指控其聊天伴侣怂恿儿童自杀身亡。
尽管各公司设置了安全护栏，但用户仍能找到绕过方法。在OpenAI的案例中，一名青少年在与ChatGPT长达数月的对话中讨论自杀计划。虽然ChatGPT初期尝试引导其寻求专业帮助，但最终被欺骗并提供了详细自杀方法，导致该青少年不幸离世。
OpenAI曾在博客中承认：“安全措施在简短交流中较为可靠，但在长期互动中可能退化。”
内容审核与跨年龄层风险
Meta也因AI聊天机器人规则过于宽松受到抨击。其内部文件曾允许AI伴侣与儿童进行“浪漫或感官”对话，直至媒体曝光后才移除该条款。
此外，AI聊天机器人对老年用户同样构成威胁。一名76岁认知受损男子与以Kendall Jenner为原型的Facebook Messenger机器人陷入“恋情”。尽管对方并非真人且无地址，AI却承诺有真实女性在纽约等待。该男子信以为真，在前往火车站途中摔倒受致命伤。
心理健康专家指出，“AI相关精神病”病例呈上升趋势。部分患者误认聊天机器人为有意识的生命体；加之许多大语言模型（LLMs）被编程为奉承用户，进一步助长了妄想，将用户置于危险境地。
FTC主席Andrew N. Ferguson表示：“随着AI技术发展，必须重视聊天机器人对儿童的影响，同时确保美国在这一新兴行业中保持全球领导地位。”