Character.AI，一个领先的与AI生成角色聊天和角色扮演平台，于周二发布了其即将推出的视频生成模型AvatarFX。该模型目前处于封闭测试阶段，能够以多种风格和声音为平台上的角色赋予动画效果，从类人角色到2D动物卡通无所不包。
AvatarFX与OpenAI的Sora等竞争对手不同，因为它不仅仅是一个文本到视频的生成器，用户还可以从现有图像生成视频，从而让真实人物的照片动起来。
📽️你好，AvatarFX——我们尖端视频生成模型。电影质感。富有表现力。令人惊叹。
这种技术可能被滥用的风险显而易见——用户可以上传名人或现实生活中熟人的照片，并创建看似真实的视频，其中他们做出或说出一些可能带来不利后果的言行。创造逼真深度伪造（deepfakes）的技术已经存在，但将其整合到像Character.AI这样的大众消费产品中只会加剧其被不负责任使用的潜在风险。
Character.AI告诉TechCrunch，它将对使用AvatarFX生成的视频添加水印，以明确表明这些画面并非真实。该公司补充说，其AI将阻止生成未成年人的视频，并且对真实人物的图像会通过AI进行处理，将主体替换为辨识度较低的人物。此外，AI还经过训练以识别知名名人和政治人物的图像，从而限制滥用可能性。
由于AvatarFX尚未广泛可用，目前无法验证这些安全措施的效果如何。
Character.AI的平台已经面临安全问题，父母已对公司提起诉讼，指控其聊天机器人怂恿他们的孩子自残、自杀或杀害父母。
在一例案件中，一名14岁男孩在与基于《权力的游戏》角色的AI机器人建立痴迷关系后自杀身亡；据法院文件显示，他在去世前不久向该AI透露了自杀念头，而该AI则鼓励他付诸行动。
这些是极端案例，但它们说明了人们仅通过文本信息就可能被AI聊天机器人进行情感操控。随着视频的加入，人们与这些角色之间的关系可能会感觉更加真实。
针对针对它的指控，Character.AI已构建了家长控制功能和额外的安全措施，但与任何应用一样，只有实际使用时控制措施才有效。通常情况下，孩子们会以父母不了解的方式使用科技产品。
更新于2025年4月23日上午9:45（美东时间），添加了来自Character.AI的评论