一个根本不存在的孩子，竟然开始赚钱了。
最近，央视曝光了一批AI生成的“假孩子”账号。视频里的男孩哭着喊“姨姨妈妈”，讲自己没有妈妈、家里很穷，还说带货比赛就差最后几单。评论区里，不少人心疼、安慰，甚至直接下单。可问题是，这个让人牵肠挂肚的孩子，可能从头到尾都是AI生成的。
他的脸可以生成，声音可以合成，连那些让人心酸的故事，也可以提前写好。看到这里，我反而觉得，比起“假孩子卖惨带货”，更值得警惕的是另一件事：AI正在让造假变得越来越简单。 而这可能只是一个开始。
骗子没有升级，是AI升级了
过去，如果有人想靠虚构人物骗钱，至少得找演员、写剧本、拍视频、录声音，再花时间剪辑。想要长期更新，或者同时运营多个账号，还得投入更多人力。但现在，AI可以生成虚拟人物、合成声音、改写文案，甚至帮助制作完整的视频。一个人借助几款AI工具，就完成过去需要多人协作的部分工作。
今天是一个哭诉生活困难的孩子，明天可以换一张脸、改一段身世，继续讲另一个故事。人物可以重复使用，台词可以批量修改，视频也可以不断生成。过去，造假需要花时间制作；现在，一些造假手段已经开始变成可以复制的流水线。
AI并没有发明卖惨带货，过去也有人靠编故事博取同情。但技术的变化在于，它让这些套路更容易被复制，也让原本没有专业制作能力的人，有机会参与其中。当制作成本不断下降，同一种骗局就可能被包装成更多版本，出现在更多账号里。真正值得警惕的，不只是一个假孩子，而是这种生产虚假内容的能力，正在变得越来越容易获得。
以后被骗的，可能不只是老人
很多人看到这条新闻，第一反应可能是：不就是骗老年人吗？但如果把视野放大，就会发现问题远不止卖惨带货。
过去，我们判断视频真假，多少还会看看人物的表情、声音和动作是否自然。但现在，AI生成的人物越来越逼真，不仅可以对着镜头说话，还能表现出各种情绪。
想象一下，有人突然发来一段视频，画面里是你的亲人，声音也是熟悉的声音，甚至还说出了只有你们才知道的一些事情。你会不会放下戒心？
这也是AI安全越来越需要重视的原因。我们过去讨论AI，更多是在讨论它能写什么、能画什么、能不能提高工作效率。但当这些能力被用来伪造身份、制造虚假信息，甚至诱导他人转账和消费时，技术带来的风险就不再只是互联网平台上的一条假视频，而可能直接影响现实生活中的财产和信任。
AI发展这么快，安全预警跟上了吗？
针对AI生成内容的风险，我国已经出台了相应的治理措施。《人工智能生成合成内容标识办法》于2025年9月1日起施行，要求按照规定对AI生成合成内容添加显式或隐式标识，并对内容传播环节提出相应要求。
但规则出台只是开始。对于平台来说，除了识别单条视频是否违规，还要关注同一人设被大量复制、多个账号发布相似内容、视频持续引导购物等异常情况。否则，一个账号被处理了，换个名字、换套背景，又可能重新出现。
这也是AI安全治理接下来需要面对的问题：能不能在虚假内容大规模传播、造成实际损失之前，就及时发现异常？
当然，AI生成内容并不等于造假。它可以帮助创作者制作视频，也能应用于教育、设计和许多日常工作。真正需要防范的，是有人利用这项技术伪造身份、操纵情绪，再把这种欺骗转化成利益。
AI正在让内容生产变得更容易，但技术进步不应该成为逃避责任的理由。对普通人来说，遇到卖惨求助或紧急转账，先核实再行动；对平台和监管部门来说，则需要让识别、追溯和处置能力跟上技术变化。
AI能生成一个看似真实的人，但不能因此让虚构的身份，成为伤害真实世界的通行证
加一研究院
传递这个时代最有价值的声音！
