大数跨境

算法推荐的AI Slop 进入你的世界了吗?

算法推荐的AI Slop  进入你的世界了吗? QuriositySISU
2025-10-07
2
导读:从身穿羽绒服的教皇到耶稣大虾,你的社交媒体正在被新的垃圾信息全面吞噬——它们有一个朗朗上口的名字:AI slop


全文字数:4643

阅读时间:14分钟


你可能在社交媒体中见过这类图片,它们介于真实照片与电脑生成的图像之间。有些充满奇幻色彩——比如虾形耶稣(shrimp Jesus);有些乍看之下栩栩如生——还记得穿羽绒服的教皇和洪水中抱着小狗坐在船上的小女孩吗?


一张名为“虾耶稣”的图像,由用户“爱上帝,上帝爱你”发布


2024 年飓风海伦过后,这张人工智能生成的图像广为传播


2023年3月,绘图工具Midjourney制作了一张图片:83岁的教皇方济各身着由奢华时尚品牌巴黎世家设计的白色长羽绒服在梵蒂冈外散步,但事实上他没有这样做过。


Internet users took the picture to be as true as the word of God itself— and lauded the Pope for his fashionable choice.


网民们将这张照片奉若神明——并盛赞教皇的时尚选择。很多人首次感受到了AI制图能够到达以假乱真的程度。


随后,又爆出了教皇方济各的各种造型,戴着光滑的白手套,穿着洁白的运动鞋,都是假图。这些近乎超现实主义的图像甚至欺骗了超级名模克莉茜·泰根,她在当时的推特上写道:“我以为教皇那件羽绒服是真的,根本没多想。未来科技这么发达,我绝对活不下去。”


教皇身穿羽绒服的AI照片


These are examples of AI slop, low- to mid-quality content – video, images, audio, text or a mix – created with AI tools, often with little regard for accuracy. It’s fast, easy and inexpensiveto make this content. AI slop producers typically place it on social media to exploit the economics of attention on the internet, displacing higher-quality material that could be more helpful.


这些都是 AI Slop的典例—— 由AI工具生成、质量低中等的视频、图像、音频、文本或混合内容,往往一点也不准确。制作这类内容既快速又简单而且成本低廉。AI Slop制造者通常将其发布在社交媒体上,利用互联网的注意力经济,挤占了本可更有价值的高质量内容。


*互联网的注意力经济:互联网企业通过最大限度地吸引用户或消费者的注意,培养潜在的消费群体,从而获得最大的未来商业利益。


”AI slop“ 这个表达是随着人工智能生成内容的普及而出现的,与过去最令人感到困扰、轰炸收件箱的垃圾邮件(Spam)相对应。早期,随着大型语言模型和图像扩散模型加速生成大量低质量的文字内容和图像,记者和社交平台上开始讨论用合适的术语来描述这种大量涌入的材料,有人提议用 “AI garbage”“AI pollution”“AI-generated dross” 等。“slop” ,原意为“无价值的东西、垃圾”,作为描述低质量 AI 材料的术语,最早可能是在 2022 年 AI 图像生成器发布后出现的,在4chanHacker News 和 YouTube 评论者中作为一种内部俚语使用。


*4chan:是于 2003 年推出的一个仿双叶频道(2chan)风格、以 ACGN ( 动画、漫画、游戏、小说)相关讨论为主题的美国贴图论坛。没有注册功能,用户可直接匿名发布内容,也可以使用自订的名字并以 tripcode 标识自己的身份。网页上的内容没有存档,每隔 24 小时左右会自动删除前一天所有的评论和图片。许多英文网络流行物都源于此。


*Hacker News: 2007 年上线的一个社区,主要面向创业者和开发者。社区氛围较为严肃,内容主要以技术和创业为主,也会涉及部分社会热点新闻,呈现形式只有简单的文字和链接。


英国计算机程序员西蒙・威利森被认为是将 “slop” 这个术语引入主流的早期倡导者,他在 2024 年 5 月的个人博客中使用了这个词。2024 年第二季度,由于谷歌使用 Gemini AI 模型生成搜索查询响应,这个术语变得更加流行。


近年来,AI Slop 内容呈持续增长态势。正如“slop”一词所示,这种现象对互联网用户普遍不利。


AI

SLOP

AI Slop 有哪些形式?


超级猫联盟(Super Cat League)呈现了形形色色的猫咪在奇葩场景中表演人类活动。


英国《卫报》在 2025 年 7 月发表了一项分析,研究 AI Slop 是如何占据 YouTube 上增长最快的频道的。记者们发现,在增长最快的 100 个频道中,有 9 个频道以人工智能生成的内容为特色,比如,僵尸足球和猫咪肥皂剧。


它们借助低成本量产优势挤占真实创作者的流量,形成“劣币驱逐良币”的信息污染。


这张照片来自新闻报道《CBC 新闻调查揭露 TikTok 账号传播 AI 生成的战争影像》


这一现象的一个显著例子是现已被删除的 TikTok 账号 “flight_area_zone”,该账号发布了大量 AI 生成的视频,内容涉及爆炸和燃烧的城市。尽管这些视频存在人工智能篡改的明显迹象,比如扭曲的人物形象和重复的音频,但它们发布时并未附带免责声明,随后在各大社交媒体平台传播,并被虚假宣称是乌克兰战争的真实画面。


在很多情况下,人们发布的 AI slop 刚好足以吸引并且留住用户的注意力,从而让发布者能够从那些通过流媒体和浏览量获利的平台中牟利。


这首据称由 The Velvet Sundown 乐队录制的歌曲,实为人工智能生成


Listening to Spotify? Be skeptical of that new band, The Velvet Sundown , that appeared on the streaming service with a creative backstory and derivative tracks. It’s AI-generated.


 Spotify听歌?对那个突然冒出来的新乐队“The Velvet Sundown”要保持警惕——他们带着精心编造的背景故事和模仿他人的曲目登陆流媒体平台,其实是人工智能生成的产物。


*Spotify:全球最大的音乐流媒体公司


使用人工智能轻轻松松生成内容还可以让人们能够向出版物提交低质量的文章。《克拉克世界》(Clarkesworld)是一本接受用户投稿并向投稿者支付稿费的在线科幻杂志,由于收到大量人工智能生成的稿件,它在 2024 年停止接收新投稿


These aren’t the only places where this happens — even Wikipedia is dealing with AI-generated low-quality contentthat strains its entire community moderation system. If the organization is not successful in removing it, a key information resource people depend on is at risk.


除此以外,就连维基百科也在应对人工智能生成的低质量内容,这些内容使其整个社区审核系统不堪重负。如果该组织不能成功清除这些内容,人们所依赖的关键信息资源将面临风险。


虽然《卫报》的调查研究主要针对Facebook上的垃圾信息和诈骗行为,但AI Slop的影响范围其实更加广泛。


AI Slop为何大量滋生?


生成式AI问世以来, 极大降低了内容创作的门槛,而且在很多领域有利可图。有些内容创作者试图用合成内容扩大粉丝群体;有些骗子盗用小企业页面推销不存在的商品;还有些垃圾信息发布者分享AI生成的动物图片,同时引导用户访问充斥广告的网站——这些网站让所有者无需创作优质内容就能获取广告收益。


AI生成内容在视觉上吸引人且成本低廉,骗子和垃圾信息发布者能够生成大量吸引眼球的帖子。《卫报》观察到,一些网页每天都会上传数十张上述方式制造的图片。


“AI-generated content appears to be a boon for spam and scam actors because the images are easy to generate, often visually sensational, and attract engagement,” the Stanford researchers wrote in their preprint paper.


斯坦福大学的研究人员在论文中写道:“人工智能生成的内容似乎对垃圾邮件和骗子来说是救世主,因为这些图像很容易生成,在视觉上又引人注目,吸引人们的点击。”


They wrote that the pages use “batches of inauthentic followers” to give themselves a more legitimate appearance, as well as to engage with real commenters, and that the scam accounts would sometimes seek personal information from commenters or try to sell them fake products.


他们写道,这些页面利用“一批又一批不真实的粉丝”来给自己立一个真实的人设,又与真实的评论互动,这些诈骗账户有时会从评论者那里索要个人信息,或者试图向他们出售假冒产品


算法竟会助力 AI slop?


《卫报》就算法对 AI 内容的推流状况进行了调查。有趣的是,《卫报》记者浏览了一些人工智能生成的小型奶牛帖子,但短期内并没有增加对非 AI 生成的小型奶牛、普通奶牛或其他农场动物的页面推荐。相反,该算法推荐了一系列包含 AI 图像的页面


《卫报》分析了 Facebook 的“用户浏览报告”,该报告列出了每个季度该平台上最受欢迎的内容、域名、链接、页面和帖子。


研究表明,从 2021 年到 2023 年,用户从关注列表以外看到的内容比例稳步上升。算法的改变为人工智能生成的内容提供了更大的空间,可以在没有浏览过的情况下灵活地推荐——这也许可以解释我们和其他用户为何刷到这些内容。


此外,这些人工智能生成的图像吸引了用户,而Facebook的推荐算法可能正逐渐推广这些帖子。


根据拥有Facebook、Instagram、Whatsapp等几大社交媒体平台的Meta公司的算法机制,频繁发布有助于创建者获得算法的青睐,从而使他们的内容出现在“动态信息流 (Feed)"中。因此有些网页每天都会上传几十张AI 生成的图片。


*News Feed:News Feed是Facebook于2006年9月推出的核心功能,通过算法动态展示用户关注的好友、页面及群组动态,涵盖状态更新、新闻推送和原生广告等内容。该功能早期采用简单权重分配(如图片优先),后演变为基于上千参数的智能推荐系统,2013年起相继引入Story Bumping机制优化历史内容展示,并通过Last Actor算法追踪用户实时互动偏好。2018年新增文章背景信息查询功能以识别虚假新闻,2022年增设Feeds选项卡提供按时间排序的动态流。截至2025年5月,正在测试基于兴趣主题的多维度信息推送模式。


AI Slop 有什么危害?


在互联网上制作低质量内容进行诈骗的现象已然泛滥,继spam(垃圾邮件)和scam(骗局)后,AI生成的内容已成为另一种 "诈骗怪招"。


已经被标记为“SPAM”(垃圾邮件)的内容


*spam:实际上指火锅里经常吃的午餐肉,引申为“垃圾邮件 ”,主要指那些广告垃圾邮件。特指那种,点开来会弹出广告(Pop-Up Ads)的邮件。


AI slop 许多内容是点击诱饵(click bait): 虾耶稣让人瞠目结舌,之所以能激起分享欲,完全是因为它太离奇了。


若许多用户对内容点赞或留言,这就向算法策划者发出信号:或许应该将这些内容推送给更多人


《卫报》观察到一些资深的垃圾信息发布者似乎意识到了这一点,他们通过将发布URL转向发布AI生成的图片来提升用户互动率。随后,他们会在这些AI生成图片的帖子下留言,并附上他们希望用户点击的满是广告的链接。


AI-driven slop is making its way upstream into people’s media diets as well. During Hurricane Helene, opponents of President Joe Biden cited AI-generated images of a displaced child clutching a puppy as evidence of the administration’s purported mishandling of the disaster response. Even when it’s apparent that content is AI-generated, it can still be used to spread misinformation by fooling some people who briefly glance at it.


人工智能驱动的垃圾内容正逐渐渗透到人们的媒体消费中。飓风海伦来袭期间,拜登总统的反对者们引用了人工智能生成的灾民儿童抱着小狗的图片,作为政府灾难应对不力的所谓证据。即便内容明显是人工智能生成的,仍可能被用来传播虚假信息——那些匆匆一瞥的人会被其蒙蔽。


AI slop还会让艺术家们丢失工作、面临经济损失,并会排挤原创内容,损害创作者的利益。以驱动社交媒体消费为目的的算法往往无法区分这些低质量的AI生成内容和真正原创的优质内容,这会使得以前靠网络内容谋生的整个创作者群体退居幕后。


AI Slop管得了吗?


YouTube 于 2023 年 11 月首次宣布将要求创作者披露人工智能内容但执行仍然松懈,主要因为检测人工智能的方法往往不可靠——尽管 YouTube 似乎比  Facebook 等平台做得更多 。(它还在开发一种工具,用于检测是否有人使用人工智能生成了你的肖像。)2025 年 7 月 15 日起更新的获利政策明确,禁止用 Suno 免费计划生成的音乐获利,限制无人类输入或转换的内容获利,更青睐含旁白、编辑等“变革性人类输入”的内容;若检测到未正确标记的逼真 AI 内容将删除视频,重复违规可能导致频道受警告、被移出合作伙伴计划并取消获利资格。


*Suno:Suno 是一款 AI 作曲平台,可以根据给定的歌词和风格提示词做出你想要的曲子,被网友称为“最强音乐类 AI”


从 2024 年 5 月开始,Meta 平台要求 AI 生成的内容带有“Made with AI”(由 AI 生成)的标签,对于被认为更有可能误导用户的内容,将会收到更突出的标签。


2025 年 8 月,TikTok 宣布更新《社区规范》,全面禁止“误导公众或造成伤害”的 AI 生成内容,同时删除“AI 背书禁令”,但要求所有 AI 生成内容必须标注“合成”或“AI 生成”。此外,TikTok 与内容来源和真实性联盟(C2PA)合作,使用内容凭证(Content Credentials)工具自动标注从其他平台上传的 AI 生成内容,还加入了由Adobe 领导的内容真实性倡议(CAI),以进一步推动行业采用透明的内容标注实践。


*内容来源和真实性联盟(C2PA):通过制定一个开放的技术标准,来证明媒体和数字内容的来源和修改历史。C2PA 规范允许出版商、公司和其他个人在媒体文件中嵌入元数据,以验证其来源和相关信息。C2PA 不仅适用于由人工智能生成的图像,也被相机制造商、新闻机构和其他个人采用,用于认证媒体内容的来源和历史(或溯源)。


*Adobe:美国一家跨国电脑软件公司,总部位于加州的圣何塞,其官方大中华部门内也常以中文“奥多比”自称。主要从事多媒体制作类软件的开发,近年亦开始涉足丰富互联网应用程序、市场营销应用程序、金融分析应用程序等软件开发。


*内容真实性倡议(CAI):以 Adobe 为首,旨在为数字媒体内容提供背景来源和修改历史


对用户而言,在任何启用 AI 功能的平台上,他们都可以标记有害或有问题的内容。在某些平台上,用户还可以为内容添加社区注释以提供背景信息。对于有害内容,还可以尝试举报。


虾耶稣(Shrimp Jesus)是个很明显的 AI Slop,但人们辨别真实性的挑战才刚刚开始。


大家又对AI Slop有何看法和管理意见呢?欢迎在评论区留言讨论!




THE END




链接:

https://theconversation.com/what-is-ai-slop-a-technologist-explains-this-new-and-largely-unwelcome-form-of-online-content-256554

Cat soap operas and babies trapped in space: the ‘AI slop’ taking over YouTube | Artificial intelligence (AI) | The Guardian

https://disa.org/cbc-news-investigation-exposes-tiktok-account-spreading-ai-generated-war-footage/

https://theconversation.com/from-shrimp-jesus-to-fake-self-portraits-ai-generated-images-have-become-the-latest-form-of-social-media-spam-226903

https://theconversation.com/what-is-ai-slop-a-technologist-explains-this-new-and-largely-unwelcome-form-of-online-content-256554

https://futurism.com/youtube-playlists-no-ai


编译 | 武悦然、何倩、李倬然、朱天乐、孟克佳涯

排版 | 朱天乐


【声明】内容源于网络
0
0
QuriositySISU
编译全球年轻新风尚 滋养你的优质好奇心SISU国际新闻编译实践项目平台
内容 1081
粉丝 0
QuriositySISU 编译全球年轻新风尚 滋养你的优质好奇心SISU国际新闻编译实践项目平台
总阅读203
粉丝0
内容1.1k