把这件事归入“不可避免但令人捧腹”一类。Mechanical Turk 自诞生之初就似乎总让人忍不住搞些小动作，而研究人员确实发现，近一半的“Turker”（众包工人）正在使用人工智能来完成那些原本专门设计由人类执行、因为 AI 尚无法胜任的任务。我们对此事已闭环处理；大家干得漂亮！
Amazon 的 Mechanical Turk 允许用户将简单任务拆分为任意数量的小子任务，每个子任务只需几秒钟即可完成，报酬仅几美分——但专职的零工们会完成成千上万这样的任务，从而获得一份微薄却稳定的收入。正如 Jeff Bezos 当时那句令人难忘的评价所说，这是“人工的人工智能”。
这些任务通常难以自动化——例如 CAPTCHA（验证码）、判断句子的情感倾向，或简单的“在这张图片中圈出猫”——这些都是人们可以快速且可靠地完成的事情。该平台被广泛用于标注相对复杂的数据，以及帮助研究人员大规模获取人类评估或决策。
它得名于著名的下棋“自动机”，该装置实际上是在其底座中隐藏了一名人类来操作走子——爱伦·坡曾撰写了一篇精彩的当代批判文章。有时自动化是困难甚至不可能的，但在这些情况下，你可以利用人类构建一种类似机器的系统。虽然需要谨慎对待，但多年来它已被证明十分有用。
但瑞士洛桑联邦理工学院（EPFL）的一项研究表明，Mechanical Turk 的工人正利用 ChatGPT 等大型语言模型来自动化他们的工作：这就像一条蛇咬住自己的尾巴，甚至可能把自己整个吞下。
当研究人员考虑使用 MTurk 这类服务作为“人在回路”（human in the loop）机制，以改进或核实大语言模型（LLM）的回答时，这一问题便浮现出来——而这些回答基本上是不可信的：
人们很容易倾向于依赖众包来验证 LLM 的输出，或创建用于对比的人类黄金标准数据。但如果众包工人 themselves 也在利用 LLM（例如为了提高生产力，从而增加他们在众包平台上的收入），那又该如何呢？
为了对这一问题有一个总体认识，他们分配了一项“摘要总结”任务给 Turker 完成。通过文中描述的多种分析在论文中（该论文尚未发表或经过同行评审），他们“估计有 33%-46% 的众包工人在完成任务时使用了 LLM。”
对某些人来说，这并不令人惊讶。自该平台上线以来，一定程度的自动化很可能一直存在。速度和可靠性是被激励的，如果你能编写一个脚本来以 90% 的准确率处理某些请求，你就能赚到不少钱。由于对个人贡献者工作流程的监督极少，某些任务实际上并非如宣传所言由人类完成，这是不可避免的。诚信从来不是 Amazon 的强项，因此指望他们靠自觉是不现实的。
但当这一切被如此清晰地呈现出来，尤其是针对一项直到最近仍被认为只有人类才能胜任的任务——充分总结一篇论文的摘要——这不仅质疑了 Mechanical Turk 本身的价值，还揭示了在“AI 用 AI 生成的数据进行训练”这一迫在眉睫的危机中，又一个类似衔尾蛇（Ouroboros）式的困境。
研究人员（Veniamin Veselovsky、Manoel Horta Ribeiro 和 Robert West）警告称，随着现代大型语言模型（LLMs）的出现，这项任务特别容易被暗中自动化，因此极有可能成为这些方法的受害者。但当前技术正稳步进步：
大型语言模型（LLMs）日益普及，支持文本以及图像和视频输入输出的多模态模型也在兴起。鉴于此，我们的研究结果应被视为“煤矿中的金丝雀”，提醒平台、研究人员和众包工作者寻找新方法，以确保人类数据保持由人类生成。
AI自我吞噬的威胁已被理论化多年，并在大型语言模型广泛部署后几乎立即成为现实：必应的宠物版ChatGPT引用了自身的错误信息作为支持关于新冠疫情阴谋论的新错误信息的依据。
如果你无法百分之百确定某项内容是由人类完成的，那么最好假设它并非人类所作。这是一个令人沮丧的原则，但我们不得不遵循。