网络发布平台 Medium 宣布屏蔽 OpenAI 的 GPTBot，该代理程序用于抓取网页内容以训练 AI 模型。此举可能预示着各大平台将形成统一阵线，共同反对内容被剥削的行为。
Medium 已加入 CNN、《纽约时报》等媒体机构的行列，在 robots.txt 文件中将“User-Agent: GPTBot”列入禁止访问名单。robots.txt 是网站告知爬虫和索引器是否同意被扫描的标准文档。
针对 AI 制造商抓取数据作为模型素材的做法，Medium CEO 托尼·斯塔布尔拜恩（Tony Stubblebine）直言：
当前生成式 AI 的发展对互联网并非净收益。他们在未经同意的情况下利用写作获利，既未提供补偿也未给予署名……AI 公司从作家身上榨取价值，只为向读者发送垃圾信息。
因此，当 GPTBot 访问时，Medium 默认予以拒绝。但 Stubblebine 也承认，这种自愿方式难以约束无视规则的爬虫；而采取主动防御措施虽有可能，却意味着冲突升级、成本增加及潜在的诉讼风险。
不过仍有希望。Stubblebine 表示：
Medium 并不孤单。我们正积极招募其他平台组成联盟，共同探索 AI 时代合理使用制度的未来。目前已与多家大型组织接洽，但他们尚未准备好公开合作。
更多机构在标准或平台上达成一致，将产生网络效应并形成对抗不良 AI 平台的制衡力量。然而，跨行业合作通常进展缓慢。AI 涉及复杂的法律与伦理问题，且知识产权定义尚处变动之中，加之董事会往往推动利用 AI 谋利，导致共识难以达成。
或许只有维基百科这类不受商业利益束缚的巨头才敢打破僵局。在其他组织挺身而出之前，网络爬虫仍会随心所欲地尊重或无视内容所有者的意愿。