Cloudflare推动加强AI行业监管：呼吁限制谷歌在搜索与AI领域的捆绑优势
继推出允许网站向AI机器人收费抓取内容的市场后，网络基础设施提供商Cloudflare正积极推动加强AI行业的监管。
CEO马修·普林斯呼吁英国CMA制定更严格规则
Cloudflare首席执行官马修·普林斯（Matthew Prince）近日前往伦敦，与英国竞争与市场管理局（CMA）进行对话。他提出应制定更严格的规则，以限制谷歌在AI竞赛中的竞争方式，鉴于其在搜索领域的主导地位。
本月早些时候，CMA因谷歌在搜索和广告市场中“庞大且根深蒂固”的地位而赋予其特殊地位。此举将使监管机构能够施加更为严格的监管措施，范围不仅限于搜索和广告，还将涵盖谷歌的AI概览（AI Overviews）、AI模式、Discover信息流、头条新闻和新闻标签页等领域。
Cloudflare的中立立场与核心诉求
据普林斯称，Cloudflare处于提出建议的良好位置，因为它本身不从事AI业务，但与众多AI公司保持着广泛的合作关系。
“我们在这场竞争中没有直接利益冲突。我们不是一家AI公司，也不是媒体出版商，但我们是一个介于它们之间的网络——80%的AI公司都是我们的客户。”普林斯在本周于伦敦举行的Bloomberg Tech会议上表示。
普林斯认为，谷歌应当与其他AI公司在同等条件下竞争，但目前并非如此。相反，谷歌利用其现有的网络爬虫为其AI产品和服务以及搜索引擎抓取内容，这使其获得了不公平的优势。
尽管谷歌发言人Ned Adriance表示，网站所有者可以通过Google Extended选择退出将其内容用于训练AI产品且不影响搜索结果收录，但一些媒体公司可能更倾向于完全退出AI功能，因此这一观点在很大程度上仍然成立。
爬虫捆绑导致的不公平竞争困境
“谷歌声称，‘我们拥有对全球所有内容的绝对天赋权利，即使我们不为此付费，因为我们过去27年做了这么多贡献，’”普林斯解释道，“他们还说，我们可以使用用于搜索的同一爬虫来驱动我们的AI系统。如果你想退出其中一个，就必须同时退出两个。”
显然，这对大多数人来说并不可行，尤其是媒体行业从业者，因为失去搜索意味着损失约20%的收入。这位高管指出：“情况甚至更糟。如果你阻止谷歌的爬虫，它也会阻止其广告安全团队，这意味着你在所有平台上的广告都将停止工作，这是完全不可接受的。”
由于谷歌捆绑了其爬虫服务，它能够获取其他公司（如Anthropic、OpenAI和Perplexity）必须付费才能访问的内容。“问题在于，我们实际上会把游戏的主导权交给谷歌。”他说。
解决方案与行业共识
普林斯表示，解决方案是在市场中培育大量竞争，潜在地让成千上万的AI公司竞相从数千家媒体企业和数百万家小型企业购买内容。他认为，英国CMA将谷歌列为潜在监管目标的做法是一种深思熟虑的举措，表明他们意识到谷歌的独特优势。Cloudflare还向CMA提供了数据，展示了谷歌爬虫的工作原理，以及为何其他参与者几乎不可能复制谷歌所取得的同样成功。
普林斯并非唯一持有这些观点的人。上个月，美国最大数字和印刷出版商People, Inc.的首席执行官Neil Vogel也表达了类似看法。在一次采访中，他将谷歌称为“不良行为者”，并表示由于爬虫结合的方式，媒体公司别无选择，只能允许谷歌爬取其网站以获取AI内容。
弗格尔的公司已采用Cloudflare阻止不付费AI爬虫的解决方案来应对这一问题。他声称该系统正在发挥作用，因为与几家大型LLM提供商的交易谈判正在进行中。
已更新，包含谷歌的评论。