美国出版商CEO指责Google AI爬虫行为不公
美国最大数字及印刷出版商People, Inc.（前身为Dotdash Meredith）CEO尼尔·沃格尔（Neil Vogel）近日在《财富》Brainstorm Tech大会上公开指责Google。他指出，Google在利用爬虫抓取网站以支持AI产品方面扮演了“不良行为者”角色。
作为运营People、Food & Wine、Travel + Leisure等40多个品牌的出版商负责人，沃格尔认为Google的竞争手段有失公允：其用于搜索引擎索引与AI功能训练的爬虫为同一程序，后者实质上窃取了出版商内容。
搜索流量大幅下滑，呼吁建立内容协议
沃格尔透露，三年前Google搜索占该公司流量的65%，目前已降至20%多。他此前曾向AdExchanger表示，该比例早年甚至高达90%。
尽管公司受众与收入仍在增长，但沃格尔强调：“不对的是你不能拿我们的内容来与我们竞争。”他认为出版商需在AI时代掌握更多杠杆，通过阻止AI训练爬虫迫使厂商签订内容协议。目前，People Inc.已与OpenAI达成协议，并称其为“良好行为者”。
借助Cloudflare的解决方案屏蔽未付费AI爬虫后，多家大型大语言模型提供商主动寻求合作。虽尚未签署新协议，但沃格尔表示进展已显著推进。然而，由于无法单独屏蔽Google爬虫而不影响搜索索引，出版商仍面临困境。
“他们知道这一点却没有拆分爬虫，是故意的不良行为者，”沃格尔说道。
行业共识与法律挑战
Ankler Media总编辑兼CEO简妮丝·明（Janice Min）对此表示赞同，将Google和Meta称为长期的“内容盗窃癖患者”，并表示其公司已全面阻止AI爬虫，目前看不到与AI公司合作的益处。
Cloudflare CEO Matthew Prince则认为，AI公司的行为或将因新规而改变。但他质疑沿用传统版权法对抗AI是否有效，指出衍生作品往往受合理使用原则保护。Anthropic等公司与图书出版商达成15亿美元和解，正是为了保留有利的版权裁决。
Prince同时批评Google教会了出版商重流量轻原创，导致BuzzFeed等内容农场泛滥。但他预测，面对竞争压力，Google内部正激烈争论，预计明年此时将为内容创作者支付费用，以合法爬取内容用于AI模型训练。