大数跨境

荷兰电商的AI政策:83%的企业表示尚未制定相关策略

荷兰电商的AI政策:83%的企业表示尚未制定相关策略 荷兰快看
2026-07-28
8
导读:一项针对100家荷兰网店的调查显示,83%的网店没有制定AI爬虫政策。这对AI搜索、SEO和电子商务意味着什么?

AI代理和AI搜索正在改变消费者发现网店的方式。但荷兰零售商为此做了哪些准备?我们研究了100家荷兰网店的robots.txt文件,结果令人惊讶:83%的商家没有针对AI爬虫的明确政策。

荷兰电子商务是否已准备好应对这位新来的机械化访客?我们检查了100家荷兰网店的robots.txt文件,包括该国40家最大的连锁企业及60家WooCommerce网店。其中11家店铺通过机器人防火墙屏蔽了robots.txt文件,其余89家可供分析。

结果显示,89家受访企业中有74家(83%)未对任何AI爬虫进行限制。无论是GPTBot、OAI-SearchBot、PerplexityBot还是ClaudeBot均未被拦截。从bol.com、Coolblue到Albert Heijn等大型企业及中小企业皆如此。决定未来AI如何评价这些商家的机器人正以未被识别的状态自由进出。大型企业与中小企业差异几乎可忽略不计(分别为86%和81%),这并非预算或知识差距问题,而是尚未被提出的简单问题。

实际存在的政策很少来自商店本身

深入探究15个例外情况时,我们发现了一些意外内容。在7家中小企业店铺中,发现了完全相同的robots.txt文件(连标点符号都一致)。这些店铺并未自行创建该文件,而是服务器环境的默认配置,通过“crawl-delay”减缓AI机器人访问速度。店铺对此一无所知,其“AI政策”实为出厂设置。讽刺的是,GPTBot会忽略crawl-delay指令,因此这种设置主要阻碍的是遵守规则的机器人。另外4家店铺则完全屏蔽了AI爬虫,且机器人列表彼此相同,更像是安全插件预设配置而非深思熟虑的决策。

因此结论比单纯百分比更深刻。在89家网店中,仅有少数几家能证明有人认真思考过哪些AI系统可以访问产品数据、价格和库存信息。其余店铺完全依赖运气:取决于主机商设置、插件写入内容或未做任何设置。

两家商店做出了相反选择

极端做法值得借鉴,且均出现在大型连锁企业中。家居连锁店Flinders坚决关闭大门,全面屏蔽GPTBot、ClaudeBot、Google-Extended、CCBot及其他AI爬虫。这一选择虽避免了爬取成本和数据泄露风险,但代价是AI系统无法读取的内容也无法为其推荐。

MediaMarkt实施了样本中最精细的政策。这家电子零售连锁店明确允许GPTBot、OAI-SearchBot、PerplexityBot和ClaudeBot访问,但屏蔽了用于训练AI模型的Common Crawl爬虫(CCBot)。换言之,他们希望在今日购物建议中被发现,但不愿成为明日模型的免费训练素材。显然有人对此深思熟虑过。

还有一个细节能说明零售商视谁为威胁:研究中被屏蔽最多的机器人并非OpenAI旗下,而是竞争对手爬虫Amazonbot,它被包括MediaMarkt在内的三家连锁企业屏蔽。

为什么“没有政策”也是一种政策

人们易认为那83%的人做错了什么,但事情没那么简单。对大多数商店而言,允许AI抓取可能是正确选择:在AI回答中获得可见性将成为增长渠道,且被更多引用的品牌更常被AI推荐。排除爬虫等于将自己排除在该机制之外。

但“因不知情而允许”与“因有意愿而允许”是两回事。若无相关政策,就无法回答营销议程上的关键问题:是否愿意为服务器空间付费让所有AI合作伙伴抓取完整目录?是否希望区分会回流流量的问答引擎和仅用于训练的爬虫?最关键的是,若爬虫到来,其发现的内容(价格、库存、结构化数据)是否规范?ChatGPT是否会基于过时数据提供建议?

这使得它成为营销课题而非IT任务。新访客阅读的是数据而非营销文案或视觉规范。Robots.txt只是前门,若不清楚前门是否敞开,便更难思考门后的布置。

公平地说:这项研究未涵盖的内容

三点补充说明:Robots.txt是请求而非强制约束,善意爬虫遵守它,恶意爬虫无视它。商店也可在CDN或防火墙层面屏蔽AI爬虫(本研究不可见);11家商店将robots.txt隐藏在“机器人墙”后证明了该层面的存在。因此拥有某种政策的商店数量可能略高于测量结果,但我们担心真正有意制定此类政策的商店并不多。

此外,本研究中涉及的小微企业客户均来自我们自行管理的范围。关于标准服务器配置的发现也映照出我们自身情况,我们在自己的“后院”中发现了这一配置。目前我们正将该政策明确化并针对每位客户探讨,也希望整个市场享有同样待遇:并非只有一种正确设置,而是有意识的选择。

五分钟检查

想知道自己店铺状况如何?在浏览器输入域名加/robots.txt,搜索GPTBot、PerplexityBot或ClaudeBot。若无结果,说明属于那83%群体。此时问题不应是“如何屏蔽”,而是“实际上想做什么”。若有意开放,应将精力集中在确保机器人抓取的数据准确无误上;若想实现差异化,可参考MediaMarkt提供的示例。

据预测将成为荷兰最大购物者的AI代理已站在每家网络商店门前。研究表明这扇门几乎处处敞开,但几乎都不是因为有人特意将其打开。

关于作者:Boy Smeets是Surver的联合创始人。

【声明】内容源于网络
0
0
荷兰快看
荷兰电商市场快看,来自风车之国的商机观察
内容 13978
粉丝 0
荷兰快看 荷兰电商市场快看,来自风车之国的商机观察
总阅读87.1k
粉丝0
内容14.0k