诸如谷歌 Bard 和 ChatGPT 等生成式 AI 并非从零创作，而是对原始内容进行再利用。网站阻止 AI 机器人使用其内容的主要原因包括：
- 保护知识产权。防止独特内容、创意或产品被复制利用。
- 避免歪曲事实。AI 回答可能误解或滥用原文信息。
- 实用性有限。AI 回答难以为发布者带来有效流量。
- 掌握用户控制权。创作者可更好控制内容的网络展示方式与位置。
Bard 还引发了额外担忧：若 Google Search Generative Experience（SGE）在未注明出处的情况下使用您的内容生成答案，该如何应对？目前尚无完美解决方案，能在不损害自然搜索表现的前提下完全阻止 Bard 使用内容。不过，谷歌推荐了以下两种控制方法：
使用 Google-Extended
Bard 抓取数据时使用与 Google 搜索相同的用户代理，直接屏蔽会禁用 Googlebot 抓取并影响相关性信号。Google-Extended 是专为解决此问题提出的方案，可在不影响索引和排名算法的情况下阻止 Bard 学习。
在 robots.txt 文件中添加如下指令即可启用：
User-agent: Google-Extended Disallow: /
需注意，该指令仅能防止 SGE 从内容中学习，无法阻止其在回答中显示您的内容（无论是否带引用）。
使用 Nosnippet、Max-snippet 或 Data-nosnippet
SGE 遵循 Google 批准的元标签和属性来控制摘要显示：
- no-snippet 元标签：禁止 AI 回答显示任何内容片段。
- max-snippet 元标签：限制 AI 引用内容的最大字符数。
- data-nosnippet HTML 属性：指定页面中特定文本排除在搜索摘要之外。
这三种选项可能导致自然搜索结果和精选摘要吸引力下降、点击率降低，因此不建议依赖自然搜索流量的网站使用。此外，据 Google 称，图像目前无法通过上述方式屏蔽。
屏蔽其他 AI 机器人
面对层出不穷的生成式 AI 平台，全面屏蔽难度较大。针对非 Google 机器人，可采取以下措施：
- 通过 robots.txt 屏蔽 GPTbot（ChatGPT）及 CCbot（Common Crawl）。
- 同时使用 nocache 和 noarchive 元标签控制 Bingbot。这些标签不影响 Bing 自然搜索排名，但会禁用缓存并防止 Wayback Machine 归档页面。