这就是为什么您应该允许 GPTBot 抓取您的网站

 OpenAI 指出： 

“使用 GPTBot 用户代理抓取的网页可能会用于改进未来的模型，并经过过滤以删除需要付费专区访问、已知会收集个人身份信息 (PII) 或包含违反我们政策的文本的来源。允许 GPTBot 访问您的网站可以帮助 AI 模型变得更加准确，并提高其总体功能和安全性。”网站管理员可以通过 robots.txt 管理 GPTBot 对其网站的访问，并可以选择完全阻止它。许多网站已迅速采取行动，阻止 GPTBot 的小机器人接触他们的数据。但他们应该吗？ 

让我们从担忧开始。
对于允许 GPTBot 无限制访问您的网站，存在很多可以理解的担忧。最常见的是，人们担心侵犯版权- 这是理所当然的：当 OpenAI 在 2021 年开始收集数据并训练模型时，我们没有人知道，他们并没有完全以信任为主导。Sarah Silverman 和其他人正在积极起诉OpenAI，称其在其模型中利用了他们的工作成果，而不是给予他们认可或补偿。但我不得不承认，这整个对话感觉就像是似曾相识，大约是在 2014 年，当时 Google 第一次开始在 SERP 中放置特色片段。

SEO 社区中的许多人对 Google 会“窃取”内容并将其直接显示在互联网主页上的想法感到不安。出版商担心人们会直接在谷歌上找到他们想要的答案，而不会点击网站本身来了解更多信息。 在某些情况下确实发生了这种情况，但在大多数情况下，特色片段继续增加网站流量。人工智能给广告商带来的流量损失的成本是非常真实的，我无意减少这一成本；但搜索引擎的全部目的不就是以最简单的方式为人们提供问题的答案吗？这并不完全是同类比较，因为 ChatGPT 还没有引用其来源——但不难看出其中的相似之处。

现在我们来谈谈优点。
如果品牌选择不参加法学硕士课程，他们的声誉可能会受到损害。是的，在 ChatGPT 中数据和信息肯定存在被歪曲或误信的风险 - 但我认为，不在受众搜索时出现的风险要大得多。想象一下 2000 年代初某个网站屏蔽了 Googlebot。这是当今任何企业主都会后悔的决定！ 

出版商和公众之间的推拉一直存在，并将继续持续下去。我鼓励所有发布商、SEO 和网站管理员走出各自的角色，戴上使用互联网的普通人的帽子：归根结底，人们只是想要尽可能快、尽可能简单的答案和信息。作为营销人员，我们的工作就是消除这些用户与其答案之间的摩擦。ChatGPT 提供了一个简单的解决方案来获取这些答案和信息。人们开始充分利用它只是时间问题。 

事实搜索与流动搜索
Pete 博士在 2023 年 8 月的 MozCon 上分享了关于人工智能和搜索引擎的利弊的一些想法。 他认为，今天的搜索引擎仍然为事实搜索提供最佳答案，但当人们将他们想要串起来的信息片段带给人工智能时，人工智能擅长创造性地解决问题。

他将这些搜索称为“流动”搜索，即人们知道自己想要什么，但需要帮助收集信息才能得出结论。大约六个月前，我发表了一篇文章，称 ChatGPT 不会杀死 Google。我仍然支持这一说法，尤其是考虑到上海黄金交易所最近的发展。Google 花了比我想象的更长的时间才赶上他们对 ChatGPT 的反应，但毫不奇怪，他们又回到了游戏中。 ChatGPT 的使用率正在下滑，但我仍然相信它将成为许多人技术工具包中的主要内容。我不知道公众是否会转向它作为主要搜索引擎，但随着它开始通过网络爬虫更实时地获取数据，它只会继续变得更加有用。

我的推荐？不要对抗它。 
首先，我欢迎我们的新机器人霸主。在营销和搜索行业，我们一次又一次地看到搜索引擎通过消除越来越多的摩擦而不断发展。这就是我们在这里看到的——为用户创造更好的体验。我的一般经验法则是：如果您不希望搜索引擎（或现在的 GPT 等法学硕士）使用您的信息，请不要将其公开在互联网上。
原文链接：https://www.seerinteractive.com/insights/allow-gptbot-to-crawl-your-site