诸如 ChatGPT、Perplexity 和 Claude 等生成式 AI 平台现在会对所有提示词执行实时网络搜索。因此，确保网站可被 AI 爬虫抓取，对于这些平台上的提及和引用至关重要。
以下是优化网站以适配 AI 爬虫的方法。
禁用 JavaScript
确保在禁用 JavaScript 的情况下，您的页面仍可阅读。
与 Google 的爬虫不同，AI 机器人尚不成熟。许多测试表明，行业从业者的确认结果显示 AI 爬虫并不总能渲染 JavaScript。
由于 Google 多年来一直渲染这些页面，大多数发布商和企业不再担心 JavaScript 的可爬取性，因此存在大量重度依赖 JavaScript 的网站。
Chrome 浏览器可以在不启用 JavaScript 的情况下渲染网站。要激活此功能：
- 使用 Chrome 访问您的网站。
- 在 查看 > 开发者 > 开发者工具 中打开 Web 开发者工具。
- 点击面板右侧齿轮图标背后的“设置”（Settings）。
- 向下滚动，在“调试器”（Debugger）下勾选“禁用 JavaScript”选项。
在 Chrome 的开发者工具面板中禁用 JavaScript。
现在浏览您的网站，并确保：
- 所有关键内容均可见，特别是位于标签页和下拉菜单后的内容。
- 导航菜单和其他链接均可点击。
- 对于视频嵌入，应提供选项让用户点击跳转到原始视频、查看文字稿，或两者兼有。
该工具将进行彻底审查，提供改善 AI 爬虫访问性的建议，并展示禁用 JavaScript 时页面的外观。
Aiso 可以审查网站对 JavaScript 的使用情况，并为提升 AI 爬虫的访问性提出改进建议。
确保 AI 可访问
确保您的网站允许访问 AI 机器人；某些内容管理平台默认禁止 AI 访问，且插件也常如此设置——网站所有者往往对此不知情。
要进行检查，请在 [yoursite.com]/robots.txt 处审查您的 robots.txt 文件。
AI 平台本身可以解析该文件以确保其允许访问；例如，将您的 robots.txt 网址粘贴到 ChatGPT 提示中，并要求进行分析。
结构化数据
结构化数据标记，例如来自 Schema.org 的数据，也有助于确保可见性。
Schema 标记使 AI 机器人能够更轻松地从页面中提取关键信息（或绕过限制），而无需完整爬取整个页面。
例如，许多网站的常见问题解答（FAQ）部分具有折叠元素，这会阻止 AI 机器人访问；Schema 的 FAQPage Type 会复制所有问题和答案，从而使机器人可见。
同样，Schema 的 Article Type 可以传达内容的上下文和作者信息。