
针对是否应向LLM爬虫和机器人提供原始Markdown页面的问题,Google的John Mueller作出了回应。他并未直接给出定论,而是列举了实施该策略时需注意的关键风险与潜在影响。
向LLM提供原始Markdown页面的核心疑虑
Markdown是一种用于技术文档编写的轻量级标记语言,需经解析器转换为HTML才能在浏览器中正常展示。对于“向LLM机器人提供原始Markdown的实际风险与回报”这一议题,John Mueller提出了以下四点核心质疑:
- LLM能否正确识别网站上的MD文件为结构化内容,而非普通纯文本?
- 爬虫是否具备解析并追踪Markdown文件中链接的能力?
- 脱离HTML环境后,网站的内部链接、页眉、页脚、侧边栏及导航结构将如何呈现?
- 主动提供MD文件与爬虫在抓取HTML页面时遭遇文本文件,在语义理解上存在本质差异。
此外,John Mueller在Bluesky平台上进一步强调:“将页面转换为Markdown供AI读取并非明智之举。既然LLM具备图像识别能力,难道还要将整个网站转为图片格式吗?”这暗示了过度适配特定爬虫格式可能带来的方向性偏差。
行业测试反馈与官方态度
尽管存在上述疑虑,仍有开发者进行了相关测试。有站长反映,在为每个页面单独提供Markdown格式供AI代理使用后,短时间内便收到了来自ClaudeBot、GPTBot及OpenAI SearchBot的大量请求,显示出部分LLM爬虫对该格式确实存在访问行为。
目前,Google与Bing均已对此事作出回应。业界观点认为,虽然为LLM爬虫单独提供.md页面的对错尚无定论,且仍处于测试验证阶段,但务必审慎评估搜索引擎官方的指导意见,避免因盲目适配而影响网站的整体可访问性与SEO表现。

