分析竞争对手的电商面包屑导航结构具有重要价值，不仅能发现自身网站缺失的分类、获取导航灵感，还能识别竞品的热销产品。
在圣何塞 SMX West 大会上，TopHatRank 代理公司的 Arsen Rabinovich 分享了利用 Screaming Frog 从任意网站提取面包屑结构的技术。本文将详解其操作流程。
提取面包屑
以家居装饰零售商 Pier 1 Imports 和 Kirkland’s 为例进行演示。
首先在 Pier 1 上定位产品页面“Kubu Armless Dining Cushion in Natural”，目视检查是否存在面包屑导航。
在 Pier 1 上定位一个产品页面，例如“Kubu Armless Dining Cushion in Natural”，并目视检查是否存在面包屑导航。
接着使用 Google 结构化数据测试工具检测 Pier 1 是否对面包屑进行了结构化标记。结果显示其格式非常规范。
经测试 Kirkland’s 的产品“White Letter Peg Board with Black Letters”后发现，该站未使用结构化数据。但这不影响我们继续通过 Screaming Frog 提取其面包屑导航。
经测试“White Letter Peg Board with Black Letters”产品页面确认，Kirkland’s 并未为其面包屑使用结构化数据。
待抓取页面
使用 Screaming Frog 抓取两站的产品页面。由于两者均在 robots.txt 中提供了仅含产品的 XML 站点地图，操作相对简单。
Pier 1 的索引站点地图为 https://www.pier1.com/sitemap_index.xml，其中包含两个产品站点地图，第一个是 https://www.pier1.com/sitemap_0-product.xml。
Kirkland’s 虽无索引站点地图，但拥有独立的产品站点地图：https://www.kirklands.com/product_sitemap.xml。
提取结构化数据
首先使用 Screaming Frog 的“提取和验证结构化数据”工具。针对 Pier 1，选择其使用的微数据（microdata）格式（搜索引擎也支持 JSON-LD 和 RDFa 等流行格式）。
在用于提取和验证结构化数据的 Screaming Frog 工具中，选择 Pier 1 使用的结构化数据格式——微数据。点击图片放大。
因 Pier 1 阻止自动爬取，需下载其 XML 站点地图并指示 Screaming Frog 从本地读取。
随后导出所有 URL 数据，Screaming Frog 提供便捷的报告下载功能。
导出 Screaming Frog 中的 URL。点击图片放大。
筛选“predicate”列值为“http://schema.org/name”，并仅保留主题 2 至 6（包含面包屑名称），即可得到清洗后的面包屑数据。
在 Screaming Frog 中，通过对“predicate”列过滤值为“http://schema.org/name”后导出的面包屑导航。点击图片放大。
提取非结构化数据
Kirkland’s 缺乏结构化数据，需定义自定义提取规则。
在 Chrome 开发者工具的“Inspect Elements”选项卡中，右键单击面包屑链接并选择“copy JS path”。可将其粘贴至 JavaScript Console 验证有效性。
在 Chrome 开发者工具的“Inspect Elements”选项卡中，右键单击面包屑链接并选择“copy JS path”。点击图片放大。
对于已验证列表，务必勾选 CSSPath 选项及“Extract Inner HTML”。
对于来自 Chrome 的已验证列表，选择 CSSPath 选项并“Extract Inner HTML”。点击图片放大。
在 Screaming Frog 上传选项中选“手动输入”，仅提供一个产品 URL 进行测试。若自定义提取列为空（因内容动态生成），需在配置中开启“JavaScript”渲染。
成功提取 Kirkland’s 面包屑后，还需在 Excel 中进行额外清理以去除图片标签。
导航结构
现可审查两站的导航结构。以 Pier 1 为例（Kirkland’s 同理）：
在 Excel 中创建包含“URL”、“主体”、“谓语”和“客体”（重命名为“面包屑”）的数据透视表。将“面包屑”移至行，“URL”移至值，“主体”移至列。
通过观察主体列 2、3、4、5 的数字可推断网站层级。“首页”计数为 7；主体 3 中有“家具”（4）和“户外用品”（3）两个节点，数字代表各类别下的 URL 数量。
在 Excel 中创建数据透视表。点击图片放大。
该方法适用于任何电商网站，能直观呈现其导航结构。