在《Google Shopping的SEO》一文中，我强调了优化产品数据源的必要性，并指出通过“抓取”方式在产品数据源中包含关键词描述和标题是具备可扩展性的，但我当时并未对此作进一步阐述。
在这篇文章中，我将解释网络抓取（scraping）。我会回顾它为何有用以及它与搜索引擎优化（SEO）的关系。抓取可以加速许多任务，消除数小时的手工劳动。
什么是网络抓取？
网络抓取是从网页中提取项目（如文本、代码和图片）的过程。抓取应用程序的范围从浏览器扩展程序到独立软件不等。
抓取应用程序的范围从浏览器扩展程序到独立软件不等。ScrapeBox 就是后者的一个例子。
抓取可以加快使用鼠标和键盘在页面上复制和粘贴项目的过程。例如，一个人可能需要花费数小时手动更新 500 个标题标签。而使用一个好的抓取工具，只需一分钟即可完成。
网络抓取日益普遍。例如，网络爬虫 Screaming Frog 就使用抓取技术从网站中提取数据。
Google会抓取网站内容，以便在自然搜索结果中展示丰富摘要，而Google回答框中的文字也源自抓取操作。
多年来，商家一直通过抓取竞争对手的产品页面来快速获取价格信息。你的网站可能正在被实时抓取——就在你阅读这篇文章的时候。
抓取你自己的网站也很有用。抓取可以快速将所有产品和价格收集到一个电子表格中，以便进行进一步分析。
内容窃贼利用抓取来复制文章和图片。垃圾邮件发送者依赖抓取工具来冒充网站并模仿其成功。此类工具还帮助垃圾邮件发送者抓取特定内容并将其改写为新帖子。Google 不喜欢这种做法，因为结果通常是低价值页面。但对于垃圾邮件发送者来说，这是一种快速大规模欺骗 Google 的手段。有时这种方法确实有效，但效果远不如从前。
SEO工具会抓取Google的搜索结果以确定排名，这些工具每天运行数百万次搜索以获取最新的排名信息；尽管Google曾试图施压排名追踪公司停止此类行为（因为为每个页面渲染供机器人使用会耗费Google的成本，并且还会夸大搜索量指标），但抓取行为依然存在。
抓取注意事项
抓取技术能够大规模执行SEO任务；例如，如果竞争对手的网站经常出现在Google前几页的少数几个关键词搜索结果中，你可以手动搜索每个关键词并记录结果，或者对Google的搜索结果运行抓取程序，优质的抓取工具将允许你导出数据。
网络上几乎任何东西都可以被抓取。有趣的部分在于弄清楚何时以及如何操作。例如，最近一位客户希望在互联网上更新其所有标志，作为品牌重塑的一部分。使用 ScrapeBox 并进行几分钟的设置，我就生成了一个完整的电子表格，其中包含了 Google 所知的所有包含过时标志的网站。每一行都列出了具体的图片 URL 及其实际显示情况。
有些网站在其条款和条件中禁止抓取。例如，几年前，LinkedIn 起诉了 100 名使用抓取工具复制用户数据的人。了解网站允许或禁止的抓取行为非常重要。
新选项
抓取为你打开了从未考虑过的可能性。“有没有办法一次性获取所有这些数据？”深思熟虑的抓取策略可能就是答案。