传统模式下,此类商机收集需人工逐家翻阅点评平台或高价委托第三方整理。经查询,淘宝“爬虫代做”服务单价在 100 至 300 元之间,部分商家销量已破千单。若包含数据分析,费用往往高达四位数。
左:淘宝爬虫代做行情;右:客服报价示例
实际上,利用 AI 工具 WorkBuddy,从提出需求到获取 Excel 报表,全程仅需 2 分 20 秒。以下为完整实操复盘及通用提示词。
01 明确需求:精准指令胜过盲目尝试
使用 AI 进行数据采集时,模糊的指令(如“帮我爬点美团数据”)会导致结果不可用。高效的做法是将需求细化为具体清单:
- 范围:上海 - 徐汇区 - 美食 -「自助餐」品类,综合排名前 10 的店铺;
- 字段:人均费用、综合评分、口味/环境/服务分项得分、评价关键词等核心数据;
- 加工:对 10 家店进行横向对比,分析各自优劣势;
- 交付:Excel 表格,并按商务宴请、家庭聚餐、情侣约会三个场景各推荐 2 家店铺。
需求颗粒度越细,AI 一次执行成功的概率越高,可大幅减少返工成本。
02 技术路径:从官方 API 受阻到人机协作
初始方案尝试通过美团官方技术服务合作中心申请个人开发者 Token,旨在通过正规 API 获取数据。
图:美团控制台选择「个人开发者」
图:Token 管理页创建 Token
图:Token 创建成功界面
然而,经核查接口文档发现,该官方 API 主要面向商家提供门店管理及酒旅查询服务,并不开放 C 端榜单数据(如“区域品类 Top10"),此路不通。
随即启用备选方案:采用“人机分工”模式。由用户手动通过 Chrome 浏览器的滑块验证,AI 远程接管页面进行数据抓取、解析及 Excel 生成。此举有效规避了反爬机制,实现了效率与合规的平衡。
03 核心指令:通用提示词模板
基于上述方案,以下是经过实测的提示词模板,可直接复制使用:
图:实际发送给 WorkBuddy 的提示词
【美团网页数据爬取提示词】
## 工作流
- 输出格式:Excel
- 任务目标:抽取 [城市]-[区域]- 美食中"[品类]"类店综合排名前 10 家的数据
- 数据字段:人均费用、综合评分、服务环境、评价信息等主要数据
- 分析要求:在十家店铺数据中分析优劣势,并根据数据给予不同场合下的店铺推荐(场合:商务宴请 / 家庭聚餐 / 情侣约会)
使用时仅需替换方括号内的城市、区域及品类名称,其余内容无需变动。
04 执行过程:自动化脚本运行
输入提示词后,WorkBuddy 自动生成全套脚本并提供操作指引:
图:操作指引仅需两步——双击运行、拖动滑块
用户只需双击生成的.bat 文件,系统将自动调用 Chrome 打开目标页面。遇滑块验证时手动完成,随后 AI 将自动接管窗口,逐店采集数据、清洗整理并计算均值。全程耗时约 2 分 20 秒。
05 交付成果:结构化数据分析报告
最终交付物为一份包含三个工作表的 Excel 文件《上海徐汇自助餐 Top10 分析》:
- Top10 数据总表:包含 15 列全字段数据,优于均值的项目自动标红,店名支持超链接跳转;
- 优劣势分析:提炼每家店的核心优势、短板及一句话点评;
- 场景推荐:针对商务、家庭、情侣三种场景分别推荐 2 家店铺,附带预算及订座建议。
图:交付说明与 Excel 成品展示
此外,全套脚本保留在工作目录中,修改目标网址即可复用,形成可重复使用的自动化工具。
06 商业洞察:消除信息差的价值
市场上数百元一单的爬虫服务,本质是出售“数据结果”而非“技术代码”。AI 工具的出现消除了中间商,让需求方直接获取数据。这一模式在多个领域具有应用价值:
- 餐饮创业:开业前快速摸清竞品的人均、评分及差评点,辅助选址定价;
- 内容创作:探店博主可利用榜单及分析结果,快速生成一周选题库;
- 本地生活服务:为商家提供竞品监控服务,定期输出评分变化报告。
未来,擅长定义需求的能力将比单纯编写代码更具竞争力。
07 合规警示:数据采集红线
在进行数据采集时,务必遵守以下三条原则:
- 仅限公开数据:只采集页面前端公开展示的榜单、评分等信息,严禁触碰用户隐私、付费内容及登录后可见数据;
- 人工介入验证:滑块验证必须由真人操作,严格控制采集频率,避免触发平台风控;
- 自用而非倒卖:数据仅用于内部分析、决策或内容创作,禁止打包成数据库进行售卖。
本次实践表明,AI 时代的效率提升源于清晰的“人机分工”:人类负责定义需求与合规验证,机器负责执行繁琐的数据处理。明确自身需求,方能最大化利用工具价值。

