大数跨境

11月15日19:00直播|旅游AI智能体与大数据实战:峨眉山携程评论数据抓取AI智能体设计

11月15日19:00直播|旅游AI智能体与大数据实战:峨眉山携程评论数据抓取AI智能体设计 杰科力AI教学
2026-11-15
2
导读:输入一个网址,交出一份敢回源核对的游客评论表。

AI 教学案例 · 景区游客画像 / 直播分享

输入一个网址,交出一份敢回源核对的游客评论表

目标网址:携程峨眉山景区评论页。一句话提示词 → 10 条小样人工核验 → 1005 条落盘 → 200 条抽样回源逐项一致。不用自己手写爬虫,只取页面实时渲染的数据。

1005

条真实评论
翻至第 102 页收尾

7

个固定字段
CSV + JSON 双份

200/200

条抽样回源一致
match_rate 1.0

LIVE · 11月15日(周日)19:00 · 视频号直播 · WorkBuddy + 浏览器自动化

完整复盘这条链路:提示词怎么拆、五个翻车点怎么修、技能包怎么打、课堂怎么落地。




01 RESULTS

先看结果:一份能验收的表

提示词里写的目标是 1000 条,跑完翻到第 102 页,实际落盘 1005 条。每页约 10 条,按「用户名 + 评论内容」去重后重新编号,导出 CSV 与 JSON 两份。

列序是固定的 7 列:序号 / 用户名 / 评分 / 评分标签 / 评论时间 / IP属地 / 评论内容。现场还做了一次减法——把「图片数」这一列去掉,因为拿不到图片内容,留着只会污染下游分析。

真正让这张表能交付的,是后面的核对记录:完整性校验无异常项、去重通过;核对脚本复抓第 1–10、48–52、96–100 页共 200 条,200 条全部在数据集中找到、逐字段完全一致,match_rate 1.0,passed = true。课件里定的验收线是抽样比对 ≥95%,这次实际跑到 100%。

交付的不只是一张表,还有一份别人能复现的核对记录。


02 WHAT IT TRAINS

这个案例练的不是写爬虫

会定义。一句话交代数据源、字段、条数、产物和验收标准,AI 才知道该抓什么、抓到什么程度算完。

会验收。说得清 200/200 是怎么来的:复抓了哪些页、比对了哪些字段、差异项怎么处理,而不是只报一个漂亮百分比。

会复用。把链路打成技能包,下次换景区、换平台,改网址与字段就能重跑。

抓取脚本由 AI 来写,人要负责的是把边界定死、把验收做完。「先看到终点,学习才不迷路」,说的就是这件事。


03 PIPELINE

五步链路,每一步都留了人的位置

① 先探路 先查有没有官方接口;携程评论页没有开放接口,才走真实浏览器读 DOM。字段以页面为准,不凭经验猜。

② 小样核验 第 1 页只抓 10 条,人工一眼核完;样例模式还自测一次翻页,确认第 1、2 页不重叠才算通过。

③ 停下来问人 提示词写死:抓取并校验完成后暂停,等待人工确认,未收到确认前不新增抓取。

④ 全量翻页 点击「下一页」循环,每页随机等 2~5 秒,按 (用户名, 评论内容) 去重,每页写一次断点文件,中断可续。

⑤ 导出与自检 固定列序导出 CSV / JSON,另写核对脚本抽样回源比对,最后打包成 SKILL 技能包。

这条链路真正有意义的不是抓取脚本,而是两处人为设置:小样之后必须暂停,抓完之后必须回源自检。少了任何一处,1005 条都只是「看起来很多」。


04 PROMPT

提示词怎么拆:四段式 + 8 条要求

整份提示词只有四段:目的(做什么、哪个网址、多少条、交什么)、要求(真实、反爬容错、核对输出三类共 8 条)、步骤(核实字段 → 小样 → 全量 → 导出 → 核对)、输出(固定列序 + CSV/JSON + 核对脚本)。

「抓取并校验完成后暂停任务,等待人工确认;收到确认指令后再继续抓取后续数据;未收到确认前不新增抓取。」

「完整爬取结束后,写一个脚本做数据核对:抽样若干条回携程网页比对内容、评分、时间、IP属地是否一致,准确率达标后再交付。」

这两句,一句对应「人还在流程里」,一句对应后面能报出的 200/200。写漏一条,验收环节就补不回来。


05 PITFALLS

五个最容易翻车的地方

以下每一处,在最终脚本里都留着对应的处理代码,直播会逐行拆。

坑 01 一进页面就抓,抓到空。评论是异步渲染的,脚本要等评论节点出现再提取,直接请求页面拿不到列表。

坑 02 代理没清 / 撞上风控验证页。启动浏览器前先清掉 http_proxy 等环境变量,代码注释写明「直连才能避开风控验证页」;页面一旦出现「验证 / 拼图 / 滑动」就直接抛错暂停,不硬抓。

坑 03 翻页参数想当然写在网址里。这个页面靠点击「下一页」按钮、等激活页码变化来推进;脚本还加了「连续 3 页无新增即停」,避免空转。

坑 04 时间与 IP 属地连在一起。页面文本里还夹着不间断空格,脚本先归一化空格,再按「IP属地:」精确切开,否则两列串位。

坑 05 默认每页都是 10 条。运行日志里出现过 8 条、9 条的页;因此按 (用户名, 评论内容) 做唯一键去重,并且每页落盘一次断点,长任务断了不用从头跑。

还有一条底线写在提示词里:只取页面实时 DOM 的真实数据,禁止编造任何字段或数值。宁可慢,不可假。


06 REUSE

从一次性任务到可复用技能

跑通之后对 AI 说一句「把项目创建成技能」,得到一份 zip:根目录的 SKILL.md 里写清 name 与 description。description 要说明「做什么、何时用」——它是技能被自动唤起的钥匙,写得太泛不会触发,写得太窄只认一种场景。

配套的三个进阶任务,每个只改一个变量:

★ 换景区(乐山大佛 / 九寨沟);

★★ 换平台(马蜂窝 / 大众点评);

★★★ 加分析(评分分布 / 词频 / 满意度)。从「抓数据」走向「用数据」。

放进课堂,老师省下的是三样东西:一份完整样板(做到什么程度算做完)、一套验收标准(抽样回源 ≥95% 才算可用)、一个学生能带走的产出。配套材料是 课件、提示词模板、成果表、核对脚本与技能包。

这条链路里,抓取只是中间一段:前头把需求写死,后头拿源站验一遍,剩下的才叫可交付的数据。
定义 → 抓取 → 核验 → 导出 → 打包复用。

LIVE / 直播预约

11月15日(周日)19:00 · 视频号直播

直播现场完整拆一遍:提示词原文、抓取脚本、五个翻车点的修法、核对脚本怎么算 200/200、SKILL 技能包怎么打包上传,以及这条链路怎么落进课堂。


👆点击预约,锁定直播间

COURSE / 系统跟做

想把这个案例完整做一遍?

完整资料(提示词、Skill 包、设计书示例、教学课件)可在数字经济 AI 大数据教学平台下载:ai.jiecl.com → 数字经济 → 数字经济AI大数据教学平台。

付费课程直达👇

课程与资料咨询:敬老师18097670817

数字经济 AI 大数据智能体实战分享 · 景区游客画像系列
数据不编造、结果可回源,是这套案例的底线。

【声明】内容源于网络
0
0
杰科力AI教学
经管虚仿实验和AI大数据实验
内容 1246
粉丝 0
杰科力AI教学 经管虚仿实验和AI大数据实验
总阅读17.0k
粉丝0
内容1.2k