7月25日19：00直播|用户画像数据抓取AI智能体，把"带着微博去旅行+成都"变成可量化的用户画像

一、从"翻微博"到"算微博"：一次范式转变

传统的人文社科研究里，"看微博"是一种经验性观察——翻几百条、凭印象归纳"这个城市的网友似乎更关注非遗""那个地方的用户偏年轻"。

这种观察的问题在于：结论不可复现、样本不可审计、阈值不可追溯。你说"偏年轻"，凭什么？你说"关注非遗"，占比多少？换一个人来翻，结论可能完全不同。

智能体做的事，本质上是把这段"凭感觉"的过程变成一段"可审计的代码"：

每一条入样的博文都有出处（博主ID、城市）

每一个标签的判定都有依据（相似度数值、阈值来源）

每一次占比统计都有口径（分母是谁、分子是谁）

这不是用AI替你思考，而是用代码把你的思考过程固化下来，接受同行检验。

这部分是这次直播我最想展开讲的内容，也是我认为高校教师最值得关注的地方。

设计一：自适应阈值——为什么不用"0.7"这个绝对数

很多同学做相似度分类，会硬编码一个阈值，比如"相似度 ≥ 0.7 就算命中"。这个做法的问题是：换一份数据，0.7 就不再适用。短文本和长文本的相似度分布完全不同，不同标签体系的区分度也不同。

这个智能体用的阈值算法是 min-of-max：对每条博文，取它与所有标签相似度的最大值（即"最匹配的标签有多匹配"）；再对所有博文取这些最大值里的最小值，作为全局阈值。

用学术语言说：阈值是数据内生的，不是人为规定的。 它保证"每一条博文至少能匹配到一个标签"，避免了绝对阈值在某些数据上"全军覆没"或"全部命中"的退化。

这种思路在论文写作里非常值得借鉴——凡是需要人为调参的地方，都问一句"能不能让数据自己说话"。

设计二：占比的分母——统计口径即研究立场

输出占比时，分母有两种选择：

分母 = 该城市所有博文中、命中该标签的博文数（这是错误口径）

分母 = 该城市博主总数（这是正确口径）

差异在于：如果一个博主发了5条都被命中，用第一种口径会把这个标签的占比虚高5倍。

我们坚持用"城市博主总数"作为分母，并对 (城市, 标签, 博主) 三元组去重后再计数。这个选择背后是一个研究立场：我们研究的是"人"的画像，不是"发帖量"的画像。 一个话痨博主不应该因为发得多，就让某个标签的占比失真。

设计三：双重保障——测试即同行评议

整个项目附了 21 项单元测试，覆盖：文本清洗的每一种规则、标签体系加载、阈值性质的数学复核、占比分母的正确性、强相关博文是否命中预期标签、是否存在重复行。

这件事在工程界叫"测试驱动"，在学术界其实就是"同行评议前置"——在代码交付前，先让一组可执行的断言替你审查逻辑。

我特别建议把这种思维引入学生的科研训练。很多研究生写完分析脚本就直接出图，从不验证"我的占比算得对不对""我的阈值合不合理"。一组简单的断言，能拦住大量低级错误。

这个项目是一个高度自洽的教学案例，因为它天然覆盖了一条完整链路：

《Python数据分析》《网络爬虫》课程：反检测浏览器、动态页面解析、API兜底、异常容错

《自然语言处理》课程：词向量、余弦相似度、阈值选择、自适应算法

《新媒体研究方法》《传播学》课程：用户画像、标签体系、占比统计口径

《工程伦理》课程：反爬边界、访问频率控制、登录态使用的合规性

更妙的是，它有可替换性：把"成都"换成"敦煌""西安""景德镇"，把标签体系换成你研究领域的标签，整套流程不变。这意味着同一个案例骨架，可以服务不同专业、不同研究方向的课程。

对学生而言，它能训练一种被严重低估的能力——把一个模糊的研究问题，拆解成可执行的工程步骤。这种能力，比学会某个具体库的API，对未来有用得多。

对人文社科教师，这个智能体至少能支撑三类研究：

1. 地方文化品牌传播的受众画像 比如之前采集红河州是哈尼族彝族自治州，采集到的博文里，有可邑小镇彝族古村寨、阿细跳月非遗、金平蝴蝶谷蝴蝶大爆发、滇越铁路河口站等典型内容。用这套方法，可以量化"民族地区文化传播触达了什么样的人"，回答长期以来只能靠定性判断的问题。

2. 城市文旅营销效果评估 同一个搜索词模板，跑多个城市，横向对比标签占比分布，能直接产出城市间的传播受众差异——这对地方文旅局的投放决策有直接价值，也是横向课题的潜在切口。

3. 智能体作为科研助手的方法论 这个案例本身就在论证一件事：智能体不是"替你写作"的工具，而是"替你执行可复现流程"的科研助手。它把研究者从机械的数据采集劳动里解放出来，同时把流程的每一个环节都钉死在代码里，接受复现检验。