大模型应用测试课程两节课完成的落地项目

真正搞懂智能体生成高质量测试用例的核心秘诀

课程咨询/技术交流群:huice666/danwen668

基本目标：上传一份 PRD(pdf/图片/网络文档)，几分钟后拿到覆盖率可量化、可直接导入禅道/TestRail/Jira 的企业级测试用例集。

传统模式的天花板，正在被 AI 智能体打破。五大核心亮点，面试必杀神器。

基于 LangChain + Agent Skills + RAG+多模态文档解析中间件构建了一套完整的 AI 测试用例生成系统，今天把整套工程实现完整拆开来讲。

系统全景

先看整体架构，这套系统有 4 个关键设计与普通"接入大模型写测试"有本质区别：

① 不是单次对话，是有状态的智能工作流

② 不是通用 Prompt，是 Skills 知识体系驱动

③ 不是纯文本，是多模态（PDF + 截图）原生支持

④ 不是输出文字，是结构化、可导入测试工具的测试资产

📊 AI 测试用例生成全流程

📐 系统分层架构与洋葱中间件模型

核心亮点一：5阶段强制工作流，拒绝"乱出用例"

这是本系统最重要的设计决策之一。

普通 AI 助手接到"帮我写测试用例"，往往直接开始输出。我们的系统在 SYSTEM_PROMPT 层面做了强制工作流约束：

Phase 1：需求深度解析   ← 强制首先执行，禁止跳过
   
   
   
Phase 2：测试策略制定   ← 基于分析结果选择测试类型
   
   
   
Phase 3：用例系统设计   ← 六大设计技术精准匹配
   
   
   
Phase 4：测试数据构造   ← 每条用例必须有具体数据
   
   
   
Phase 5：质量自检       ← 每个模块完成后自动执行

Phase 1 的强制性是整个流程质量的基石。系统会先输出：

● 功能测试矩阵：模块 × 8个测试维度（功能/数据/规则/状态/交互/权限/异常/性能）

● 风险热力图：🔴安全 / 🟠数据完整性 / 🟡兼容性 / 🔵性能分级标注

● 测试范围声明：In Scope / Out of Scope，防止测试遗漏和过度测试

● 用例数量预估：让项目经理提前知道测试资源需求

在用户确认分析准确后，才正式进入用例生成阶段。

核心亮点二：6大 Skills 知识体系 — Agent Skills 规范的工程实践

这是本系统最有技术含量的部分，也是让 AI 真正"懂测试"而非"背测试"的关键。

Agent Skills

Agent Skills核心思想是渐进式披露：

● Agent 的 system_message 中只注入 Skill 的 name 和 description

● 当场景匹配时，Agent 主动读取对应 SKILL.md 的完整内容

● 大幅节省 Token，同时让知识按需激活

每个 Skill 是一个目录，包含一个标准 SKILL.md：

---
   
   
   
name: test-case-design        # 必须与目录名完全一致
description: 核心测试设计Skill，当需要为具体功能点设计测试用例时激活...
---

# 测试用例设计方法论 Skill
## 六大测试设计技术
...（完整的技术详解）

我们设计了 6 个领域级 Skills

📊六大测试设计技术体系

SkillsMiddleware 的加载机制

skills_root = Path("./src/workspace/testcase").resolve()
   
   
   
skills_middleware = SkillsMiddleware(
   
   
   
    sources=["/skills/"]   # 虚拟路径，映射到 skills_root/skills/
   
   
   
)

框架在 before_agent() 阶段遍历 /skills/ 目录，解析每个 SKILL.md 的 YAML frontmatter，将 name + description 注入 system_message。Agent 在运行时按需读取完整 Skill 内容。

核心亮点三：多模态 PDF 解析中间件

测试工程师的需求文档五花八门——有 PDF、有带截图的 PRD、有设计稿图片。系统通过 PDFContextMiddleware 统一处理：

用户上传 PDF
   
   
   
    ↓
MD5 hash 去重（同文件不重复解析）
    ↓
多模态PDF解析器 解析（保留表格结构）
    ↓  [可选] ENABLE_PDF_MULTIMODAL=true
豆包视觉模型解析图片内容
    ↓
per-session 会话隔离（thread_id 键值）
    ↓
追加到 system_message（保留 Skills 内容）

核心亮点四：动态双模型路由

@wrap_model_call
   
   
   
async def dynamic_model_selection(request, handler):
   
   
   
    if _has_image_in_messages(request):
   
   
   
        model = image_llm_model   # 豆包 doubao-seed-1-6-vision
   
   
   
    else:
   
   
   
        model = deepseek_model    # DeepSeek Chat
   
   
   
    return await handler(request.override(model=model))