🔍 生产级大模型应用开发平台 LangSmith：从 Tracing 到 Evaluation 的完整实战指南

一、本章概览

第21章《生产级大模型应用开发平台 LangSmith》是课程中聚焦 LLM 应用生产化全流程的关键章节——全面介绍 LangSmith 这一一站式开发者平台，涵盖账号申请、环境搭建、Tracing（追踪）、Evaluation（评估）以及 RAG 应用评估四个维度的完整知识体系。

核心内容速览：

二、LangSmith 是什么？

2.1 官方定位

★

LangSmith 是一个用于构建生产级 LLM 应用程序的平台。

官方描述：**"Get your LLM app from prototype to production"** —— 将 LLM 应用从原型推向生产。

★

定位为 "An all-in-one developer platform for every step of the LLM-powered application lifecycle, whether you're building with LangChain or not" —— 一个覆盖 LLM 应用生命周期每一步的一体化开发者平台，无论你是否使用 LangChain 构建。

LangSmith 支持独立运行，即不依赖 LangChain 也可使用。

2.2 四大核心功能

2.3 注意事项

• LangSmith 平台地址：https://smith.langchain.com/，需要注册账户和创建 API_KEY
• LangSmith Client SDK：用于交互 LangSmith 平台的客户端，目前支持 Python 和 TypeScript
• LangSmith 与 LangChain 类似，还处于高速发展状态，很多功能和 API 在不断完善

三、LangChain 技术生态全景

LangSmith 在 LangChain 技术生态中的定位：

┌─────────────────────────────────────────────────────────────────┐
│                    LangChain 技术生态全景                         │
├──────────────┬──────────────────────────────────────────────────┤
│  LangSmith   │ 生产级LLM应用开发平台                             │
│              │ OBSERVABILITY（可观测性）· Monitoring（监控）      │
│  (OBSERV)    │ Evaluation（评估）· Annotation（标注）· Playground │
├──────────────┼──────────────────────────────────────────────────┤
│   LangServe  │ Chains 生产部署（DEPLOYMENT）→ REST API           │
├──────────────┼──────────────────────────────────────────────────┤
│   LangChain  │ LLMs 应用开发框架（Python / JavaScript）           │
│              │ Chains · Agents · Advanced Retrieval Strategies   │
├──────────────┼──────────────────────────────────────────────────┤
│ LangChain-   │ 第三方集成（INTEGRATIONS）                        │
│ Community    │ Models I/O · Retriever · Vector Store · Tools     │
├──────────────┼──────────────────────────────────────────────────┤
│ LangChain-   │ LCEL 协议（PROTOCOL）                             │
│ Core         │ Debugging · Parallelization · Fallbacks · Tracing│
│              │ Batching · Streaming · Async · Composition        │
├──────────────┼──────────────────────────────────────────────────┤
│ LangChain    │ 开箱即用 APP 示例模板（Reference Applications）    │
│ Templates    │                                                  │
└──────────────┴──────────────────────────────────────────────────┘

四、LangSmith 账号申请与开发环境搭建

4.1 平台注册方式

LangSmith 登录页面提供四种注册/登录方式：

4.2 平台主界面导航

登录后侧边栏包含以下功能模块：

LangSmith 平台导航
├── 📁 Projects（项目）—— 新建Project，从LLM应用记录runs
├── 🏷️ Annotation Queues（标注队列）
├── 🚀 Deployments（部署）
├── 📊 Datasets & Testing（数据集与测试）
│   ├── 新建Experiment（在数据集上运行prompt/chain）
│   ├── 上传CSV格式的输入输出
│   └── 以CSV或OpenAI JSONL格式导出数据集
├── 💬 Prompts（提示词）
├── ⚙️ Settings（设置）
├── 📖 Documentation（文档）
├── 🔗 LangChainHub
├── 👤 Personal（个人设置）
└── 🔑 API Keys（API密钥管理）

4.3 API Key 获取

★

⚠️ 重要提示：You can only access an API key when you first create it. If you lost one, you will need to create a new one.（你只能在首次创建时看到 API Key。如果丢失，需要重新创建一个新的。）

4.4 环境变量配置

# OpenAI configs
export OPENAI_API_KEY="sk-7NnlXVMC..."

# LangSmith configs
export LANGCHAIN_TRACING_V2=true
export LANGCHAIN_API_KEY="ls_8a78..."

五、LangSmith 服务计划与计价规则

5.1 三档服务计划

5.2 Startup 计划

LangSmith 还为早期创业公司提供 "LangSmith for Startups" 计划：

• 针对正在构建 AI 应用的早期阶段公司设计
• 提供折扣价格和慷慨的每月免费 trace 配额
• 联系方式：Reach out for starter pricing

六、LangSmith 平台功能介绍：Tracing

6.1 核心概念

6.2 Trace 与 RAG 应用对应关系

RAG 应用流程
Question → Indexing → Search → Generation → Answer
   ↓          ↓          ↓          ↓          ↓
              对应的 Trace 结构
  Trace: 从用户问题输入到最终回答输出的全过程
  ├── Retriever Run（检索文档）
  └── ChatOpenAI Run（生成回答）

6.3 Tracing 界面功能详解

顶部操作按钮：

Trace 概览信息：

• Trace ID：唯一标识
• 总耗时：如 5.13s
• Token 使用量：如 5,846 tokens
• 状态：SUCCESS（成功）
• Run 层级结构：如 FindDocs 0.70s → RetrievalChainWith... 0.68s → GenerateResponse 5.07s

Run 详细信息面板：

6.4 典型 Trace 实例（chat-langchain）

Trace: chat-langchain (5.13s, 5,846 tokens, SUCCESS)
│
├── FindDocs (0.70s)
│   └── RetrievalChainWith... (0.68s)
│       └── Retriever (0.68s)
│           Input: "How do I use a RecursiveUrlLoader to load content from a page?"
│           Output: 返回6个文档（RecursiveURL Loader、WebBaseLoader等）
│
└── GenerateResponse (5.07s)
    └── ChatOpenAI (4.33s)
        Output: "To use a RecursiveURLLoader to load content from a page, 
                  follow these steps: 1. Initialize the RecursiveUrlLoader 
                  with the target URL... 2. Use the load() method... 
                  3. Optionally, you can use the lazy_load() method..."

七、LangSmith 平台功能介绍：Evaluation

7.1 RAG Evaluation 四大评估维度

7.2 RAG Evaluation 评估流程

                     RAG Evaluation 评估流程

                  ┌─────────────────────┐
                  │     Question        │
                  │      （问题）        │
                  └──────────┬──────────┘
                             │
                             ▼
                  ┌─────────────────────┐
                  │    RAG Application   │
                  │                     │
                  │  Search → Documents  │
                  │                     │
                  │      Generation      │
                  └──────────┬──────────┘
                             │
               ┌─────────────┼─────────────┐
               ▼             ▼             ▼
     ┌─────────────────┐ ┌──────────┐ ┌──────────────┐
     │  Answer         │ │Documents │ │ Reference    │
     │  (RAG生成的回答)  │ │ (文档)    │ │ Answer       │
     └────────┬────────┘ └────┬─────┘ │ (参考答案)    │
              │               │       └──────┬───────┘
              ▼               ▼              ▼
     ┌─────────────────────────────────────────────────┐
     │              Evaluator（评估器）                   │
     │                                                  │
     │ ① Answer relevance（答案相关性）                  │
     │    Question ↔ Answer                             │
     │                                                  │
     │ ② Retrieval（检索质量）                           │
     │    Question ↔ Relevant documents                 │
     │                                                  │
     │ ③ Answer accuracy（答案准确性）                    │
     │    Answer ↔ Reference Answer                     │
     │                                                  │
     │ ④ Hallucination（幻觉检测）                       │
     │    Answer ↔ Documents                            │
     └─────────────────────────────────────────────────┘

7.3 评估器构成

一个完整的评估器（Evaluator）包含以下可选组件：

八、LangSmith 实战操作指南

8.1 实战：开启 Tracing

步骤 1：注册账号并获取 API Key

★

访问 https://smith.langchain.com/ → 使用 GitHub/Google/Discord 登录 → Personal → API Keys → 创建新的 API Key

步骤 2：配置环境变量

export LANGCHAIN_TRACING_V2=true
export LANGCHAIN_API_KEY="ls_这里填写你的API_KEY"

步骤 3：运行 LCEL 应用并查看 Tracing

★

在 Python 代码中运行 LCEL 链（如 chain.invoke({"topic": "程序员"})），LangSmith 会自动记录 Trace，在平台 Projects 页面即可查看完整的调用链路。

8.2 实战：使用 Evaluation

RAG 应用评估四步法：

1. 准备数据集：在 Datasets & Testing 中上传或创建评估数据集
2. 运行实验：在数据集上运行 prompt/chain，生成 Experiment
3. 选择评估维度：根据需求选择 Answer relevance / Retrieval / Answer accuracy / Hallucination
4. 分析结果：查看评估报告，定位应用短板并迭代优化

📌 本章核心要点总结