大数跨境

全用GPT-4?把粗活分给便宜的(模型编排)

全用GPT-4?把粗活分给便宜的(模型编排) IO日记
2026-09-16
0
导读:贵的模型别浪费在粗活上。按难度把活分档,难活派贵模型、粗活派小模型,中间一层路由决定谁上,成本能砍一大半还不影响体验。
全用GPT-4?把粗活分给便宜的(模型编排)
 网上见过有人拿最贵的模型去给每段客服对话写一句回复,一个月账单出来吓一跳——九成请求其实只是"你好""在哪查物流"这种一句话就能接住的活,硬上了旗舰模型。不是模型不行,是没分活:就像请个主任医师天天坐门诊量体温。模型编排(model orchestration)的思路是,按难度把活分档,难的派贵模型、粗活派便宜模型,中间用一层路由决定谁上。这篇把"什么时候该分""怎么分",以及一个能直接跑的 router 讲清楚。模型编排不是新框架,是把"对的人放对活上"这件老道理,套到了大模型上。 
一、什么时候该"分模型"
不是所有请求都配得上旗舰模型。摘要、分类、抽取、简单改写这类活,小模型就接得住;要推理、要规划、要写复杂代码,才值得上贵的。有人做内部知识库问答,一开始全用 GPT-4 答所有问题,后来统计发现七成是"XX 文档在第几章"这种检索题,换成 4o-mini 后回答质量没差,成本直接砍到八分之一。再看单价:贵模型往往便宜模型的十到二十倍,但真正难的活占比常常不到两成。把这一成半的难活留给 GPT-4o,其余交给小的,体验不掉、账单先瘦。
判断难度的笨办法,是看"答错代价":摘要写歪了大不了重看一眼,合同条款判错可能吃官司。所以分档不是看模型"能不能答",是看"答错扛不扛得住"——扛不住的才上贵的。真实分布也常反直觉:以为难的活最多,一统计才发现八成是分类和摘要。
一句话决策:难的活派贵模型、粗活派小的;分档看"答错代价",不看"能不能答"。
二、模型编排两种常见做法
做法一叫路由(router):先判断任务类型,再选模型。最快的是规则路由,按关键词或文本长度直接分;更准的是模型路由,先让一个小模型把请求分类,再派活。规则路由好上手:客服系统先按"是否含订单号、是否问退款"两个关键词,把请求分到售后专用模型,其余走通用 mini。模型路由更聪明:让 mini 先给请求打标签(咨询/售后/闲聊),再派活,适合分类边界模糊的场景。
做法二叫级联(cascade,也叫 fallback):便宜模型先答,置信度低或答不上来,再升级贵模型兜底。这样既省成本,又不至于小模型翻车没人接。生产里常用 LiteLLM 这类统一接口做路由加 fallback,但概念用手写 router 讲最清楚,下面就是这个。
怎么选:请求量大、分类边界清晰 → 路由(先判断再派);请求少、偶尔有难题 → 级联(小的先试,不行再升级)。多数团队从路由起步,级联做兜底。
三、一个能跑的 router
下面用 openai 1.x 的 SDK 演示一个最小 router:难活走 GPT-4o、粗活走 4o-mini。复制前先装依赖(见代码顶部注释),并在 .env 里放好 OPENAI_API_KEY。若 import 报 AttributeError,跑 pip show openai 看 Version——<1.0 用老式 openai.Completion 写法。

# 依赖:pip install openai python-dotenv(基于 openai 1.x 新 SDK)

# 若 import 报 AttributeError,跑 pip show openai 看 Version;<1.0 用老式 openai.Completion 写法

import os

from dotenv import load_dotenv

load_dotenv()  # .env 里放 OPENAI_API_KEY=sk-xxx

import openai

openai.api_key = os.getenv("OPENAI_API_KEY")  # 走全局,别在每个调用塞 key


# 路由:对用户输入的 prompt 判断难度,自动选模型

def pick_model(prompt: str) -> str:

    # 粗粒度:prompt 含这些信号 → 派贵模型

    hard_signals = ["写代码", "推理", "规划", "分析", "判断", "为什么", "怎么设计"]

    prompt_lower = prompt.lower()

    if any(s in prompt_lower for s in hard_signals):

        return "gpt-4o"

    return "gpt-4o-mini"


def ask(prompt: str) -> str:

    resp = openai.chat.completions.create(

        model=pick_model(prompt),

        messages=[{"role": "user", "content": prompt}],

    )

    return resp.choices[0].message.content


print("摘要:", ask("用一句话总结:AI 让打工人早下班"))

print("推理:", ask("公司两条制度冲突,怎么判断优先适用哪条"))

print("当前模型:", pick_model("用一句话总结:AI 让打工人早下班"), "→", pick_model("公司两条制度冲突,怎么判断优先适用哪条"))

(示意输出,实际由模型现场生成)

摘要: AI 通过自动化重复劳动,把人从枯燥事务里解放出来。

推理: 先看上位法与新法,再看专门规定;冲突时通常新法优于旧法。

当前模型: gpt-4o-mini → gpt-4o

核心是 pick_model 这一层:它决定难活走 GPT-4o、粗活走 4o-mini。换成级联也很简单——先调 mini,发现返回空或太短,再补一次 4o。路由规则想细就能细:按长度、按是否含代码块、按业务标签都行。有人按"是否要联网查"分流,静态知识走缓存、动态查询才调模型,又省一层。
四、成本能省多少
按 OpenAI 公开定价粗算:GPT-4o 输入 $5/1M tokens,4o-mini 输入 $0.15/1M tokens,差 33 倍。取日均请求六成五走 mini,整体账单能砍到原来的 1/10 左右。单价差距是实打实的,难的活占比又小,省的就是这 33 倍的鸿沟。当然路由本身要算账——模型路由每请求多调一次 mini 做分类,约增 5% 开销,仍远小于把难活升级贵模型的代价。省成本不是目的,是让贵模型留得住:贵模型常限流,把粗活摘出去,难活反而更快出结果。
关键不是换掉贵模型,是让它只干配得上的活。反过来也有:上面说的合同审查翻车,就是分档没分准,把难活错派给了小的。所以省成本的顺序永远是——先把活按难度排清楚,再谈换模型。
五、新手避坑 5 条
① 一刀切全用贵模型:简单活浪费钱。先按难度分层再派。
② 只看单价不看占比:难活占比小,省的是大头。先统计请求分布。
③ 路由判断太粗:只分"难/易"两类,漏了中等活。三层(易/中/难)更稳。
④ 没设 fallback:便宜模型答错没人兜底。级联兜底,小模型接不住就升级。
⑤ 忽略缓存:相同问题反复问也每次调贵模型。加提示词缓存或去重,重复请求不重复花钱。
一句话总决策:分档先把活排清楚,再谈换模型;贵模型只干配得上的活。
💬 IO 小编唠两句

只要记住——贵的模型别浪费在粗活上,按难度分档派活,成本能砍一大半还不影响体验。

有人一开始全用旗舰模型跑客服,月账单两万;把七成一句话的活分给小模型,直接降到三千。省下的不是精度,是冤枉钱。

下篇讲模型怎么挑才不冤?评测清单(附代码)。你现在是"一个模型用到老",还是已经开始分档了?评论区聊聊。有用的话点个在看,转给也在被账单吓到的朋友。

📚 往期回顾

①一个 Agent 扛不动了?让几个 AI 角色分工(多 Agent)

②Agent 只会聊天?两步让它会调工具、分步思考(附代码)

③接大模型 API 之前,这 3 件事想不清楚,多花 80% 成本(决策清单)

④最小 RAG 问答:带代码半小时跑通,搭建自己的知识库(实战)

⑤手写最小 MCP Server:30 行代码,让你的工具被 AI 调用(附代码)

IO · 2026-09-17

【声明】内容源于网络
0
0
IO日记
1234
内容 104
粉丝 0
IO日记 1234
总阅读0
粉丝0
内容104