想象一家公司的前台。大部分来访的人，拿着标准材料、走固定流程，前台看一眼规章就直接办了，几秒钟搞定。只有少数情况，材料不对、或者事情超出了规章范围，前台才把人带到后边的业务主管那里。业务主管经验丰富，快速判断这事儿该交给哪个部门，自己能定的就定了，实在拿不准的，才上呈给公司里最资深的那位专家。
一个会自己干活的 AI 系统，背后也是这套分诊逻辑。行内把它叫做"决策智能"：不是让模型替你做所有决定，而是先想清楚，哪一类决定该走规章、哪一类该问小模型、哪一类才值得请出大模型。把最贵的专家留在最难的地方，系统才既快又省。
下面这张图就是这套分诊台的样子。
开源 LAYA，现在到哪一步了
2026 年 9 月，一个叫 LAYA 的开源项目突然火了。它做的事用一句话讲，就是把智能体工作流里最高频的那个动作（判断，不是写文章）从大模型手里接出来，交给一个不写字的"快思考"小模型。你给它一段状态，比如一句话、一封邮件、一张工单，再给它几个带类型的问句，它一次运算就吐回一个结构化答案。
它给出的答案只有三种基本形态，行内叫三原语：choice 是从你给的选项里挑一个并附上每个选项的概率，score 是在一把标尺上打个分并附上分布，noul 是返回一个校准过的概率，意思是"这件事成立的可能性有多大"。听不懂没关系，记住它只干"判断"这一件事就行。
截至 2026 年 11 月 1 日，LAYA 已经迭代到 v0.4.21，GitHub 上 34.9k 颗星、3.1k 次 fork、提交了 2,816 次，用的 Apache-2.0 许可，代码和权重全部开放。它不是孤例，已经长成了一片生态：自托管的 HTTP 服务、MCP 服务、和各种智能体框架的集成、还有 Node、Go、Rust、Java 等多语言绑定都齐了。单题判断大约 33 毫秒，批量能压到 7.2 毫秒一题，在 T4 显卡上实测。
但别被热度带偏，它有两个官方自己认下的软肋。第一，基础版本不开箱（行话叫零样本）时判得接近瞎猜，那个标称 0.766 的准确率数字，是微调训练之后才有的，不是拿来就能用。第二，选项一多就懵，在 77 个选项的分类任务上只到 0.425，而对照的 Jev 做到了 0.870。官方自己给的定位很清醒：它是一个用来专精化的快底座，不是零样本就能用的决策引擎。这正好引出下一个问题，既然它也不完美，为什么我们不能只靠它。
本机这套骨架，其实比开源 LAYA 早走了一步
老郑在 2026 年 9 月下旬，就自己搭了一套本地决策层，代码放在硬盘的 laya-lab 目录里，一直维护到 11 月 4 日还在跑。它没有直接搬开源的权重，而是在本地训练了一个同谱系的小模型，当整个系统的"判官"。
这个判官干的活很具体：判断"这一步操作该不该自动执行"。它本质是个分类器，输出"该转交人工"的概率，分数高于 0.7 就转人，低于 0.3 就自动放行，中间地带才升级给大模型。它默认跑在 CPU 上，常驻内存，老郑手里的三套系统（WorkBuddy、Hermes、CodeAgent）都接到同一个判决口，用的同一份规则手册。一旦它超时或者不在，一律 fail-open（判不准就放行，宁错放不误杀），绝不把活卡死。
训练这件事上，本机比开源早了一步。数据来自 2,759 条真实命令，标签不是人标也不是合成，而是用远端大模型当老师蒸馏出来的，零显卡、成本几毛钱。归档的训练记录看着不错（交叉熵 0.1867，AUC 0.9563，校准误差 ECE 0.0777），可一上真实流量，那颗头九成时间在闲着，这是后话。
真正值钱的是级联实测。在 11.9 万多条真实工具调用上，确定性规则层直接定案了 80.4%（其中自动放行 49.7%、转人 30.7%），本地那颗 322M 的小模型在灰区里又解决了 17.0%，最后真正要升级给大模型的只剩 2.5%（3,010 条）。换句话说，这套决策层把请大模型的次数省掉了 97.5%。对普通人讲，就是公司里最贵的专家，一天只被叫去处理约四十分之一的最难的事。
可最近老郑翻了一遍真实账本，发现了病根。那颗"判官"大脑，真正出手判决的只占门控总量的 9.2%，九成以上的决定其实是规则层给的。整本账里概率高于 0.90 的只有 9 条，真实流量里"该转人"的正类率大约只有万分之五。换句话说，本机现在的"决策智能"，九成是规则，不是真智能，那颗花力气训出来的 322M 小模型，基本是张闲着的安全网，它没坏，是没被用起来。
还有两处隐患，一是规则手册在慢慢漂移，guard_config.json 已经攒下 33 个带时间戳的备份，说明改规则是"补一条就存一版"，没有真正冻结。二是反馈飞轮饿着，收集真实结果的设施都搭好了，但真实流量里正类太少，喂不饱，这道让模型越用越准的环是断的。这也就为本机决策智能，提供了下一步提升的优化空间。
社区里有没有更好的"判官"可以换
有。决策模型这个品类在 2026 年下半年集中爆发，不是 LAYA 一枝独秀。其中一个值得盯的是 Decima-small：它只有 122M 参数（比本机现用的 322M 还小），CPU 上大约 20 毫秒出结果，覆盖 20 种语言，Apache-2.0 可商用，而且出厂校准误差最低，选项乱序时判断零漂移（LAYA 是 27% 漂移），49 个任务的综合基准 0.616，压过 LAYA 的 0.583，体积还不到它的三分之一。多语能力上，MASSIVE 基准它拿 0.857，LAYA 是 0.451。
思路很关键：换判官，不换架构。本机那套管线（级联节流、fail-open 红线、反馈飞轮、规则层）是资产，留着；只把最底下那颗 322M 决策头换成 Decima-small（本机有显卡时也可以上 Kev-0.8B）。接口契约不动，三套系统的钩子一行都不用改。不过有个存在的坑：Decima 不是在"命令安不安全"这件事上专门微调过的，它只是个更强的通用决策头，换上去之前得用本地的样本重新训一个头，而且重训后的成绩必须超过规则层单独的表现，否则宁可不动，这条判据是防火墙。
个人端和企业端，到底怎么选
落到你和我怎么用，逻辑和企业完全不同。个人要的是隐私、零成本、不依赖外部接口。做法其实就是个"会学习的路由器"：本地小模型管住敏感和例行的活，前沿大模型只接真正难的活。老郑手里的三体钩子（三个智能体框架），其实就是这个范式在个人尺度上的早熟实现。一句话记住就够：敏感和例行的留在本地，只有真正难又不敏感的，才放出去请专家。
企业，尤其是中小企业，选法看的是另一组维度：治理深不深（谁能审批、每一步有没有留痕）、能不能不锁死某一家模型、部署灵不灵活、关键处有没有人闸、人在环能不能按流程配置。按"能不能自运维"分层（顺序是从便宜可靠到完整厚重）：
-
T0 纯规则加结构化校验：在任何大模型调用之前，先做格式校验和敏感信息脱敏。这是最便宜、最可靠的一层，过半的中小企业场景光这一层就够用。 -
T1 本地小决策模型：Decima-small / Kev-0.8B / Tachyone，自托管、零接口费、数据不出本机，适合技术型小公司做意图路由、工单分诊、门控判级，老郑的三体架构就是这层的早熟版。 -
T2 托管决策 API：Jev / OpenAI Decisions / 微软 Decision-1 / Liquid d1，适合不想运维硬件、又要开箱即用校准的企业，按调用量计费，注意数据出境合规。 -
T3 完整守卫栈：NeMo Guardrails 加 Presidio 加 Llama Prompt Guard，面向客户的客服或销售类智能体才需要，内部 IT、人事、财务的 agent 用不到。 -
云原生直通车：已经在 AWS 或 Azure 上的，直接用云厂自带的护栏（Bedrock Guardrails / Azure Content Safety），最省心，不引入新组件。
不管选哪层，有两条铁律要写进交付。第一，defense-in-depth（纵深防御），没有任何单一护栏挡得住注入攻击，输入筛查、最小权限、输出校验、人在环要叠着用。第二，design for replaceability（为可替换而设计），把决策这一层当成能换的零件，选一个 18 个月内换得掉的，别今天就把某个专有方案锁死。
一句话结论
决策智能不是"更聪明的模型"，而是"让模型待在该待的位置"的工程纪律。本机早在 9 月底就有这套骨架，级联、fail-open、反馈环都设计到位，现在要补的，是让那颗闲着的"判官"大脑真正转起来，把漂着的 33 份规则钉死。开源 LAYA 和社区里更好的头提供了现成底座，但底座再好，也比不上一句朴素的话：先把决定分好诊，再谈请谁来看。
动手吧！新的本地决策智能方案在未来向大家公布，请大家关注本公众号。