大数跨境

确定性决定停在哪一层,可信度决定冲突时听谁的

确定性决定停在哪一层,可信度决定冲突时听谁的 AI驱动数字化转型
2026-11-15
5
导读:判定这套判定的组件,也得纳入被管理的对象。 最近一次大修,修的不是任何一条判据,是“让这套系统自己修自己”的那部分。而下一次它坏在哪里,谁也不知道。所以那条恢复通道和故意制造故障的演练,不是收尾工作,
事情是这样的:凌晨两点,一个自动化任务要执行一条删除命令。审批弹出来了,人不在。搁在多数团队,这一类要么配成“夜里全放行”,要么配成“夜里全拦、等人早上处理”。前者出事,后者积压。
真正难办的其实是第三种:这条命令到底该不该执行,这件事本身是可以判断的,只是需要有人告诉机器“怎么判断”。一套做熟了的决策智能要处理的就是这件事。把“该不该执行”拆成几级可验证的判断,每一级只回答自己有能力回答的那一问。

PART 01
三个常见误解

先拆掉三个误会,不然后面的设计读不懂。
第一个误会:门控是审批系统。 不是。审批系统的产出是“准或不准”,判定者只有人。决策智能的产出是“这一条判定由哪一层做出、凭什么做出”,人是最后一层,不是唯一一层。
第二个误会:把判断交给模型就完事了。 也不对。模型有三个硬伤:判定不可复现(同样的输入两次可能不同)、延迟不固定(有时不到一秒,有时十几秒)、成本随流量线性涨。更麻烦的是模型没法表达自己的不确定,它只能给你一个数,然后你把这个数硬解读成“安全”或“危险”。
第三个误会:判定准确率上去了,系统就好了。 这是最贵的误会,因为准确率恰恰是最算不出来的那一项。
真正的问题不是“让模型更准”。准确率这条路被走烂了,边际收益很低。真正的问题是三件互相耦合的事:输出必须是可分支的结构化字段而不是一段话;模型说 0.9 的时候真的要九成对,否则阈值定不出来;以及“判不了”必须是一个有独立出口的第三态,不能被迫当成“危险”。
第三条是历史病根。早期把“升级”和“转人”混在一个出口,结果模型说“判不了”等于“要人”,转人比例一路涨到接近两成。这不是模型不准,是模型没法表达自己的不确定。

PART 02
五级阶梯

方案的核心是一架五级的阶梯,从最确定走到最不确定。
  • 规则层 确定性判据,正则与形状匹配,零成本,零延迟
  • 模型头 一个训练好的小分类器,只输出风险分数
  • 小模型 本地跑得动的生成式模型,给结论也给理由
  • 大模型 云端最强模型,只接本地答不上来的
  • 人 最后一层,兜极度危险与极度不确定
顺序不是拍脑袋排的,三条理由叠起来。
第一条是成本。规则层零成本零延迟,放在最前面意味着绝大多数判定在这里就结束了,一天几千条判定不必为每一条付模型的钱。
第二条是它对某些问题有确定性的答案:删除凭证本体、往外部地址推送密钥、整棵目录强删,这些形状是确定的,不需要模型去猜。
第三条最容易被忽略:规则层判不出来的动作,形态往往千奇百怪。字符串里藏一个危险词、参数拼在别处、换个命令行写法,同样的动作换个形状就落到模型那儿去了。规则层至少知道自己在什么范围内说话。
但“确定”不等于“该第一个说话”。这里有个容易踩的坑:确定性只解决停在哪一层,不解决冲突时听谁的。这是两个独立的问题,混在一起就会出现“规则层明明确定,凭什么让模型再判一遍”或者“模型说了不算,规则层说了才算”这类拧巴设计。
区分开之后,仲裁规则就清楚了。

PART 03
仲裁的规矩

仲裁的意思是:几层给出不同结论时采纳谁的。方案的做法是不对称的,两个方向规矩不同。
先分清“低层”指谁。这里说的低层是模型层(模型头、小模型),不包括规则层。规则层不在仲裁里,它要么直接放行,要么直接命中硬闸转人,不参与上推。
一个方向:模型层说安全,立即采信,不再上问。 理由是省。一个每天几千条判定的系统,每条都问一遍云端,成本和时间都撑不住。而此时真危险的形状已经被规则层的确定性硬闸兜住了,硬闸命中的直接转人、不参与上推,所以放行不会因为“懒得问”而漏掉真正危险的东西。
另一个方向:模型层说危险,不作终局,继续问更高可信度的一层。 理由是不让人被最低层独自决定打扰。这一层模型判危险,它的判断可能不准。它见过“删除”就喊危险,也可能被输入里的技术词唬住。既然上面还有更可信的层,就该继续问。
所以五级阶梯上,人只在最后接两样东西:规则硬闸直接命中(这类是确定性危险,不需要讨论),以及大模型明确判危或者明确答不上来(连最强的一层都答不上来,才轮得到人)。
这条非对称性是整个设计里最要紧的一笔。它让成本和打扰同时降下来,而且降得不一样:低层的安全判断直接省掉,高层的危险判断往上推一层再确认。
顺带说一句档位配置本身。模型层给出一个风险分数,两道阈值决定这个分数怎么切:分数低于下界判安全,高于上界判危险,落在中间是“说不准”带,需要更谨慎处理。下界取 0.10、上界取 0.98,中间带很窄,这是权衡出来的:带越宽,模型落到“不确定”的比例越高,人被打扰得越多;带越窄,“不确定”被迫塞进两端,转人率又涨。
这里要说清一件事:“说不准”这条带,和模型明确回答“我答不上来”是两回事。前者是分数落在中间,后者是模型给出了判断但自己承认没把握。前者由阈值控制,后者由模型的输出控制。两者都会把人叫醒,但来源不同,配的时候也要分开看。五级判定阶梯与账本

PART 04
怎么证明它是对的

这一节是全篇最要紧的地方,也是最容易被糊弄过去的地方。
能测的:自动放行率、转人率、上云比例、各层落位分布、单条延迟。这些从账本里直接数得出,一天几千条,样本量足够。置信度准不准也能测,前提是先做校准,这一条后面单独讲。
测不出来的:准确率、召回率、漏放率,还有 AUC(衡量排序能力的指标)。这些看起来是“有效性指标”,但在真实流量上它们要么算不出来,要么算出来是假的。
为什么算不出来?因为判定器在判定的那一刻已经决定了自己的答案,而流量里绝大多数是它自己放行的。要评价它对不对,得有一份独立真值:真人独立判过、并且判定器没见过的样本。没有这份东西,算出来的“准确率”是拿判定器自己的答案去核对判定器自己的答案。
更麻烦的是自证的诱惑。一条判定进账本,人回头去翻,发现模型判危的十条里有九条确实危险,于是说准确率 90%。这九个一是同源的还是独立的?如果是同源的,比如抽样单里给的那条判断,本身就是同一个模型给的,那这个 90% 什么都不证明。
对付自证的办法有三层,一层比一层难绕过。
第一层,把判断依据落进账本。 每条判定除了结论,还记五样东西:哪一层做的、确定性等级多高、谁给的结论、属于哪类危险、这条被抽进审计队列的概率。
这五个字段在账本里各有一个固定名字,写出来是为了让后面查得动,不用每次现想。落完之后,“转人的那些到底都是什么”这个问题才有答案,不是靠回忆,是靠查。
第二层,随机审计加盲化。 按层分层抽样:自动放行的抽 2%,转人的抽 10%,上云的抽 10%,落在阈值带里的抽 20%。抽样出的样本送去人工判定,送审时只给编号和命令原文,不给分层、不给判定结论、不给分数、不给理由。
这个盲化不是形式。给了答案,人会去核对而不是独立判,得到的标签就有偏。盲化之后得到的标签才能作为独立真值。
第三层,诚实地承认不可识别。 统计上有个硬约束:漏放率只能从“自动放行”那一臂观测到,别的地方放行的都是已经判过的,没有漏放可看。所以只有当自动放行臂攒够成熟样本、加权后的危险样本数大于零、人工标注数达到门槛,才能算出漏放率的置信区间。达不到的时候,正确输出是“不可识别”,不是“漏放 0”。
这一条最难落地,因为“漏放 0”读起来是好消息。写代码时最容易顺手写成 max(0, 1 - observed) 之类。方案里专门加了一道闸:没有独立标签就输出“不可识别”,把这句话原样打印出来。
同源的裁判也算在限制里。如果拿去仲裁的还是同一个本地模型,它和线上那一档用的是同一个模型,独立性标记为弱,默认排除在无偏估计之外。

PART 05
观测结构不等于有效性证据

漏放率这件事暂时算不出来,很容易滑到另一个坑:那这套系统到底有什么证据支持。
要把四件事分开,它们的可信度完全不同。
指标
能不能算
说明
转人里多少是危险分子
能算
有独立标签就能算,没有就报未分类数
自动放行的漏放率
暂时不能算
缺独立真值与成熟样本
阈值挪一档会怎样
能算
拿真实账本做反事实重算
置信度准不准
已经能算
校准后留出误差 0.014
最后一行值得单独说。原始模型头说 0.9 的时候,实际只有六成多是危险的,这个误差是 0.126,大到不能用。用等距回归做校准之后降到 0.014,交叉验证也是这个量级。校准之后,阈值那两个数字才终于有确定的口径:阈值不再是拍脑袋定的,而是“在多少漏放率下放行多少”这个约束下算出来的一个数,换模型之后还能按同一个约束倒推回去。
但校准不省算力。这一点必须说清楚,因为它是常见误解。等距回归是单调变换,它不改变排序,所以在同样的漏放约束下,校准前后能放行的量一样。它的价值是让阈值可论证、换模型后能按同一个约束反推、以及校准误差能当漂移告警用。想省算力只有两条路:把规则层的覆盖面扩上去,或者让模型的排序能力变强。
同样地,“阈值挪一档会怎样”这类反事实重算,只能用真实账本里的样本,不能用另外造的对照样本。这里有个隐蔽的错值得单独说:拿正例富集或者负例富集的样本算出来的阈值曲线,看起来比真实曲线好看,但它对应的是另一个分布。同一套判据调两次参数反而更差的记录都留着,就为了下次别再试。
结论是零和的:现有这套判定已经到平台了,再调打分公式没有收益,剩下的提升只能来自规则覆盖面扩大或者判定模型换强。

PART 06
让系统自己修自己

判断这套判断的东西,本身会坏,而且比判断本身更容易坏。规则表是代码,配置文件是文本,两者都会被改。一天傍晚有人改规则表的时候,文件写到一半断了。判决口进程下次加载这份规则表,直接语法错误,整个判定链瘫掉。表现出来是所有命令都在弹审批,人一个一个点过去。
这两个缺口都栽在同一个地方。
第一处,坏掉的不是判定,是判定服务本身,而它伪装成了判定结果。 规则表加载失败之后,系统给出的理由是“判定服务暂时异常,请确认后继续”,这句话读起来像是一个谨慎的判定,实际上是系统已经死了。人成了故障的遮羞布,而且没有任何告警,只有一小时不停的弹框。
第二处,救命的通道依赖了那个坏掉的东西。 批准命令的入口设计成了运维通道,可以绕过判定直接放行。但这个通道的判定逻辑写在同一个文件里,规则表一坏,批准命令自己也跑不起来,形成死锁。想批准就得先让坏掉的东西恢复。
这两个缺口的修法是同一个方向:把不依赖任何可能失败组件的东西挪到最前面。
补法有四样。
  • 一个故障时用的判定器。 它不 import 任何可能坏掉的模块,自己就是完整的。在故障态下,它只认三件事:运维命令放行、纯只读命令放行、其余全部转人,并且明确标记这是工程故障、不是判定结果。
  • 一条命令就能恢复的通道。 常驻进程用的是内存里的模块快照,改了磁盘上的文件它不会重新读,这个坑很隐蔽,表现是“明明改了规则却不生效”,还长得像规则写错了。恢复通道的做法是自己做完体检:检查全部核心文件能不能通过语法和格式校验,自动挑最近一个通过校验的版本,原子替换落盘,落盘后再复验一次,失败自动回滚,坏版本隔离留证。它零依赖,所以在判决口全瘫的时候也能跑。
  • 一条改核心文件必须走的流程。 所有对核心文件的修改只准走它:先跨进程加锁(多个智能体共用一套系统,不能同时改),写入临时文件,校验,通过了才原子替换,再复验,失败回滚,全程记账。这一条直接治的是“多体共写”的交叉窗口。
  • 故障分类。 工程故障单独打标,不进有效性统计。故障期间那些假的判定要从账本里排除:账本只追加不修改,所以是按时间窗口打排除标,不是物理删行。
这套东西不是设计出来的,是被一次真实故障逼出来的。而逼出来之后立刻做了一次故意制造故障的演练:造出半写入、坏语法、缺配置三种坏状态,验证恢复通道真能起来。
演练当场抓出两个真 bug,都是同一类:校验函数按文件后缀判断类型。备份文件和临时文件的后缀不是那两个,于是语法校验被静默跳过,坏版本照样能被装上去。第一版只改了一处,另一处还在,一轮跑下来才暴露。一道本该拦住故障的闸,因为实现细节漏了个空,自己变成了摆设。
这两个 bug 有个共同点值得记住:它们不会让恢复失败,它们会让恢复成功地装上一个坏版本。 这类故障比直接失败危险得多,因为它不报错。

PART 07
落地后的样子

上线之后没什么动静。
一条命令进来,五级阶梯依次走过,最后落进一本只追加的账本。
过去二十四小时,这本账本上写下了六千条左右的判定。其中三分之二带完整分层依据,是新口径,这部分自动放行占 95.4%,转人占 4.6%,走云端大模型的占 3.8%,本地小模型自己解决的占 18.8%。真正需要人看的,不到百分之五。
(另有一分之一的记录是落账分层依据之前写的,只有结论没有分层信息,不参与上面的比例。)
这些数字不是用来证明“这套东西很准”的。它们证明的是分流按设计在工作:绝大多数命令在本地被确定性判掉,云端只吃真正拿不准的那一小部分,人只接最后那一撮。
三个最要紧的工程结论,是这套系统自己教出来的。
第一,思维链在本地小模型上是有害的,不只是慢。 它慢是一方面,更麻烦的是它吃掉了输出预算,把结构化结果截断,模型吐不出东西,只能给出半截。实测关掉思维链之后,判定速度提升四成多,尾部延迟消失,而且输出格式正确率大幅回升。同一个病在这套系统里犯过两次:一次让判定链路大量超时,上云的流量里七成是被顶上去的;一次让批量标注的解析成功率只有不到十分之一。关掉之后,上云比例降到十分之一以内。
第二,两套只读判据打架,比缺判据更糟。 判定器自己有一套“哪些命令是只读”的正则表,而解析器里已经有了一套更完整的判定。规则表没用那一套,自己另起了一张 POSIX 风格的表,结果一条标准的 Windows 只读命令被判成了可疑,被当成破坏性命令截住了。根因不是规则不够全,是两套判据同时存在且只用了一套。修法是让规则层复用已有的判定,并加一道交叉核对:两套判据不一致,体检直接报不通过。
第三,判据按哪种语言写,哪种语言就在判据的盲区里。 判据表里全是 Python 生态的接口调用,没有任何一条 Windows 命令。后果是:一条递归删除工作区目录的命令,被判定器认成“只读”,整条放行。补上 Windows 那批危险动词之后才堵住。补了之后又发现另一处同样的形状。同一个删除动作,换成另一种命令行写法照样放行,因为它走的是另一条判定路径。
这三个结论有共同点:它们都不是“模型不够强”或者“规则不够多”的问题。 它们是工程一致性问题。 一个判定系统里如果有三个地方各自认定“什么是危险”,那它有多危险,取决于三份认定里最宽松的那一份。

PART 08
这套方案能拿走什么

整篇能带走的话,就这一句。

确定性决定停在哪一层,可信度决定冲突时听谁的。

前半句让成本降下来,确定的东西不问。后半句让人少被打扰,不确定的东西不硬判。
标题那两半合起来,才让“自动执行”这件事变得可信。可信的意思不是“从来不出错”,而是“出错的时候你知道它错在哪一层、账上查得到、而且可以修”。
如果只按这三层记,就记下面这份清单。
  • 判据层:五级阶梯,顺序按成本、确定性和覆盖面三条理由排。仲裁两个方向规矩不同:模型层的安全直接采信,模型层的危险继续上推。规则层的确定性硬闸单独走,不参与上推。阈值带由校准后的概率定义,不拍脑袋。
  • 观测层:每条判定记全依据(哪一层、什么确定性、谁给的、哪类危险、进入审计的概率),账本只追加。分层随机抽样,送审盲化。没有独立真值就报“不可识别”,绝不写“漏放 0”。
  • 工程层:故障时用的判定器不依赖任何可能坏掉的组件,放在它们之前。恢复通道自己给自己做体检,坏版本隔离留证。改核心文件只准走那道流程。工程故障单独打标,不混进有效性统计。定期做一次故意制造故障的演练,验证恢复路径真能起来。
还有一条纪律,不是技术,是做事的方式。
每次改完判据,先跑一遍绕过测试。 绕过测试专门构造那些用引号拆分、用变量替换、用管道喂代码的方式藏住危险的命令,放行率是它的唯一指标。设计判定逻辑时,人总是先想“正常写法怎么判”,绕过测试专门问“不老实写法怎么判”。放松任何一条判据之后,这套测试是唯一能立刻告诉你放松过头没有的东西。
这套方案什么时候才算真的成立?标准有三样,现在只满足了一样。有效性的证明需要独立真值、需要足够成熟的样本、需要不依赖任何一方自己的独立评判。前两样还在攒,攒不够之前谈准确率没有意义。承认这一点比宣布成功要难,但只有承认了,剩下的路才走得踏实。
最后一条新发现值得单独说:判定这套判定的组件,也得纳入被管理的对象。 最近一次大修,修的不是任何一条判据,是“让这套系统自己修自己”的那部分。而下一次它坏在哪里,谁也不知道。所以那条恢复通道和故意制造故障的演练,不是收尾工作,是长期要跑的东西。

【声明】内容源于网络
0
0
AI驱动数字化转型
专注AI,促进智造行业数据衍生,服务智能制造企业的数字化、智能化,聚焦大模型私域部署、大模型微调、数据清洗、AI模型训练、私域知识库及agent技术延展等。行业智能,落地为先。
内容 1126
粉丝 1
AI驱动数字化转型 专注AI,促进智造行业数据衍生,服务智能制造企业的数字化、智能化,聚焦大模型私域部署、大模型微调、数据清洗、AI模型训练、私域知识库及agent技术延展等。行业智能,落地为先。
总阅读17.2k
粉丝1
内容1.1k