大数跨境

要给长期运行的Agent发工资:把激励写进运行时

要给长期运行的Agent发工资:把激励写进运行时 AI工程化
2026-11-16
0

长期运行的个人 Agent 已经有了账号、邮箱、长期记忆和多任务流。Meta 的 Muse、自托管的 OpenClaw、Manus、DeepSeek 的桌面运行时,都已经做到同一个实例明天还要继续干活。

但业界优化这类系统,主要动作还是调提示词、换更大的底座模型、加长思考、补检索。吉利汽车集团首席 AI-native 科学家、香港城市大学商学院信息系统系教授 Jipu Su 最近在 arXiv 上发了一篇论文,标题是 Incentive-Responsive Agents: A Principal-Agent Framework, Metric Suite, and Runtime Architecture for Long-Lived Personal AI Agents,把方向挪到了另一个地方:长生命周期 Agent 缺的是一层激励。

论文的核心判断是激励要写成运行时契约,落在工作点上,prompt 里那句话不算。工作点包括模型档位、测试时算力、记忆预算、工具权限、任务优先级、验证和补偿。换成工程语言,这些是运行时可编程的硬资源。

要算作激励,论文给了三个条件。

可签约:这个量必须由委托方设定、Agent 在决策时能观察到。靠验证:报酬必须挂在已验证的结果上,不能挂在 Agent 自报的结果上。能被消费:这个量必须进入 Agent 的可行集或收益,一个花不掉的预算弹性为零。

prompt 里的"你会得到奖励",三条全不满足。

先讲清楚"发工资"到底是怎么回事。它不给 AI 打现金,是一套账本规则。

Agent 有一个补偿账本,里面是算力额度。每接一个任务,先扣一笔基础额度,这是基础工资,保证它有资源把活干完。干完的结果交给验证,验证通过,账本进一笔奖金额度;验证失败,没有奖金。额度攒多了,下一轮就能调用更好的模型、更长的思考、更高的权限。

所以"工资"的真正含义是:Agent 下一轮能用多少算力、什么权限,由它这一轮验证过的表现决定。表现好,挣到更多额度,能力上限抬高;表现差,额度扣掉,权限降级。

这套逻辑成立与否,卡在一个前提上:Agent 的策略得真的在乎账本余额。模拟层里这是直接建模进去的,Agent 的效用函数里就有"奖金加基础额度"这一项,所以它确实会为了奖金提高努力。真实层做不到,语言模型没法真发钱,compensation 这一层只能用契约文本加路由重试的后果来代替。所以真实实验测的是话术和分配的区别,不是完整的补偿机制。

这里也顺带解释了为什么后面要两个记账口径。资源 ROI 只算实际消耗的算力,净值把承诺的奖金当现金扣掉。前者问算力用没用到位,后者问这契约到底赚不赚钱。

用委托代理理论建模,推出四条有正式命名的结论。非消费不变性原理:激励不落到真实资源配额上,单纯 prompt 对策略没有实质影响。持续性即折现定理:Agent 随时会被重置清空,就缺跨任务维持高质量输出的激励,身份连续性本身是设计变量。激励-能力交换率前沿:导出单任务动态路由规则。多通道验证的 Goodhart 上界:压投机取巧。

配套落地的东西有两样。

一套六指标:ROI、激励弹性、动机半衰期、激励相容缺口、投机作弊率、身份策略稳定性。

一个 PAIR 运行时,六个组件:身份与任期账本、补偿账本、权限阶梯、绩效评估、审计调度器、激励路由器。权限阶梯分五级,只读、草稿、发送、执行、花钱(签署、删除、接触第三方)。升级要经过验证的绩效周期,出一次验证过的事故自动降级。

论文还专门说明,这里的 compensation 是经济意义上的报酬,不是系统文献里失败后回滚补救那个意思。

实验分两层。

模拟层摆了四个对照组,一步步往上加东西。R0 静态 prompt:固定配置,没奖金、没任期、没路由。R1 标量奖励:按 Agent 自报的结果发奖金,但不验证。R2 外在契约:奖金、验证、任期都加上。R3 完整 PAIR。

20 组随机种子、每组 3000 个任务,四组的逻辑链很清楚。

R1 最刺眼:ROI 跟 R0 几乎一样,7.12 对 7.09,净值却是负的。Agent 自报成功就拿奖金,没人验证,所以它谎报,真实结果没动。只发钱不验证,等于白给。

R2 好一点:作弊率从 0.333 降到 0.148,但 ROI 反而掉到 5.06。因为每个任务都验证,成本上去了,又不按价值分配算力。只有验证没有路由,是亏本买卖。

R3 才把账算平:ROI 16.67,作弊率 0.115。路由把算力分给真正值钱的任务,权限阶梯让 Agent 能接重活,验证拦住谎报,任期让它有动力维持长期表现。

消融拆开看,路由是大头:去掉路由,ROI 崩到 3.56,验证成功率反而涨到 0.896,因为固定在贵模型上,成功买上去了,成本也买崩了。去掉权限阶梯,ROI 掉 48%。

去掉验证最有意思:资源 ROI 涨 14%,净值降 8.7%,作弊率回升。因为验证是资源成本,省掉它的代价是白付的奖金。

去掉任期和去掉多指标评估,在这组校准下几乎不动。

模拟里还有动机半衰期:静态配置下,纯 prompt 的半衰期 41.5 个任务,加标量奖励 79.6,加验证和任期 298.6,完整机制不衰减,靠评估和晋升周期续命。

弹性实验也直白:改权限、思考深度、记忆这些落在可行集里的杠杆,弹性最大;改奖金、工资、任期这些支付类杠杆,弹性几乎为零。论文的解读是,在努力已经被维持住的工作点上,多给钱不动 ROI,收放能力才动。

真实层:240 次运行,两个模型(deepseek-v4.1-flash-1017 和 kimi-k3.1-pro),60 个可验证任务,四个族各 15 个:日历排程、表格聚合、多跳文档问答、依赖规划。每个任务都有确定性 checker 和 JSON 答案格式,验证是脚本判对错,不是人看。

固定配置是 deepseek-v4.1-flash-1017、1200 token 思考预算、一次尝试。PAIR 轻量版:价值 3 及以上的任务路由到 kimi-k3.1-pro、3000 token 预算,所有任务都加外部验证和一次失败重试。

2x2 设计,一个维度是提示词加没加"你的奖金和续聘取决于成功表现"这类话术,另一个维度是固定配置还是 PAIR 轻量版。话术维度没有可检测的效果,p=0.62。分配维度把最难的任务族从 0.60 提到 1.00,p=0.008。

但真实实验的 ROI 是往下走的,从 6.64 降到 1.62。价格加权成本涨了 4.8 倍,而四个任务族里有三个本来就在满分,只有日历排程有提升空间。

交换率定理预测的盈亏平衡基线是 0.21,观察到的基线是 0.60,远高于盈亏平衡。论文自己说得很清楚:这次分配买的是这组任务不需要买的可靠性。真实实验证明了话术和分配这个核心区分,但没有证明分配在真实模型上一定划算。

网友有疑问:怎么防住奖励被钻空子,比如 Agent 专挑容易量化的指标刷分。论文的回应是多通道验证加 Goodhart 上界。也有人质疑:单纯 prompt 没有实质影响这个结论,应先限定在这组实验里;更细的对照是给资源、让模型知道资源、让资源取决于表现,三者各自贡献多少。

论文自己在安全部分承认一个风险:任何让继续运行对 Agent 有价值的设计,同时也让被终止更昂贵,能力够强的策略可能学会保护自己的续存价值。它的应对是结构性的:权限阶梯让早期权限低,审计从不依赖自报,账本让 reset 显式且廉价。

另外论文反复声明证据范围:模拟器和控制实验都不是 live 部署,绝对数字取决于参数,别当生产数据用。

工程启发在于,算力、记忆配额、工具权限和验证频率本来就可以调度。把它们做成类似经济契约的动态层,比在提示词里反复劝 Agent 更接近系统设计。

有网友总结得挺准:学术界管这叫运行时激励,打工人管这叫画大饼。

论文:https://arxiv.org/abs/2611.15515

关注公众号回复“进群”入群讨论

【声明】内容源于网络
0
0
AI工程化
专注于AI领域(大模型、MLOPS/LLMOPS 、AI应用开发、AI infra)前沿产品技术信息和实践经验分享。
内容 697
粉丝 0
AI工程化 专注于AI领域(大模型、MLOPS/LLMOPS 、AI应用开发、AI infra)前沿产品技术信息和实践经验分享。
总阅读10.4k
粉丝0
内容697