关键讯息，D1时间送达！
企业网D1net
AI成本居高不下，问题可能不在模型，而在架构。重复推理、智能体过度协作、上下文膨胀和无效重试，都在悄悄吞噬Token。真正有效的降本之道，是让不同任务匹配不同的智能水平，将推理成果沉淀为可复用资产，把通用能力构建在统一平台上，并持续优化模型选择与任务路由。研究显示，整合3至4个智能体可减少53.7%的Token消耗。AI竞争的下半场，比拼的不只是模型有多强，更是谁能用更少的计算创造更大的业务价值。
削减AI成本，不只是选择更便宜的模型，更重要的是消除无效推理、复用已有决策，并根据每项任务的需求匹配适当的智能水平。
去年，我所在的公司决定重建企业级AI平台。我们的客户使用这款平台已经超过十年，但我们并没有简单地对其进行升级，而是从头开始，以更宏大的目标重新出发：利用AI构建一个原生AI平台。
利用AI重建如此庞大的平台，让我们亲身体验了AI经济学的实际运作方式。在整个工程过程中，我们全面采用AI来编写代码、审查变更、生成测试，并加快开发进度，这不仅帮助我们将原本需要数年的工程工作压缩到短短几个月内完成，也迫使我们密切监控消耗的每一个Token，并认真思考消耗这些Token的真正原因。
这段经历动摇了我们的一项关键假设：事实证明，Token消耗量不仅取决于模型的选择，也同样受到架构决策的影响。
Token消耗失控的真实表现
事实上，我们发现，大部分Token浪费并非源于复杂的工程任务本身，而是来自围绕这些任务构建的架构。在企业级AI领域，这种现象被称为“架构税”(Architecture Tax)。
递归式智能体不断派生子任务和子智能体，尽管它们在技术层面上完成了所有任务，但每次任务交接都会引入新的提示词和上下文，此外，原本只需通过确定性代码、以极低成本就能完成的常规分类任务，却在消耗前沿推理模型的计算资源。由于我们没有明确定义什么才算“成功”，重试循环便不断触发，持续消耗Token以追求微不足道的性能提升，而不是改善业务成果。最后，我们还遇到了上下文膨胀的问题：工作流持续携带前序步骤中的信息，即使这些信息早已不再影响当前决策。
单独来看，这些决策似乎都不会带来多大开销。多几个提示词、多执行一次不必要的推理步骤，或者使用更大的上下文窗口，对单次工作流的成本影响都微乎其微，然而，当这些操作在数百万次执行中不断累积时，Token消耗量便会膨胀到仅靠升级模型也无法抵消的程度。
以Token效率为核心进行设计
弄清楚Token究竟消耗在了哪里之后，我们需要进一步确定如何更有策略地使用它们。
首先，我们认识到，AI工作流中的每个步骤并不都需要相同程度的智能。某些任务确实需要推理能力，但另一些任务具有明确的结构、确定的执行逻辑或可重复的处理流程，更适合通过软件、业务逻辑或可复用工具来完成，而不是在每次执行时都重新推理一遍。
即使必须使用模型，不同任务所需的推理量也不尽相同，这一理念通常被称为“推理力度优化”(Reasoning Effort Optimization)。如果你正在设计系统、探索不同方案或做出艰难决策，那么投入较高的推理力度是有价值的，然而，一旦确定了处理方法，通常就可以用少得多的推理资源获得相同的结果。
这类似于组织按照专业能力构建金字塔式工作体系的方式，经验最丰富的工程师负责解决最棘手的问题、做出重要的架构决策，并处理各种模糊不清的情况。完成这些工作后，他们会将其拆分为规模较小、定义明确的任务，再交由其他工程师和机器稳定、一致地执行。
不过，合理分配任务只是这种模式奏效的部分原因，持久化同样重要。资深工程师的判断会被固化到接口、Schema和约定中，使后续参与工作的人员能够直接基于这些决策开展工作，而不必重新推导一遍，AI系统也是如此。如果没有将推理过程沉淀为图结构、规范说明或编译后的技能等可长期复用的成果，那么每次运行系统时，都必须为同样的推理再次付费。
我们将同样的原则应用于AI系统：只有在确实需要判断力时，才使用高级推理能力。规模较小的模型可以处理定义明确的实现工作，对于结果已知的任务，则可以通过确定性软件和可复用工具来执行。我们的目标是，在工作流的每个阶段都投入恰到好处的智能资源。
一次设计，处处复用
那么，对于每个新的工作流，团队究竟需要重新构建多少AI系统组件？
根据我们的经验，几乎没有多少需要重新构建。评估、编排、护栏、上下文管理和可审计性等架构能力，并非某个AI应用独有的需求；最终，每个企业级AI系统都需要具备这些能力。针对每个工作流重复构建这些组件，不仅浪费时间和资金，还会迫使每个AI系统独立解决相同的基础设施问题。
更高效的做法，是将这些能力整合到一个通用的运行框架。这样一来，编排、治理和评估等能力就可以在平台层面统一开发、测试和改进，而不必在每个工作流内部单独实现。每个新的AI系统都可以复用这一基础框架，团队则能够专注于真正体现应用独特性的业务逻辑。
这种架构层面的规范化也应延伸到执行层，AI系统在产出结果之前需要执行多少计算，很大程度上取决于提供给它的上下文、指令的设计方式，以及智能体的组织结构。
一项2026年的研究发现，将三个或四个智能体整合为一次调用，可在准确率基本相当的情况下，将Token消耗量降低53.7%，并将延迟降低49.5%，其中，大部分节省来自不再需要在不同智能体之间反复传递相同的上下文。
该研究还表明，随着分配给每个智能体的任务数量增加，智能体在选择每项任务的最佳处理方式时会变得不那么可靠，不过，通过加强路由机制，可以弥补其中相当一部分性能损失，简而言之，AI效率取决于工作如何组织和路由，而不仅仅取决于参与其中的智能体数量。
在整个生命周期中持续优化
合理的架构设计为持续优化奠定了基础。
以模型选择为例，这不应该是一次性决策。随着模型能力不断提升、工作负载持续变化，我们值得重新评估每个AI工作流，判断能否以更少的推理和更低的成本实现相同的结果。
计算机科学家、AI企业家兼斯坦福大学兼职教授Andrew Ng曾通过一组数据说明，系统设计的重要性可能超过模型本身的原始能力：在HumanEval代码生成基准测试中，零样本(Zero-shot)GPT-3.5的得分为48.1%，GPT-4的得分为67.0%，然而，通过将GPT-3.5封装在一个迭代式智能体循环中，其得分提升至95.1%。
成本可见性也是如此，团队需要能够查看每个工作流、每个模型和每项任务的Token成本情况，以便在成本不断累积之前，及时发现降低开销的机会。
如今，AI的使用成本已经远低于过去，但成本下降也会刺激使用量增长。企业可以运行更多工作负载，尝试解决更具挑战性的问题。因此，准确了解AI究竟在哪些方面创造了价值，反而变得更加重要。
根据创造的价值分配智能资源
大多数组织一开始都会设置固定的Token预算，因为这种方式易于管理，然而，并非所有AI任务都具有相同的价值。
我们应该将AI视为一种工程资源，而不是一种由所有人共享、用法不加区分的公共资源。那些能够始终为不同任务选择合适模型，并避免不必要推理的团队，应该获得更多计算资源，因为他们消耗的每个Token都能带来更好的成果。
长远来看，我预计企业会以管理其他稀缺工程资源的方式来管理AI：将AI资源投入能够产生最大影响的地方。
关于企业网D1net(www.d1net.com)
企业网(D1net.com)-企业 IT 第 1 门户。面向 IT 行业高端甲方人群(CIO 首席信息官)最精准专业的媒体，面向约六万政企 CIO、信息中心主任、科技部总经理等 IT 主管，提供资讯、营销、活动、项目合作推介等服务。拥有专业注册会员(IT 从业者)约 188万人，主要读者为政企用户及其信息主管、软硬件厂商等，服务过的企业级厂商逾五百家，国内toB的头部IT厂商基本都是D1net的客户。
同时，企业网D1net也运营着国内最大的CIO(首席信息官)专家智库和智力输出变现及社交平台-信众智，也是国内最大的科技高管社交平台。旗下运营19个IT行业公众号(微信搜索D1net即可关注)。
如果您在企业IT、网络、通信行业的某一领域工作，并希望分享观点，欢迎给企业网D1net投稿。
投稿邮箱：
editor@d1net.com
合作电话：
010-58221588（北京公司）
021-51701588（上海公司）
合作邮箱：
Sales@d1net.com
企业网D1net旗下信众智是CIO（首席信息官）的专家库和智力输出及资源分享平台，有六万多CIO专家，也是目前较大的CIO社交平台。
信众智对接CIO为CIO服务，提供数字化升级转型方面的咨询、培训、需求对接等落地实战的服务。也是国内较早的toB共享经济平台。同时提供猎头，选型点评，IT部门业绩宣传等服务。
扫描 “二维码” 可以查看更多详情
