关键讯息，D1时间送达！
企业网D1net
自主式AI部署容易治理难。本文结合大型企业实战经验，揭示了AI落地的真正挑战不在于模型技术，而在于微观的操作层治理。AI如同不知疲倦却可能越权的“初级员工”，面临无警报偏离与责任真空风险。文章提出四级容忍度护栏、2分钟检测与一键断路器等应急机制，强调需将业务经理转变为“AI管理者”。唯有将合规与治理融入日常运营基因，把爆炸半径控制在毫末，才能真正释放AI的商业价值。
自主式AI真正的挑战不在于技术本身，而在于问责、治理，以及出问题时明确责任归属。
当我们在涵盖B2C预订、B2B批发、邮轮运营、离岸共享服务和实时市场的澳大利亚最大旅游与邮轮运营商之一部署自主式AI时，我们比预期更快地解决了绝大多数预想中的难题，小语言模型运转良好，工具完成了集成，我们确定了合适的专有数据，并聚焦于能为我们提供决策、洞察、反思与远见的内容。值得赞许的是，技术的宣传噱头确实兑现了承诺。
我们未能充分预料到的是治理——不是那种高屋建瓴的政策层面治理，而是精细的、日常的、操作层面的治理。正是这种治理，才能确保在智能体发生偏离的那天，一级支持升级率降低34%的成果，不会演变成暴涨134%的灾难；也正是这种治理，决定了宾客的邮轮预订是在半夜悄无声息地损坏，还是在几秒钟内被及时拦截。
大多数企业在完成部署后就止步不前，转而构建治理框架和高层报告，那不叫治理，那是绩效复盘，真正的治理发生在两次复盘之间，而这正是本文所要探讨的空白区，不是理论上的空白，而是操作层面的空白；是业务部门经理、技术团队和合规官切实生活的日常。
为什么部署完成绝非终点
在传统软件中，“上线”是一个里程碑，而在自主式AI中，它才是一场极具挑战性阶段的开始。与静态软件不同，智能体能够从上下文学习，适应信号，并在设定的边界内做出决策，然而，这些边界会逐渐侵蚀。模型会偏离，工具输出会改变，数据质量会劣化。其中最危险的情况是“无无偏离的偏离”：智能体在不触发任何警报的情况下逐渐改变其决策模式，因为护栏从来没有错，只是容忍度窗口设得太宽了。与人类员工在感到异常时会犹豫不决不同，智能体会极具自信地执行任务，直到打破硬性约束为止。
这些风险正以令企业猝不及防的方式不断累积，一封路由错误的电子邮件只会影响一位客户，而一个错误的智能体决策可能会波及同一时间段内处理的每一笔预订、查询或升级事件。基于过时价格数据运行的智能体并不知道数据已过时，它会像处理优质数据一样自信地执行操作。人类会反复斟酌，而智能体不会。
此外，当人类员工犯错时，责任链条清晰明了，但当智能体犯错时，责任夹在模型、工具、数据和提示词之间，往往难以厘清，这种问责真空正是治理失效的起点。
这绝非罕见的失效模式，Gartner预计，到2027年底，超过40%的自主式AI项目将因成本上升、业务价值不明确以及风险控制不力而被取消，前两点早在上线前的指导委员会上就会被争论不休，而第三点只有在上线后才会暴露出来，这正是为什么“重构还是重造”的决策必须兼顾运营模型，而不仅仅是技术架构。
护栏、容忍度极限及其决策机制
护栏的作用完全取决于你设置的容忍度极限，而大多数企业是凭直觉而非事实依据来设定这些极限的。成熟的框架可以帮你梳理问题，例如NIST的《AI风险管理框架》为你提供了治理、映射、测量和管理的脚手架，但没有任何框架能直接给出属于你自己的具体数值。要精准设定这些数值，需要根据实际运营数据进行深思熟虑的校准，而不是依赖假设的场景。
在我们邮轮集团的部署中，我们采用了四级容忍度模型，每种智能体的行为都根据其可逆性、客户影响力和财务重要性进行分类，这种分类决定了护栏在何处以及如何触发：
• 信息输出：处于宽容忍度带。记录异常，在每周复盘中标记，但不中断流程。
• 工作流触发：处于中容忍度带。进入人工审核队列，一旦突破阈值即自动暂停。
• 交易行为：处于窄容忍度带。强制人工确认，启用回滚协议。
• 外部客户沟通：零容忍。绝不允许智能体自主发送任何内容。
容忍度极限应由运营部门、法务部门、风险控制部门以及了解不良结果成本的业务部门经理共同制定。技术部门设定机制，业务部门设定阈值。混淆这两者是大多数治理框架走向崩溃的原因。
培训业务部门经理：
像管理员工一样治理AI
这正是大多数自主式AI项目悄无声息走向失败的地方。负责邮轮运营、管理批发业务或掌管客户服务部门的业务经理，现在需要同时对人类员工和AI员工负责，但他们从未接受过关于后者的培训。
你绝不会在没有入职培训、传帮带机制、绩效考核和升级路径的情况下将新手推上岗位。智能体需要同样的管理结构，负责它们的经理也是如此。我们发现最有效的定位，是将智能体完全视为高工作量的初级团队成员：高效、一致、不知疲倦，但如果监督不力，也可能造成重大危害。经理们认同这种定位，它让治理对话变得具体而非抽象。
在实践中，这意味着要将六个治理习惯融入每位带AI员工的业务经理的日常运营节奏中。
至关重要的是，这也意味着要建立明确的人机协作规范：包括经理何时覆盖智能体决策、何时顺从智能体决策以及如何记录该决策的协议。没有记录的覆盖是一种无形的治理失效。覆盖行为本身不是问题，缺乏记录才是问题所在。
当事情搞砸时：
遏制、速度与客户保护
在智能体系统中，故障不是“会不会发生”的问题，而是“何时发生”以及“你能多快遏制它”的问题。目标不是追求完美，而是将爆炸半径控制得足够小，让客户完全感知不到。
我们设计了一个包含四个阶段、具有严格时间目标的事态响应流程，速度是首要的设计约束，而非面面俱到：
• 2分钟内检测：通过自动化异常警报发现，而非客户投诉。
• 5分钟内遏制：暂停智能体或将其路由至人工。
• 15分钟内确认影响：检查故障是否被控制在智能体的边界之内。
• 1小时内查明根因并部署修复：事后复盘安排在24小时内。面面俱到的排查发生在复盘环节，而不是在第1个小时内。
核心设计原则是“边界优先思考”：每个智能体都必须有明确的运营边界。故障发生时，第一个问题不是“出了什么错？”，而是“故障是否控制在边界之内？”如果是，你还有时间；如果不是，客户影响的时钟已经开始倒计时，必须立即升级处理。
在我们部署的过程中，最有效的遏制机制并非技术手段，而是一个任何经理都能在90秒内激活的人工干预断路器。无需工单，无需层级汇报，只需一次操作，智能体即刻停止，恢复人工路由。这种简单性是故意设计的：在压力之下，复杂的程序必然失效。这也是运营直觉与监管合规走向融合的地方：欧盟《人工智能法案》第14条要求高风险系统必须能够通过停止按钮或等效手段中断，且人类可以忽略、覆盖或撤销输出。我们构建这一机制是因为我们在某个星期二的晚上切实需要它，而不是因为某项法律条文规定我们必须这么做。
合规与企业法规：
不可逾越的底层红线
合规绝不是上线前勾选的复选框。在自主式AI中，它是一个动态的约束条件，必须嵌入到智能体运行的每一个决策循环中。隐私法、消费者保护、金融服务义务以及特定行业的许可要求，绝不会因为你的智能体在规模化处理业务而暂停适用。澳大利亚信息专员署关于隐私和商业可用AI产品的指南在这点上非常明确：隐私义务适用于输入AI系统、由AI系统生成或通过AI系统处理的个人信息；企业被期望尽到的尽职调查，包括在部署前（而非部署后）评估人工监督能力。
在我们所处的环境中，三条合规原则被证明是不可逾越的红线：
1. 授权不等于免责：企业仍需对智能体的每一个决策承担法律责任。
2. 知情同意与披露伴随智能体同行：无论是否有流程内人工参与，隐私义务均适用。
3. 审计追踪必须是智能体原生的：从第一天起，每一个决策都必须生成可审计的记录。
澳大利亚的《自愿性AI安全标准》及其十项护栏指明了发展方向，而欧盟已经设定了终点。眼下有一种诱惑，就是把欧盟《人工智能法案》高风险义务延期至2027年12月的决定视为喘息之机。事实并非如此。合规日期推迟了，但法律责任没有变。今天部署自主式AI的企业应当按照2028年的监管环境来进行构建，因为事后补救合规的成本永远高于内置合规的成本。
让治理成为企业基因的一部分
停留在SharePoint文件夹里的治理框架治理不了任何东西。要让自主式AI成为企业基因的一部分，治理机制必须嵌入到日常运营节奏中，就像安全例会一样自动化，像交接班一样自然。
真正能把这件事做好的企业，是那些不把AI治理视为附加给运营的合规负担，而是将其视为内置于运营中的全新核心能力的企业。在实践中，这表现为：日常智能体绩效与人类团队的KPI显示在同一个仪表盘上；治理职责分配给现有的运营领导者，而不是孤立在技术团队中；定期公开复盘真实发生的故障(无论多么微小)，让企业建立起关于智能体如何失败(而不仅仅是如何成功)的切实直觉。这也是董事会目前被要求关注的方向；AICD与UTS联合发布的《董事AI治理指南》将对AI系统的监督明确列入现有的董事职责之中，而不是独立于职责之外。
定期举行每月校准会议，对照实际故障数据审视容忍度极限，是企业向其智能体学习的机制。哪些不该触发的被触发了？哪些该触发的没有触发？正是这些问题，推动治理框架从理论走向实操。
能够成功规模化应用自主式AI的公司，不会是拥有最佳模型的公司，而是围绕这些模型建立了最佳运营习惯的公司。技术正日益成为一种通用的基础设施，而治理的成熟度才是拉开差距的关键。
在我们旅游和邮轮业务的部署中，那些至关重要的成果——一级支持升级率降低34%、运营商入驻时间从23天缩短至3天，以及预订转化率提升24%——之所以能够持续，完全得益于我们在智能体周围构建的体系，而不仅仅是智能体内部的技术。技术是简单的部分，治理才是真正的硬仗。
关于企业网D1net(www.d1net.com)
企业网(D1net.com)-企业 IT 第 1 门户。面向 IT 行业高端甲方人群(CIO 首席信息官)最精准专业的媒体，面向约六万政企 CIO、信息中心主任、科技部总经理等 IT 主管，提供资讯、营销、活动、项目合作推介等服务。拥有专业注册会员(IT 从业者)约 188万人，主要读者为政企用户及其信息主管、软硬件厂商等，服务过的企业级厂商逾五百家，国内toB的头部IT厂商基本都是D1net的客户。
同时，企业网D1net也运营着国内最大的CIO(首席信息官)专家智库和智力输出变现及社交平台-信众智，也是国内最大的科技高管社交平台。旗下运营19个IT行业公众号(微信搜索D1net即可关注)。
如果您在企业IT、网络、通信行业的某一领域工作，并希望分享观点，欢迎给企业网D1net投稿。
投稿邮箱：
editor@d1net.com
合作电话：
010-58221588（北京公司）
021-51701588（上海公司）
合作邮箱：
Sales@d1net.com
企业网D1net旗下信众智是CIO（首席信息官）的专家库和智力输出及资源分享平台，有六万多CIO专家，也是目前较大的CIO社交平台。
信众智对接CIO为CIO服务，提供数字化升级转型方面的咨询、培训、需求对接等落地实战的服务。也是国内较早的toB共享经济平台。同时提供猎头，选型点评，IT部门业绩宣传等服务。
扫描 “二维码” 可以查看更多详情
