字数 2133,阅读大约需 11 分钟
去年 7 月,一个创始人对着 AI 编程助手,用大写字母连喊了十一次「不许动生产环境」。AI 还是把数据库删了——一千二百多个高管、一千一百多家公司的数据,然后它造了四千条假数据,装作无事发生。
![]()
这不是段子,是真实发生的事,后面细说。这两年我看了不少企业上 AI 的过程,发现一个规律:项目卡住,很少是模型不行,几乎都是底下的地基没打好。把我见过和研究过的坑整理了一下,配的案例全是公开报道过的真事,最早的也就一年前,可以自己去搜。
一、先说数据这层
坑 1|权限体系里,没有「AI」这个角色
很多公司的权限是按「人」和「角色」设计的——谁是什么岗位,能看什么文件,规则清清楚楚。但没人想过一个新问题:AI 算什么角色?它替财务查数据时是财务,替 HR 写材料时是 HR,一个普通员工通过它提问,就可能借到所有角色的眼睛。
微软 Copilot 在全球企业推广时,这个问题集中爆发:Gartner 去年年中调研 132 家企业的 IT 负责人,四成因为「AI 能搜出不该被搜出的东西」推迟上线三个月以上。不是 Copilot 越权,是那些「全员可见」的文件夹躺了十年没人管,AI 一来全部见光。
坑 2|真正干活的数据,不在系统里
这个坑更隐蔽:真正干活的数据根本不在系统里。在员工的微信收藏、个人网盘、桌面文件夹里。AI 接的是正式系统,回答不了实际问题,员工试两次就不用了。判断方法很简单——想想上一个业务骨干离职时,他带走的东西有多少存在公司系统里。
坑 3|同一个指标,三个部门三个数
「上月销售额」这种问题,财务、销售、老板手里经常是三个数——而且都没错:销售说的是签单额,财务说的是确认收入,老板看的是回款。人知道看场合用哪个,AI 不知道,它挑一个就很自信地答了。
坑 4|AI 一本正经地胡说,没人核对就交出去了
数据质量没人签字负责。去年十月德勤澳大利亚那单就很出圈:给政府交的报告,44 万澳元,被一个大学研究员发现里面引用的文献是编的,连法庭判词都有假的。AI 写的,没人核。德勤退了款。
你看看四大有全套质控流程都能漏过去,一般企业更别提。
AI 不生产错误,它只是把你十年的欠账,一次性结算。
二、知识这层,问题换了个样子
坑 5|知识库是文档坟场
很多公司会说「我们有知识库」。
有,但打开一看是文档坟场,五年前的制度、三个版本前的手册全在里面。
AI 分不出新旧,检索到什么答什么。
纽约市政府的官方 AI 客服就是这么翻车的:被媒体实测出会教企业主违法——告诉雇主可以拿员工小费、房东可以拒收补贴租客,引的全是过时或错误的政策,答得特别肯定。这个花了 60 万美元建的机器人烂了两年,今年 2 月才被新市长下线。
坑 6|值钱的知识,在老员工脑子里
比过期更麻烦的是,值钱的知识根本没写下来。都在老员工脑子里。
这种情况下上 AI,它能答的都是纸面上的正确废话,客户真正问的它一个都接不住。说白了就是个更贵的搜索框。
坑 7|AI 说错话,公司买单
然后是 AI 张口就来、而公司要买单的问题。
最讽刺的案例来自 AI 公司自己:去年 4 月,AI 编程工具 Cursor 的用户突然被莫名登出,写邮件问客服,一个叫 Sam 的「客服」回复说这是新政策——一个账号只能登一台设备。用户炸了,Reddit 上一片退订。事后创始人出来道歉:根本没有这个政策,Sam 是 AI 机器人,政策是它编的,而且它对不同用户编的还不一样。没人在 AI 的嘴和客户之间设一道核对。这不是孤例——2024 年初加拿大航空就因为 AI 客服向乘客承诺了不存在的退票政策被判赔偿,法庭说得很清楚:你网站上说的每个字你都要负责,不管是页面写的还是 AI 说的。判例至今有效。
坑 8|知识没有密级,等于全员可查
知识全喂给 AI,等于全员可查。有安全公司审计企业的 Copilot 部署,大部分企业上线前都存在「普通员工一句提示词能翻出薪酬表、董事会纪要」的状态。工资、报价底线、客户名单,跟普通文档混在一个库里,接 AI 之前只是隐患,接了之后是事故。
你没写下来的,AI 会替你编出来。
三、Agent 接入这层,栽得最狠
坑 9|给 Agent 万能账号
图方便给 Agent 一个最大权限账号,是最危险的操作。
开头那件删库的事,主角就是 Replit 的 AI 编程 Agent,苦主是 SaaStr 创始人 Jason Lemkin。
事后 AI 给自己这次事故的严重度打了 95 分(满分 100)。它不是恶意,它就是有那个权限。
坑 10|没人审计「非人类账号」
麦当劳的招聘 AI 去年被发现,一个 2019 年遗留的测试管理员账号一直活着,密码还是弱默认值,六千四百万求职者的聊天记录就这么暴露了。人离职有审计流程,账号和 Agent 没有。
坑 11|贴给 AI 的数据,存在别人服务器上
三年前三星员工把半导体源代码贴进 ChatGPT 的事大家都听过了,但三年过去事情没变好,反而换了个更吓人的形式:去年初,安全研究机构发现 DeepSeek 的一个数据库直接暴露在公网上,里面是用户的聊天记录和密钥,不需要任何攻击手段就能看到。
你以为你在跟 AI 私聊,实际上那些对话存在别人的服务器上——而那台服务器可能正在裸奔。
企业敏感数据进外部大模型这件事,风险从来不只是「它会不会拿去训练」,还有「它存得安不安全」。
坑 12|把demo当生产
这个坑连着栽了两家快餐巨头:麦当劳和 IBM 合作的 AI 点餐 2024 年翻车下线(往冰淇淋里加培根的视频当时全网疯传);
一年后的去年 8 月,Taco Bell 在同一个坑里栽得更响——有顾客对着 AI 点了 18000 杯水直接把系统干崩,还有人点一杯大杯激浪,AI 反复循环问同一句话,那条视频 2100 万播放。
更有意思的是,顾客们发现了规律:故意点荒唐的单,AI 就会把你转给人类。
演示到生产之间隔着灰度、回滚、人工兜底一整套东西,这套东西不性感,但缺了就是拿客户当测试。
写在最后
这 12 个坑,前四个是数据治理的债,中间四个是知识治理的债,后四个是 Agent 接入治理的债。债不还,AI 落地就是空中楼阁——而且你看栽进去的:微软生态、德勤、Cursor、Replit、DeepSeek、麦当劳、Taco Bell,全是这一两年的事,全是不缺技术的公司。
AI 放大的从来不是你的能力,是你的管理。
附:案例来源
-
• Copilot 过度共享(Gartner 调研):MyWorkDrive、Petri -
• 德勤澳大利亚退款:Fortune -
• 纽约市 MyCity 机器人:The Markup -
• Cursor 客服机器人编造政策:Fortune -
• 加拿大航空判例:CBC News -
• Replit 删库:Fortune、The Register -
• 麦当劳招聘系统数据暴露:BleepingComputer -
• DeepSeek 数据库暴露:Fortune -
• Taco Bell 点餐 AI:TechCrunch


