“是说芯语”已陪伴您1981天
文 / 田涛 殷志峰 彭勇(执笔)
来源: 正和岛(ID:zhenghedao)
编自《质量为纲》(中信出版集团)》,文章仅代表作者本人观点

01
序 章
深圳的夏天来得很早,五月中旬,阳光就炙热起来了。从梅林关沿着梅观高速向北行驶5公里,有一处繁忙的出口,指示牌上标示:富士康向左,华为向右。从出口下高速,转入张衡路,是一条林荫大道,两边高大的凤凰木开着火红的花,一树树花团锦簇,在阳光的炙烤之下,似乎要燃烧起来。
一侧的路上是去往富士康的川流不息的人群,穿着深蓝色制服的年轻人,三三两两,快步赶往工厂。
另一侧的路上是通向华为坂田基地的蜿蜒车龙,汽车走走停停,驾驶员在停顿的几十秒时间里,还习惯性地刷着手机。
陶景文就被裹挟在车龙之中,脸上写满了疲惫。看到人行道上不断闪过的年轻的面庞,他不禁回想起20多年前的自己,那时他大学毕业不久,只身来到深圳,也是每天从租住的农民房走路到公司,在食堂买几个包子后,就一头扎进软件代码之中。
同事都是年轻人,充满激情地开发新产品,一起熬夜加班,晚上在大排档吃个夜宵,再打上两局台球。现在想起来,那是多么简单而幸福啊。
后来,他转向市场与销售工作,从中国到非洲,再到欧洲,十多年间跑遍了大半个地球。再次回到深圳时,他被任命为公司CIO(首席信息官),负责流程和IT(信息系统)建设。
CIO的工作不好干。日本管理学家大前研一说过:“作为企业CIO,业务部门要什么你就做什么,这不是一个好CIO,早晚得下台;但业务部门要什么,CIO不能满足这些诉求,下台会更快。”这句话,让陶景文认识到CIO工作的价值与挑战,也领悟到IT和业务之间相爱相杀的缠斗关系,深感责任重大。
尤其是在2019年5月16日,华为被美国商务部制裁,170多个关键IT系统都面临着中断风险,全球业务的正常运作受到威胁,他更是感到压力巨大。
“嘀嘀嘀……”一辆越野车从旁边插过来,想强行加塞。放在平时,他肯定会踩下刹车踏板,让它过去。但是今天,他没有给这个机会。他惦记着一个重要的会议,要见一位老朋友。
这位朋友是美国甲骨文公司(Oracle)的区域负责人,因为商业关系,陶景文与他结识多年。在华为被制裁之后,所有与华为有商业合作的美国公司都开始解读制裁令,并采取各种措施,以遵从美国政府的规定。作为华为ERP(企业资源计划)系统的供应商,甲骨文公司也在评估实体清单的影响。从前期传递过来的消息来看,双方继续合作的可能性很小。今天,这位区域负责人将会给他一个正式的答复。
“陶总,我们和华为有着20多年良好的合作,从我们的意愿来讲,是非常希望能继续为华为服务的。”
陶景文知道接下来将是不好的消息,但还是抱着一线希望问:“贵公司是否已经向美国商务部申请许可了?”
“很遗憾,总部通知我们,停止所有与华为的合作。”
“那我们之前采购的硬件服务器,能不能按时交付?”
“非常抱歉,总部已经取消了这单采购合同。”
“在华为的30多位维护专家,还能工作多久?”
“作为朋友,我非常理解你。但没有办法,他们已经接到通知,马上就离场。”
......
送走这位负责人,会议室陷入了长时间的沉默。没有备件,没有服务,没有升级补丁,ERP系统很快就会像一台年久失修的老爷车,所有人都知道这意味着什么。
ERP系统是大型企业必不可少的核心管理软件,其重要性堪比人的神经系统,如果ERP系统崩溃,华为在170多个国家和地区的业务运作就会停摆,企业管理也会倒退回手工作业时代,公司生存会受到严重威胁。
专家撤离得很快。当天下午,平时略显拥挤的办公区就变得空空荡荡,只剩下寥寥几位华为员工站在那里,不知所措。这些专家都是甲骨文公司在中国本地雇用的工程师,他们与华为IT人员一起保障着ERP软硬件系统的稳定运行,面对突如其来的变故,他们尽管内心极不情愿就此中断自己的职责,但是总部的指令必须遵从。
ERP系统的断供停服,如同奔腾汹涌的大渡河,将困难横亘在华为面前,历史上没有一家公司面对过这样的难题。
大渡河,因水流湍急,两岸陡峭,难以摆渡和架桥,自古被称为天堑。160多年前,石达开的队伍被阻拦在这里,最终全军覆没。80多年前,中央红军面对国民党军队的围追堵截,成功强渡大渡河,创造了战争史上的一个奇迹。
面对IT领域的“大渡河”,华为同样没有任何退路可走,由全球200多家子公司、20多万名员工组成的主力队伍,能不能像当年中央红军一样创造奇迹,突破生死封锁线?
华为被迫走上了突围之路,数千人的团队即将踏上一段艰苦的征程。在乌云密布的茫茫黑夜中,似乎看不到一丝光亮。

02
船和桥在哪里?
1. 坐船变造船
2. 背水一战
那一天,
我不得已上路,
为不安分的心,
为自尊的生存,

03
与时间赛跑
1. 大机切换
04
大胆的计划
1. 解开一团乱麻
2. “换芯”之路
05
强渡
2. 大兵团作战
ERP项目共设立12个子项目组,投入1800人,高峰期有3000多人,管理体系庞大、运作复杂。由于项目工作具有临时性、跨领域等特点,如何让这个超大团队有序运作、不打乱仗,朝着共同的目标前进呢?
3. 不完美的方案
4. 人拉肩扛
而对张晓燕来说,她即将迎来一次大考——MetaERP在马来西亚子公司上线。几千人没日没夜的努力,几千项任务的协同管理,无数缺陷、问题与风险处置,都要在这一刻得到验证。而马来西亚子公司的这场首战,也和真实战场上的遭遇战一样,是在没有准备好的情况下就打响了。张晓燕心里清楚,在华为,任何困难都不是借口,目标是不能动摇的,人拉肩扛,也要把这个山头拿下来。
上线前的几个月是关键的测试联调期。各产品模块基本就绪,就像是一个个零部件已经运到了总装厂,要拼装成一台可以交付给客户的整车。作为“装配厂厂长”,张晓燕清楚地知道,现在的“总装线”还处于手工作业阶段,只能靠人海战术进行测试,拼出MetaERP的第一个版本。
何能志是从采购到付款业务流的运营经理,经过亲身实践,他设计出了一个测试程序:在一楼看完采购测试人员完成下单及验收,立即跑到三楼,跟进财经测试人员完成发票匹配及付款,如果出现故障,就地赶紧解决。
另外,他每天早上9点召开晨会,讨论每个场景的测试进展;17点开晚会,讨论产品遗留问题,雷打不动。何能志苦中作乐,把这套运作方式命名为“人肉测试线”。像何能志这样的“人肉测试线”还有几十条,供应、采购、工程、行政……涉及公司各部门,还有跨区域的线上接力,每个环节都要跑通。
2021年7月至8月,项目组完成了三轮上线演练。每次演练的夜晚都是一个不眠之夜,近500人投入业务验证中,全要素反复验证和演练,确保所场景都准确无误。
9月10日14点,MetaERP在马来西亚子公司上线。张晓燕发布动员令:“从MetaERP项目立项至今,我们一共走过了630天,一共有 1700人参与,这次上线一共有4000个任务项。MetaERP项目是一场大会战,我们每个人都为之骄傲与自豪,希望大家共同努力,为首战画上圆满的句号!”
接下来,项目组成员在“夺取首战胜利,决胜马来疆场”的标语上签名,现场团队合影、齐声宣誓。
当天18点,指挥中心宣布切换正式启动。
半小时后,完成作业系统冻结。
23点,老ERP系统成功关账。
次日16点,完成34亿行数据的数据迁移及验证,启动业务小批量验证。马来西亚账务中心的张磊特意留了自己出差的报销单,作为在新系统中的首单作业:填单、审批、发票审核、支付。“成功了,这是MetaERP付款中心的第一单!”大家欢呼雀跃。张磊说:“这单报销是我一辈子的记忆和骄傲。”
“首渡”能否成功,最后一锤要看数据湖的切换是否顺利。数据湖是业务分析、财务报告的数据源,数据切换如果出错,业务分析就会中断,财务报告也将无法出具,这将直接导致ERP切换失败。
9月11日至12日,数据湖要完成300亿行数据的初始化,这是一场耗时30个小时的持久战。
11日15点,收到总体组通告,交易侧已完成初始化,数据湖的切换正式开始。但是,在初始化环节,一个个小问题就不停地出现,一次次敲打着每个人的心弦:
“源系统切换数据库,数据湖初始化程序报错。”
“源系统的账号改了密码,数据湖初始化程序报错。”
“源系统有表需要重新初始化,数据湖也需要重新初始化。”
……
张晓燕来到数据湖切换的作战室,与大家一起审视问题,协同专家解决。好在之前经过多轮演练,大部分问题都有成熟预案,得以逐一解决。
“数据抽取又出状况了。”12日凌晨4点,在数据整合层的初始化启动后,换遇到了大表性能问题。
上午10点,张晓燕打电话给项目负责人,询问数据抽取的预计完成时间,得到的答复是14点。14点再次询问,却说要到16点,实际上18点都没完成。延迟时间在不断拉长,2小时、4小时、6小时……张晓燕着急了,把专家们一个个“吼”到了数据湖项目组。
30多人的团队集中在一起,沿着数据链路逐项排查。深夜,万籁俱寂,ERP作战室依旧灯火通明,人声鼎沸,问题排查工作依旧胶着。随着上亿行数据的反复验证和执行策略的艰难决策,数据一个一个出来,最后一个数据验证终于在22点完成,财经月报比对正式启动。
深夜2点,张晓燕已经连续奋战了36个小时,安排好后续工作后,她才拖着疲惫的身体来到了公司附近的酒店。
5. 惊险两小时
才睡了不到3个小时,张晓燕就被一通电话吵醒,迷迷糊糊抓起手机。
“你说什么?我听不清,能大点儿声吗?出了什么问题?哪里错了?”
2020年8月1日凌晨 3点大雨
完成一体机切换
保障了又一次财务月结
2020年9月16日 多云
产品迭代开发的第一个版本顺利上线
今天也是我的生日
2021年8月13日 晴
终于将手上最后一个测试案例测试完毕
3万多个测试用例,100 多个核心用户
2021年9月11日 晴
经历了上线切换的头一个24小时
十二点半项目组班车上
2021年10月2日 晴
马来西亚顺利出账
下班回到家已然熟睡的孩子
电话那头没时间联系的父母
感谢你们的理解与包容
我们是父母、子女、妻子、丈夫
我们更是华为ERP人
06
架桥
MetaERP在马来西亚上线成功,给全体项目成员和公司上上下下都带来了极大的信心。但是,马来西亚子公司的业务只占华为整体业务的不到1%,这个系统还非常脆弱,无法支撑200多家子公司的业务量。就像中央红军抢占了安顺场渡口,但只找到一条小木船一样,这样是无法支撑主力部队快速渡河的。红军必须抢夺泸定桥,才能让大部队安全、快速地通过。
1. 新的基因
第一项技术攻关,是元数据多租的技术架构。
所谓元数据,是指描述系统基本属性的数据。如果把ERP系统比作一张桌子,元数据就是长、宽、高等基本属性。在传统ERP系统中,这些属性的可调整空间是非常有限的。华为老ERP系统也因此构建了490多万行的定制代码,衍生出300多个外部应用,变得越来越庞大,架构难以治理。
而在元数据多租的架构中,具有共性的元数据被标准化,桌子的长、宽、高是基本属性,但用户可以增加颜色、材质等扩展属性,差异化需求可以做到灵活扩展、个性配置,这样就把ERP系统变成了一个开放、可扩展的系统。
元数据多租架构在ERP领域还没有先例,如果华为能够成功应用,这将是一个创举。
但在讨论过程中,也有不少担忧的声音。有人担心,现在进度本来就很紧了,元数据多租和当前任务冲突严重,项目能顺利完成吗?还有人说,以团队现在的能力和软硬件限制,能把ERP系统搞出来并上线,就已经非常了不起了,为什么还要增加难度,引进没有经过验证的新技术,搞砸了怎么办?
为了消除大家的疑虑,在一次研讨会上,常栋提出了“打造通用产品的七大原则”,统一了元数据多租整改的标准与方向。他说:“各位主管和产品经理在思想和意识上一定要统一,我们要抓住历史机遇,基于元数据打造业界领先的企业数字化平台产品,不断提升产品竞争力,支撑公司未来30年的发展。”
为了确保产品质量,项目组决定紧急刹车,将现有开发任务暂停3个月,由于距上线时间仅剩6个月的时间,所有产品团队必须在3个月内完成元数据多租整改。
熊彼特说过,创新就是一个创造性破坏的过程。项目组勇于打破思维惯性的约束,敢于中断本来就捉襟见肘的开发进程,这真是一个疯狂的决定!认准了就勇往直前,所有人奋笔疾书,签下了任务书,开始了覆盖全产品的元数据多租整改。
经过紧张的整改工作,项目团队成功完成了32个业务对象、505个实体、1482个应用服务、544个页面等元数据的构建及发布,元数据就此全面诞生,为MetaERP产品注入了面向未来的基因,让它不再只是一个冷冰冰的软件程序,而是拥有了可以自我分裂和扩展的生命力。
2. 新的底座
第二项攻关,是云原生技术。所谓云原生,是指在云计算环境中构建、部署和管理应用程序的软件方法。原厂ERP系统由一组大机来承载,云原生则意味着ERP系统的数据底座将不再是固定的物理硬件,而是调用云平台的强大计算能力和资源弹性能力,来实现各种场景下的系统功能。
2021年11月的一个晚上。夜已深,ERP研发作战办公区内依旧灯火通明。突然,啪的一声打破了夜晚的宁静,顿时众人的目光不约而同地聚焦在一处。
“算不准,还是算不准,这可怎么办?微服务解耦后数据太碎了,一张多维度科目余额报表,花了4小时计算,结果还有误差。”交易核算团队的技术负责人几近崩溃地拍打着桌子。
“以前老ERP系统在大单体结构下,数据都集中在关键的几张表中,现在七零八落,要从十几张表中汇集,这不光影响数据库的性能,数据的准确性还一直在80%左右徘徊,怎么办?怎么解决业务数据100%一致的问题?”
“MetaERP是分布式系统,按照布鲁尔定理,保证可用性、容错性的情况下,分布式系统的数据一致性是不可能达到100%的。这可是一道世界难题啊!”一位经验丰富的技术人员低声嘀咕,说出了会议室里每一位技术专家的心声。
刘振羽是MetaERP的首席技术架构师,看到大家忧心忡忡,他一时间也想不到好的办法。他想出去抽支烟提提神,于是起身走出办公楼。在经过车库的时候,他看到一辆辆电动汽车在车位上充电,突然有一种茅塞顿开的感觉。
他知道,每台电动汽车都有一个集中的电源管理系统,这个系统负责数千颗锂电池的充电、放电、散热和生命周期管理,非常强大。受此启发,他创造性地提出了ERP“总体控制”的设想,即在各个微服务之上,专门构建一个应用,自动监控数据不一致的现象,一旦发现系统或数据差异,立刻报警,并及时进行干预,这样无限逼近布鲁尔定理的极限,使数据一致性等同于100%。
一致性问题找到了解决思路,但是,还有个性能问题横在大家面前。
随着研发会战不断深入,华为云的技术攻关也在不断告捷。云的容器起弹速度从最初的每分钟1000个容器,提升到每分钟3000个,团队提前达成目标,士气高涨。
但在接下来的采购订单大单处理的性能测试中,结果却全部没有通过。大家十分着急,加班加点进行攻关,想了很多方法,比如加计算资源、数据库扩容、代码优化,但是收效有限,阻塞情况仍未改善。
连续几天的攻关,使采购模块技术架构师徐华非常疲惫,他坐在公司班车上,看着窗外飘着的绵绵细雨和拥堵的车流,喃喃自语道:“今天估计要迟到了。”
大巴车仿佛读懂了他的心思,竟一路畅行,通过了拥堵路段。
“噢,对啊,虽然其他车道很堵,但公交车道是畅通的。”
公交车道——这几个字闪现在徐华的脑海里。
“对,就是这个公交车道。如果为不同类型的采购订单划定不同的车道,比如大订单跑慢车道,高优先级的跑快车道,最后再设计一条紧急车道,处理加急订单,同时再结合华为云的容器弹性能力,这样不就最大限度缓解拥堵了吗?”
到达公司后,徐华立即与团队制订了进一步的实施方案,启动代码优化。经过3个月攻关,采购订单的处理终于不堵了。业务端到端的性能指标也从个位数一路攀升到1000,最终实现了10倍业务最大流量下性能不降的目标。自信的笑容又重新回到团队成员的脸上。
随着联合攻关中一个个技术难题被解决,MetaERP上华为云的所有技术障碍都被扫除了。经过项目组周密部署,2022年5月,51个应用、100多个数据库全部正确部署到贵安华为云,未出现一例错误和遗漏。
贵安华为云数据中心有一个接地气的名字:云上屯。这是一片五彩斑斓的欧式建筑群,依山势而建,远远望去,俨然一个童话小镇。数据中心是耗能大户,而云上屯充分运用当地自然环境,将绿色和智能技术融入整体设计中,使用瀑布和人工湖水自然冷却,实现了业界领先的能效比。现在,“生于云,长于云”的MetaERP系统就运行在这山水间的虚拟空间之中,成为一朵无迹可寻却又无时不在的云彩。
3. 新的数据库
第三项攻关,是数据库根技术的突破。数据库被誉为“软件皇冠上的明珠”,是ERP系统存储和管理数据的核心,其性能和稳定性对系统运行至关重要。华为在数据上有多年积累,也有自研的高斯数据库产品,但 MetaERP在数据库的替换上经历了一波三折,最终通过集中攻关,才取得成功。
早在2002年,华为就开始研发嵌入式内存数据库。2011年,为解决“卡脖子”问题,华为成立高斯部,开始打造完整的数据库产品。高斯是世界上最伟大的数学家之一,享有“数学王子”的美誉,他的成就非常多,单以“高斯”命名的研究成果就达110多项。华为成立高斯部,自然也希望在数据库领域能取得世界级的研究成果。随后几年,高斯部推出数据库产品,并有行客户开始商用。
但多年以来,高斯数据库的定位是做“备胎”,主要进行技术储备,公司使用的主流产品仍是国际厂家的数据库。2019年,外部环境发生巨变,保障业务连续性成为头等大事,数据库产品的替代方案也要考虑。已经坐了8年冷板凳的高斯数据库,终于迎来了“转正”的机会。
在ERP替换项目启动后,项目组对高斯数据库进行了测试,结论是“无法满足ERP要求”,所以最终决策选用开源数据库产品。
2021年9月,项目组在规划中国区切换方案时,认为现有的开源数据库单库容量小,难以支撑中国区庞大的数据量,于是决定转向使用高斯数据库,但提出了极高的性能要求。
公司成立了数据库联合攻关组,由数据库领域的负责人苏光牛和李玉章牵头,带领近200名研发人员,签下了军令状,要在8个月内达成目标。
李玉章调集高斯部精干力量,组建了“博士军团”进行攻关。
有长期在 MetaERP深耕的架构师杨迪博士,有在存储引擎技术上打造核心竞争力的任阳博士,有攻克全密态数据库技术难关的郭亮博士,有突破高可用技术瓶颈的王磊博士,有解决数据优化器和执行器、实现系统10倍压力下不崩溃的刘梦醒博士……
其中,任阳博士的突破经历颇具传奇色彩。他小时候家庭条件不好,在上高中时,家里出现变故,父母希望他接班去工厂做一名工人,但他坚持上学,并发奋读书,考上了重点大学,又继续读了硕士、博士。他做的是偏理论和底层技术的研究,由于担心毕业以后找不到合适的工作,他的内心常常充满焦虑。
跨出校门之后,他下定决心要向数据领域发展,并最终如愿应聘进入华为高斯部。但他对数据库完全是个门外汉,入职后面临完全陌生的领域。依靠自己在博士阶段积累的学习能力,他开始梳理并阅读数据库技术文献,一年内学习了上千篇文献,并与内外部不断进行交流碰撞,刷新知识结构,终于踏入了数据库技术的殿堂。
任阳博士潜心钻研,花费5年时间主导了新一代Ustore存储引擎的开发,这是高斯数据库的核心技术之一,是华为与银行客户联合创新的成果,结合了华为在分布式架构上的优势,也是国内首个媲美业界最先进数据库的技术突破。
经过联合研发攻关,高斯数据库在不到一年的时间内,各项技术指标幅提升,全面甚至超额完成目标:单体数据库容量提升6倍,从4T到24T;可用性从99.99%提升到了99.999%;在系统韧性上,做到了5 倍压力下性能不下降,10倍压力下不崩溃;逻辑复制速度提升了6 倍,达到每秒300MB……
在新技术和客户需求的双轮驱动之下,高斯部通过这一场硬仗,为 MetaERP提供了一个高性能、高可靠的数据仓库。在技术攻关过程中,团队成员也证明了自己的能力与价值,捍卫了“高斯”这个名字的荣誉。
4. 为系统注入灵魂
项目组通过一年的技术攻坚,完善了MetaERP“身体”的各项机能,在架构层面重新定义了系统,在根技术层面实现了性能提升和自主可控。
但MetaERP并不是一个单一的技术系统,技术并不能带来智慧。要让 MetaERP这个“大脑”变得聪明,就必须不断地把知识和经验赋予它—将华为积累的流程制度与管理经验和技术能力相结合,把场景抽象成规则,把规则变成可配的系统功能,再把功能用算法和代码来实现,从而形成成熟且灵活可配的产品,支撑全球业务的运作。如果说核心技术的攻关是强健其体魄,企业管理规则的沉淀就是丰富其灵魂。
袁国林是财经领域业务侧的项目经理。他在华为财经系统工作了20多年,担任过会计、审计师、子公司财务总监等多项职务。他带领着一支由56位资深专家组成的专职业务团队,这些专家大都在华为工作了10 年以上,具有丰富的业务管理和项目变革经验。他们调动数千兼职业务人员,负责对财经业务规则进行梳理和验证。
在财务管理上,华为面临着极为复杂的场景和业务规则。公司在170 多个国家和地区开展业务,要适应国际会计准则和各国的差异化准则,满足海关、税务、贸易合规等外部遵从要求,这些对ERP系统都提出了极高的需求。
固定资产的折旧计算,是ERP资产模块的一个重要功能。华为折旧计算较复杂,对同一项资产的折旧计算可能同时要满足多个外部要求:集团会计准则政策、本地会计准则政策、本地税务政策。折旧计算的方式都不一样。
袁国林对项目组提出了需求,在折旧计算时,能够同时按3套规则进行运算。根据这个需求,IT开发团队设计了新的资产折旧引擎,将多种场景抽象成可配置的折旧规则,新引擎不仅实现了全自动化处理,还能快速响应各国会计政策、税法的变化,实现多折旧规则下的集成与法人口径的折旧计算。
成本模块支撑着华为上千亿元的存货交易计价,涉及多产业和200多家子公司的复杂交易处理。在存货计价规则上,集团成本与子公司成本的计算方式也不一样,袁国林团队也把这些规则输出给IT团队,IT团队新开发了满足多计价方法、多成本口径的成本计算引擎。
与此类似,用于记账的会计引擎模块沉淀了华为在全球100多个国家和地区会计遵从的实践经验,以及内部各大差异化产业的精细化核算规则,形成了一套完善的会计实务方法,并构建了应对多会计准则的能力,运行以来,实现了核算规则运行零差错,年结日均3000万行分录平稳处理,结账没有延迟一秒钟,也没有算错一分钱。
在供应领域、采购领域、服务交付领域,另有一群“袁国林”,带着各自领域的业务专家团队干着相同的事业,他们梳理场景、抽象规则,共同铸就MetaERP的灵魂。

07
主力过河
华为南方工厂位于东莞松山湖高新技术产业开发区,是公司全球供应、采购、制造的主要基地,MetaERP中国区切换所涉及的核心业务,就在这座工厂。
这里有十多栋整齐划一的超级厂房,内部有各类先进的自动化生产与物流设备,偌大的生产线上几乎见不到人影;在巨大的屋顶上,布满了太阳能光伏发电面板,为工厂提供源源不断的绿色能源;而在厂房之外,有着蜿蜒的中央湖景、精致的小瀑布,以及安静的休闲漫步区。
第一次来访的人常常感到恍惚,这到底是花园还是工厂?经过技术攻关和业务规则梳理,现在,中国区MetaERP切换的“铁索桥”已经在这里准备就绪,但主力部队如何过桥,仍然面临两难选择。
大型企业在升级或切换ERP系统时主要有两种方法:一是全量切换法,好处是数据完整、能平滑支持业务,但切换难度大、时间长,往往需要两周以上,对企业运营影响较大;二是余额切换法,即只切换余额和未结业务数据,历史数据保持在老系统中,通常可在几天内完成,对业务影响较小,但切换后数据不完整,影响业务效率。
两种方式各有利弊,如何做好这道选择题,落到了单进的肩上。
1. 飞行中换发动机
单进是华为资深的ERP专家,严谨务实且富于思辨精神,历经海外ERP统推行、IFS等变革项目,对ERP系统有着深刻的理解,并多次参加华为过去的ERP系统升级,对各个环节熟稔于心。ERP项目成立后,单进被任命为首席解决方案架构师,他的一项重要任务,就是牵头准备系统切换方案。
“这次中国区切换,能给我们多长时间?”单进问道。
“最多只有7天。”常栋给他透了底。ERP系统每停机一天,供应链上亿的设备无法发运,上亿的款项无法收付,7天是公司能够容忍的最长停机时间。
“没问题,保证完成任务。”单进并不紧张,毕竟按照以往经验,7天时间足够了。
ERP系统切换一般包含两部分,即系统部署和历史数据迁移,前者是在应用系统上做配置,并与周边系统打通集成,后者则是把业务数据搬迁到新数据库中,让业务能跑下去。
单进的初步想法是把原先串行化的系统部署和数据迁移并行,而两者之中数据迁移尤为关键,中国区的业务量是马来西亚子公司的100倍。为此他满怀希望地求助于技术专家刘振羽,希望通过增强硬软件的方式压缩迁移周期。
然而,刘振羽当场就给他泼了一盆冷水:“基于现有的硬软件水平,在极致优化的情况下,迁移中国区的历史数据至少要两周。”
单进并不气馁。数据迁移仍然是主要矛盾,既然软硬件层面暂不能突破,那么就想办法压缩迁移数据量。按照以往的经验,通过余额切换法,可以大幅压缩迁移数据量,这次是否可以采用这种方式呢?
但常栋给他浇了第二盆冷水:“华为历史上变革项目的系统切换做过太多不平滑的事,新业务数据在新系统处理,旧业务数据在原系统中查询,给业务带来极大不便,按余额切换法,可能会让我们的业务数字化水平倒退5年。
这个项目是ERP连续性项目,绝不能再做业务‘不连续’的方案,我们要挑战无感平滑切换,探索通过新方式实现数据全量迁移,把困难留给自己,把方便留给业务。”
常栋提的这个目标,本质上是要发挥两种切换方式的优势,同时要克服各自的弊端。既要全量切换保持业务完整,又要快速切换保持业务连续,这相当于给在飞行中的飞机换发动机,业界没有先例。
单进在心里嘀咕:“完了,领导吹的牛能实现吗?”
经过一番苦思冥想,单进创造性地提出了一个“全量+增量”的数据切方案。即提前两周启动所有历史数据的迁移,在MetaERP正式上线时,用一天时间把这两周新增的数据量迁移到新系统中,这样,最后切换的时间将大大减少,对业务的影响也可以降到最低。
这个极具创意的假设,一下子激发出大家的灵感。
刘振羽立刻补充道:“是否可以用‘一次全量+多次增量’的方式迁移数据,将每日的增量数据都迁移到新系统中,进一步减少正式切换时的数据迁移量。”
话音刚落,中国区切换的总体负责人张长汝抢过话筒:“这就是ERP版本的《生死时速》,电影中满载乘客且安装了炸弹的大巴是旧系统,另一辆大巴是新系统,乘客就是业务数据,通过两辆车的平行逼近和等速行驶,把乘客逐步迁移过来。”
但有专家质疑:这种迁移方案是好,但如何保证数据不重不漏?
张晓燕回复道:“只要每天都做好新旧系统数据校验,查缺补漏,就能分散风险,保障最终数据一致,我们可以找个产品打样论证。”
库存模块是数据迁移量最大的产品模块之一,通过周密的可行性分析,“一次全量+多次增量”的方案在库存模块上通过了验证。随即财经、采购、供应领域的技术人员都调动了起来,通过不断的代码调优和测试验证,最终实现在MetaERP正式上线时,仅需4小时就可以完成最后一次增量切换,把“生死时速”方案变成了现实。
这时,历经几周冥思苦想、几近殚精竭虑的单进,终于松了一口气。他充满了自信,对常栋说:“7天切换期限太长了,对业务影响太大,我要在两天内拿下。”
常栋笑了:“先别着急吹牛,还有问题没解决呢。”
数据迁移慢的主要矛盾解决之后,系统部署慢又成为新的矛盾。旧系统与几百个外围系统之间存在着几千个集成点,这些集成点在切换时需要转接,会消耗大量时间。
在研讨中,单进提出了做一个“防腐层”的设想,即提前把几百个外围系统和新、旧ERP系统连接起来,由统一的“红绿灯”控制业务数据流向,这样在切换当天,就可以批量完成系统部署。
陶景文听到这个想法后深有共鸣,他回忆起20世纪90年代做交换机切换的场景:“华为做通信设备割接时,业务无感知是一个重要标准。
在交换机时代,客户要求厂商在一天内切换百万门交换机,其中最困难的是打线,要小时内打100万根线,这是根本不可能完成的任务。为了解决这个难题,华为发明了智能配线架的工程方法,并且在海口首次实施了无感割接。你们要把这个方案模块化,通过工程复用降低成本,提升切换效率。”
单进综合了大家的想法,在架构设计上专门规划了一个独立模块,称为“ERP伴侣”,由技术专家盛俊带领团队完成实施落地。这是一项重大的工程创新,后来在中国区切换过程中大放异彩,在一个普通周末,不足48小时,几百个外围系统从老ERP系统到新ERP系统的集成切换就顺利完成了。
切换的那个周末,单进在现场值班,平静的夜晚随着一条条顺利进展的通告而流逝,迎着天边微微泛白的曙光,他内心无比感慨:幸不辱使命,曾经吹过的牛,算是超额实现了。
2. 前拉后移
2022年1月,供应体系召集MetaERP切换部署会议。作为中国区切换的总体负责人,张长汝比任何人都更清楚ERP系统对于供应体系的意义。20年前,刚入职3天的他就加入了全球ERP推行项目组,全程参与实施过程。20年后,ERP切换的重担再一次落在了他的身上,他要把自己当年参与实施的系统给换下来。可以说,他在华为20年的职业生涯,干的就是一件事:上ERP,再上ERP。
但这次和过往不一样。不切换,老系统说不定哪天就崩溃了;切换失败,生产、供应就会直接停摆。张长汝环顾了一圈会场,从公司首席供应官到供应、采购、制造各部门的业务主管,每个人都表情凝重。
“各位业务主管,这次中国区的切换,复杂度要比马来西亚的切换高出几十甚至上百倍。涉及全球170多个国家和地区、数万客户与供应商,以及上百家工厂。系统切换期间,相关业务不能作业,我们得想清楚以什么口径跟外部沟通,这种情况会不会引起业界恐慌,让人觉得华为公司内部出了大乱子,以及怎么能不影响对客户的海量交货。”
制造部主管说:“这么多年来,以客户为中心一直是华为坚持的基本准则,哪怕是最难的‘5·16’期间,我们也都挺过去了。制造部每年6月底之后的第一周会做年中盘点,有没有可能把年中盘点和这次切换结合起来,利用这个时间窗,再延长一两天,对外沟通的口径就还是盘点?”
“大家有没有考虑过,盘点也就是3天的时间,万一ERP切换出问题,就不是一两天不能用,可能得按照一两周不可用的假设来做预案。”供应部主管抛出了一个棘手的问题。
“那不行,按正常的业务量,每天有上亿元的发货,一两周不可用,影响至少20多个亿啊。”
“如果只是把这个切换时间点错开,把客户的急单提前到6月生产,不紧急的订单推后到系统切换完之后呢?”人群中不知道谁提了一句。
“对,前拉后移,错开这个时间窗!”
前拉后移,简简单单四个字,张长汝心里却禁不住咯噔了一下。但凡做供应业务的人都知道,供应链讲的就是均衡生产,一旦生产计划要变,相应的计划、采购、仓库库存管理就都得跟着调整,其中的难度不敢想象。
“这次切换涉及400多家国内外供应商,难度肯定是有的。不过,这些供应商都是我们的长期战略合作伙伴,这几年也一直陪着我们挺过了最难的那段日子,相信这次一定也会支持。我现在就派人先去和供应商摸个底……”采购部总裁拿起手机就往外走。
3天后,张长汝接到了他的电话:“长汝,告诉你一个好消息,首批关键器件的30多家供应商摸底信息已拿到,无一例外,都愿意配合支持我们。我们初步判断,前拉后移这条路,行得通。上次咱们在会上讲这次切换有难度、有决心,这次我们可以再加上一个——有信心。”
挂完电话,张长汝心里有底了。内部有一支敢打敢拼的队伍,外部有产业链伙伴的支持,在这个不太平静的冬天里,团队的力量犹如一股暖流,温暖着每个团队成员。
3. 特殊的集结
我们团结一致,全力以赴,没有退路就是胜利之路;
我们深谋远虑,死磕细节,万事俱备方能雷厉风行;
我们稳扎稳打,坚韧不拔,供应铁军切换步步为赢;
4. 波澜不惊
08
胜利会师
1. 动员十万里
2. 争抢首单
3. 平凡的英雄
09
星火燎原
10
新的征程
加入“中国IC独角兽联盟”,请点击进入
是说芯语转载,欢迎关注分享


