▼
在人工智能飞速发展的今天,AI技术已经深入到我们生活的方方面面。作为中兴通讯的AI算法首席专家,刘涛在AI领域深耕多年,见证了AI从理论到实践的飞跃。从通信基带工程师到AI算法首席专家,他在中兴通讯的18年职业生涯如同科技演进的微缩史。当团队用星云大模型摘下SuperCLUE推理榜冠军时,这位爱下围棋的AI老兵正守着烤箱等待乳酪蛋糕膨胀——技术攻坚与生活柔光,在他手中奇妙交融。
访谈嘉宾:刘涛——中兴通讯 资深AI算法专家
中兴通讯技术规划部,目前担任中兴星云大模型项目经理,主要研究领域为大模型算法,并行训练技术,模型推理优化,高性能计算等,在相关领域取得多项专利。
转型:当通信老兵撞上AI浪潮
🔎"从通信协议到神经网络,技术的浪潮从未停歇,唯有不断学习与转型,才能在变革中抓住机遇。"
刘涛在2023年AiDD首届峰会演讲
职业生涯的起点与转型
我07年加入中兴通讯,至今已近十八年。职业起点是基带开发岗位,主要从事嵌入式软件开发工作,参与了3.5G WiMAX通信制式的软件实现。这一阶段深入接触通信协议与底层信号处理技术,积累了扎实的系统级开发经验,为后续的职业生涯打下了坚实的基础。
随着时间的推移,我逐步从底层开发向更高层级的软件系统拓展,先后参与信道软件、协议业务层及数据库相关模块的开发。这一转变不仅拓宽了技术视野,也加深了我对软件架构设计、系统耦合与模块化设计的理解,逐步建立起全局性的工程思维。在中兴通讯期间,我还担任过技术教练,负责软件架构设计、大型软件模块级重构和团队技术指导。这一角色不仅提升了技术规划与方案评审能力,也锻炼了团队协作、技术沟通与知识传递的能力,积累了初步的技术管理经验,后续担任某软件项目负责人。
17年前夕,是我职业生涯的一个重要转折点。这一年,AI领域迎来多项里程碑式突破:卷积神经网络在图像识别任务中取得显著成果,AlphaGo在围棋对弈中战胜人类顶尖选手。这些事件让我深刻认识到AI的技术潜力以及未来发展前景。恰逢公司也在准备发力AI方向,我有幸被推荐加入这个项目,从此便踏上了AI领域的探索与深耕之路。
AI领域的初步探索与平台建设
初入AI领域,主要聚焦于AI平台的构建,包括AI云平台的搭建以及训练与推理框架的优化。这是一个全新的领域,对我们来说充满了挑战。
首要任务是系统理解AI技术的基本原理及典型应用场景。虽然我在通信领域积累了丰富的工程经验,但AI方向涉及大量数学、统计学与计算机科学的交叉知识,需要通过持续学习完成知识体系的重构与补足,逐步建立起对模型训练、优化与部署的完整认知。
在此基础上,我带领团队着手构建支撑AI研发的软硬件一体化云环境、设计高效稳定的训练架构,并持续优化训练和推理性能。在这个过程中,我们提出根据节点网络拓扑、带宽等信息,搜索更优的分布式训练参数配置以平衡计算资源与通信开销,进而提升多节点训练任务GPU效率的方法,加速了模型训练。同时,在推理优化上,我们对模型剪枝、蒸馏、量化的效果也达到当时先进的水平。这些技术积累,为团队转型大模型方向奠定了坚实的工程基础,我们团队也是业界最早推行FP8混合精度训练和INT4量化部署的团队之一。
此外,为促进技术开放与生态共建,我们还推出了中兴首个聚焦AI推理优化的开源社区——Adlik社区,提供了我们对模型优化和推理服务优化的成果,通过开源社区,我们与全球开发者开展技术交流与协作,共享优化经验与工具链成果,在推动自身技术进步的同时,也为AI技术的普惠化发展贡献了力量。
攻坚:20人团队如何摘下推理桂冠
🔎"在算力与数据的战场上,小团队也能凭借协作与创新,用批判式学习和知识图谱破解大模型的‘幻觉’难题。"
随着ChatGPT的爆红,大模型在AI领域的重要性和巨大潜力愈发凸显。受此启发,我们迅速调整项目方向,聚焦大模型领域技术,开启新一轮探索。
在大模型领域,我们首先从研发领域的应用落地入手,以提升整体研发效能为目标,推出了第一代面向软件开发场景的专用模型——NebulaCoder,并持续迭代升级。该模型可辅助开发者完成代码补全、错误检测、代码优化等任务,在中兴通讯内部推广应用,显著提升了开发效率。
然而,大模型的研发过程充满挑战。训练所需的大规模计算资源与海量数据成为首要难题,如何在资源有限的情况下提升训练效率与模型质量,成为关键课题。为此,团队引入分布式训练、混合精度训练、模型压缩等多种优化策略,有效提升了训练的稳定性与资源利用率,并不断通过应用数据飞轮反馈,提升训练数据场景多样性和数据质量,增加大模型训练数据的知识密度。
在追求性能的同时,模型的可解释性与鲁棒性也被置于重要位置。我们通过引入批判式学习机制,将任务描述与批判信息融入训练语料,增强了模型对异常输入的应对能力。同时,结合知识图谱驱动的属性迁移方法,有效缓解了大模型常见的“幻觉”问题,显著提升了输出的准确性与可信度。
经过持续打磨与优化,NebulaCoder模型逐步走向成熟,并且取得了优异的成绩。截至今年5月,NebulaCoder V6在SuperCLUE推理榜单中并列第一,在综合榜单中荣获银牌。这一成绩对我来说鼓励很大,不仅是对技术路线的有力验证,也证明了我们在大模型领域的实力和潜力,坚定了我们继续深耕大模型领域的信心。
SuperCLUE 推理榜单深度聚焦模型的逻辑思维与问题解决能力,涵盖数学推理、科学推理、代码生成三大硬核维度。
确实,在参与权威榜单评测的过程中,我们遇到了很多挑战。其中最具代表性的是大模型普遍存在的“幻觉”问题。在生成文本或代码时,模型有时会输出看似合理但实际错误或违背常识的内容,严重影响结果的可靠性。
为应对这一难题,团队引入高质量结构化知识图谱,提出了一种 领域共享属性和自校验的图谱知识注入框架 DASER(Domain-Aware Self-validating Entity Representation),该框架能够非常准确的识别海量预训练文本中的缺失知识和错误知识,对其进行补全或纠正,能够在增训阶段对原始文本数据进行深度赋能,有效的增强模型的知识性能力,让模型“看得多”,又“学得准”,更“懂得深”。具体而言,首先从预训练语料中进行检索,自动抽取和构建领域知识图谱;然后通过大模型能力,自动构建规则并扩充图谱,填充缺失知识,最后基于生成图谱进行数据合成。以天文学知识为例,我们以“木星”关键词检索和语义匹配,在原始数据库中搜索相关数据,通过自动化工具来进行图谱属性和实体抽取,如“位置特征”、“质量”、“成分”等,再使用大模型来自动构建该领域下的节点扩充规则,系统化比较其他行星在各项属性上的异同,再通过检索补全缺失属性,修正错误属性。该方法不仅构建了完整、准确的知识图谱,还显著增强了模型对结构化知识的理解与应用能力,有效缓解了大模型的幻觉问题。
此外,我们也发现,在代码生成和复杂推理方面,模型的泛化性与反思能力主要体现在能否在复杂、未知的代码任务中输出准确、可执行的代码,能否自主发现并修正推理逻辑中的潜在错误,而在模型精调阶段仅使用正面问答对样本进行训练,容易导致模型知识固化,缺乏深度思考与理解,泛化性不足。为此,我们引入了“批判式学习”(Critique Learning)算法,让模型能够学习主动批判已有回答的正确性,为下面模型的回答提供更优的上下文信息。我们在编码、复杂推理和指令跟随等场景中,构造任务-回答-批判信息的三元组数据对,进行SFT训练,经实验验证,这一策略显著提升了模型在复杂场景下的鲁棒性与准确性,模型性能有明显提升。
在纠错阶段,他们引入了「批判性强化学习(CRL)」,选取 STEM 领域的高难度问题进行专项训练,迭代提升模型回答高难度问题的准确度。
在打榜过程中,我们还遇到了很多其他挑战,还提出如细粒度强化学习等方向,大家可以参考我们的技术报告,来了解细节。我们也充分借鉴开源社区的力量,参与技术交流,融合外部智慧,与其他开发者共同交流协作,推动大模型在研发场景中的落地与演进。
在团队管理方面,我认为最重要的是维护好项目规划,并实时跟踪业界的变化。在快速演进的大模型时代,项目规划面临前所未有的不确定性——技术迭代迅速,需求边界模糊,三个月后的技术格局可能已截然不同。在此背景下,高效的团队管理与敏捷的协作机制成为项目持续推进的关键。
因此,我们充分发挥团队的协作性,遇到技术问题时集体讨论,拿出技术方案。在算力资源受限的条件下,要求算法人员兼具业务敏感度与技术洞察力,能够在多条潜在路径中识别高价值方向,并具备独立推进与协同配合的能力,能够快速开展技术验证。同时,我们定期举办内部技术分享会,同步前沿研究进展与行业动态,激发成员的创新意识,促进跨方向思维碰撞,形成持续学习的组织文化。
团队成员以95后及更年轻的新生代为主,思维活跃,注重归属感与情绪价值。为此,我们也经常组织团队活动,通过旅游、分享烘焙甜品、生日庆祝等轻松愉快的活动形式,增强团队的人文关怀与氛围营造,促进团队成员之间的情感连接,逐步建立起积极向上、团结协作的团队氛围。
进化:从"氛围编程"到“AI自主革命”
🔎"未来不是AI取代人,而是人与AI共同进化——工具会迭代,但解决问题的核心永远是场景与需求的精准匹配。"
该图片由AI生成
AI技术的未来发展方向
我认为AI技术的未来发展方向应聚焦于解决应用场景下的实际问题。无论是用模型还是用Agent,本质上都是工具。当前来看,Agent 与模型相结合,会更好地解决应用场景问题。
Agent 是一种能够感知环境、做出决策并执行动作的智能体。它可以根据用户需求和场景变化,自主调整行为策略,提供更加智能化和个性化的服务。而模型作为 AI 技术的核心,通过学习大量数据,提取出有用的特征和模式,为 Agent 提供关键的决策支持。
长远来看,Agent的能力会逐渐迁移到模型侧。随着工作流的建立,将形成一个自主运转的数据飞轮:通过实际工作流积累高质量的训练数据,并构建反馈驱动的训练体系。这些数据持续反哺模型优化,使模型能力不断增强,最终吸收原本由 Agent 承担的规划与控制功能,可以提升模型在各类应用场景下的泛化性。这将使得AI技术更加智能化、自主化,能够更好地适应各种复杂的应用场景。
在 AI 驱动的软件工程新体系方面,需要从模型与工具的协同出发,逐步构建适配 AI 特性的开发流程与方法论。这包括模型的训练、验证、部署和监控等环节,需与传统软件工程实践相结合,形成一套完整、可落地的 AI 软件工程体系。
在模型训练方面,我们需要建立高效的训练框架和算法,构建数据质量评测体系,充分挖掘有限计算资源与数据的潜力,提升训练效率与模型质量。在模型验证方面,需设计合理的验证策略与评估指标,确保模型具备良好的准确性与鲁棒性。在模型部署方面,需综合考虑模型的部署成本、实时性、可扩展性与安全性,确保模型能够在各种环境下稳定运行,并综合权衡各类优化方案与模型性能。在模型监控方面,我们需要建立有效的监控机制,及时发现并处理模型运行中的异常问题。
AI在简单任务场景下,已经展现出较强的代码生成能力。例如函数级或类级的代码生成,以及对外部依赖较少的任务,大模型的生成成功率已达到较高水平。这类任务通常具有明确的输入与输出模式,模型通过学习大量历史代码样本,能够有效捕捉其中的结构规律与编程习惯,从而实现较为准确的自动补全与代码生成。
然而,随着研发场景的深入,任务复杂度显著提升。如何在更长的上下文中精准识别代码间的依赖关系,理解跨模块调用逻辑,并应对复杂的业务需求,成为新的挑战。在当前模型能力不足的情况下,这类问题仍然需要以“人主导、AI 辅助”的编程方式为主。例如,在大型软件项目中,开发者需理解整体系统架构与模块间交互关系,才能准确定位需要修改或优化的代码位置。这一过程高度依赖开发者的业务积累与工程经验,同时,也需要 AI 工具在代码检索、上下文提示、变更影响分析等方面提供有力支持,提升决策效率。
值得注意的是,随着开发者对模型输出的修正和高质量标注数据的积累,模型将逐渐学习到特定场景下的数据组织和生成方式。未来,AI 辅助研发有望从“辅助生成”向“自主生成”演进,逐步过渡到以 AI 为主导的自动化编程模式。模型将能够根据用户需求和场景变化,自主生成符合要求的代码或解决方案。这不仅将大幅提升开发效率与代码质量,也有望显著降低开发成本与潜在风险。
未来:能耗与伦理的双重枷锁
🔎"全模态与低能耗是技术的前路,可解释性与伦理则是AI走向成熟的必经之门。"
该图片由AI生成
对AI未来发展的看法
首先是全模态模型的发展。未来的AI模型需要具备接收和处理图像、声音、视频等多种模态信息的能力,这种多模态融合将显著提升模型的通用性,拓展其在现实场景中的应用边界。然而,实现这一目标的关键在于解决不同模态数据之间的对齐、融合与协同处理问题,确保模型能够高效、准确地理解跨模态语义,实现统一的感知与推理。
其次是AI在特定领域能力的深化。当前,AI在应对复杂业务场景时仍存在局限,尤其是在理解深层业务逻辑方面表现不足。未来的发展需要重点解决如何将领域知识有效融入模型,包括如何构建高质量的业务知识图谱与代码知识图谱。这不仅依赖于模型架构的创新,也需要跨学科的知识整合与工程化能力的持续积累。
另外,AI的能耗问题也是一个重要的挑战。当前大模型在训练和推理阶段消耗大量计算资源,限制了其在边缘设备和个人终端的部署。未来需通过新的模型结构优化,降低单位数据量训练或推理所需算力,并优化训练与推理算法、压缩模型规模、提升计算效率等方式,降低能耗,提高能源利用率,推动AI向轻量化、低功耗方向发展,真正实现“AI 下沉”到终端侧。
最后,AI的可解释性与伦理治理问题也不容忽视。随着AI系统在医疗、金融、交通等关键领域的深入应用,其决策过程的透明性、合规性与道德一致性变得尤为重要。未来需要在技术层面提升模型的可解释能力,同时建立完善的监管机制与评估体系,对AI的决策过程进行有效监督,确保其运行符合人类伦理和道德标准。
总体而言,AI的未来发展既充满机遇,也面临多重挑战。唯有在技术创新、工程实践与社会责任之间取得平衡,才能推动AI技术持续突破,为社会创造更多便利和价值,并实现健康、可持续的发展。
AI技术的快速演进对从业者的综合能力提出了更高要求。持续学习的能力和对技术探索的热情,是保持竞争力的关键。面对日新月异的AI技术动态与研究进展,从业者需主动跟进前沿成果,保持对新技术的敏锐感与好奇心。同时,扎实的专业基础和工程能力不可或缺,能够独立完成模型训练优化、部署、应用开发等全流程任务,是实现技术落地的重要保障。
除技术能力外,对业务场景的深刻理解同样重要。AI的应用高度场景化,不同领域的需求差异显著。从业者需深入挖掘业务痛点,准确把握实际问题的本质,才能将技术与需求有效结合,设计出真正有价值的解决方案。这种“技术+业务”的双重视角,正在成为衡量AI人才价值的重要标准。
此外,跨领域的知识储备也尤为重要。例如,了解通信协议、软件工程流程、系统架构设计等相关知识,有助于更好地融入实际开发环境,提升AI系统与现有技术栈的协同效率。具备多领域背景的复合型人才,往往能在复杂项目中发挥更全面的作用。
此外,创新思维与协作能力同样关键。AI是一个持续突破边界的创新技术领域,需要从业者不断探索新的应用场景与技术路径。与此同时,项目的推进往往依赖团队协作,与开发者、研究人员以及业务方的高效沟通与协同,是推动技术从实验室走向落地的重要支撑。
未来,AI从业者不仅是技术的实现者,更是问题的定义者和价值的创造者。唯有在技术深度、业务理解、跨界视野与合作能力上协同发展,才能在快速变化的AI浪潮中持续成长,发挥更大作用。
平衡:烤箱和棋盘上的人生算法
🔎"工作如对弈需全局谋划,生活似烘焙要耐心等待——压力与柔光的平衡,才是持续创新的秘密配方。"
个人经历与成长
我出生于天津的一个普通家庭,父亲是一名高中教师,母亲在企业从事会计工作。他们从小就注重培养我的逻辑思维能力和建立良好的学习习惯,为早期成长奠定了坚实基础。童年时期曾系统学习围棋,这对我的思维方式构建有很大帮助。围棋需要玩家具备全局观念、逻辑推理与决策能力,这些能力在我后续的学习和工作中都发挥了重要作用。
中学阶段就读于耀华中学,学校重视综合素质与创新能力的培养,营造了开放、严谨的学习氛围,夯实了知识基础与思维能力。本科期间,曾获得全国大学生物理竞赛二等奖。研究生阶段,我在南开大学攻读通信专业,这为我后来的职业生涯提供了重要的专业背景。
这些经历共同塑造了我扎实的专业基础与持续学习的能力。在AI领域的研究与实践中,能够快速跟进技术前沿,捕捉研究动态,并积极探索新场景下的应用可能。同时,始终关注AI技术与实际业务需求的结合,致力于将前沿能力转化为切实可行的解决方案。
AI技术已深度融入日常生活,能够带来切实的便利与体验升级。例如,在带孩子参观博物馆时,借助AI导览设备,可以随时获取展品的详细信息与历史背景,并可以通过问答方式了解知识。这种互动方式不仅提升了参观效率,也增强了趣味性,有效激发了孩子对文化与知识的兴趣。导览系统能够根据位置和个人偏好提供游览路线推荐,帮助游客更方便的参观。
在日常操作层面,端侧AI驱动的语音交互功能也显著提升了生活效率。通过语音指令完成点餐、下单等操作,无需手动操作界面,真正实现了“ hands-free”的便捷体验。这些真实可感的应用体验,让我深刻感受到AI技术的潜力和价值,也让我更加坚定了投身AI领域研究与实践的决心。
AI领域的工作节奏快、挑战密集,压力也很大。但我尽量找到一些方法来释放压力,比如做烘焙、旅游与摄影等。
烘焙是一种有效的减压途径。从准备原料到完成成品,以及与家人和同事的分享,不仅增进了彼此的情感连接,也带来了切实的成就感与满足感。旅行与摄影则是另一种重要的放松方式。每年我都会安排一到两次出行,暂时脱离工作环境,专注于当下的风景与体验。在不同地域的自然风光与文化氛围中,感知生活的丰富性与多样性,获得心理上的恢复与精神上的充实。
看似简单的甜品承载着刘涛对生活热爱的态度,正如这凤梨酥里精心熬煮了4个小时的馅料
平衡工作和生活是很重要的,这样才能保持长期的创造力和工作效率。我会尽量确保自己有充足的休息和娱乐时间,以保持良好的身心状态。同时,同时持续学习与精进专业能力,以更从容的姿态面对技术演进中的挑战与需求。
结语
从通信基带到星云模型,从实验室攻坚到生活中的烘焙与棋局,技术的理性与生活的温度在他手中达成微妙平衡。十八年如一日,刘涛以工程师的执着拥抱变革,用AI解决真实问题,也用热爱守护日常。当模型在榜单登顶,烤箱中的蛋糕正缓缓膨胀——这不仅是技术胜利的时刻,更是人与时代共舞的隐喻:真正的智能,从不只是算法的突破,而是让科技有温度、让创新可持续、让未来可感知。在AI浪潮奔涌的今天,最动人的算法,始终是人心。
2025最值得关注的AI研发峰会
报名火热进行中!
为助力更多企业在人工智能的浪潮中乘风破浪,“AI+研发数字峰会(AiDD)”应运而生,旨在帮助更多企业借助AI技术,使计算机能够更深入地认知现实世界,推动研发全面进入数智化时代。
届时,刘涛将作为“智能体与研发效率工具”论坛出席峰会。扫描下方海报“二维码”或点击“阅读原文”,了解更多峰会详情!
