大数跨境
0
0

中国移动集团首席科学家冯俊兰|腾冲科学家论坛:可信方可致远,AGI时代的安全基石

中国移动集团首席科学家冯俊兰|腾冲科学家论坛:可信方可致远,AGI时代的安全基石 九天人工智能
2025-12-08
0


12月6日,2025腾冲科学家论坛人工智能分论坛在腾冲隆重召开。中国移动集团首席科学家冯俊兰博士受邀出席,并发表了题为《可信方可致远,AGI时代的安全基石》的主旨演讲,深入剖析了在迈向通用人工智能(AGI)时代的关键时刻,安全可信对于人工智能高质量发展的战略意义,并全面分享了中国移动九天人工智能团队在构建安全可信AI方面的前瞻性思考与创新实践。




冯俊兰博士表示,当前,党中央、国务院高度重视人工智能发展,产业界与学术界积极推动人工智能技术落地,大模型安全可信的重要性逐步被提升至前所未有的高度。她强调,人工智能正以前所未有的速度深刻改变着世界,而安全可信是这项技术行稳致远的基石。


1

趋势洞察:

AI正迈向更深处,安全挑战亦同步升级


冯俊兰博士深入分析了人工智能发展的三大显著趋势:一是从浅层推理走向深层推理,二是从单模态处理迈向跨模态、全模态融合,三是智能体的兴起以及多种能力向基座模型(Identical AI)沉淀。同时,AI正从吸收数字世界知识,转向更深入地理解并融入物理世界知识。


在这些趋势的驱动下,AI正以前所未有的速度渗透到各个领域。然而,每一次产业落地都面临诸多挑战。冯俊兰博士指出,这不仅源于当前的基座模型(Foundation Model)在诸多产业应用层面尚不成熟,未能达到“产业就绪”状态;更在于许多企业也未做好迎接AI的准备(AI Ready)。产业AI化是一个双向奔赴、互相磨合的过程,需要模型能力与企业现有体系的深度融合。


2

安全之困:

为何需要安全可信模型?


面对这些挑战,在千行百业尤其是在关乎国计民生的关键产业中,构建一个安全可信的模型显得尤为重要。今年国家发布的“人工智能+”行动计划,更是为AI的规模化应用指明了方向,同时也对安全可信提出了更高要求。


冯俊兰博士分享了她与多位一线AI安全专家交流的洞察,总结了当前大模型安全研究和实践中的几个关键点:一是模型内生安全风险方面,大模型在训练和推理过程中可能出现自我复制、目标冲突、伪装与欺骗等现象,如模型可能为了通过测试而自行生成逃逸代码,或者在对齐(Alignment)过程中因分布转换而产生“弹簧效应”,导致可信度下降。冯俊兰博士特别引用了Anthropic的比喻:让一个不会下棋的人指出围棋九段的错误是困难的。同理,如果仅从外围对AI进行安全监管和审计,而忽视模型内部机制的可解释性和可控性,将面临巨大挑战。真正的目标是“Make Safe AI”,即从源头和内部构建安全;二是模型合规与评测方面,如何对大模型进行有效的安全评测,建立包括数据安全、行为安全、系统安全在内的完整合规体系,是重要任务;三是智能体与群体安全方面,随着多智能体协同和群体智能的发展,新的安全问题不断涌现,需要全新的安全框架来应对;四是数据要素安全方面,数据的传输、确权、分配、定价等环节均存在安全风险。在个性化智能时代,如何平衡通用智能与个人隐私、独特性之间的关系,是亟待解决的问题。


冯俊兰博士指出,当前,人工智能具备越来越强的感知、记忆、认知、生成、执行、自主等核心能力,同时这些能力存在的安全风险也需被高度重视。其中,信息安全方面,包括CBRN(化学、生物、放射性、核)及反人类领域威胁全人类生存的最高级别风险,偏离国家主流价值观、群体安全(人工智能从有偏见的数据中学习)等风险,以及个人安全方面涉及幻觉、欺骗、谄媚以及隐私泄露等风险问题;网络安全方面,智能体可能对操作系统和代码造成破坏,近期手机智能体出现安全漏洞也印证了这一点。物理世界安全同样不容忽视,智能机器人可能造成物理伤害(如机器人反向攻击),需要建立安全边界。每个行业均有特定安全需求行业安全人工智能安全的叠加风险,社会安全带来的就业、社会治理和能源结构等挑战,均需予以高度关注。冯俊兰博士还特别强调了更深层次科学安全险,凸显了人工智能安全问题的复杂性和多样性。


3

九天实践:

从基础大模型这一智能底座筑牢安全基石


针对上述挑战,冯俊兰博士分享了九天人工智能团队在构建安全可信AI方面的核心思路与实践。九天基础大模型长期致力于将安全可信作为核心特色,其方法论源于对AI安全隐患根源的深刻理解——很大一部分风险来自于预训练数据和预训练过程本身。


冯俊兰博士表示,大模型通过海量数据学习知识,但这些数据庞杂、多样,存在缺失、错误、过时、片段化以及逻辑关联性不足等问题,与真实世界的知识之间存在鸿沟。为此,九天团队提出了“Data with World Context”的理念,旨在增强预训练数据与真实世界的关联性,让每条数据都能追溯其诞生的真实场景、目的和作用。具体实践包括:深度数据治理,对数据进行精细化清洗、标注和关联,夯实数据基础;以人为中心的数据构建,强调数据作者的真实性和数据的个性化、一致性,为未来更个性化、以人为中心的AI服务奠定基础;行业知识增强,针对行业落地需求,大幅增加专业领域的数据占比,解决互联网通用数据在特定行业易产生幻觉的问题;多阶段安全加固从预训练(Pre-training)、中训练(Middle Training)到后训练(Post-training)等不同阶段,持续融入安全增强机制。


4

成效与展望:

安全与能力同向而行


冯俊兰博士展示了九天大模型在安全可信方面的初步成果。通过特定方法处理6T规模的数据,并在较小规模模型上进行验证,结果显示,安全能力的提升并未以牺牲通用能力为代价,反而实现了安全与通用能力的“同向而行”。与业界头部更大规模的模型相比,九天模型在保持通用能力的同时,在特定安全性和可信性指标上展现出领先优势。


冯俊兰博士总结,安全可信是AI发展的基石。九天团队将继续深化在安全可信AI领域的研究与实践,致力于构建既能感知世界、又能安全可靠服务的强大智能底座。她呼吁产业界、学术界共同努力,从数据源头、模型架构、应用场景等多个层面协同创新,共同筑牢AGI时代的安全防线,让人工智能真正安全、可靠地服务于社会经济发展和人民美好生活。


本次论坛的成果发布环节,中国移动牵头在“焕新社区” 正式推出“人工智能青年科学家托举计划”。该计划成功入选 2025 腾冲科学家论坛“十大科技合作计划”,旨在为青年科学家提供开源技术、算力、数据与模型等全方位的资源与服务支持,为培育未来人工智能领军人才筑牢成长根基。与此同时,九天基础大模型、焕新社区两大项目也同步亮相论坛的中国移动展区,受到学术和产业各界广泛关注。


供稿:九天科研管理与规划部

编辑:秦睿含、张致宁

复审:潘璐、罗丹

【声明】内容源于网络
0
0
九天人工智能
中国移动研究院九天人工智能官方公众账号。汇聚九天人工智能最新研发成果和创新产品发布,助力行业发展,引领技术潮流。
内容 410
粉丝 0
九天人工智能 中国移动研究院九天人工智能官方公众账号。汇聚九天人工智能最新研发成果和创新产品发布,助力行业发展,引领技术潮流。
总阅读37
粉丝0
内容410