从执行既定任务到参与自身改进,人工智能的能力提升正在探索新的路径。AI递归式自我改进(Recursive Self-Improvement,RSI)通过对自身代码等要素进行优化,并利用改进后的能力持续开展后续改进,为模型优化、智能体能力提升及研发流程自动化提供支撑。这一过程中,每次修改可能引入漏洞后门或削弱原有安全防护,多轮迭代可能导致目标偏移或安全能力退化。随着自主性和改进速度提升,系统还可能突破既定权限、扩大资源获取范围或规避人工干预,对人类持续监督和有效控制提出挑战。因此,有必要明确相关安全边界与技术要求,为AI递归式自我改进的研发和应用提供指引。
为规范AI递归式自我改进过程中的安全要求,防范自主修改与持续迭代带来的风险,引导产业健康有序发展,中国人工智能产业发展联盟安全治理委员会拟组织开展《AI递归式自我改进安全技术要求》规范编制工作,并面向相关单位征集参编意向。
本规范拟围绕自我修改安全、递归迭代安全和自主演化可控性等方面,明确相关术语定义、风险问题及安全技术要求。本规范拟适用于AI递归式自我改进相关技术及系统的研发者、使用者及第三方测评机构,为相关系统的设计开发、安全验证、部署应用提供技术指引。
征集对象
面向人工智能企业、安全企业、基础电信企业、互联网企业、研究机构、高校、行业组织等相关单位。
参与条件
1、积极参与规范编制工作,完成牵头单位分配的规范编制任务。
2、按时参加规范编制研讨会议和相关活动,针对相关编制材料反馈技术建议。
3、能够保障有固定的标准化人员参加规范编制工作。
报名方式
申请参与规范编制工作的单位需指派一名固定的标准化人员参与规范编制相关工作。请有意向参与规范编写的单位及专家在2026年11月20日前扫描以下二维码报名。
联系人
周国梁 13026253582
zhouguoliang@caict.ac.cn
静静 15810821574
jingjing@caict.ac.cn

