近日,人工智能大模型及软硬件评测工业和信息化部重点实验室(以下简称 “实验室”,原名“人工智能关键技术和应用评测工业和信息化部重点实验室”)专家闫昭坤作为共同第一作者的研究成果发表于自然语言处理顶级会议Conference on Empirical Methods in Natural Language Processing(EMNLP)- findings。该研究针对大模型指纹嵌入成本高、易污染的行业痛点,提出了参数融合迁移为支撑的轻量化指纹迁移框架LoRA-FP,为大规模下游模型的知识产权保护提供了高效、安全的创新解决方案。
尽管近年来大模型指纹技术在知识产权保护中得到广泛探索,但传统方案在实际部署中仍面临诸多限制:一是在部署效率方面,传统指纹嵌入需对每个下游模型单独进行全参数微调,计算开销巨大,难以适配大规模模型分发场景;二是在指纹兼容性方面,基础模型已嵌入的指纹会被下游衍生模型继承,易引发性能毒性传导,导致任务性能退化;三是在鲁棒性方面,直接嵌入的指纹在增量训练、模型剪枝、模型融合等常见场景下易失效;四是在部署灵活性方面,全参数微调需获取完整模型权限,在闭源或受限部署环境中实用性受限。因此,开发轻量化、可迁移、高鲁棒的大模型指纹技术,成为推动大模型产业规范发展的关键需求。
01
研究成果简介
该文章共同第一作者为中国信通院人工智能所闫昭坤,合作者包括浙江大学滨江实验室相关研究团队等。本研究聚焦大模型指纹的高效迁移与鲁棒性优化,提出了一种基于LoRA(低秩适配)适配器的指纹嵌入与迁移框架。该框架通过约束微调将后门指纹编码至轻量化LoRA适配器中,利用基础模型与下游模型的架构同源性,实现指纹参数的即插即用式迁移,无需对下游模型进行全参数更新。
研究在LLaMA2、Mistral、LLaMA3.1、Qwen2.5四大模型家族的多个下游模型上开展了系统实验。结果表明:在指纹有效性方面,LoRA-FP实现了100% 的指纹迁移成功率,与直接在下游模型嵌入指纹的效果完全一致;在无害性方面,经19个基准数据集验证,迁移后的指纹对模型原有任务性能影响极小,部分场景下甚至优于直接嵌入方案;在鲁棒性方面,面对增量训练、模型剪枝、模型融合等常见场景,迁移指纹的保持率显著高于传统直接嵌入方案,其中在小数据集增量训练中保持率可达90%,在20%随机剪枝场景下保持率达100%;同时,该框架支持多指纹叠加共存,且训练成本仅为全参数微调的十分之一,极大降低了大规模部署门槛。
图1 基于LoRA-FP的大模型指纹迁移流程图
02
大模型指纹技术的研究进展
在大模型知识产权保护领域,实现指纹的高效嵌入、安全迁移与鲁棒保持是突破技术落地瓶颈的核心。本研究围绕“轻量化嵌入”与“无缝迁移”两大核心目标展开技术攻关,通过创新指纹编码载体与迁移机制,实现了技术性能与部署效率的双重提升,为大模型产业的知识产权保护提供了全新范式。
在轻量化指纹编码方面,研究创新性地将指纹信息与LoRA适配器深度融合,通过低秩矩阵更新实现指纹的高效嵌入,避免了全参数微调带来的巨大计算开销,使单模型指纹训练时间从小时级缩短至分钟级,显存占用从64GB降至24GB以下;在指纹迁移机制方面,利用跨模型家族的架构同源性,设计了兼容多模型的指纹适配器结构,实现“一次嵌入、多模型复用”,成功破解了重复嵌入与继承污染两大行业痛点;在鲁棒性优化方面,通过约束微调策略强化指纹特征与模型结构的绑定,使迁移后的指纹在增量训练、模型剪枝、模型融合等复杂场景下仍能保持高有效性,显著优于传统直接嵌入方案。这些技术创新为大模型指纹技术的规模化应用奠定了重要基础。
03
会议介绍
Conference on Empirical Methods in Natural Language Processing(EMNLP)是国际顶级自然语言处理会议,属于人工智能领域的重要学术交流平台,在国际人工智能领域具有广泛影响力。该会议聚焦自然语言处理的前沿技术与实践应用,涵盖大模型优化、语义理解、多模态处理、隐私安全等多个研究方向,收录论文需经过严格的同行评审,代表了相关领域的最新研究进展与技术水平。本次研究成果的发表,标志着实验室在大模型知识产权保护领域的技术创新获得国际学术界的认可。
04
实验室介绍
2017年10月工业和信息化部正式批复设立“人工智能关键技术和应用评测工业和信息化部重点实验室”。2025年11月根据工信部评估意见,实验室更名为“人工智能大模型及软硬件评测工业和信息化部重点实验室”。实验室依托中国信息通信研究院建设,旨在打造人工智能领域的“国家高端专业智库、产业创新发展平台”,开展人工智能技术、应用、产业和安全保障体系研究。
实验室聚焦人工智能大模型领域的技术研究与评测服务,当前围绕大模型知识产权保护开展相关工作,旨在为大模型的合规使用与知识产权追溯提供技术支撑。本次被EMNLP Findings录用的 LoRA-FP框架,是实验室在该领域的具体研究成果之一,相关技术探索将持续服务于大模型产业规范发展需求。
关于我们
中国—金砖国家人工智能发展与合作中心(简称金砖AI中心)依托中国信息通信研究院建设,在上海市徐汇区“模速空间”建立了运营基地。金砖AI中心在国家相关部委的指导下,秉持开放包容、合作共赢的金砖精神,遵循共商、共建、共享的原则,致力于加强信息交流和技术合作,深化产业对接和项目合作,推动应用赋能和能力提升。金砖AI中心旨在形成具有广泛共识的人工智能治理框架和标准规范,共同把握人工智能发展机遇,妥善应对风险挑战,助力各国实现2030年可持续发展议程。

