在生成式人工智能应用体系中,词元(Token)是模型切分和处理文本、语音、图像及其他多模态数据的基本数据单元,也是上下文组织、模型推理、工具交互和资源计量的重要载体。随着大模型、智能体和模型服务平台等应用形态不断发展,词元在生成、传输、处理、缓存、输出、计量和销毁等环节中的安全风险日益突出,比如数据泄露、跨租户越权、模型路由失误、词元恶意滥用、计量失真、审计缺失等。
为了能有效应对这些威胁,系统厘清生成式人工智能场景下词元安全防护产品的能力要求和评价依据,规范相关产品及安全组件的规划设计、研发测试、部署实施、运营管理和安全评估,中国人工智能产业发展联盟(AIIA)安全治理委员会联合中国信息通信研究院,汇聚产学研多方力量共同编制完成《词元(Token)安全防护产品能力要求》技术规范,为行业的高质量建设与合规选型提供权威参照体系。
本规范由中国人工智能产业发展联盟提出并归口,中国信息通信研究院牵头起草,集结中国移动通信集团有限公司、中移(苏州)软件技术有限公司、天翼云科技有限公司、北京火山引擎科技有限公司、华为技术有限公司、北京天融信网络安全技术有限公司、北京信安世纪科技股份有限公司、安谋科技(中国)有限公司、启明星辰信息技术集团股份有限公司、亚信科技(成都)有限公司、地衣子集(福建)数字科技有限公司等公司专家深度调研、联合论证,是国内全面覆盖词元安全的系统性权威研究成果。
技术规范五大核心亮点,全景构建Token安全防护产品能力体系
01 覆盖多类人工智能场景,明确Token安全防护产品能力边界
技术规范面向生成式人工智能大模型及智能体应用生态,规范覆盖大模型应用、单智能体和多智能体系统、一站式模型服务平台、模型网关、检索增强生成系统、插件与工具调用系统以及复杂业务工作流编排系统等场景,并适用于相关平台和安全组件的规划设计、研发测试、部署实施、运营管理及安全评估,为Token安全能力建设提供统一边界。
02 构建四层防护架构,形成全流程安全能力布局
技术规范按照算力硬件层、模型服务层、智能体等应用层和运营管理层构建分层防护体系,分别明确Token处理过程中的硬件保护、服务流转保护、应用交互保护和运营治理要求。通过四个层次的协同配合,规范覆盖Token从生成、传输、处理、缓存、输出、计量到审计和销毁的主要环节,形成层次清晰、职责明确的安全能力框架。
03 聚焦模型服务和智能体应用,强化语义交互与异常消耗防护
技术规范针对大模型和智能体应用中的实际风险,提出了敏感信息检测、动态脱敏、提示词注入防护、上下文和多租户隔离、工具调用安全、输入输出过滤及异常消耗控制等要求。规范关注用户输入、模型输出、检索内容、工具返回结果和会话记忆等多种数据来源,要求对直接和间接提示词注入、上下文污染、敏感信息泄漏、工具调用异常、循环任务和Token消耗异常等风险进行识别和处置,提升模型服务和智能体应用的安全运行能力。
04 深入算力底座,强化Token处理过程中的硬件安全保护
技术规范将安全要求延伸至Token处理所依赖的算力硬件环境,明确了可信执行环境、数据隔离、内存和显存保护、跨芯片及总线传输保护、任务销毁和残留数据清理等能力要求。规范要求对Token明文及其派生数据在输入、解码、计算、传输和输出等环节实施连续保护,降低数据被非法读取、篡改、推断或残留的风险,为Token安全处理提供底层算力支撑。
05 完善运营治理,推动Token安全能力持续运行
技术规范将安全要求延伸到平台日常运营和组织治理,明确了Token安全治理组织、法律法规和标准合规、安全管理制度、风险评估与处置、日志审计、运营监测、跨境及外部流转管理等要求。平台应对Token相关操作、计量数据、路由轨迹、安全事件和处置过程进行记录、分析和追溯,并通过风险台账、运营指标、检查考核和持续改进机制,推动Token安全防护产品从一次性建设转向持续运营。
联系人
徐孟珺 13001089602(同微信)
xumengjun@caict.ac.cn
静 静 15810821574(同微信)
jingjing@caict.ac.cn

