人工智能应用的若干措施
数据合规 · 备案与报告 · 外包与模型风险 · 安全应用
金融监管 · 安全合规视角
7 Parts + Conclusion
← 滑动查看 →
PART 01
文件定位
监管框架与义务分布
PART 02
义务体系
应当条款逐项梳理
PART 03
备案与报告
第十条程序性义务
PART 04
数据合规
数据治理与训练数据安全
PART 05
外包与模型
第十一、十二条
PART 06
安全根基
第十三条供应链与新技术风险
PART 07
监管安排
试点机制与容错边界
PART ///
工作要点
机构合规自查
9月18日,国家金融监督管理总局上海监管局印发《推动上海银行业保险业人工智能应用的若干措施》(沪金发〔2026〕19号,以下简称19号文),发至辖内各金融机构及上海市银行同业公会、上海市保险同业公会。全文十六条,分为加强数智赋能、夯实基础支撑、健全保障机制三个板块。
人工智能在银行业保险业的应用已具多年基础,机器学习风控、智能客服、智能核保核赔等场景已规模化运行。19号文处理的问题不是应用本身,而是应用的深化与治理能力的匹配。从安全合规角度阅读,这份文件的价值集中在三处:一是第十至十三条集中设置的义务性条款,构成机构需要落实到流程的合规要求;二是第四、十三条围绕数据治理与训练数据安全提出的管理安排;三是第十四条试点机制与容错安排对监管方式的影响。
本篇按安全合规视角展开:先建立文件整体框架与义务分布,再逐条解读程序性义务、数据合规要求、外包与模型风险管理、安全应用要求,最后讨论监管新安排的边界与机构合规工作的落点。
01
PART
文件定位与监管框架
FRAMEWORK
发文机关为国家金融监督管理总局上海监管局,即银行业保险业条线监管的总局派出机构,负责辖内银行业保险业机构的准入与行为监管。
上位依据两层:金融监管总局、上海市政府《关于支持上海国际金融中心建设行动方案》;《国家金融监督管理总局关于银行业保险业人工智能安全开发应用的指导意见》。文末再次要求切实落实该指导意见有关要求,并将防范金融风险、服务实体经济作为主线。
两份上位文件与19号文的关系可以概括为:总局指导意见面向全国,确立人工智能安全开发应用的总体监管要求;19号文立足上海辖内,将总体要求转化为辖内机构的应用推进与治理安排。合规工作的判断基准应同时对照两份文件,19号文的义务性条款多数可视为指导意见要求在辖内落实时的具体化。
|
|
|
|
|
|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
措辞分布本身即合规信号:全文鼓励、支持、推动表述密集,应当表述集中于第十至十三条。前者的性质是方向性指引,不构成即时合规义务;后者的性质是行为规范,需要转化为机构内部流程与控制点。第八条另有将人工智能风险纳入全面风险管理体系的要求,属治理层面的义务,一并纳入梳理范围。
02
PART
义务性条款体系总览
OBLIGATIONS
将第四、八、十、十一、十二、十三条中的义务性表述按性质分类,可得三类:程序性义务(备案、报告、审批)、体系性义务(建立管理制度与机制)、控制性义务(监测、干预、评估、审计)。逐项整理如下:
|
|
|
|
|
|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
三类别对应的内部落实路径不同:程序性义务需要进入立项与变更流程,作为上线前置条件;体系性义务对应制度文件的制定或修订,需要明确责任部门;控制性义务对应运行期间的持续监测活动,需要设计控制点与记录留存方式。后文按条文顺序展开。
03
PART
第十条:备案、准入审批与上线前报告
PROCEDURAL DUTIES
备案义务的适用范围
第十条原文:严格按照网信部门规定,对面向公众服务的生成式人工智能模型进行备案或登记,包括但不限于自研、微调、私有化部署、API调用等情形。
这一句的适用判断有三个要点。其一,义务的触发条件是面向公众服务,面向内部员工的管理类应用不直接落入,但机构需要自行完成范围判定——经由API集成到面向公众渠道的应用,判定结果与自研一致。其二,四种接入方式并列,意味着合规义务的触发取决于服务形态,不取决于技术路线。仅调用外部模型接口、自身不训练不部署的机构,同样在义务范围内。实践中这一情形容易被遗漏,原因在于机构将模型责任归于服务提供方;备案层面,服务提供方的备案不当然覆盖使用方的集成场景,需要结合具体服务形态判断。其三,条文表述为包括但不限于,意味着列举之外的其他接入方式同样适用兜底判断。
上线前报告与双轨报告结构
第十条原文:对于面向公众服务或高风险场景应用使用生成式人工智能技术的,在场景上线前应向上海金融监管局报告。
由此形成双轨报告结构:网信部门的备案或登记依据其自身规定办理,金融监管条线的报告向上海监管局履行。两者性质不同,备案是面向服务管理的登记程序,报告是行业监管条线的事前知悉机制,但触发情形存在重叠,均以面向公众服务为条件。机构的项目管理流程需要同时纳入两项程序,均作为上线的前置节点。需要注意报告义务是事前的:项目排期中应预留监管沟通周期,上线后再补报不符合条文表述。第十一条外包管理中的提前报告义务与此结构一致,形成程序性义务的整体框架。
高风险场景准入控制
第十条要求建立人工智能高风险应用场景准入控制机制,经本机构风险管理委员会批准后实施,并构建系统化的评估框架。准入的三项原则为风险可控、成本集约、价值提升,判断基准是两组匹配关系:应用范围和风险管控能力相匹配,应用场景和技术实现能力相适配。
同条同时提出,坚持价值牵引,避免盲目投入,防止技术滥用,防范数字形式主义。这一表述将业务价值评估纳入了准入控制的内容:场景立项需要说明业务价值与投入的对应关系。合规视角下,这意味着准入评估框架应同时覆盖风险维度与价值维度,仅完成风险评估不满足条文的完整要求。文件未对高风险场景给出统一定义,机构需要在评估框架中自行设定判定标准,并与风险管理委员会的审批权限衔接。
运行期间的控制要求
第十条对运行期间的要求有四项:定期安全评估和审计,目标是稳健性、合规性、透明度;对高风险应用关键环节加强人工监测,建立人工干预机制;完善应急处置流程,提高应对合规事件的能力;支持将模型底座与上层应用解耦,准备多模型部署、人工接管等替代手段,确保业务连续性。
人工干预机制的要求与生成式AI的输出特性直接相关:输出内容在训练数据、提示输入等多重因素影响下存在不确定性,事前的场景准入不能替代运行期间的监测控制。解耦与替代手段针对的是单一模型依赖带来的业务连续性风险:模型服务中断、输出质量显著下降或供应商服务变化时,上层业务需要有可切换的备选路径。这一要求对系统架构有实质约束,需要在建设阶段即纳入设计,事后改造的成本高。
04
PART
数据合规:治理、训练数据安全与知识库管理
DATA COMPLIANCE
数据治理与数据集管理:第四条前半段
第四条要求强化数据治理,完善数据治理体系和数据质量管控机制;鼓励整合多源数据构建高质量数据集,制定采集、清洗、标准化处理、标注等全流程管理规范。这一安排的合规含义在于:数据集的构建过程被纳入管理范围,标注环节首次在监管条文中作为管理对象出现。训练数据的来源合法性、标注质量与标注过程的可追溯性,构成数据合规工作的新增内容,与既有数据分类分级、个人信息保护要求叠加适用。
知识库全生命周期管理:第四条后半段
第四条对知识管理的要求展开程度明显高于常规条文:建设知识库、绘制知识地图、明确知识边界与关联关系;建立知识生成、入库、更新、下线的全生命周期管理机制,强化知识审批、内容质检和有效期管理;结合用户访问数据与专家评价持续优化内容与质量。
知识库成为管理对象的直接原因:生成式AI应用中,知识库内容进入模型输出,知识库的错误、过时会以面向客户的错误答复形式到达公众。将下线与有效期写入监管条文,意味着知识资产的准确性维护成为持续义务,而非一次性建设任务。对机构而言,需要为知识库建立与数据资产类似的管理机制:入库前的审批与质检、存储期的有效期监控、到期后的下线处理,均需有流程与记录。
训练数据安全机制:第十三条中段
第十三条原文:建立适用于人工智能训练的数据安全机制,明确数据获取、数据标注、模型训练、服务构建等方面的数据安全要求,防范数据泄露和滥用风险,保障金融数据和个人信息安全。
条文将训练相关活动的数据安全要求按四个环节展开,每个环节的风险形态不同:
|
|
|
|
|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
这一框架与银行保险机构既有的数据安全管理制度可以对应衔接:数据分类分级、个人信息保护、数据全生命周期安全等既有要求继续适用,19号文的增量在于将四个训练相关环节明确纳入数据安全机制的覆盖范围。采用外部标注服务或外部训练服务的,相应环节同时落入第十一条外包风险管理的适用范围,两项条款需要一并落实。
数据共享与隐私计算
第四条末句提出,探索隐私计算与区块链技术,在隐私保护与安全合规的前提下依法开展数据共享。这一表述为跨机构数据协作提供了技术路径指引:数据可用不可见的处理方式,配合区块链的存证能力,可以在不直接交换原始数据的前提下完成联合建模等协作。机构实施此类协作时,仍需依据数据安全与个人信息保护的法律要求完成评估,技术手段本身不构成合规的充分条件。
05
PART
第十一条外包风险管理 · 第十二条模型风险管理
OUTSOURCING & MODEL RISK
第十一条:外部AI服务纳入外包风险管理
第十一条的适用对象是外部人工智能技术或服务的使用,明确列举外部智能算力资源、模型服务、数据处理等。管理要求包括:纳入信息科技外包风险管理体系统筹管理,建立外包管理机制,设立风险隔离机制,对外包合作机构实行名单制管理,严格评估外部引入模型的优缺点和适配性。
该条的意义在于明确了外部AI服务的监管定性:无论服务形态是算力租用、模型接口还是数据处理,均按信息科技外包管理,适用银行保险机构既有的外包风险监管框架。机构现有的外包管理制度需要扩展覆盖三类AI特有情形:一是模型适配性评估,外部模型引入前的优缺点与适配性评估,需要建立评估标准;二是重要外包识别,集中存储或处理重要数据和客户个人敏感信息、对业务运营具有重要影响的,按规定提前向上海监管局报告;三是风险隔离,业务连续性与数据安全不因外包而降低标准。
第十二条:模型风险管理体系的四维检测
第十二条原文:加强对模型架构、训练方法、数据质量和输出结果的评估检测,防范模型自身缺陷、数据质量、模型应用或管理不当等风险;提高模型可解释性,避免出现价值偏离、不公平决策、歧视性内容等问题。
银行机构的模型风险管理已有实践基础,信用风险模型的开发、验证、监测流程在行业运行多年。第十二条的增量在于评估检测的对象设定:模型架构与训练方法被纳入检测范围,对应大模型的技术特性;数据质量与输出结果则贯穿模型全生命周期。四个检测维度与三类风险来源(模型自身缺陷、数据质量、应用与管理不当)形成对应关系,机构可据此设计检测框架的层次。
可解释性要求与公平性要求指向同一类风险场景:模型输出参与客户决策(授信、定价、理赔等)时,决策依据需要可说明,输出结果需要避免对特定群体的系统性偏差。条文同时要求践行人工智能向善理念,确保应用符合伦理道德和社会价值观。合规落实层面,涉及决策输出的模型应建立偏差检测与决策说明机制,并与既有消费者权益保护要求衔接。
第十一条与第十条尾项的分工
外包风险管理
第十一条 · 第三方服务风险
解耦与替代手段
第十条 · 单一模型依赖风险
两项要求并行适用,管理对象不同,不能相互替代
06
PART
第十三条:安全可控基础设施与新技术风险防范
SECURITY FOUNDATION
供应链层面的安全可信要求
第十三条原文:建设安全可控的人工智能基础设施,采用安全可信的芯片、软件、工具、算力、模型算法和数据资源。
供应链安全层面的要求,覆盖人工智能技术栈的全部组成要素:硬件、软件、算法与数据。对机构采购工作的直接影响是:供应商引入时的审查维度需要扩展至安全可信属性,技术选型评估中安全可信成为与性能、成本并列的判断维度。条文未给出安全可信的具体判定标准,机构可结合国家相关安全认证、测评结果与内部标准建立采购要求。需要注意的是,该要求与第十一条外包管理相互独立:即便供应商通过了名单制管理与适配性评估,其提供的产品是否满足安全可信要求,仍需单独判断。
三类新技术风险的防范机制
第十三条要求探索三类风险的防范机制:
|
|
|
|
|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
条文用词是探索防范机制,属于建设方向的要求。三类风险的管理路径与第十条的运行控制要求存在衔接:幻觉与错误输出的防范依赖知识库质量管理(第四条)与输出监测;黑箱问题对应第十二条的可解释性要求;大模型安全漏洞的防范需要结合安全评估与审计(第十条)持续开展。深度伪造具有双向性——机构既是潜在受害者(核验环节被伪造内容攻击),也可能因业务应用生成内容不当而成为风险来源,防范机制的设计需要同时考虑两个方向。
07
PART
第十四条:试点机制与容错安排的边界
REGULATORY ARRANGEMENTS
第十四条提出四项安排:探索建立生成式人工智能大模型在金融领域应用的试点机制,积极争取上海纳入金融监管总局开展的地区试点,允许金融机构在可控环境下逐步开展直接面客的大模型应用,并与网信部门的备案、登记机制相衔接;研究包容审慎、分类分级的弹性监管框架;探索建立人工智能应用的容错机制,对不同风险等级事件建立差异化容忍;加快形成动态敏捷、多元协同的治理格局。
从合规角度,这一条的两个边界需要准确理解。其一,试点与备案是衔接关系而非替代关系:条文明确试点机制与网信部门的备案、应用登记机制相衔接,进入试点不改变第十条备案义务的履行。其二,容错机制的适用对象是不同风险等级的事件,配合分类分级的差异化容忍——其含义是监管处理方式按事件风险等级区别对待,不等于进入试点即免除既有的法律与管理要求。试点阶段的探索活动,仍以可控环境为前提条件。
对有意开展直接面客大模型应用的机构,第十四条的实际意义在于提供了受控的推进路径:直接面客应用可在可控环境中逐步开展,而非一次到位。机构需要关注的后续事项是总局地区试点的具体申报安排,以及试点范围内报告与评估要求的执行细则。在细则明确之前,第十条的既有义务照常适用。
///
LAST
机构合规工作要点
CHECKLIST
对照19号文的义务性条款,机构的安全合规工作可按以下五个方面安排:
生成式AI应用范围盘点
梳理在用及在建的AI应用清单,逐项判定是否属于面向公众服务的生成式AI,接入方式按自研、微调、私有化部署、API调用四类标注,核对备案或登记状态;对已上线的面客场景,核对上线前报告履行情况。范围判定的口径需要在机构内部形成书面标准,避免各条线理解不一致。
制度体系修订
按第八、十、十一、十二条核对制度覆盖情况:数据合规管理体系是否覆盖训练相关四个环节;外包管理制度是否扩展至外部AI服务并建立名单制与模型适配性评估标准;模型风险管理制度是否覆盖四个检测维度;人工智能治理体系的流程、组织、责任、考核安排是否明确,风险是否纳入全面风险管理体系。
知识库与数据资产管理
按第四条建立知识全生命周期管理机制,重点落实审批、质检、有效期三项控制;数据集构建过程的全流程管理规范(采集、清洗、标准化处理、标注)形成文件;标注环节如使用外部服务,同步纳入外包管理。
运行控制机制设计
高风险应用的关键环节明确人工监测点位与干预流程,配套应急处置预案;定期安全评估与审计的周期、范围、责任部门形成安排;涉及决策输出的模型建立偏差检测与决策说明机制;业务连续性方面确认模型底座与上层应用的解耦程度,评估替代手段的可用性。
采购与供应商管理
按第十三、十一条调整技术采购要求:安全可信属性纳入选型评估维度,覆盖芯片、软件、工具、算力、模型算法、数据资源;外部AI服务供应商进入名单制管理,重要外包情形按规定提前报告。
应用的深化以管理能力同步建设为前提。
说明
本文条款引用与要点梳理依据沪金发〔2026〕19号原文;涉及适用判断的部分为解读性分析,具体执行以监管要求及原文为准,欢迎反馈指正。

