2025年8月26日国务院印发的《关于深入实施“人工智能+”行动的意见》中强调要“加强人工智能与生物制造、量子科技、第六代移动通信（6G）等领域技术协同创新，以新的科研成果支撑场景应用落地，以新的应用需求牵引科技创新突破”。在此背景下，积极探索人工智能与量子科技融合具有极为重要的意义。

本文聚焦人工智能与量子科技的深度融合，首先使用基于参数化量子线路的量子经典混合LoRA技术对RoBERTa模型进行微调，对经典LoRA技术进行量子化改进；而后将其应用于商业银行金融信息萃取“表格跨页识别”场景，并使用全量参数微调和经典LoRA技术微调进行对比。实证结果表明，量子经典混合LoRA技术微调的RoBERTa 模型在Accuracy、Recall、Precision和F1-score指标上较全量参数微调和经典LoRA技术微调的模型有着明显提升，同时微调过程中的可训练参数量明显降低。

经典LoRA技术

微调技术在自然语言处理（Natural Language Processing，NLP）模型及大语言模型（Large Language Model，LLM）的性能和效果提升中发挥着关键作用。它有效避免了从零开始训练大规模参数模型的高昂成本和巨大计算资源消耗，同时使模型能够更精准地学习特定任务的特征。在大语言模型参数量规模不断扩大的背景下，优化计算效率和资源利用显得尤为重要。为此，高效参数微调（Parameter-Efficient Fine-Tuning，PEFT）方法应运而生并得到广泛应用。

2021年，Edward Hu等人提出低秩自适应（Low-Rank Adaptation，LoRA）技术，作为一种重要的PEFT方法，在模型微调方面表现优异，模型质量与传统微调表现相当甚至更优，已逐步成为目前最广泛使用的大语言模型微调方法之一。其核心思想是使用低秩A和B对原始神经网络中的结构进行近似，从而减少模型中可训练参数的数量。经典LoRA技术示意图如图1所示。

2025年，周宇航等人将经典LoRA技术应用于Qwen1.5-7B-Chat 模型的微调，在金融领域中的23个不同场景中收集了22万条中文金融数据，在仅使用10%的数据进行微调的情况下，模型表现出与全量数据微调相似的效果，验证了在有限数据条件下的高效训练，为金融领域自然语言处理和大语言模型技术的发展提供了新的思路和方法。

邮储银行提出基于轻量化大模型的高效微调解决方案，采用经典LoRA技术对 DeepSeek-R1-7B-Distill模型进行领域适配微调，并构建了融合通用文本指标与专业维度的三维评估体系；结果表明，微调后的模型相较微调前BLEU-4指标提升了36.65%，ROUGE-1、ROUGE-2和ROUGE-L指标分别提升了35.34%、41.54%和34.74% ；同时显存占用降低60%及训练速度提升5倍，验证了轻量化大模型在非功能测试需求准入场景的应用价值。Wang等人提出FinLoRA项目，基于LoRA方法评估其在金融领域的应用，共使用19个金融数据集，评估了LoRA、QLoRA（Quantized LoRA）、DoRA（Weight- Decomposed LoRA）、rsLoRA（Rank-Stabilized LoRA）和 Federated LoRA（LoRA with Federated Learning）5种方法微调，Llama 3.1 8B、Llama 3.1 70B、DeepSeek V3、 GPT-4o和Gemini 2.0 Flash Lite 5种基础LLM，结果显示LoRA 方法在准确率、F1和BERTScore指标上平均提升36%。

量子经典混合LoRA技术

量子经典混合的LoRA技术是使用量子算法对经典LoRA微调技术中的低秩矩阵进行替换，利用量子纠缠和叠加特性高效地实现数据表达，在降低模型参数量的同时，有效提升模型的准确性。目前主要的量子经典混合的LoRA技术中的量子部分主要是使用参数化量子线路实现的。2025年，Xiaofei Kong等人提出了一种量子加权张量混合网络（Quantum Weighted Tensor Hybrid Network， QWTHN）方案。在多个数据集上，与经典LoRA技术相比，QWTHN技术将训练损失降低了多达15%，同时使用的参数量减少了76%。同年，朱萧峰等人将量子经典混合LoRA微调BERT模型应用于互联网贷款催收领域，实证结果表明该模型训练参数量较经典LoRA技术降低了75%，且模型预测准确性得到提升，为金融领域使用量子经典混合LoRA技术对自然语言处理及大语言模型进行微调提供了有益借鉴。

业务背景

在银行对公信贷业务场景中，客户经理为企业办理一般授信时，需要依据大量非标准格式的文件进行风险研判与决策。这些文件包括上市公司的公开披露报告、财务报表等，其中包含了大量至关重要的经营与财务数据，需要对其开展金融信息萃取。这些非标文件中的表格格式灵活多变，尤其是跨页表格的信息准确提取，是目前技术上的主要瓶颈。金融文档中的表格往往并非规整的单页矩阵，而是存在大量的跨页现象。技术挑战的核心在于，系统必须智能地判别一个跨页表格是“单行表格跨页”（即同一行内容被分割在两页）还是“多行表格跨页”（即两页是不同的行），这直接决定了数据拼接的逻辑是上下页内容合并为一行还是保留为两行。此判别规则的缺失，导致自动化信息萃取结果难以满足金融场景下对数据严谨性的基本要求。为解决这一难题，业界曾先后探索了多种技术路径：初期尝试直接调用通用多模态大模型进行端到端提取，但其固有的“幻觉”现象导致产生较多错误数据，无法投入实际应用；随后技术路线转向将PDF文档转为HTML标签再进行解析，然而虽能通过标签定位内容区间，但因其无法理解表格的语义结构与跨页逻辑，在核心的“行连续性”判别问题上束手无策。

为解决这一难题，笔者团队经过广泛调研与多重探索，最终确定并成功应用了一种创新解决方案——基于量子经典混合LoRA技术微调的RoBERTa模型。通过该方案支持实现非标表格信息的精准萃取与自动化处理，不仅能够极大提升商业银行自身的风控效率与运营数字化水平，更能够通过大幅缩短贷款审批周期，有效纾解中小企业“融资难、融资慢”的困境，为实体经济注入更高效、更便捷的金融“活水”。本文所使用的数据集来源于对公信贷业务中的表格跨页数据，其中训练集样本量为8798条数据，测试集样本量为978条数据。

模型构建

本文主要使用量子经典混合LoRA技术对RoBERTa模型进行高效微调，RoBERTa（A Robustly Optimized BERT Approach）是由Facebook和华盛顿大学研究员提出的一种改进版的BERT模型。它在BERT的基础上进行了多项优化，如使用更大的训练数据集和掩码策略等技术手段，以提升模型的准确性和鲁棒性。这些优化使得RoBERTa在多种自然语言处理任务中表现出色，展现了强大的语言理解和生成能力。具体而言，RoBERTa模型与BERT模型的对比情况如表1所示。

本文主要使用量子经典混合LoRA技术对上述模型进行高效微调。具体而言，针对Chinese-RoBERTa-wwm-ext模型中的Query和Value层（Query 层输出为查询向量，Value层输出为数值向量，是 Transformer 模型架构的基本结构），创新性地引入量子经典混合LoRA技术进行替换。并通过角度嵌入法将经过矩阵A的输出向量嵌入到参数化量子线路中，利用4个量子比特构建参数化量子线路。最终，通过对每个量子比特进行PauliZ测量并提取期望值，生成一个与矩阵A大小一致的输出向量。量子线路部分由含参数的RY门和CRY门构成，RY门作用于单个量子比特，通过旋转操作实现量子叠加；CRY门则对两个量子比特中的目标比特进行控制旋转，实现量子比特间的纠缠；其具体量子线路图如图2所示。量子经典混合LoRA技术微调 Chinese-RoBERTa-wwm-ext模型的示意图如图3所示。

本文面向商业银行金融信息萃取“表格跨页识别”场景的数据，运用全量微调技术、经典LoRA技术和量子经典混合LoRA技术对Chinese-RoBERTa-wwm-ext进行微调，并使用Accuracy、Recall、Precision 和F1-score作为模型准确性评判指标；除了上述指标外，本文还对比了模型的可训练参数量。实证分析结果如表2所示。

从表2可知，量子经典混合LoRA技术在增强模型表达能力方面展现出更好的优势，同时大幅降低了模型的可训练参数量。具体而言，量子经典混合LoRA技术在可训练参数量方面较全量微调技术降低了99.85% ；较经典LoRA技术降低了74.76%。在模型准确性方面，量子经典混合LoRA技术较全量微调技术，Accuracy从0.9724 提升至0.9744，提高了0.2%；F1-score从0.9694提升至0.9721，提高了0.27%；尽管Precision从0.9575略微下降至0.9458，降低了1.17% ；但Recall从0.9817提升至1，表明模型成功识别了所有实际的正类样本，没有遗漏。与此同时，量子经典混合LoRA技术较经典LoRA技术，Accuracy从0.9673提升至0.9744，提高了0.71%；F1-score从0.9646提升至0.9721，提高了0.75%；Precision从0.9316提升0.9458，提高了1.42% ；Recall在两种技术中均达到1。

综上所述，量子经典混合LoRA技术显著降低了模型的可训练参数量，同时增强了模型的准确率。这一技术不仅为自然语言处理及大语言模型的微调提供了一种高效、轻量化的解决方案，还为未来量子计算与人工智能的融合应用提供了全新思路。

本文聚焦自然语言处理及大语言模型高效微调领域，对经典LoRA技术进行了量子化改进，创新提出一种量子经典混合的LoRA技术，并将其应用于商业银行金融信息萃取 “表格跨页识别”场景。这一技术不仅提高了模型的准确率，同时减少了模型可训练参数量。这种跨界技术融合不仅为自然语言处理领域提供了新的技术路径，展现了技术前瞻性和创新性，更是对国务院“人工智能+量子科技”协同创新政策的具体实践。这为自然语言处理及大语言模型在金融领域的轻量化应用提供了参考借鉴，为加快经济社会发展全面绿色转型提供了量子技术支撑，以金融场景助力“量子+” 生态建设，有力推动了量子科技从理论走向产业应用。本文也为全社会提供了量子计算在复杂信息处理场景下的高价值、可复用的示范案例。  

【龚伟华、王彦博、姜慎威、杨雷单位为华夏银行，徐奇、曹晓峰单位为龙盈智达（北京）科技有限公司。本文受北京市科技计划项目《基于CoE 架构的银行信贷风控大模型系统关键技术研究与应用》（项目编号：Z241100001324024）支持。华夏银行科技开发与运营中心李璧鲁，龙盈智达张月、杨璇、王少昆、王杰对本文亦有贡献】

来源：“当代金融家杂志社”公众号

往期精彩内容回顾

守正创新、踔厉奋发：全力推进一流银行系投资银行建设

海南农商行李晓刚：坚持“六向”推动为海南自贸港建设贡献更大金融力量

武汉金控总经理丁震：为科技强国建设贡献地方金控力量

孔庆龙：以“金融活水”滴灌乡村“文旅之花”

北银金科：为打造“数字京行”奋力前行

国海证券何春梅：走中国特色金融发展之路以证券行业高质量发展助力金融强国建设

陕国投信托董事长姚卫东：找准高质量转型发力点，助力培育新质生产力

如有字体或图片侵权请联系删除。

商务合作加V:172420282

原创声明：本号所刊登署名文章，如非特别说明，皆为原创或作者授权发表。

转载务请注明出处：转自微信公众号 “当金（bankershr）”，不允许更改内容。