AI科研进阶社

2026-10-11

题目：Newton Matching for Generative Modeling: A Unified Framework for Fine-Tuning and Sampling

论文地址：https://arxiv.org/abs/2609.05727

代码地址：

创新点

•将优化目标从单独的损失函数，转变为在规范模型（canonical models）上做迭代优化；理论上证明反向 KL 的 Hessian 等价于 Fisher-Rao 度量，牛顿下降方向直接对应 Fisher-Rao 负梯度，建立起流形上的牛顿迭代理论。

•设计带规范回缩（canonical retraction）的切向更新步骤，能够保持终端密度约束，实现有限步长下对目标密度的精确刻画；理论证明迭代过程严格降低反向 KL 散度，满足条件时可全局收敛，全步长情况下具备局部二次收敛特性。

方法

本文提出 Newton Matching 统一框架，将生成模型的采样与微调任务纳入同一套优化范式，依托 Fisher-Rao 度量构建流形上的牛顿迭代，利用反向 KL 散度的 Hessian 作为牛顿矩阵，设计带有规范回缩操作的切向更新步骤来保证密度约束，迭代过程持续降低反向 KL 散度，同时推导出协方差形式与梯度形式两种样本级切向更新损失，可构造前向与反向回归配对，该框架既可以在推理阶段完成采样，也能够实现带奖励的模型微调，在图像生成任务上完成实验验证。

Newton Matching 框架几何原理与完整计算流程

本图分为三部分，(a) 从几何层面展示 Newton Matching，定义终端密度映射、规范速度映射和规范投影，在速度空间与密度流形之间建立双向映射，基于反向 KL 散度在流形上求解牛顿迭代方向；(b) 展示切向更新环节，包含前向构造与反向构造两条路径，可采用协方差形式或者梯度形式两种更新公式完成迭代；(c) 为规范化步骤，基于非规范向量借助 ODE 采样，搭配规范化损失完成网络参数更新，整套流程把生成模型的采样与微调统一在流形牛顿优化框架之下。

规范速度与非规范速度的流路径对比示意图

本图展示从初始高斯分布(p_0=\mathcal{N}(0,I))出发，红色线条代表规范速度场(v^\rho)对应的粒子流轨迹，蓝色线条代表非规范速度场(\hat{v})对应的粒子流轨迹，虽然二者的中间演化路径存在明显差异，但在时间(t=1)时刻能够收敛得到完全相同的终端分布(\rho=p_1^{v^\rho}=p_1^{\hat{v}})，直观说明不同速度场可以生成一致的终端密度，这也是 Newton Matching 中规范投影操作的基础。

规范构造的全局几何关系

本图展示速度空间(\mathcal{V})与密度流形(\mathcal{P})、规范流形(\mathcal{V}_{\text{can}})三者之间的映射关系，(\mathcal{T})是终端密度映射，将速度空间中的速度v映射到密度流形上得到密度(\rho=\mathcal{T}(v))，(\mathcal{C})为规范速度映射，可把密度(\rho)映射回规范流形上对应的规范速度(v^\rho=\mathcal{C}(\rho))，复合映射(\mathcal{R}=\mathcal{C}\circ\mathcal{T})代表规范投影，能够将任意速度投影至规范流形，从几何层面解释 Newton Matching 里规范操作的底层空间变换逻辑。