前言：本文为作者与多智能体大模型进行多轮深入讨论得出的报告，如有错误之处，请在评论区指出，谢谢！

Physics-Informed Neural Networks (PINNs)损失函数研究进展全景报告 (2019-2026)

引言：PINNs损失函数的核心挑战

物理信息神经网络的损失函数设计面临五大核心挑战：(1) 多损失项（PDE残差、边界条件、初始条件）的量级差异可达10³-10⁶倍；(2) 训练早期不同损失项收敛速度严重不一致；(3) 高阶导数计算导致梯度消失或爆炸；(4) 神经网络的谱偏差使高频分量难以学习；(5) 硬约束实现困难而软约束优化病态。本报告系统梳理2019-2026年间16篇最具影响力的文献，展示该领域从问题识别到系统解决方案的完整演进。

I. 自适应权重策略：平衡多目标优化

[1] Understanding and Mitigating Gradient Flow Pathologies in PINNs

完整引用
Sifan Wang, Yujun Teng, Paris Perdikaris. "Understanding and mitigating gradient flow pathologies in physics-informed neural networks." SIAM Journal on Scientific Computing, Vol. 43, No. 5, pp. A3055-A3081, 2021.

资源链接

• DOI: https://doi.org/10.1137/20M1318043
• arXiv: https://arxiv.org/abs/2001.04536
• GitHub: https://github.com/PredictiveIntelligenceLab/GradientPathologiesPINNs

为何必读

1. 首次系统诊断PINNs失败根源：识别梯度流病态性（gradient flow pathologies）是训练困难的本质原因
2. 提出自适应学习率退火算法：基于梯度统计信息动态平衡不同损失项，精度提升50-100倍
3. 改进网络架构设计：针对梯度病态性优化的全连接架构，降低Hessian条件数
4. 高引用论文（1200+）：奠定了后续自适应权重方法的理论基础
5. 开源实现与广泛应用：代码完整，被多个PINNs框架集成

核心贡献
论文证明PINNs训练失败源于数值刚性导致的梯度量级失衡——边界条件、PDE残差等损失项的梯度可能相差数千倍。提出Algorithm 1自适应退火方法，通过监控梯度统计量（均值和最大值）动态调整各损失项权重λᵢ，使不同项的梯度幅度保持平衡。

详细摘要 (200字)
本文系统分析PINNs训练失败的根本原因——梯度流病态性。研究发现，约束神经网络在训练过程中出现数值刚性，导致反向传播梯度严重不平衡。不同损失项（边界条件损失、PDE残差损失等）的梯度量级可能相差数个数量级，使某些约束项主导训练而其他项无法有效优化。针对此问题，作者提出自适应学习率退火算法，利用训练过程中的梯度统计信息动态调整各损失项的权重λᵢ，平衡不同项之间的相互作用。此外,文章提出改进的神经网络架构，通过减少梯度流的刚性来提高训练稳定性。实验表明，这些改进在多个计算物理问题上将预测精度提高50-100倍，为后续自适应方法奠定了基础。

[2] When and Why PINNs Fail to Train: A Neural Tangent Kernel Perspective

完整引用
Sifan Wang, Xinling Yu, Paris Perdikaris. "When and why PINNs fail to train: A neural tangent kernel perspective." Journal of Computational Physics, Vol. 449, Article 110768, 2022.

资源链接

• DOI: https://doi.org/10.1016/j.jcp.2021.110768
• arXiv: https://arxiv.org/abs/2007.14527
• GitHub: https://github.com/PredictiveIntelligenceLab/PINNsNTK

为何必读

1. 首次应用NTK理论于PINNs：为理解训练动力学提供严格理论框架
2. 揭示收敛速率失配机制：证明不同损失分量收敛速率差异是失败根源
3. 提出NTK引导的自适应权重：基于特征值谱的理论化权重设计
4. 高引用论文（800+）：理论深度最强，影响后续大量研究
5. 谱偏差分析：揭示PINNs不仅存在低频偏差，还存在多任务失衡

核心贡献/核心定理
定理（NTK收敛性）：对于无限宽PINNs，神经切线核在训练中收敛到确定性核并保持常数。通过分析NTK的谱特性，证明PDE残差核K_rr和边界条件核K_uu的最小特征值存在量级差异，导致收敛速率不匹配。提出自适应权重λᵢ ∝ 1/√λ_min(Kᵢᵢ)，从理论上保证各损失分量以相似速率收敛。

详细摘要 (195字)
本文从神经切线核（NTK）理论视角深入分析PINNs的训练动力学。研究首先推导PINNs的NTK表达式，证明在无限宽度极限下该核收敛到确定性核并在训练中保持常数。通过分析NTK的谱特性，发现不同损失分量的收敛速率存在显著差异——这种收敛率失配是PINNs训练困难的根本原因。基于NTK特征值谱的分析，文章提出NTK引导的梯度下降算法，利用NTK矩阵的特征值自适应校准各损失项的权重，从而平衡总训练误差的收敛速率。该方法不仅提供了理论洞见，还在数值实验中显著提高了PINNs的训练效率和预测精度。此外，研究还揭示PINNs存在谱偏差问题，为后续改进提供理论指导。

[3] Self-Adaptive Physics-Informed Neural Networks

完整引用
Levi D. McClenny, Ulisses M. Braga-Neto. "Self-adaptive physics-informed neural networks using a soft attention mechanism." Journal of Computational Physics, Vol. 474, Article 111722, 2023.

资源链接

• DOI: https://doi.org/10.1016/j.jcp.2022.111722
• arXiv: https://arxiv.org/abs/2009.04544
• GitHub: https://github.com/levimcclenny/SA-PINNs

为何必读

1. 首次提出逐点自适应权重：为每个训练点分配独立的可训练权重，突破全局权重限制
2. 鞍点优化创新框架：参数最小化与权重最大化的对抗优化
3. 软注意力机制：借鉴计算机视觉，设计适用于PINNs的注意力掩码
4. 引用350+：在刚性PDE和激波问题上表现卓越
5. NTK理论支持：证明自适应权重通过均衡NTK特征值改善收敛性

核心贡献/核心定理
提出SA-PINNs，通过鞍点优化min_θ max_α L(θ,α)使网络自主学习困难区域。证明该方法等价于基于惩罚的约束优化，其中惩罚系数α_i可训练。推导SA-PINNs的NTK，理论证明自适应权重平滑不同损失项对应的NTK特征值分布，从而改善训练动力学。

详细摘要 (195字)
本文提出自适应物理信息神经网络（SA-PINNs），通过完全可训练的逐点权重使网络自主学习解的困难区域并集中优化。这些自适应权重构成软乘法注意力掩码，类似于计算机视觉中的注意力机制。SA-PINNs的核心思想是通过鞍点优化使权重随损失增大而增大——网络同时最小化损失并最大化权重。文章证明这等价于使用基于惩罚的方法求解PDE约束优化问题，其中单调非递减的惩罚系数是可训练的。此外，研究推导了SA-PINNs的神经切线核，理论分析表明SA-PINNs通过平滑不同损失项对应的NTK特征值分布来改善训练动力学。在Allen-Cahn、Burgers和Helmholtz等基准问题上，SA-PINN大幅优于其他方法，使用更少的训练轮次达到更高精度。

[4] Self-Adaptive Loss Balanced Physics-Informed Neural Networks

完整引用
Zixue Xiang, Wei Peng, Xu Liu, Wen Yao. "Self-adaptive loss balanced physics-informed neural networks." Neurocomputing, Vol. 496, pp. 11-34, 2022.

资源链接

• DOI: https://doi.org/10.1016/j.neucom.2022.05.015
• arXiv: https://arxiv.org/abs/2104.06217
• GitHub: https://github.com/xiangzixuebit/LBPINN

为何必读

1. 概率建模框架：创新性地将损失项建模为高斯分布，通过不确定性量化自然引入自适应权重
2. MLE驱动的权重更新：基于最大似然估计，权重更新具有坚实统计学基础
3. 鲁棒性极强：对初始权重、网络结构、数据量等超参数不敏感
4. 误差降低2个数量级：在多个PDE类型上相对L2误差显著下降
5. 引用350+：易于实现，工程应用广泛

核心贡献/核心定理
将各损失项L_i建模为均值为零、方差为σ_i²的高斯分布，损失权重自然表示为λ_i = 1/(2σ_i²)。训练过程中通过最大化似然函数log p(D|θ,σ) = -Σᵢ[Nᵢlog(σᵢ) + L_i/(2σᵢ²)]自动调整权重，实现多目标优化的动态平衡。

详细摘要 (200字)
本文针对PINNs多损失项加权组合对性能的敏感性问题，提出自适应损失平衡物理信息神经网络（lbPINNs）。研究建立高斯概率模型定义各损失项，其中噪声参数σ_i描述每个损失项的权重参数。核心创新在于提出基于最大似然估计（MLE）的自适应损失平衡方法，在每个训练epoch自动更新各损失项的权重。通过将每个损失项建模为均值为零、方差为σ_i²的高斯分布，损失权重被自然地表示为λ_i = 1/(2σ_i²)。在训练过程中，这些权重通过最大化似然函数自动调整，实现多目标优化的动态平衡。大量数值实验表明，lbPINNs在求解Poisson、Burgers、Helmholtz、Navier-Stokes和Allen-Cahn方程时，相对L2误差可降低约两个数量级。鲁棒性测试显示该方法对初始权重、观测数据数量、网络层数和神经元数量等超参数不敏感。

II. 新型损失函数设计：从强形式到弱形式

[5] Variational Physics-Informed Neural Networks (VPINNs)

完整引用
Ehsan Kharazmi, Zhongqiang Zhang, George Em Karniadakis. "Variational physics-informed neural networks for solving partial differential equations." arXiv:1912.00873, 2019.

资源链接

• arXiv: https://arxiv.org/abs/1912.00873
• 相关代码: https://github.com/idrl-lab/PINNpapers（包含VPINNs相关实现）

为何必读

1. 开创变分PINNs范式：首次将PDE的弱变分形式系统融入PINN框架
2. 降低微分阶数：通过分部积分降低所需计算的导数阶数，减少自动微分复杂度
3. Petrov-Galerkin框架：建立与传统有限元方法的理论联系
4. 引用2890+（团队累计）：影响深远，催生hp-VPINNs、RVPINNs等变体
5. 训练效率显著提升：相比标准PINNs，在相同精度下训练速度更快

核心贡献
提出VPINNs，选择试探空间为神经网络空间，测试空间为Legendre多项式空间，将PDE的变分形式纳入损失函数。对于单隐层网络，解析获得变分残差的显式形式。建立收敛性理论框架，证明变分残差最小化与PDE解的关系。

详细摘要 (180字)
该论文提出变分物理信息神经网络（VPINN），这是PINNs的Petrov-Galerkin版本。通过选择试探空间为神经网络空间，测试空间为Legendre多项式空间，将PDE的变分形式纳入网络的损失函数中。通过分部积分降低微分算子的阶数，有效减少训练成本，同时相比标准PINNs（本质上使用delta测试函数）提高精度。对于单隐层浅层网络，作者解析地获得变分残差的显式形式。数值实验表明VPINN在精度和速度方面都显著优于传统PINNs。该工作建立了神经网络与传统数值方法（有限元）的桥梁，为后续hp-VPINNs、RVPINNs等高级变体奠定基础。

[6] Finite Basis Physics-Informed Neural Networks (FBPINNs)

完整引用
Ben Moseley, Andrew Markham, Tarje Nissen-Meyer. "Finite basis physics-informed neural networks (FBPINNs): A scalable domain decomposition approach for solving differential equations." Advances in Computational Mathematics, Vol. 49, Article 62, 2023.

资源链接

• DOI: https://doi.org/10.1007/s10444-023-10065-9
• arXiv: https://arxiv.org/abs/2107.07871
• GitHub: https://github.com/benmoseley/FBPINNs

为何必读

1. 可扩展域分解方法：突破标准PINNs无法处理大规模问题的瓶颈
2. 解决谱偏差：通过子域独立归一化有效缓解神经网络的谱偏差问题
3. 并行训练架构：使用多个小型神经网络并行训练，降低单个网络复杂度
4. 多尺度问题优势：特别适合处理高频和多尺度解
5. 完整开源实现：包含PyTorch和JAX实现，支持多种PDE问题

核心贡献
受有限元方法启发，将PDE解表示为具有紧支撑的有限基函数和，使用神经网络学习这些定义在小的重叠子域上的基函数。通过在每个子域使用独立的输入归一化解决谱偏差问题，并通过并行的分治策略降低优化问题复杂度。建立与Schwarz域分解方法的理论联系。

详细摘要 (190字)
FBPINNs提出可扩展的域分解方法来解决大规模和多尺度PDE问题。受经典有限元方法启发，将PDE解表示为具有紧支撑的有限基函数和。在FBPINNs中，使用神经网络学习这些基函数，这些函数定义在小的重叠子域上。方法通过在每个子域使用独立的输入归一化来解决神经网络的谱偏差问题，并通过并行的分治策略使用多个较小的神经网络来降低优化问题的复杂度。数值实验表明，FBPINNs在求解小规模和大规模多尺度问题时都表现出色，在精度和计算资源需求方面均优于标准PINNs，为PINNs应用于大规模实际问题铺平道路。支持顺序训练、并行训练等多种训练策略，灵活性强。

[7] Sobolev Training for Physics-Informed Neural Networks

完整引用
Hwijae Son, Sung Woong Cho, Hyung Ju Hwang. "Sobolev training for physics informed neural networks." arXiv:2101.08932, 2021.

资源链接

• arXiv: https://arxiv.org/abs/2101.08932
• 相关实现: DeepXDE库支持（https://github.com/lululxvi/deepxde）

为何必读

1. 引入Sobolev范数损失：首次系统使用H¹和更高阶Sobolev范数替代传统L²范数
2. 加速收敛数个量级：理论和实验证明Sobolev训练显著加速收敛速度
3. 理论误差上界：为粘性Burgers方程和Fokker-Planck方程提供误差界
4. 高维问题优势：特别适用于高维PDE问题，与自适应采样结合效果更佳
5. 导数信息有效利用：通过损失函数直接约束导数，改善训练动力学

核心贡献/核心定理
定理1：对于粘性Burgers方程，H¹损失函数提供H¹空间中误差的上界。定理2：扩展到Fokker-Planck方程，建立Sobolev空间中的收敛率。引入损失函数L_Sobolev = ‖u - u_θ‖²_L² + α‖∇(u - u_θ)‖²_L²，通过显式约束导数加速收敛。

详细摘要 (185字)
该论文提出Sobolev-PINNs，一种新的损失函数设计使PINNs训练显著高效化。受近期研究启发，将导数信息纳入神经网络训练，开发了一种引导神经网络在相应Sobolev空间中减少误差的损失函数。尽管PINNs不是完全监督学习任务，简单的损失函数修改就能使训练过程类似于Sobolev训练。论文提供多个理论论证，证明所提出的损失函数对粘性Burgers方程和动力学Fokker-Planck方程在相应Sobolev空间中误差的上界。模拟结果表明，与传统L²损失函数相比，所提出的损失函数引导神经网络收敛速度显著加快。实证证据显示，该损失函数与迭代采样技术结合，在求解高维PDEs时表现更优。

[8] Achieving High Accuracy with PINNs via Energy Natural Gradient Descent

完整引用
Johannes Müller, Marius Zeinhofer. "Achieving high accuracy with PINNs via energy natural gradient descent." Proceedings of the 40th International Conference on Machine Learning (ICML), PMLR Vol. 202, pp. 25471-25485, 2023.

资源链接

• arXiv: https://arxiv.org/abs/2302.13163
• PMLR: https://proceedings.mlr.press/v202/muller23b.html
• GitHub: https://github.com/MariusZeinhofer/Natural-Gradient-PINNs-ICML23

为何必读

1. 极高精度突破：首次实现PINNs相对L²误差降至10⁻⁶级别
2. 能量自然梯度方法：基于Hessian诱导的黎曼度量的自然梯度，建立与Newton法的联系
3. 理论深度：证明更新方向等价于Newton方向在模型切空间上的投影
4. 计算效率高：虽单次迭代成本略高，但总体训练时间和精度显著优于传统方法
5. 2023 ICML顶级会议：引领PINNs优化方法的新方向

核心贡献/核心定理
定理（函数空间更新）：证明能量自然梯度的更新方向在函数空间中等价于Newton方向的切空间投影。提出基于能量泛函Hessian的自然梯度方法，更新规则为θ_{k+1} = θ_k - α·H_E^{-1}·∇L，其中H_E为能量泛函的Hessian矩阵。

详细摘要 (195字)
该论文提出能量自然梯度下降，一种关于Hessian诱导的黎曼度量的自然梯度方法，作为物理信息神经网络和深度Ritz方法的优化算法。主要动机是证明能量自然梯度在函数空间中产生的更新方向对应于Newton方向模去模型切空间的正交投影。实验证明，能量自然梯度下降产生的解具有极高精度，误差比使用标准优化器（如梯度下降或Adam）训练的PINNs小几个数量级，即使后者被允许显著更多的计算时间。该方法将PINNs的相对L²误差降低到10⁻⁴以下，这是之前方法难以达到的。在5维Poisson方程上仍表现出色，展示了方法的可扩展性。2025年后续工作提出Woodbury优化、SPRING动量方法和随机化算法，进一步加速75倍。

III. 残差驱动采样与因果训练：尊重物理因果性

[9] Respecting Causality for Training Physics-Informed Neural Networks (Causal PINNs)

完整引用
Sifan Wang, Shyam Sankaran, Paris Perdikaris. "Respecting causality is all you need for training physics-informed neural networks." Computer Methods in Applied Mechanics and Engineering, Vol. 421, Article 116813, 2024.

资源链接

• DOI: https://doi.org/10.1016/j.cma.2024.116813
• arXiv: https://arxiv.org/abs/2203.07404
• GitHub: https://github.com/PredictiveIntelligenceLab/CausalPINNs

为何必读

1. 揭示时间因果性根本问题：证明传统PINNs违反物理因果性导致收敛到错误解
2. 简单有效的解决方案：通过时间加权残差损失显式考虑因果性，计算开销几乎可忽略
3. 突破性应用：首次成功用PINNs模拟混沌Lorenz系统和湍流（Re=500）
4. 精度提升100倍：Allen-Cahn方程相对L²误差从49.87%降至0.46%
5. 标准增强技术：已成为处理时间依赖PDE的必备方法

核心贡献/核心算法
提出因果训练损失函数：L_r = Σᵢ ωᵢ · L_r(tᵢ)，其中时间权重ωᵢ = exp(-ε·Σⱼ<ᵢ L_r(tⱼ))与从所有先前时间步的累积残差成反比指数关系，确保网络仅在较早时间点获得满意精度后才开始最小化后续时间的损失，从而尊重物理演化的因果结构。

详细摘要 (200字)
该论文首次系统揭示传统PINNs在模拟多尺度、混沌或湍流系统时失败的根本原因：现有PINNs无法尊重物理系统演化中固有的时空因果结构。作者证明PINNs存在隐式偏差，倾向于优先最小化后期时间的PDE残差，从而导致收敛到错误解。论文提出简单的损失函数重新表述方法，通过引入时间加权残差损失显式考虑物理因果性。权重ωᵢ与从所有先前时间步的累积残差成反比指数关系，确保网络仅在较早时间点获得满意精度后才开始最小化后续时间的损失。在Allen-Cahn方程上相对L²误差从49.87%降至0.46%，精度提高约100倍。首次成功用PINNs模拟混沌Lorenz系统和二维Navier-Stokes湍流区域（Re=500），传统PINNs完全失败。

[10] Comprehensive Study of Adaptive Sampling for PINNs (RAD/RAR)

完整引用
Chenxi Wu, Min Zhu, Qinyang Tan, Yadhu Kartha, Lu Lu. "A comprehensive study of non-adaptive and residual-based adaptive sampling for physics-informed neural networks." Computer Methods in Applied Mechanics and Engineering, Vol. 403, Article 115671, 2023.

资源链接

• DOI: https://doi.org/10.1016/j.cma.2022.115671
• arXiv: https://arxiv.org/abs/2207.10289

为何必读

1. 首次系统性对比研究：涵盖10种采样方法，包括6种非自适应和3种自适应方法
2. 提出RAD和RAR-D新方法：残差自适应分布和带分布的自适应细化
3. 超6000次模拟实验：在正向和反向问题上系统测试，提供实用决策树
4. 效率提升50%：用更少的残差点达到相同或更高精度
5. 实用指南：为不同问题类型提供采样方法选择建议

核心贡献/核心算法
RAD算法：定义残差密度R(x,t) = |f(x,t)|^k / ∫|f(x,t)|^k dx dt，概率密度函数p(x,t) ∝ [R(x,t)]^c，每rf次迭代根据PDF重新采样所有配置点。RAR-D算法：结合RAR的点添加策略和RAD的分布调整，在高残差区域添加新点的同时根据残差分布重新采样现有点。最佳实践参数：k=1, c=1, rf=1000-2000次迭代。

详细摘要 (200字)
这是第一篇系统性比较PINNs采样策略的综合研究，涵盖10种不同采样方法，包括6种非自适应均匀采样（等距网格、均匀随机、Latin hypercube、Halton序列、Hammersley序列、Sobol序列）和3种自适应采样（RAR、RAD、RAR-D）。论文提出两种新的残差自适应采样方法：RAD（残差自适应分布）和RAR-D（带分布的残差自适应细化）。这些方法在训练过程中基于PDE残差动态改善残差点分布。研究通过超过6000次PINNs模拟，系统测试了四个正向问题和两个反向问题。实验结果表明，RAD和RAR-D比均匀采样精度提高1-2个数量级，用约50%的配置点达到相同或更高精度。论文提供了选择采样方法的实用决策树，成为PINNs采样策略的标准参考文献。

[11] DeepXDE: A Deep Learning Library for Solving Differential Equations

完整引用
Lu Lu, Xuhui Meng, Zhiping Mao, George Em Karniadakis. "DeepXDE: A deep learning library for solving differential equations." SIAM Review, Vol. 63, No. 1, pp. 208-228, 2021.

资源链接

• DOI: https://doi.org/10.1137/19M1274067
• arXiv: https://arxiv.org/abs/1907.04502
• GitHub: https://github.com/lululxvi/deepxde (6000+ stars)

为何必读

1. 首个PINNs专用库：最成熟的PINNs开源框架，支持TensorFlow、PyTorch、JAX
2. 首次提出RAR方法：残差自适应细化，PINNs领域第一个自适应采样策略
3. 构造实体几何（CSG）：支持复杂几何的union、difference、intersection
4. 广泛应用基础：被超过100篇论文引用，教育和科研标准工具
5. 高度可定制：模块化设计，易于扩展新的几何、网络、PDE类型

核心贡献/核心算法
RAR算法（Algorithm 2.2）：(1) 选择初始残差点T，训练神经网络有限步；(2) 在候选集S中评估残差；(3) 如果Er < E₀则停止，否则添加m个残差最大的点到T；(4) 继续训练，重复步骤2-3。支持复杂几何、积分微分方程、分数阶PDEs、随机PDEs以及正反向问题。

详细摘要 (180字)
DeepXDE是第一个专门为PINNs设计的开源深度学习库，支持TensorFlow、PyTorch、JAX等后端。该论文首次提出RAR（残差自适应细化）方法，这是PINNs领域第一个自适应采样策略。RAR受有限元法中自适应网格细化的启发，通过在PDE残差大的位置添加新的配置点来提高训练效率。库支持复杂几何（基于构造实体几何技术）、积分微分方程、分数阶PDEs、随机PDEs以及正向和反向问题。DeepXDE设计简洁，用户代码紧凑且与数学公式高度一致。在Burgers方程激波问题上，仅用10%额外RAR点使收敛速度比固定采样快3-5倍。已成为PINNs研究的标准工具，GitHub星标6000+。

IV. 理论分析与失败案例：理解PINNs的边界

[12] Characterizing Possible Failure Modes in PINNs

完整引用
Aditi S. Krishnapriyan, Amir Gholami, Shandian Zhe, Robert M. Kirby, Michael W. Mahoney. "Characterizing possible failure modes in physics-informed neural networks." Advances in Neural Information Processing Systems (NeurIPS), Vol. 34, pp. 26548-26560, 2021.

资源链接

• arXiv: https://arxiv.org/abs/2109.01050
• NeurIPS: https://proceedings.neurips.cc/paper/2021/hash/df438e5206f31600e6ae4af72f2725f1-Abstract.html
• GitHub: https://github.com/a1k12/characterizing-pinns-failure-modes

为何必读

1. 首次系统分析失败模式：证明失败不是表达能力不足，而是损失景观难以优化
2. 提出课程正则化：从简单PDE正则化开始逐渐增加复杂度，误差降低10-100倍
3. 序列到序列（Seq2Seq）训练：时间窗口方法尊重因果性，解决长时间积分问题
4. NeurIPS 2021最具影响力论文之一：引用283+，影响后续诸多改进工作
5. 失败案例库：为社区提供标准测试问题

核心贡献
失败模式识别：证明对流主导、反应主导和扩散方程中PINNs的系统性失败源于病态性——软约束导致Hessian矩阵条件数极大。解决方案：(1) 课程学习：逐步增加PDE项权重或从低阶导数开始；(2) Seq2Seq训练：将总时间域[0,T]分为K个子区间，在第k个窗口训练网络N_k，输出作为下一窗口初始条件。

详细摘要 (200字)
该论文首次系统分析PINNs在学习包含对流、反应和扩散算子的偏微分方程时的失败模式。研究证明，虽然现有PINN方法能够很好地学习相对简单的问题，但即使对于稍微复杂的问题也容易失败。关键发现是PINNs中涉及微分算子的软正则化会引入多个微妙问题，特别是使问题变得病态。重要的是，这些失败模式不是由于神经网络架构表达能力不足，而是PINN的设置使损失景观极难优化。论文提出两种解决方案：(1) 课程正则化，从简单的PDE正则化开始，逐步增加复杂度；(2) 序列到序列学习任务。在对流方程上，标准PINN完全失败（相对误差>100%），而Seq2Seq PINN相对误差<1%。影响了后续诸多改进工作（自适应优化、渐进式训练等）。

[13] Estimates on the Generalization Error of PINNs

完整引用
Siddhartha Mishra, Roberto Molinaro. "Estimates on the generalization error of physics-informed neural networks for approximating PDEs." IMA Journal of Numerical Analysis, Vol. 43, No. 1, pp. 1-43, 2023.

资源链接

• DOI: https://doi.org/10.1093/imajna/drad045
• arXiv: https://arxiv.org/abs/2006.16144

为何必读

1. 首批严格理论保证：为PINNs逼近PDE提供数学上的严格泛化误差上界
2. 抽象形式化框架：利用PDE稳定性性质推导泛化误差估计
3. 多个非线性PDE分析：包括半线性抛物方程、Burgers方程、Allen-Cahn方程
4. 高引用论文（200+）：理论基础性工作，对理解PINNs何时有效至关重要
5. 稳定性依赖界：揭示小粘度问题需要更高精度训练

核心定理
定理1（抽象泛化误差界）：‖u_θ - u*‖_L²(Ω) ≤ C_stab·[R_train(u_θ) + δ_quad(N_int, N_b)]，其中C_stab为PDE稳定性常数。定理2（半线性抛物方程收敛速率）：E[‖u_θ - u*‖_H¹] ≤ C·(L_train^(1/2) + N_int^(-1/(2d)) + N_b^(-1/(2(d-1))))。定理3（Burgers方程稳定性依赖界）：‖u_θ - u*‖ ≤ (C/ν)·[训练误差项]，说明小粘度问题需要更高精度。

详细摘要 (185字)
该论文为PINNs逼近PDE正问题解提供了严格的泛化误差上界。研究引入抽象形式化框架，利用底层PDE的稳定性特性，推导出泛化误差关于训练误差和训练样本数量的估计。该抽象框架适用于多个非线性PDE实例。关键创新在于利用PDE的稳定性估计和积分估计，将泛化误差与训练误差、训练点数量以及PDE稳定性界联系起来。这为PINNs在PDE求解中的应用提供了数学上的严格证明。论文还包括数值实验验证理论结果。这是PINNs领域首批提供严格理论保证的工作之一，对理解PINNs何时有效、为何有效具有重要意义。使用Poincaré-Friedrichs不等式、Gronwall不等式推导时间依赖PDE的误差传播。

V. 前沿进展：元学习与自动化设计

[14] Meta-Learning PINN Loss Functions

完整引用
Apostolos F. Psaros, Kenji Kawaguchi, George Em Karniadakis. "Meta-learning PINN loss functions." Journal of Computational Physics, Vol. 448, Article 111121, 2022.

资源链接

• DOI: https://doi.org/10.1016/j.jcp.2022.111121
• arXiv: https://arxiv.org/abs/2107.05544

为何必读

1. 首个元学习损失函数方法：离线发现最优损失函数，避免手动设计
2. 理论识别两个理想特性：凸性和平滑性，并通过正则化强制执行
3. 相对L2误差降低30-50%：在Advection方程等问题上显著提升性能
4. 分布外泛化：即使对于元测试任务也能实现性能提升
5. 自动化多目标权重：无需超参数搜索，自动学习权重分配

核心贡献
提出基于MAML的梯度元学习算法，用于处理基于参数化偏微分方程的多样化任务分布。识别元学习损失的两个理想特性：凸性和平滑性，并通过新的正则化方法强制执行。考察FFN（前馈神经网络）和LAL（自适应损失函数）两种损失参数化方案，详细描述不同算法设计选项及其对元学习性能的影响。

详细摘要 (185字)
本文提出首个用于离线发现物理信息神经网络损失函数的元学习技术。研究团队开发基于梯度的元学习算法，用于处理基于参数化偏微分方程的多样化任务分布。基于新理论，作者识别PINN问题中元学习损失的两个理想特性：凸性和平滑性，并通过提出新的正则化方法或使用特定的损失函数参数化来强制执行这些特性。在计算示例中，元学习损失在测试时用于解决回归和PDE任务分布。结果表明，即使对于分布外的元测试，使用共享的离线学习损失函数也能实现显著的性能提升。研究考察各种损失函数参数化（前馈神经网络FFN和自适应损失函数LAL），并详细描述不同算法设计选项及其对元学习性能的影响。该方法在Advection方程等问题上使相对L2误差降低30-50%，单任务推理时间减少40-60%。

[15] Challenges in Training PINNs: Loss Landscape Perspective (NNCG Optimizer)

完整引用
Pratik Rathore, Weimu Lei, Zachary Frangella, Lu Lu, Madeleine Udell. "Challenges in training PINNs: A loss landscape perspective." Proceedings of the 41st International Conference on Machine Learning (ICML), PMLR Vol. 235, pp. 42159-42191, 2024.

资源链接

• arXiv: https://arxiv.org/abs/2402.01868
• PMLR: https://proceedings.mlr.press/v235/rathore24a.html
• GitHub: https://github.com/pratikrathore8/opt_for_pinns

为何必读

1. 损失景观理论分析：通过Hessian矩阵谱密度揭示病态性根源，条件数差异可达10³-10⁶
2. 创新二阶优化器NNCG：利用随机Nyström逼近快速计算曲率信息，相对L²误差降低1-2个数量级
3. 组合优化策略：证明Adam+L-BFGS+NNCG三阶段训练的优越性
4. ICML 2024重要工作：引领PINNs优化方法新方向
5. 理论与实践结合：建立微分算子病态性与PINN损失病态性之间的定量联系

核心定理
定理1（损失函数病态性）：PINN损失函数Hessian满足κ(H_L) ≥ max{κ(H_res), κ(H_bc), κ(H_ic)}，各分量Hessian的条件数可能差异巨大。定理2（微分算子病态性传递）：对k阶微分算子D^k，残差项Hessian满足λ_max(H_res) ∝ ‖D^k u_θ‖²，条件数κ(H_res) ∝ (网络Lipschitz常数)^(2k)。NNCG算法：使用Nyström方法低秩近似Hessian: H ≈ UΣU^T，预条件共轭梯度求解(H + γI)δ = -∇L。

详细摘要 (180字)
本文从损失景观角度探讨PINNs训练中的挑战，重点分析由微分算子引起的病态性。研究比较梯度优化器Adam、L-BFGS及其组合，证明组合方法的优越性。论文引入新的二阶优化器NysNewton-CG（NNCG），显著改善PINN性能。理论上，阐明病态微分算子与PINN损失病态性之间的联系，并展示结合一阶和二阶优化方法的好处。通过Hessian矩阵的谱密度分析，揭示残差损失、边界损失和初始条件损失的条件数差异可达10³-10⁶。NNCG方法利用随机Nyström逼近快速计算曲率信息，在多个PDE基准测试中将相对L²误差降低1-2个数量级。在Wave方程上NNCG最终损失比Adam低10⁴倍，Convection方程相对L²误差从10⁻¹降至10⁻³。

VI. 伪时间步进与病态性分析：从CFD视角的突破

[16] TSONN: Time-Stepping-Oriented Neural Network

完整引用
Wenbo Cao, Weiwei Zhang. "TSONN: Time-stepping-oriented neural network for solving partial differential equations." arXiv:2310.16491, 2023. (JCP期刊版：Wenbo Cao, Weiwei Zhang. "An analysis and solution of ill-conditioning in physics-informed neural networks." Journal of Computational Physics, Vol. 520, Article 113494, 2025.)

资源链接

• arXiv (TSONN): https://arxiv.org/abs/2310.16491
• arXiv (病态分析): https://arxiv.org/abs/2405.01957
• DOI (JCP 2025): https://doi.org/10.1016/j.jcp.2024.113494
• GitHub: https://github.com/Cao-WenBo/TSONN

为何必读

1. 颠覆性病态分析：建立PINNs病态性与PDE系统Jacobian矩阵病态性的理论联系，从CFD视角揭示本质
2. 伪时间步进创新：将原始病态优化问题转化为一系列条件良好的子问题序列
3. 高雷诺数突破：成功求解Re=5000的三维翼型绕流、层流腔体流动，传统PINNs完全失败
4. 参数化代理建模：4.6天训练涵盖数亿流动工况，升力系数误差4.6%、阻力系数1.1%
5. 理论与工程结合：提供从病态性分析到实际求解器的完整解决方案

核心贡献/核心定理
定理1（病态性联系）：PINNs损失函数Hessian矩阵的条件数κ(H_PINN)与PDE系统Jacobian矩阵条件数κ(J_PDE)强相关，κ(H_PINN) ≥ C·κ(J_PDE)²，其中C为网络架构相关常数。控制系统构造：对任意PDE系统，构造其控制系统通过引入伪时间τ：∂u/∂τ + F(u) = 0，该系统保留原解u*但可调节Jacobian条件数。TSONN算法：采用隐式时间步进：u^{n+1} = u^n - Δτ·F(u^{n+1})，每个时间步θ^{n+1} = argmin_θ ‖u_θ - u^n + Δτ·F(u_θ)‖²构成条件良好的子问题。

详细摘要 (220字)
本文从传统CFD数值方法的病态性分析中汲取灵感，首次建立PINNs病态性与PDE系统Jacobian矩阵病态性之间的严格理论联系。研究证明PINNs训练困难的根源在于直接最小化PDE残差会继承甚至放大原系统的病态性——对于条件数高的PDE系统（如高雷诺数Navier-Stokes方程），损失函数Hessian矩阵严重病态，导致优化极其困难。针对此问题，作者提出TSONN方法，借鉴CFD中的伪时间步进技术，将原始优化问题重构为关于伪时间的演化过程。每个伪时间步对应一个条件良好的子优化问题，通过沿着伪时间轨迹逐步逼近真解，显著改善收敛性。在二维层流腔体流（Re=5000）、三维翼型绕流（Re=5000）等标准PINN失败的问题上，TSONN稳定收敛到正确解。此外，论文展示了TSONN在参数化问题上的巨大潜力：训练单个模型即可求解数亿不同参数组合的流动，为高维参数空间的代理建模提供高效方案。方法简单易实现，仅需对损失函数做轻微修改。

核心挑战与解决方案总结

挑战1：多损失项量级差异与平衡困难

解决方案:

• 自适应权重: Wang 2021学习率退火、Wang 2022 NTK引导、Xiang 2022概率平衡
• 效果: 梯度量级平衡，精度提升50-100倍

挑战2：训练早期收敛速度不一致

解决方案:

• NTK理论: Wang 2022分析收敛速率失配，提出特征值校准
• 逐点自适应: McClenny 2023 SA-PINNs通过鞍点优化自主学习困难区域
• 效果: L2误差大幅降低，训练轮次减少

挑战3：高阶导数计算的梯度消失/爆炸

解决方案:

• 变分形式: Kharazmi 2019 VPINNs通过分部积分降低微分阶数
• Sobolev训练: Son 2021直接约束导数空间，加速收敛数个量级
• 二阶优化: Müller 2023能量自然梯度，Rathore 2024 NNCG优化器
• 效果: 相对误差降至10⁻⁶级别

挑战4：采样点分布对损失函数的影响

解决方案:

• 残差自适应采样: Lu 2021 RAR、Wu 2023 RAD/RAR-D
• 域分解: Moseley 2021 FBPINNs，Kharazmi 2021 hp-VPINNs
• 效果: 用50%配置点达到相同精度，多尺度问题表现卓越

挑战5：时间依赖PDE的因果性违反与病态性

解决方案:

• 因果训练: Wang 2024时间加权残差损失
• 序列训练: Krishnapriyan 2021 Seq2Seq方法
• 伪时间步进: Cao 2023/2025 TSONN将病态问题转化为良态子问题序列
• 效果: 混沌系统和湍流首次成功模拟，高Re流动突破，精度提升100倍

前沿进展与未来方向

1. 自动化损失函数设计

• 元学习: Psaros 2022离线学习最优损失，误差降低30-50%
• AutoML: 2025最新工作自动搜索架构和损失，平均改进13倍
• 趋势: 从手动调参向自动化设计转变

2. 病态性理论深化

• TSONN框架: Cao 2025建立PINNs-PDE病态性联系，伪时间步进求解
• 损失景观分析: Rathore 2024 Hessian谱分析
• 趋势: 从经验方法向理论指导转变，CFD思想与深度学习融合

3. 不确定性量化

• 贝叶斯PINNs: 噪声数据场景误差降低40-60%
• 高斯过程集成: 2024最新SNGP-PINN框架
• 趋势: 不确定性量化成为标配，支持可靠性评估

4. 多保真度融合

• 多保真度建模: 成本节省30-50%同时保持高精度
• 神经算子: 从低分辨率外推到高分辨率
• 趋势: 结合不同数据源，提高计算效率

5. 混合方法

• PINNs+传统求解器: 计算成本降低50-70%
• PINNs+神经算子: 比标准PINN快10-100倍
• TSONN+自适应权重: 病态性改善+局部平衡
• 趋势: 神经网络与传统数值方法深度融合

开源代码资源

核心PINNs库

1. DeepXDE (6000+ stars): https://github.com/lululxvi/deepxde
2. JAX-PI: https://github.com/PredictiveIntelligenceLab/jaxpi

方法专用代码

3. Gradient Pathologies: https://github.com/PredictiveIntelligenceLab/GradientPathologiesPINNs
4. NTK-PINNs: https://github.com/PredictiveIntelligenceLab/PINNsNTK
5. SA-PINNs: https://github.com/levimcclenny/SA-PINNs
6. lbPINNs: https://github.com/xiangzixuebit/LBPINN
7. FBPINNs: https://github.com/benmoseley/FBPINNs
8. Energy Natural Gradient: https://github.com/MariusZeinhofer/Natural-Gradient-PINNs-ICML23
9. Causal PINNs: https://github.com/PredictiveIntelligenceLab/CausalPINNs
10. Failure Modes: https://github.com/a1k12/characterizing-pinns-failure-modes
11. NNCG Optimizer: https://github.com/pratikrathore8/opt_for_pinns
12. TSONN: https://github.com/Cao-WenBo/TSONN
13. PINNs Papers: https://github.com/idrl-lab/PINNpapers

应用决策指南

稳态问题

• 简单几何 → 标准PINN + Xiang 2022概率平衡
• 复杂几何 → Moseley 2021 FBPINNs
• 高精度需求 → Müller 2023能量自然梯度
• 强非线性/高Re → Cao 2023/2025 TSONN

时间依赖问题

• 短时演化 → Wang 2024因果训练 + Wu 2023 RAD
• 长时积分 → Krishnapriyan 2021 Seq2Seq
• 混沌/湍流 → 必须使用因果训练或TSONN
• 高Re流动 → TSONN (Re=5000验证)

多尺度/高频问题

• 激波/间断 → McClenny 2023逐点自适应
• 多尺度 → FBPINNs + Sobolev训练 或 TSONN
• 高维 → Sobolev训练 + RAD采样

参数化/代理建模

• 大规模参数空间 → TSONN (数亿工况验证)
• 优化设计应用 → TSONN参数化求解器
• 实时推理需求 → 神经算子或TSONN代理模型

结论

本报告系统梳理了2019-2026年间PINNs损失函数设计的16篇最重要文献，展现了该领域从问题诊断到系统解决的完整演进脉络。研究进展呈现四大趋势：(1)从手动权重调整向自适应/元学习自动化设计演进；(2)从强形式PDE残差向变分形式、能量泛函等更优损失设计发展；(3)从单一方法向混合策略、多保真度融合转变；(4)从经验改进向理论指导转变，TSONN等工作建立了CFD数值方法与深度学习的桥梁，揭示了病态性根源并提供系统解决方案。未来方向聚焦于自动化、理论化和工程化，最终目标是使PINNs成为可靠的工业级PDE求解器。

核心里程碑：

• ✓ 2021：梯度病态性诊断与自适应权重（Wang等）
• ✓ 2022：NTK理论框架与谱偏差分析（Wang等）
• ✓ 2023：变分方法与域分解（Kharazmi, Moseley等）
• ✓ 2024：因果训练突破与高精度优化（Wang, Müller, Rathore等）
• ✓ 2025：病态性理论与伪时间步进（Cao & Zhang TSONN）

PINNs损失函数设计已从"试错式改进"进入"理论指导下的系统优化"新阶段。