在强化学习与组合优化的交叉前沿，现实中的调度、路径规划和资源分配等问题正变得日益复杂。智能电网、自动驾驶车队管理等高维组合优化场景，不仅需要处理巨大的离散动作空间，还必须满足严格的实时性与可行性约束。
传统方法要么依赖精确但指数爆炸的搜索算法，要么使用启发式策略，难以兼顾泛化能力与求解质量。现有RL方法虽能学习策略，却常因动作空间组合爆炸而训练困难，且容易输出违反约束的解。
最新两项突破精准破局：融合约束感知与图结构的RL求解器，大幅提升组合优化问题的泛化效率；层次化动作分解与奖励塑形，在保证可行性的前提下逼近全局最优。
为了给方便大家更好的复现，我给大家准备了完整版的技术资料、代码和复现路径，以及相关论文合集，如有需要可自取！
PINN-DT: Optimizing Energy Consumption in Smart Buildings Using Hybrid Physics-Informed Neural Networks and Digital Twin Framework with Blockchain Security
关键词: 智能电网, 数字孪生, 物理信息神经网络, 区块链, 能源优化
研究方法
针对智能电网和建筑中能源消耗预测优化面临的计算复杂和不确定性问题，提出了一种名为Hybrid PINN-DT的综合框架。该框架利用数字孪生（DT）融合物联网实时数据，通过深度强化学习（DRL）智能体进行动态决策，并无缝嵌入物理信息神经网络（PINN）以确保模型严格遵循热力学等物理规律，最后结合区块链技术保障了整体数据的不可篡改与通信安全。
论文创新点
-
• 提出混合PINN-DT架构，实现了物理规律约束与深度强化学习数据驱动决策的完美融合。 -
• 创新地引入数字孪生和物联网，解决了复杂动态电网环境下的实时能源消耗监控与高精度预测难题。 -
• 通过结合区块链智能合约机制，将多节点跨区域能源数据交互的安全复杂度和信任成本大幅降低。 -
• 首次将PINN与DT及DRL深度结合，验证了在降低35%能源成本的同时，还能维持高达96%的用户舒适度。
论文链接: https://arxiv.org/abs/2503.00331v2
[ICLR 2026] SAFE CONTINUOUS-TIME MULTI-AGENT REINFORCEMENT LEARNING VIA EPIGRAPH FORM
关键词: 连续时间强化学习, 多智能体系统, 安全约束, 外延图形式, HJB方程
研究方法
针对高频不规则时间间隔下多智能体强化学习（MARL）难以处理连续时间动态，且安全约束惩罚会导致价值函数不连续的问题，提出了一种基于外延图的EPI框架。它将离散MDP转化为连续时间约束MDP，通过引入辅助状态将不连续价值平滑化，并利用物理信息神经网络逼近HJB偏微分方程，在Actor-Critic架构中实现了绝对安全与高回报的内外层联合优化。
论文创新点
-
• 构建了连续时间约束MDP模型，实现了多智能体系统在不规则高频时间步下的安全高效协同。 -
• 创新地引入外延图重构方法，解决了安全状态约束带来的价值函数不连续以及HJB方程难以求解的问题。 -
• 通过整合内外层优化的Actor-Critic训练方案，将连续时间动态寻优的计算复杂度与不稳定性显著降低。 -
• 首次将PINN与外延图HJB偏微分方程结合，验证了在连续时间MPE和MuJoCo环境下的极致安全与高额回报。
论文链接: https://arxiv.org/abs/2602.17078v1
