DRLinSPH: an open-source platform using deep reinforcement learning and SPHinXsys for fluidstructure-interaction problems
DRLinSPH：基于深度强化学习和 SPHinXsys 的流固耦合问题开源平台
叶脉a, 马浩a,b, 任雅茹c, 张驰d, Oskar J. Haidna and Xiangyu Hua
a 慕尼黑工业大学，工程与设计学院
b 郑州航空工业管理学院，航空宇航学院
c 四川大学，山区河流保护与治理全国重点实验室
d 华为技术有限公司，慕尼黑研究中心
引用格式：Mai Ye, Hao Ma, Yaru Ren, Chi Zhang, Oskar J. Haidn & Xiangyu Hu (2025) DRLinSPH: an open-source platform using deep reinforcement learning and SPHinXsys for fluid-structure-interaction problems, Engineering Applications of Computational Fluid Mechanics, 19:1, 2460677, DOI: 10.1080/19942060.2025.2460677
摘要：
本文提出了一个名为DRLinSPH的开源平台，结合了深度强化学习（Deep Reinforcement Learning, DRL）与基于光滑粒子流体动力学（Smoothed Particle Hydrodynamics, SPH）的仿真框架 SPHinXsys，用于解决复杂的流固耦合（Fluid-Structure Interaction, FSI）问题。该平台通过将DRL平台Tianshou与SPHinXsys相集成，实现了多场景下的并行训练，包括刚性和弹性挡板下的液体晃动抑制、波浪能捕获优化以及应变驱动的仿生鱼游动控制。在多个案例中，平台展现出优异的准确性、稳定性与可扩展性，例如刚性挡板可减少最高达68.81%的波高。结果证明DRLinSPH能有效提升复杂流固耦合问题的求解能力，具有良好的工业应用前景。
研究背景：
流固耦合问题广泛存在于工程实践中，如液舱晃动控制、水波能量转换、仿生游动等。这类问题通常具有高度非线性、强耦合、多自由度等特点，对求解算法的稳定性、精度与计算效率提出了极高要求。然而，目前主流的数值求解方法多依赖于基于网格的计算流体力学技术。这些方法虽然在定常边界和小变形条件下表现良好，但在面对大变形、界面破裂或拓扑变化时，容易出现网格扭曲、精度丧失甚至计算失败等问题。
在控制策略方面，传统的优化算法（如梯度法、遗传算法等）在高维、非凸优化任务中往往面临搜索效率低、对初值敏感、难以处理约束等限制，难以满足复杂FSI问题对实时性与智能化控制的需求。近年来，深度强化学习（DRL）因其强大的非线性拟合能力和端到端策略学习优势，成为解决高维动态控制问题的新兴手段。然而，现有的DRL在流体力学中的应用多数仍依赖于OpenFOAM等网格型求解器，这在处理大变形FSI问题时同样面临稳定性与扩展性不足的困境。
综上，目前尚缺乏一个专门面向FSI问题、支持无网格数值方法与DRL有机结合的开源平台，限制了智能优化方法在复杂物理系统中的广泛应用。
DRLinSPH旨在将基于Python的深度强化学习（DRL）平台与基于C++无网格流体仿真环境（团队自研SPHinXsys）高效耦合，以实现对流-固耦合（FSI）问题的智能控制与优化。该平台整体架构包括三个核心组成部分：
论文通过四个具体算例验证了DRLinSPH平台在流固耦合问题中的有效性与适应性，涵盖刚性结构控制、弹性结构驱动、能量捕获优化及仿生运动控制等典型场景。
算例1是二维矩形水箱中的液体晃动抑制，采用两个可控的刚性挡板垂直运动来减小液面波动。实验比较了不同观测特征数量和不同DRL算法（SAC与PPO）的表现，结果表明SAC能更快找到最优策略且波高抑制率高达68.81%。相比文献中的TD3方法，本文优化了动作定义与惩罚机制，使挡板速度更加平滑，增强了工程可行性。
算例2研究弹性挡板主动控制对晃动的影响。在参考已有被动弹性板实验的基础上，本文通过在挡板结构中施加周期性主动应变控制其变形幅度。经训练后，SAC智能体能自动调节应变幅值，使挡板变形与液面运动相反，形成“负功”，从而降低流体动能，波高平均降低42.92%。同时，主动变形大幅提升了结构响应的效率，显著改变了系统频率特性。
算例3为波浪能装置OWSC（Oscillating Wave Surge Converter）的阻尼调控优化。通过调节铰接阻尼系数，实现波浪作用下转动叶片的能量最大化。结果显示，SAC能学习到与波峰同步提高阻尼、波谷降低阻尼的周期性策略，在固定阻尼最优条件下进一步提升能量捕获效率8.25%，并有效控制了结构偏转角，提升了装置的工作稳定性。
算例4为仿生鱼在涡街环境中的直线游动控制。通过主动控制鱼体肌肉应变，实现鱼体协调摆动以克服复杂涡流干扰，保持直线前行。DRLinSPH平台在仿真过程中有效耦合结构运动与流场演化，训练出的策略能使鱼体在不同速度入口条件下稳定游动，体现出平台在复杂非线性FSI系统中的适应性和稳定性。
总结：
本文提出的面向流固耦合问题的开源平台DRLinSPH，实现了对复杂非线性耦合系统的高效建模与智能控制。平台基于模块化设计，可适配多种类型的结构（刚性/弹性）与控制形式（位移控制/应变驱动/阻尼调节），并支持并行训练以提升采样效率与策略优化效果。通过四个代表性算例验证了其具备处理高维、强耦合、非线性流-固耦合问题的能力，为将深度强化学习应用于工业流体仿真与控制提供了新思路和开放工具。未来工作可进一步扩展至三维问题、多智能体协同控制以及数据驱动模型融合等方向，以更好地应对实际工程中的复杂耦合系统。
注：本文由论文原作者整理并投稿分享，获作者授权发布。
