全文速览

动态系统的状态估计精度直接影响其决策与控制性能。针对线性高斯系统，传统稳态卡尔曼滤波依赖代数黎卡提方程求解，计算复杂度随状态维度呈三次方增长。本研究提出一种基于Actor-Critic强化学习的近似最优滤波器（Approximate Optimal Filter, AOF），将最小方差滤波问题转化为带折扣因子的累积误差最小化控制问题，并通过强化学习策略迭代求解最优滤波增益。

利用系统误差的稳态分布特性，证明该方法在线性高斯条件下所求滤波增益等价于卡尔曼滤波解。得益于强化学习的近似迭代机制，AOF具备更高的在线计算效率，并可拓展至高维、非线性、非高斯系统的状态估计。仿真实验以车辆二自由度模型为例，结果表明：所求近似滤波增益与传统卡尔曼增益的平均绝对误差小于0.001，相对误差低于1%，满足工程应用精度要求。

AOF算法设计原理

研究首先将稳态卡尔曼滤波的目标重构为优化误差稳态方差的问题，并引入折扣累积代价函数。结合系统与滤波器的线性结构，构建等效的马尔可夫控制模型，其中状态为估计误差，控制策略对应滤波增益。通过Actor-Critic强化学习框架对该控制问题进行策略优化，迭代求解出最优滤波增益。

以车辆二自由度模型为例开展仿真验证，观测输入为侧向加速度和横摆角速度，待估状态为质心侧偏角与横摆角速度。AOF增益的离线训练过程如图所示，在10000步迭代后趋于收敛。

收敛后的AOF增益与稳态卡尔曼增益对比结果如下表所示，各项指标误差均处于千分之一以下，满足最优滤波精度需求。

AOF算法应用案例

该滤波算法已成功应用于北京极智嘉科技有限公司（Geek+）系列室内物流机器人，提升其运动状态估计精度与导航稳定性。