不确定环境下基于强化学习的自动驾驶汽车行为决策算法

南京航空航天大学赵又群教授团队提出新型决策框架，提升复杂交通场景下的驾驶安全性与效率

在自动驾驶技术发展过程中，车辆在不确定环境下的行为决策能力直接影响其安全性和通行效率。南京航空航天大学赵又群教授团队提出一种融合环境不确定性建模与启发式强化学习的决策算法，有效提升了自动驾驶系统在复杂交通场景中的适应性与性能。

该算法针对高速驾驶环境中存在的多重不确定性——包括周围车辆驾驶意图不明确、车道未来风险难以预判以及车际交互复杂等问题，构建了未来综合风险评估模型。通过长短期记忆网络（LSTM）预测周边车辆的换道意图与运动轨迹，并结合各车道风险评估结果与车辆状态信息，作为强化学习的状态输入。

Fig.1 Framework of vehicle decision system

为提升训练效率，研究团队提出“启发式衰减状态熵深度强化学习”（UHDSE）算法，引入IDM纵向控制模型与MOBIL横向换道模型进行引导训练，显著缓解强化学习中的探索困境，缩短收敛时间。历史交互数据被存储于经验回放池中，用于小批量采样训练，增强模型稳定性。

研究选取高密度交通流中的两个典型场景进行对比验证，并在低密度与高密度交通条件下测试算法表现。仿真结果显示：

• 在低密度交通中，UHDSE算法相较传统DDDQN算法提升了平均车速与无碰撞行驶时长，得益于对车道未来风险的前瞻性判断，实现更优换道策略；
• 在高密度交通中，训练收敛时间减少约39.5%，碰撞率降低约25%，平均总奖励提高约17.1%。

Fig.10 Vehicle driving conditions under Scenario 1: self-vehicle (in green), surrounding vehicles (in blue), crashed vehicle (in red) and the same markers (A, B, C and D) represent the same vehicles

Fig.11 Vehicle driving conditions under Scenario 2: self-vehicle (in green), surrounding vehicles (in blue), crashed vehicle (in red) and the same markers (A, B, C and D) represent the same vehicles

实验表明，该决策框架在不同交通密度下均具备良好的鲁棒性与高效性，能够有效降低事故风险并提升道路通行效率。

赵又群，南京航空航天大学二级教授、博士生导师。教育部学位与研究生教育专家，国家自然科学基金评审专家，地面机动平台技术领域轮式机动平台技术专业组专家，中国汽车工程学会越野车技术分会委员。主持国家级及企业科研项目42项，授权发明专利56件、国防专利2件、实用新型专利58件，获工信部国防技术发明奖、科技进步奖二等奖各1项，中国发明创业奖创新奖一等奖1项。

邓汇凡，南京航空航天大学博士研究生，法国国家科学研究中心LAMIH-CNRS实验室联合培养博士生，主要研究方向为智能车辆决策与人机共驾。