新智元报道
【新智元导读】在复杂视觉场景中，红外目标检测至关重要。传统方法依赖 RGB 与红外融合，但 RGB 在低照度或恶劣天气下可能退化，影响检测效果。北航等团队提出 InfraNet，以红外为主，利用质量感知机制控制 RGB 引导，显著提升模型鲁棒性。
在夜间感知、安防监控、无人机巡检与自动驾驶等复杂视觉场景中，红外目标检测具有核心应用价值。传统 RGB-IR 多模态检测方法通常默认双模态互补，并在训练和推理阶段强制融合。然而，在低照度、雾天、强逆光等真实场景下，RGB 图像往往严重退化，不仅无法提供有效补充，反而引入噪声干扰红外特征，导致检测性能下降。
针对这一痛点，北京航空航天大学等机构提出面向高效红外目标检测的质量感知 RGB 引导框架——InfraNet。该框架采用“红外为中心”（IR-centric）的设计理念，将红外分支作为主路径，RGB 分支仅作为训练阶段的可靠性受控辅助信号。其核心模块 QualGate 能自适应抑制不可靠的 RGB 引导并补偿红外特征。
基于该框架，InfraNet 同时支持 RGB-IR 双模态推理和 IR-only 单模态部署。在 LLVIP、FLIR-Aligned、M3FD 和 DroneVehicle 四大基准测试中，InfraNet 表现卓越：LLVIP 数据集上，YOLOv8 RGB-IR 版 mAP 达70.5，IR-only 版达68.8；FLIR-Aligned 数据集上，YOLOv5 RGB-IR 版 mAP50 达89.5，IR-only 版达88.1；DroneVehicle 数据集上，YOLOv12-IR 版 AP50 达84.7，mAP 达63.9。
该研究证明，多模态学习的关键不在于无条件融合更多信息，而在于让模型学会智能判断：何时利用 RGB 增强，何时回归更稳定的红外模态。
RGB 一定有帮助吗？
RGB-IR 多模态检测的直觉逻辑是：RGB 提供颜色纹理细节，红外提供热辐射信息，二者结合应更稳健。但在真实复杂环境中，这一假设常不成立。RGB 图像高度依赖环境光，在夜间、雾霾、强光或雨雪场景下，易出现噪声、过暗、过曝及结构缺失。若模型仍将退化 RGB 与红外同等融合，极易污染红外表示，引发误检漏检。
简言之，RGB 并非总是“增强剂”，有时反而是“噪声源”。
InfraNet 让红外做主
InfraNet 的核心思想是IR-centric：确立红外分支为主路径，负责提取多尺度特征并完成检测；RGB 分支则作为训练期的辅助路径，提供可靠性受控的跨模态引导。
这与传统对称融合截然不同。传统方法要求训练推理均需双模态输入，而 InfraNet 将 RGB 视为训练辅助，而非推理必需。这使得模型既能学习 RGB 中的有价值线索，又能在部署时摆脱对 RGB 的依赖。
基于此，InfraNet 衍生出两种形态：
- InfraNet-IR：训练时利用 RGB 辅助学习，推理时移除 RGB 分支及融合模块，仅凭红外图像完成检测。
- InfraNet-RGB-IR：训练与推理均使用双模态，适用于传感器均稳定可用的场景。
QualGate：智能调控 RGB 可信度
InfraNet 的关键在于QualGate模块。它摒弃了简单的特征相加，转而学习与检测任务相关的可靠性控制信号，动态调节 RGB 对红外分支的影响。
当 RGB 特征可靠时，QualGate 增强其跨模态引导作用；当 RGB 退化时，则降低其权重，阻断噪声传播，同时增强红外特征，确保模型在恶劣环境下仍依赖稳定的红外信息。
具体而言，QualGate 包含两个互补机制：
- RGB 抑制（RGB suppression）：过滤低质量 RGB 带来的负迁移。
- 红外增强（IR amplification）：补偿并强化红外主路径特征，维持复杂环境下的稳定性。
这意味着 InfraNet 关注的不是 RGB 图像的视觉美观度，而是其对当前检测任务的实际贡献值。
实验结果验证
研究团队在 LLVIP、FLIR-Aligned、M3FD 和 DroneVehicle 四个数据集上进行了系统实验，涵盖行人检测、车载热成像及无人机车辆检测等任务。
实验结果表明，InfraNet 不仅构建了更高效的双模态融合模型，更验证了“训练利用 RGB，推理可仅用红外”策略的有效性。这对于实际部署意义重大：红外传感器在夜间和恶劣天气中通常更稳定，而 RGB 图像质量波动较大。
在 M3FD 可视化对比中，InfraNet-IR 在不同光照条件下生成的检测框更紧凑，误检率更低。即便在 RGB 严重退化场景中，其定位能力依然稳定。
特征可视化进一步显示，InfraNet-IR 能产生更精准的目标响应，显著减少背景激活。这证实了训练阶段的质量感知 RGB 引导有助于红外分支学习更稳健的表示，从而支持部署阶段的纯红外推理。
多模态学习的范式转变
InfraNet 的价值不仅在于提升检测指标，更在于重新审视多模态学习中的模态关系。传统方法侧重于“如何融合更多”，却忽视了真实世界中传感器的不稳定性。
面对光照变化、设备故障或模态缺失，鲁棒的多模态系统不仅要学会利用信息，更要学会拒绝不可靠输入。InfraNet 正是这一理念的实践者：RGB 可靠时加以利用，不可靠时果断抑制，部署灵活时则完全依赖红外。
这种“质量感知、红外主导、部署灵活”的设计，为自动驾驶、无人机巡检、夜间安防等复杂场景提供了更具落地价值的解决方案。
参考资料：
https://arxiv.org/abs/2607.03795
编辑：LRST