采煤工作面中，煤岩识别的效率与准确性直接制约无人化采矿的推进 —— 传统方法要么受粉尘、低光照干扰，要么因点云稀疏导致精度不足。本文提出的 MMFP 方法将煤岩识别精度提升至93.6% ，且在 80dB 强噪声下仍保持稳定性能，彻底突破复杂井下工况的识别瓶颈。
标题: A novel coal-rock recognition method in coal mining face based on fusing laser point cloud and images 译文: 一种基于激光点云与图像融合的采煤工作面煤岩识别新方法 期刊: International Journal of Mining Science and Technology (IF = 13.7) DOI: https://doi.org/10.1016/j.ijmst.2025.05.009 |
1. 单传感器技术局限：X 射线存在辐射危害且穿透力弱，图像 / 振动信号受井下低光照、高粉尘干扰严重，激光点云在井下环境中稀疏导致识别精度低；
2. 传统融合方法缺陷：2D-3D 特征融合耗时久，3D 检测依赖 2D 结果但传统 2D 检测能力不足，点云信息丢失导致小目标、复杂场景检测性能差。
无人化采煤需根据煤岩分布自适应控制采煤机牵引速度与滚筒高度，而当前煤岩识别技术瓶颈直接降低采矿效率、缩短设备寿命，是智能采矿落地的核心障碍，亟待解决。
提出基于激光点云与图像融合的多模态视锥体点云网络（MMFP），解决采煤工作面复杂工况下煤岩快速、精准识别的问题。
1. 通过改进 2D 目标检测网络与引入自注意力 PointNet，实现激光点云与图像的高效融合识别；
2. 以 MobileNetV3 为骨干，融合 Dilated-CBAM 与 Inception 结构，兼顾模型轻量化与 2D 检测精度；
3. 搭建采煤机煤壁切割实验平台，结合井下现场实验，全面验证 MMFP 的优越性与工程实用性。
MMFP 模型通过 “改进 Mask R-CNN（2D 目标检测）→视锥体候选区域提取→自注意力 PointNet（点云实例分割）→3D 边界框回归” 的流程，实现激光点云与图像融合的煤岩识别。
1. 改进的Mask R-CNN实现2D目标检测
以 MobileNetV3 为骨干网络，嵌入 Dilated-CBAM 模块增强深层特征提取能力，结合 Inception 结构扩大感受野，输出煤岩图像的 2D 目标边界框。
融合 Dilated-CBAM 模块与 Inception 结构的 MobileNetV3 模型结构图
2. 目标视椎体候选区域提取
通过坐标变换将 2D 边界框映射为 3D 视锥体，按高度增量步长分割视锥体点云，减少 3D 模块的计算规模与搜索范围。
视锥体调整过程
3. 自注意力 PointNet 实现点云实例分割
引入自注意力块捕捉点云局部与全局特征的关联，解决传统 PointNet 局部信息丢失问题，完成视锥体内煤岩点云的精准分割。
自注意力块结构
自注意力 PointNet 网络结构
4. 3D 边界框参数预测
通过掩码操作筛选目标点云，经轻量化 T-Net 调整质心位置后，由边界框回归网络输出煤岩的 3D 边界框参数，完成识别。
边界框回归网络结构
1. MMFP 综合性能优于主流模型
训练至 50epoch 时损失值稳定在 0.25（低于 HRNet、PointNet 等模型的 0.3-0.56），精度达 93.6%、3D AP（困难场景）90.9%，帧率 14fps，在精度与速度上实现平衡。
MMFP 与其他对比方法的训练曲线
不同方法的识别结果
2. 抗噪声与光照鲁棒性突出
添加 80dB 高斯噪声时仍保持较高识别精度，改进 Mask R-CNN 在高低光照下均能精准检测煤岩边缘，较传统 Mask R-CNN 减少漏检现象。
抗噪声实验性能对比
不同光照条件下煤岩识别可视化结果
3. 井下现场实验验证实用性
井下环境中 MMFP 精度达 91.9%（较 F-PointNet 提升 2.3%），帧率 13fps，煤岩轮廓识别效果优于 MV3D、DeepFusion 等融合方法。
井下现场实验场景与设备
MMFP 与其他对比方法的部分可视化结果
井下现场实验识别结果
该文提出的 MMFP 方法通过激光点云与图像的深度融合，突破了采煤工作面复杂工况下煤岩识别的技术瓶颈，为智能采矿的高效、安全推进提供关键技术支撑。
1. 将改进的 2D 检测与自注意力 3D 分割结合，为多模态传感器融合在采矿领域的应用提供可复用的技术框架；
2. 可直接指导采煤机参数的自适应控制，减少设备损耗并提升采矿效率，加速无人化采矿场景的落地；
3. 为解决井下低质量数据下的目标识别问题提供新思路，其后续图像增强模块的优化方向，将进一步提升方法的工况适应性。
原文摘要
Rapid and accurate recognition of coal and rock is an important prerequisite for safe and efficient coal mining. In this paper, a novel coal-rock recognition method is proposed based on fusing laser point cloud and images, named Multi-Modal Frustum PointNet (MMFP). Firstly, MobileNetV3 is used as the backbone network of Mask R-CNN to reduce the network parameters and compress the model volume. The dilated convolutional block attention mechanism (Dilated CBAM) and inception structure are combined with MobileNetV3 to further enhance the detection accuracy. Subsequently, the 2D target candidate box is calculated through the improved Mask R-CNN, and the frustum point cloud in the 2D target candidate box is extracted to reduce the calculation scale and spatial search range. Then, the self-attention PointNet is constructed to segment the fused point cloud within the frustum range, and the bounding box regression network is used to predict the bounding box parameters. Finally, an experimental platform of shearer coal wall cutting is established, and multiple comparative experiments are conducted. Experimental results indicate that the proposed coal-rock recognition method is superior to other advanced models.
译文
快速准确的煤岩识别是煤矿安全高效开采的重要前提。本文提出一种基于激光点云与图像融合的煤岩识别新方法，命名为多模态视锥体点云网络（Multi-Modal Frustum PointNet，MMFP）。首先，将 MobileNetV3 作为 Mask R-CNN 的骨干网络，以减少网络参数并压缩模型体积；将膨胀卷积块注意力机制（Dilated CBAM）与 Inception 结构结合于 MobileNetV3，进一步提升检测精度。其次，通过改进的 Mask R-CNN 计算 2D 目标候选框，提取 2D 目标候选框内的视锥体点云，以减小计算规模与空间搜索范围。然后，构建自注意力 PointNet 对锥体内融合点云进行分割，并利用边界框回归网络预测边界框参数。最后，搭建采煤机煤壁切割实验平台，开展多组对比实验。实验结果表明，所提煤岩识别方法优于其他先进模型。
声明：本文内容由解读人员在生成式人工智能技术辅助下创作而成，相关观点仅为解读人员基于论文内容的个人分析，不代表原文作者、期刊及本公众号立场，仅供读者学术交流参考，不构成任何决策建议。论文版权归属于相应期刊或出版方，本公众号不提供任何论文全文的下载、转发、存储或分发服务，亦不鼓励任何侵犯论文版权的行为。如有版权侵权情况，请权利持有人及时与我们联系，我们将立即采取相应措施。
点击"阅读原文"查看更多