作者：Mingchao Yang（杨明超）
2025 年 12 月 4 日，海南省农业科学院热带果树研究所王祥和、胡福初研究员团队在国际期刊 Plant Methods 在线发表题为“Multimodal learning on RGB-D image for precise litchi phenotyping and weight estimation”的研究论文。该研究基于 RGB-D 图像与深度学习技术，构建了一个面向荔枝果实和果核的多模态表型分析与重量估计方法框架，实现了利用“一张 RGB-D 图像”同时精准测量荔枝的尺寸和重量，为荔枝及其它果树的高通量表型分析和智能育种提供了新工具。海南省农业科学院热带果树研究所杨明超博士、华南理工大学自动化科学与工程学院陈日耀博士研究生为共同第一作者，王祥和研究员、胡福初研究员为通讯作者。
荔枝是重要的热带、亚热带经济果树，果实大小、果重、果核重量和可食率等性状是优良品种选育和商品果分级的核心指标。然而在当前育种与生产实践中，这些关键性状仍主要依赖卡尺和电子天平逐个测量，存在效率低、劳动强度大、主观性强等问题。与苹果、葡萄等果实相比，不同品种荔枝果形差异显著，果皮表面龟裂片分布与裂片峰的有无及凸起程度各不相同，果核形状也高度多样，包括正常果核、半败育果核以及形态不规则的完全败育果核。这一系列复杂形态不仅增加了图像分割的难度，也容易使传统基于简单几何假设的测量方法产生系统偏差。如何同时针对“荔枝果实 + 果核+ 果肉”构建一套自动、精准且可扩展的表型测量方案，正是本研究重点解决的核心科学与技术问题。
在本研究中，团队首次系统地将 RGB-D 多模态学习与实例分割技术应用于荔枝果实、果核和果肉表型测量领域，探索其在果实性状高通量测定和育种目标辅助筛选中的应用潜力。团队基于室内标准化采集平台，构建了涵盖多个栽培品种的荔枝RGB-D 图像数据集，并对整果、果核、果肉进行了精细的实例标注及称重测定。针对荔枝果皮裂片峰突起明显、果核形态复杂等特点，团队提出了融合 RGB 与深度信息的 LitchiPhenoNet 网络。该网络采用 RGB 与深度双分支结构，一方面由 RGB 分支捕捉果皮颜色、纹理和轮廓等外观信息，另一方面由深度分支提取果实与果核的三维形态和空间结构；通过 RD-Fusion 关键模块对齐 RGB 与深度双模态特征，实现两种模态在通道和空间尺度上的高效融合，从而在复杂背景和强形变条件下仍能获得清晰、完整的目标边界。
在获得高质量分割结果的基础上，研究团队进一步构建了一个多模态回归估计框架，用于整果、果核和果肉重量的联合预测。具体而言，首先基于分割掩膜和相机标定结果，从 RGB-D 图像中计算横径、纵径、面积、周长、最小外接圆半径、最大内接圆半径以及形状指数等关键几何表型特征；与此同时，从 LitchiPhenoNet 网络中提取高层抽象视觉特征，作为反映果实与果核纹理、内部结构和空间形态的“中间特征”。随后，将上述几何特征与这些深度学习抽象视觉特征在特征层面进行融合，输入多模态回归模型，实现对荔枝整果、果核及果肉重量的精细估计，从而充分发挥几何先验与深度表征在表型测量中的互补优势。
为验证模型效果，研究进一步开展了系统的对比与消融实验，将所提出方法与 Mask R-CNN、YOLACT、Mask2Former 等多种主流实例分割模型以及多种基于几何特征的回归基线进行了比较。结果表明，LitchiPhenoNet 在严格的 mAP95 等评价指标上取得了最高的分割精度，尤其是在果皮起伏明显、果核形态不规则的样本上，边界完整性和目标分离度均优于对比方法。在此基础上，结合深度信息推导的横纵径、面积、半径等几何特征与网络中间层视觉特征构建的多模态估重模型，实现了整果、果核和果肉重量的联合预测，整果与果核的横纵径测量误差可控制在毫米级，整果、果核、果肉的重量预测误差达到克级精度，与人工卡尺与电子天平测量结果高度一致，充分验证了该方法在“荔枝果实 + 果核 + 果肉”表型测量中的准确性与稳健性。
该研究通过将立体视觉、几何建模与深度学习有机融合，推动了荔枝表型测量从传统手工测量向多模态智能感知的转变，为实现高效精准的种质资源评价和优良单株筛选提供了新的技术路径和工具手段。下一步，研究团队将继续优化模型在果园复杂光照、遮挡和多背景条件下的适应性，探索与自动化分选装备、数字果园管理系统等的深度集成，并尝试将该多模态框架拓展至其他热带果树作物，为热带果树产业的数字化和智能化升级提供有力支撑。
该研究项目得到多项基金资助，包括：海南省自然科学青年基金项目、海南省重点研发项目、海南省科技人才创新项、国家荔枝龙眼产业技术体系、以及海南省现代农业产业技术体系。
Plant Methods
DOI: 10.1186/s13007-025-01472-8
期刊简介
作为一本开放获取期刊，Plant Methods 在向植物生物学领域传播方法学新进展方面具有得天独厚的优势。该期刊创刊于2005年，已建立成熟的学术体系，其核心目标是发表可重复且具有创新性的研究成果，涵盖植物学领域可应用的技术、工具及科技成果。本刊同时致力于整合不同实验室的数据,以形成方法学共识。
2024 影响因子：4.4
2024 下载量：1,557,992
投稿到初审意见：3天（中值）
欢迎扫码了解期刊详情
BMC中国官方微信公众号平台【BMC科研永不止步】特别设立作者自荐专栏【论文推广投稿】（路径如下图所示），旨在帮助在BMC期刊上发表过学术论文的作者免费宣传和传播优秀的研究成果。希望通过该平台能够给科研人员提供一个展示研究成果的机会，将其推广给更广泛的受众。
点击“阅读原文”阅读英文原文
Multimodal learning on RGB-D image for precise litchi phenotyping and weight estimation
BMC是施普林格∙自然旗下机构。作为开放获取出版先锋，BMC不断推出一系列高质量的同行评议期刊，包括BMC Biology 、BMC Medicine等涵盖范围较广的期刊，以及Malaria Journal、Microbiome和BMC系列期刊等专门刊物。BMC以“科研永不止步”为信条，致力于不断创新，以更好地满足作者群体的需要，确保所发表论文的完整性，并积极推广开放研究。
第一步：点击文章顶端“BMC科研永不止步”公众号；
第二步：点击右上角“...”
第三步：点击“设为星标”
点个“在看”，下次更新不错过⇣⇣