极市直播｜AAAI'21杰出论文许鸿斌：一个解决三维重建对数据依赖的新框架（已开源）

多视图立体几何（Multi-view Stereo, MVS）是一种很经典的三维重建方法，旨在从多视角图像中恢复场景的三维信息。近年来，越来越多的工作开始将深度学习与传统的多视图立体几何方法结合，以提升三维重建的精度，如MVSNet、R-MVSNet等。尽管深度学习的强大表征能力可以带来显著的性能提升，但是其对于数据的依赖却十分严重，需要大量的数据以及Ground Truth来训练神经网络。在现实场景下，三维的Ground Truth较难获取，采集标注成本很高，给基于深度学习的三维重建带来了不小的困难。

在这次分享中，我们邀请到了来自华南理工大学的许鸿斌，为我们介绍他团队在AAAI 2021上的工作

Self-supervised Multi-view Stereo via Effective Co-segmentation and Data-Augmentation。

此前的自监督三维重建方法都是基于颜色一致性假设，即匹配点具有相同的颜色。然而这一假设在自然场景下却难以成立，因为不同视角图像之间天然存在的光照差异等干扰，导致匹配点间具有不同的颜色。这可能会导致自监督信号失效，无法有效地起到监督作用，我们称其为颜色一致性歧义问题。针对这一问题，他们团队在自监督训练框架中引入协同分割和数据增强策略：通过协同分割挖掘多视角之间的共有抽象语义，并设计了一个语义一致性损失；通过将自监督训练拓展为双阶段，引入数据增强一致性损失。

时间

2021年3月2日（周二）20:00-21:00

主题

许鸿斌

许鸿斌，华南理工大学研三硕士生，指导老师为康文雄教授，目前在深圳中科院先进技术研究院（SIAT-MMLab）的乔宇老师团队实习。研究方向为计算机视觉、三维重建、自监督学习等。