清华大学近期的工作：DiffGS: Functional 3D Gaussian Splatting Diffusion 被接收于 NeurIPS 2024。论文代码已开源：

论文地址：https://arxiv.org/abs/2410.19657

项目主页：https://junshengzhou.github.io/DiffGS

代码地址：https://github.com/weiqi-zhang/DiffGS

作者提出使用函数化方式来将离散的、非结构化的三维高斯表征解耦地表示为三个三维高斯函数，包括高斯概率函数、高斯颜色函数和高斯变换函数。在这三个连续的三维高斯函数上，可以训练一个标准的VAE + LDM (Variational Auto-encoder + Latent Diffusion Model) 的扩散生成式模型来生成这些函数。最后通过高斯提取算法获得最终生成的高斯。

DiffGS 网络框架：

DiffGS 包括一个Gaussian VAE以及一个Gaussian LDM。首先训练Gaussian VAE来构建一个可以编码三维高斯并解码出三维高斯函数的隐特征空间，在这个隐特征的基础上训练一个Diffusion模型来实现三维高斯的生成。同时可以引入各种condition，如文本、图像和残缺高斯，来实现可控的三维生成。

高斯提取算法：

DiffGS设计了一个基于Octree的优化式高斯提取算法，以从生成的高斯概率函数、颜色函数和变换函数中恢复出高斯模型。该算法的目标类似于Marching Cubes算法从SDF中提取表面的过程。

下游应用：

DiffGS可以实现多个3DGS生成任务，如Unconditional Generation，Text-to-3DGS Generation，Image-to-3DGS Generation，Gaussian Completion，Point-to-Gaussian Generation。

无条件三维高斯生成

与现有SOTA方法的可视化以及量化结果对比：

图/文生三维高斯

给定文本，比如“a grey chair has two L type legs”， DiffGS能够生成对应的三维高斯模型

三维高斯补全

DiffGS 是首个能够实现三维高斯补全的模型。给定残缺的模型，DiffGS能够预测完整的三维高斯模型

点云生成三维高斯

DiffGS 还可以支持基于点云的三维高斯生成任务。只需要将Gaussian VAE的输入修改为三维点云即可以实现该任务

公众号后台回复“数据集”获取100+深度学习各方向资源整理