《CVPR 2023 候选获奖论文都讲了什么》第二篇,介绍一下周二后面三篇论文。
《MobileNeRF: Exploiting the Polygon Rasterization Pipeline for Efficient Neural Field Rendering on Mobile Architectures》
《MobileNeRF:利用多边形光栅化管道在移动架构上进行高效的神经场渲染》
一句话:论文提出了一个可以在各种常见设备上实时运行的 NeRF.

**NeRF(Neural Radiance Field)**:通过图片来合成 3D 场景图像。
可以看看下面的例子:

然而,NeRF 依赖于基于光线行进的专门体积渲染算法, 这些算法与广泛部署的图形硬件的功能不匹配。
MobileNeRF 介绍了一种基于纹理多边形的新 NeRF 表示, 可以使用标准渲染管道有效地合成新图像。
原理是:
NeRF 被表示为一组多边形, 其纹理表示二元不透明度和特征向量。使用 z 缓冲区对多边形进行传统渲染会生成每个像素都具有特征的图像, 这些图像由在片段着色器中运行的小型、依赖于视图的 MLP 进行解释,以生成最终的像素颜色。
这种方法使 NeRF 能够使用传统的多边形光栅化管道进行渲染,
比如现场演示的,根据下面这张图:

生成的场景:

你就说牛不牛吧。
网站
网站:
• https://mobile-nerf.github.io/
论文:
• https://arxiv.org/abs/2208.00277
NeRF
• https://www.matthewtancik.com/nerf
《DynIBaR Neural Dynamic Image-Based Rendering》
《DynIBaR 基于神经动态图像的渲染》
如果说 MobileNeRF 项目把二维图像变成三维模型的话。那么 DynIBaR 就是把二维图像+时间的三维视频,变成了三维视频+时间的四维产物了。
看下演示和使用场景:
把抖动的视频变平稳,这下子云台什么的不用买了,又省下一大笔钱。

滑动变焦和子弹时间:

固定场景,这下子视频编辑软件离事业又近了一步:

深度:

焦外成像:

3D 视频生成:以后 2D 变 3D 不需要投资那么多钱,整那么多相机了。

《Planning-oriented Autonomous Driving》
《规划型自动驾驶》
这个项目的成员来自上海人工智能实验室、武汉大学、商汤研究院等。
作者在传统的自动驾驶模块化任务设计(感知、预测和规划)之上, 设计和优化了一个追求最终目标的框架, 并以此为导向,重新审视感知和预测中的关键组成部分,并确定任务的优先级,以便所有这些任务都有助于规划。

演示视频:

项目地址:
• https://opendrivelab.github.io/UniAD/
明天介绍 DreamBooth 等三篇论文。
--- END ---

