大数跨境
0
0

CVPR 2023 候选获奖论文都讲了什么(2/4)

CVPR 2023 候选获奖论文都讲了什么(2/4) 数翼
2023-06-24
0
导读:《CVPR 2023 候选获奖论文都讲了什么》第二篇,介绍一下周二后面三篇论文。《MobileNeRF: E

《CVPR 2023 候选获奖论文都讲了什么》第二篇,介绍一下周二后面三篇论文。

《MobileNeRF: Exploiting the Polygon Rasterization Pipeline for Efficient Neural Field Rendering on Mobile Architectures》

《MobileNeRF:利用多边形光栅化管道在移动架构上进行高效的神经场渲染》

一句话:论文提出了一个可以在各种常见设备上实时运行的 NeRF.

**NeRF(Neural Radiance Field)**:通过图片来合成 3D 场景图像。

可以看看下面的例子:

然而,NeRF 依赖于基于光线行进的专门体积渲染算法, 这些算法与广泛部署的图形硬件的功能不匹配。

MobileNeRF 介绍了一种基于纹理多边形的新 NeRF 表示, 可以使用标准渲染管道有效地合成新图像。

原理是:

NeRF 被表示为一组多边形, 其纹理表示二元不透明度和特征向量。使用 z 缓冲区对多边形进行传统渲染会生成每个像素都具有特征的图像, 这些图像由在片段着色器中运行的小型、依赖于视图的 MLP 进行解释,以生成最终的像素颜色。

这种方法使 NeRF 能够使用传统的多边形光栅化管道进行渲染,

比如现场演示的,根据下面这张图:

生成的场景:

你就说牛不牛吧。

网站

网站:

  • • https://mobile-nerf.github.io/

论文:

  • • https://arxiv.org/abs/2208.00277

NeRF

  • • https://www.matthewtancik.com/nerf

《DynIBaR Neural Dynamic Image-Based Rendering》

《DynIBaR 基于神经动态图像的渲染》

如果说 MobileNeRF 项目把二维图像变成三维模型的话。那么 DynIBaR 就是把二维图像+时间的三维视频,变成了三维视频+时间的四维产物了。

看下演示和使用场景:

把抖动的视频变平稳,这下子云台什么的不用买了,又省下一大笔钱。

把抖动的视频变平稳

滑动变焦和子弹时间:

固定场景,这下子视频编辑软件离事业又近了一步:

深度:

焦外成像:

3D 视频生成:以后 2D 变 3D 不需要投资那么多钱,整那么多相机了。

《Planning-oriented Autonomous Driving》

《规划型自动驾驶》

这个项目的成员来自上海人工智能实验室、武汉大学、商汤研究院等。

作者在传统的自动驾驶模块化任务设计(感知、预测和规划)之上, 设计和优化了一个追求最终目标的框架, 并以此为导向,重新审视感知和预测中的关键组成部分,并确定任务的优先级,以便所有这些任务都有助于规划。

演示视频:

项目地址:

  • • https://opendrivelab.github.io/UniAD/


明天介绍 DreamBooth 等三篇论文。


--- END ---


【声明】内容源于网络
0
0
数翼
专注 AIGC 人工智能知识传播和实践
内容 228
粉丝 0
数翼 专注 AIGC 人工智能知识传播和实践
总阅读29
粉丝0
内容228