大数跨境

Roll 希望利用生成式 AI 重现推轨镜头等效果

Roll 希望利用生成式 AI 重现推轨镜头等效果 海外洞察
2023-05-31
2
导读:Roll 是一款面向 iOS 的新应用,它利用生成式人工智能和云端处理技术,为远程采访重现轨道移动镜头、摇镜等效果。

熟悉法伊赞·布兹达尔(Faizan Buzdar)的人,很可能将他与Convo联系在一起。布兹达尔此前担任Box的产品管理副总裁,而Convo是一个在新闻编辑室中广受欢迎的数字工作空间平台。但拥有电子工程背景的布兹达尔,长期以来一直对视频和视觉特效充满热情。

“作为一名终身热爱视频和摄影的人,我自己制作视频已有多年,但我注意到视频制作在很大程度上仍然依赖人工,近几十年来几乎没有创新,尤其是在像视频剪辑这样耗时的工作上,”布兹达尔通过电子邮件表示,“与此同时,我注意到iPhone的相机和传感器技术在过去几年里取得了阶梯式的提升,其画质几乎已与数码单反相机相当。”

因此,在Box任职期间,布兹达尔决定尝试将日益流行的视频媒介与人工智能和机器学习领域的创新相结合,以改善视频拍摄和编辑体验。他聘请了曾在Twitter任职并参与构建该平台直播功能基础设施的视频工程师Adeel Abbas,并与Saj Khan、Fahad Yaqub以及Box高管Michelle Oh一同探索技术加速视频制作的边界。

Roll应运而生:AI赋能视频创作新标准

Roll是一款面向iOS的新应用,提供背景虚化效果、多机位拍摄、动态图形以及“AI模拟”滑块、轨道车和摇臂效果。

图片来源:Roll

布兹达尔表示:“我们的使命是颠覆高质量视频制作领域,并成为视频内容创作的新标准。制作优质视频需要在设备、器材、学习使用这些设备以及编辑软件方面进行巨大的前期投入——而我们正在消除所有这些障碍。”

Roll面向“专业消费者”市场(包括网红、播客主及自行制作营销材料的企业),由两款产品组成:负责拍摄录制并自动上传云存储处理的iPhone应用,以及供个人或团队预览、访问、分享、下载和编辑素材的网页应用。

差异化优势:针对高质量场景的深度优化

视频应用层出不穷,Roll的独特之处在于针对大多数相机应用未覆盖的使用场景,如远程视频采访、视频播客和客户证言。虽然Zoom、Microsoft Teams等工具在一定程度上满足了需求,但并非为“高质量”视频制作而设计。

Roll采用多种实时效果,提供了比大多数视频捕捉应用更丰富的后期制作选择。例如,采用HEVC标准录制,在相同文件大小下提供约两倍比特率和更高图像质量;同时支持广角镜头和特写镜头的双机位同步录制与处理,创建有效的“多机位”视角。

Roll的编辑界面。图片来源:Roll

生成式AI应用:重建三维空间而非制造虚假

Roll真正的魔力在于后期处理。它利用生成式AI在三维空间中重建房间,使创作者能像操作电子游戏一样移动虚拟摄像机,模拟轨道车或摇臂运动。布兹达尔强调:“我们不生成虚假的像素、人物或场景,纯粹将生成式AI作为提升生产力的工具,让更高质量的视频制作触手可及。”

Roll的人工智能经过训练,能够理解场景中的三维深度,利用数据独立于房间内的人物来测量深度和形状。算法最初使用学术界开源数据集训练,随后内部录制了超过22,000次视频会议,构建了丰富的专属数据库。

演示片段显示,虽然部分AI生成的平移镜头触及恐怖谷效应,但在短场景中效果足够令人信服,为原本枯燥的远程采访增添了引人注目的色彩。布兹达尔指出:“尚未发现有人像我们一样将iPhone传感器数据与云端大型AI模型结合使用,该技术提供了模拟用户所需任何视觉效果的基础能力。”

使用Roll进行通话录音。图片来源:Roll

元数据驱动与垂直整合工作流

Roll在录制时收集元数据(包括录制照明条件、相机到主体距离、面部身体位置等),用于自动调整相机传感器并提供构图照明反馈。此外,利用元数据在云端自动生成完整的多机位混剪视频,无需手动编辑。未来还将支持直接发布至TikTok、YouTube和Instagram,并自动适配分辨率和宽高比。

布兹达尔解释道:“传统视频制作中,文件跨软件转移会丢失上下文变成‘哑’文件。我们从零开始彻底重建了整个视频制作‘堆栈’,跨越传统软件边界,垂直整合并自动化整个远程视频制作工作流。”

商业模式:瞄准企业级云服务市场

在盈利模式上,Roll希望最终服务于企业组织的需求,特别是内部企业营销和视频团队。布兹达尔认为,视频制作的大文件、复杂处理及多人协作属性,使其成为从云计算中获得指数级收益的完美候选者,可通过可扩展存储、AI计算能力及实时共享协作实现价值。

至于Roll是否会成为行业颠覆者,时间将给出答案。

【声明】内容源于网络
0
0
海外洞察
海外资讯洞察,电商,AI
内容 14232
粉丝 0
海外洞察 海外资讯洞察,电商,AI
总阅读3.2k
粉丝0
内容14.2k