大数跨境
首页
>
极市直播｜CVPR 2021-刘虹雨：结合深度神经网络进行有效的图像修复和编辑
>
0
0

极市直播｜CVPR 2021-刘虹雨：结合深度神经网络进行有效的图像修复和编辑

极市直播｜CVPR 2021-刘虹雨：结合深度神经网络进行有效的图像修复和编辑 极市平台
2021-06-19
0
导读：回复“84”即可获取免费直播链接。
↑ 点击蓝字关注极市平台 识别先机 创造未来


| 极市线上分享  第84期 |


一直以来，为让大家更好地了解学界业界优秀的论文和工作，极市已邀请了超过90位技术大咖嘉宾，并完成了83期极市线上直播分享。往期分享请前往bbs.cvmart.net/topics/149或直接阅读原文，也欢迎各位小伙伴自荐或推荐更多优秀的技术嘉宾到极市进行技术分享，与大家一起交流学习~~

图像修复和图像编辑是图像处理的重要基本任务，同时也一直是研究热点。

在这次分享中，我们邀请到了来自虎牙直播AI基础技术部的刘虹雨算法工程师，为我们介绍他团队在如何结合深度神经网络进行有效的图像修复和编辑这两个问题上的探索工作，两份工作都已经被CVPR2021收录。

多样性修复是指针对图像孔洞区域生成出多样的修复结果而非以往的单一结果，在PD-GAN中他们根据图像孔洞边缘生成内容确定性越大而中心确定性越小提出一种spatially probabilistic diversity normalization来解决多样性图像修复的问题，同时他们还提出了一种perceptual diversity loss 来提升多样性的效果。对于图像编辑，他们通过低层级控制信息如线条或者颜色来直接影响最后生成结果，DeFLOCNet中他们提出了一种有效的injection方式，帮助低层级控制信息（颜色和线条）有效的控制生成结果。

PD-GAN: Probabilistic Diverse GAN for Image Inpainting 

本文提出一种非常自然的prior，即越靠近孔洞的中心其多样性越高，diverse越强，越靠近孔洞边缘其多样性越低越应该与上下文consistent起来，保证无缝链接，这样整个生成的图像就可以多样并且不突兀。通过采用vanilla GAN的框架，利用latent code对来影响孔洞内容，利用前面提到的prior本文很好地保证了GAN的特性就是多样性，同时也保证了生成内容能够与上下文融为一体。

DeFLOCNet: Deep Image Editing via Flexible Low level Controls

本文设计了Structure generation block, 把线条以及色彩看作孔洞区域的结构信息，并通过Spade Norm注入到feature中。同时，设计了Texture generation branch 辅助纹理的生成。最终提出了DeFLOCNet，并在图像编辑任务上取得了不错的效果。

01

直播信息

时间

2021年6月21日（周一）20:00-21:00


主题

多样性图像修复和基于低层级信息控制的图像编辑

02

嘉宾介绍

刘虹雨

虎牙直播AI基础技术部，计算机视觉算法工程师。工作方向为基于对抗生成网络的图片编辑、人脸图片驱动、底层视觉等。

虎牙公司成立于2016年8月，是一家以游戏直播为核心业务、致力于打造全球领先的直播平台的技术驱动型内容公司。虎牙公司在直播前沿技术上持续探索，目前已具备业内领先的实时内容创作和直播互动能力，包括了数字人、虚实互动、实时AI驱动、实时内容理解、实时渲染等技术，推出了超分超高清直播、赛事实时AI打点回放、游戏智能弹幕等产品功能。公司通过技术创新深度赋能业务发展，不断为用户提供即时互动优质内容，帮助主播降低高质量内容生产门槛，通过直播为社会、用户、主播创造多维价值。此次研究解决了视觉内容可控性和多样性问题，可用于如数字人、虚拟形象及相关直播互动游戏的制作，提升虎牙直播在视觉上的应用效果，增强直播交互体验。

03

关于分享

➤分享大纲

1、个人介绍

2、图像编辑和修复的相关知识介绍

3、PDGAN的介绍

4、DeFLOCNet的介绍


➤论文地址

1.PD-GAN: Probabilistic Diverse GAN for Image Inpainting 

链接地址：https://arxiv.org/abs/2105.02201


2.DeFLOCNet: Deep Image Editing via Flexible Low level Controls

链接地址：https://arxiv.org/abs/2103.12723


04

参与方式


关注“极市平台”公众号，回复“84”或“刘虹雨”可获取免费直播链接。

05

往期回顾

极市平台专注分享计算机视觉前沿资讯和技术干货，特邀请行业内专业牛人嘉宾为大家分享视觉领域内的干货及经验，目前已成功举办83期线上分享。近期在线分享可点击以下标题查看：

……


更多往期分享请浏览：极市计算机视觉技术分享集锦
（http://bbs.cvmart.net/topics/149/cvshare），也可以点击阅读原文获取。

在"极市平台"公众号后台回复期数或者分享嘉宾名字，即可获取极市平台对应期在线分享资料。

06

关于极市平台

极市（Extreme Mart）是深圳极视角科技有限公司旗下AI开发者生态，面向计算机视觉算法工程师，为开发者提供算法开发环境、真实数据项目实战、自动测试、加速工具、算法封装等全方位平台技术与工程支持，同时提供技术干货、大咖分享、社区交流、竞赛活动等丰富的内容与服务。
官网：www.cvmart.net

有任何想了解的内容请在本帖下留言，嘉宾会在直播中回答大家的问题哦~


觉得有用麻烦给个在看啦~  

【声明】内容源于网络
0
0
极市平台
为计算机视觉开发者提供全流程算法开发训练平台，以及大咖技术分享、社区交流、竞赛实践等丰富的内容与服务。
内容 8155
粉丝 0
极市平台 为计算机视觉开发者提供全流程算法开发训练平台，以及大咖技术分享、社区交流、竞赛实践等丰富的内容与服务。
总阅读3.2k
粉丝0
内容8.2k