欧易

欧易(OKX)

国内用户最喜爱的合约交易所

火币

火币(HTX )

全球知名的比特币交易所

币安

币安(Binance)

全球用户最多的交易所

完美抠图王冰冰!字节实习生开发的AI,实现4K60帧视频实时抠图

时间:2022-10-11 23:36:58 | 浏览:2036

鱼羊 明敏 发自 凹非寺量子位 报道 | 公众号 QbitAI看这一头蓬松的秀发,加上帅气的动作,你以为是在绿幕前拍大片?No、No、No这其实是AI拿来视频实时抠图后的效果。没想到吧,实时视频抠图,现在能精细到每一根发丝。换到alpha通

鱼羊 明敏 发自 凹非寺

量子位 报道 | 公众号 QbitAI

看这一头蓬松的秀发,加上帅气的动作,你以为是在绿幕前拍大片?

No、No、No

这其实是AI拿来视频实时抠图后的效果。

没想到吧,实时视频抠图,现在能精细到每一根发丝

换到alpha通道再看一眼,不用多说,德芙打钱吧(手动狗头)。

这就是来自字节跳动实习生小哥的最新研究:实时高分辨率视频抠图大法。

无需任何辅助输入,把视频丢给这个名为RVM的AI,它分分钟就能帮你把人像高精度抠出,将背景替换成可以任意二次加工的绿幕。

不信有这么丝滑?我们用线上Demo亲自尝试了一波。

相比之下,现在在线会议软件里的抠图,一旦头发遮住脸,人就会消失……

头发丝更是明显糊了。

难怪看得网友直言:

不敢想象你们把这只AI塞进手机里的样子。

目前,这篇论文已经入选WACV 2022。

你也可以上手一试

目前,RVM已经在GitHub上开源,并给出了两种试玩途径:

于是我们也赶紧上手试了试。

先来看看效果:

首先来点难度低的。

对于这种人物在画面中基本不移动的情况,RVM可以说是表现的非常好,和人工抠图几乎无差别。

现在,王冰冰进入动森都毫不违和了。

于是开脑洞,也变得简单了许多……

咳咳,言归正传。人物动作幅度加大会怎样呢?

对于多人舞蹈视频而言,RVM的表现也很nice。

即便动来动去、头发乱甩,也没有影响它的抠图效果。

只有在人物出现遮挡的情况下,才会出现瑕疵。

对比前辈方法MODNet,确实有不小的进步。

不过我们也发现,如果视频的背景较暗,就会影响RVM的发挥。

比如在这种背景光线昏暗的情况下,抠图的效果就非常不尽人意了。

可以看到,博主老哥的头发完全糊了。

而且身体的边界线也不够清晰。

所以,如果你想自己拍视频试玩,就一定要选择光线充足的场景。

利用时间信息

那么这样的“魔法”,具体又是如何实现的?

照例,我们先来扒一扒论文~

实际上,有关视频抠图的算法如今已不鲜见,其中大多数采用的是将视频中的每一帧作为独立图像来实现抠图的方法。

不同与此,在这篇论文中,研究人员构建了一个循环架构,利用上了视频的时间信息,在时间一致性抠图质量上取得了明显改进。

从上图中可以看出,RVM的网络架构包括3个部分:

特征提取编码器,用来提取单帧特征;

循环解码器,用于汇总时间信息;

深度引导滤波(DGF)模块,用于高分辨率上采样。

其中,循环机制的引入使得AI能够在连续的视频流中自我学习,从而了解到哪些信息需要保留,哪些信息可以遗忘掉。

具体而言,循环解码器采用了多尺度ConvGRU来聚合时间信息。其定义如下:

在这个编码器-解码器网络中,AI会完成对高分辨率视频的下采样,然后再使用DGF对结果进行上采样。

除此之外,研究人员还提出了一种新的训练策略:同时使用抠图和语义分割目标数据集来训练网络。

这样做到好处在于:

首先,人像抠图与人像分割任务密切相关,AI必须学会从语义上理解场景,才能在定位人物主体方面具备鲁棒性。

其次,现有的大部分抠图数据集只提供真实的alpha通道和前景信息,所以必须对背景图像进行合成。但前景和背景的光照往往不同,这就影响了合成的效果。语义分割数据集的引入可以有效防止过拟合。

最后,语义分割数据集拥有更为丰富的训练数据。

经过这一番调教之后,RVM和前辈们比起来,有怎样的改进?

从效果对比中就可以明显感受到了:

另外,与MODNet相比,RVM更轻更快

从下面这张表格中可以看出,在1080p视频上RVM的处理速度是最快的,在512×288上比BGMv2略慢,在4K视频上则比带FGF的MODNet慢一点。研究人员分析,这是因为RVM除了alpha通道外还预判了前景。

更直观的数据是,在英伟达GTX 1080Ti上,RVM能以76FPS的速度处理4K视频,以104FPS的速度处理HD视频。

一作字节跳动实习生

这篇论文是一作林山川在字节跳动实习期间完成的。

他本科、硕士均毕业于华盛顿大学,曾先后在Adobe、Facebook等大厂实习。

2021年3月-6月,林山川在字节跳动实习。8月刚刚入职微软。

事实上,林山川此前就曾凭借AI抠图大法拿下CVPR 2021最佳学生论文荣誉奖

他以一作身份发表论文《Real-Time High-Resolution Background Matting》,提出了Background Matting V2方法。

这一方法能够以30FPS的速度处理4K视频,以60FPS的速度处理HD视频。

值得一提的是,Background Matting这一系列方法不止一次中了CVPR。此前,第一代Background Matting就被CVPR 2020收录。

两次论文的通讯作者都是华盛顿大学副教授Ira Kemelmacher-Shlizerman,她的研究方向为计算机视觉、计算机图形、AR/VR等。

此外,本次论文的二作为Linjie Yang,他是字节跳动的研究科学家。本科毕业于清华大学,在香港中文大学获得博士学位。

对了,除了能在Colab上试用之外,你也可以在网页版上实时感受一下这只AI的效果,地址拿好:

https://peterl1n.github.io/RobustVideoMatting/#/demo

GitHub地址:
https://github.com/PeterL1n/RobustVideoMatting
论文地址:
https://arxiv.org/abs/2108.11515
参考链接:
https://www.reddit.com/r/MachineLearning/comments/pdbpmg/r_robust_highresolution_video_matting_with/

— 完 —

量子位 QbitAI · 头条号签约

关注我们,第一时间获知前沿科技动态

相关资讯

完美抠图王冰冰!字节实习生开发的AI,实现4K60帧视频实时抠图

鱼羊 明敏 发自 凹非寺量子位 报道 | 公众号 QbitAI看这一头蓬松的秀发,加上帅气的动作,你以为是在绿幕前拍大片?No、No、No这其实是AI拿来视频实时抠图后的效果。没想到吧,实时视频抠图,现在能精细到每一根发丝。换到alpha通

抠图大师都在用的三款抠图工具!AI抠图太智能了!不会PS也没关系

作为自媒体打工人,经常碰到处理图片需要抠图,在日常生活中,普通人也经常遇到这种情况:比如更换证件照颜色、照片背景过于杂乱,都需要把人像或者物品抠下来,换一张背景~如果手动抠图,不仅浪费时间,而且技术根本达不到完美抠图的效果!所以今天就给大家

抠图软件,电脑免费抠图神器,AI智能抠图换背景,图片一键去背景

抠图软件,电脑免费抠图神器,AI智能抠图换背景,图片一键去背景工具。本文分享一个电脑端免费使用的:图片抠图去背景在线工具-remove。抠图软件首先,准备好需要去除背景的图片;抠图软件然后打开这款抠图工具,选择上传图片;或者直接用鼠标将图片

不会抠图?快速精细抠图方法,PS通道+调整边缘抠图的详细说明

这里介绍一种快速抠图的方法,快速完成,不需要一点点抠细节。其实抠图原理大都差不多,抠图用到的工具也无非那么几种,通道、色彩范围、套索工具、魔术棒、调整边缘等等。这里主要用的是通道、色阶和调整边缘。我们先看一下抠好的图。现在我们来说明一下整体

四种ps抠图方法,简单又高效(全套抠图教程+抠图插件免费送)

在学习PS技能的过程中,抠图是最让人头疼的。下面教大家快速抠图的一个方法。抠图作为学习PS和设计,必须掌握的一门技巧,同时也是运用场景最多的一个技巧,需要我们认真学习和掌握。学会今天这篇教程中的抠图方法,相信朋友们在抠图的时候会更加得心应手

PS抠图技巧大全,初学者从何学起抠图工具和掌握抠图技巧

PS抠图是指什么??有什么用途!PS抠图是指利用photoshop的快速选择工具选取图片中的一个部分并闭合起来,然后将闭合部分截取出来的过程。例如将人合成到一副风景画就是用Photoshop把含有人的图片将人从图片中抠出来(抠图),然后把人

PS扣图教程:七种抠图方法,非常好用又高效附:PS抠图视频教程

PS中可以抠图的工具有很多,针对不同的图采用不同的抠图方法。今天分享这七种抠图方法,对于学习PS的新手来说,非常好用又高效。PS抠图视频教程+PS2020安装包放在结尾了!从易到难,循序渐进,下面开始分享:第一种:套索工具对于有复杂背景,但

短视频营销SaaS系统,短视频营销获客系统,短视频从0到1运营攻略

短视频是时下当之不让的“流量霸主”,中国互联网络信息中心(CNNIC)今年2月发布的第47次《中国互联网络发展状况统计报告》显示,截至2020年12月,我国网络视频用户规模达9.27亿,占网民整体的93.7%。其中短视频用户规模为8.73亿

聚量数说短视频获客系统,短视频营销系统,短视频SEO解决方案

作为国内最早落地开发运营短视频营销系统(SaaS)的厂商,聚量数说®已成功合作、运营代理商300余家,终端合作客户5000余家有医美行业、工业制造业、汽车行业、零售行业等行业标杆客户,完成用户短视频营销(SaaS)的搭建,并通过视频高频制作

短视频获客、短视频营销系统、短视频SEO营销系统——聚量数说

当下,短视频行业格局大成,短视频产品以势不可挡的姿态闯入消费者的生活,成为大众娱乐不可替代的渠道和方式。2021年4月20日,聚量数说科技围绕“短视频新风向——短视频营销获客系统”,邀请了各企业领导与全国优秀合作伙伴齐聚厦门国际会展酒店参加

短视频制作、短视频获客系统、短视频SEO营销系统—聚量数说科技

昨天,我在互联网上下载了几种视频材料和图片资料,想临时做一个视频。于是我问一个朋友,让他与我分享一款简单的快捷适合我的新手小白操作的视频剪辑操作方法!然后他推荐给我一种方法,该方法是用现在世面上比较流行的一款无门坎专业视频制作的软件。这是我

PS抠图方式有很多,蒙板抠图又快又干净,你喜欢哪一种?

哈,各位小伙伴,欢迎大家再次来到视频制作那些事儿,今天给大家分享的是PS中非常吃香的抠图方法-蒙版抠图。概述众所周知,PS中的抠图方法那是相当多的,比如说最常用的通道抠图,最简洁的选择主体,最时尚的选择并遮住,钢笔、快速选择、魔棒以及我们今

别再用手动抠图啦!学会这个一键抠图方法,100张图片只用5分钟

最近许多朋友向我反馈他们在抠图时,选择逐个定点手动抠图的方式,总会出现抠图效果存在毛边和抠图不到位的情况,所以想寻求有没有什么简单且效果不错的抠图方法!经过我询问公司的美工同事,得到以下这三个抠图方法,今天就分享出来,让大家以后不再被“抠图

不知道怎么抠图?教你几个简单容易的抠图方法

好用的电脑抠图软件?这还真问到我擅长的部分了。别急,看下去,今天给你推荐电脑端口的五个好用的抠图工具。记得点赞然后放在收藏夹吃灰昂~1.Photokit链接在此:Photo Editor | Free Image Editing Onlin

抠图怎么抠?抠图的方法分享

抠图怎么抠?这个问题,相信这个问题很多小伙伴都不太陌生了,日常我们在处理照片的时候,经常会遇到,那么大家都知道,抠图对于老设计师来说,那就是信手拈来,对于新的设计师来说,就是难上加难,很多小伙伴不知道该如何去抠图,怎么去抠图,不用担心,小编

友情链接

网址导航 SEO域名抢注宝宝起名网妈妈知道币圈三亚旅游网苹果电脑评测网数字人直播资讯网芽庄旅游网西庐寺旅游网龟峰山旅游攻略奈雪的茶会员日品酒师资讯网武当山旅游攻略开封新闻头条网电动牙刷评测网长城坦克评测网旧金山旅游网古筝培训网云浮新闻头条网
数字藏品系统开发网是目前国内领先的数字艺术品、nft、元宇宙、数字藏品、nft开发、数字藏品平台、数字藏品平台建设、数字藏品平台开发、nft平台开发数字收藏品交易业务、NFT艺术品交易业务专用系统平台,为品牌提供一站式建设数字藏品平台服务,拥有丰富的数藏平台建设与运营经验。
数字藏品系统开发 hezua.cn ©2022-2028版权所有