小伙伴们应该都有用手机拍摄照片、视频记录生活的经历。或许还有不少人会将这些生活记忆上传到朋友圈、抖音等平台，心之选举报/反馈，与家分享自己的喜怒哀乐。
但在拍摄的过程中，家应该也会希望变换更多不同的特效、背景，来拍出更好看的视频，但由于种种限制，一些很有趣的想法无法完美的展示出来，这就很让人伤脑筋了。
虽然一些直播平台、视频会议平台都提供了视频抠像、更换背景的功能，但在实际效果上，还是无法达到高清级别。
好在一个新的抠图工具拯救了目前孱弱的“视频抠像”能力，或许在不久的未来，一键更换背景也能支持高清甚至4K视频。这样一来，我们就可以随时在马尔代夫度假、在迪拜购物了！
支持4K的视频抠像工具是怎样炼成的？
虽然这款工具的功能看起来非常优秀，但很抱歉，小伙伴们目前还无法真正用上它。因为到目前为止，它还是一个停留在DEMO阶段的项目，而它的出现，也只是一位“佬”的论文题目罢了。
和小黑之前提到过的耳机语音识别外挂麦克风一样，这款工具的者是一位刚从华盛顿学计算机系毕业的硕士生林山川。在发表这篇论文时，他还“只是”字节跳动的一位实生。
▲ 林山川在领英上的头像
小黑看了一下这位佬在领英上公布的简历，顿时有种前几十年白活了的感觉。好嘛，这位小哥从高中阶段就已经了一款为学校学生服务的社交网络和校园工具应用。而在学期间，他还曾在Adobe、Facebook、Amazon等行业头企业实过。
对比一下小黑，岁月留下的印记概就只有微微隆起的腹了吧。
其实，视频抠人像早已经不是什么新鲜功能了。就像小黑在前文中所说，许多与视频有关的应用都提供了视频抠像功能，例如腾讯视频。
在腾讯会议中，我们可以通过“更多”中的“虚拟背景”功能来切换不同的会议背景，甚至还可以将背景调整为自己拍摄的照片。
但根据现有的资料，分应用的视频抠像功能都是将视频中的每一帧作为独立的图像来进行抠像的，这就为抠像的实际效果带来了影响，例如在人物或背景变化较的情况下，抠像效果实在是一言难尽。
▲ 小黑的耳垂凭空多了个洞
从理论上来说，为了保证抠像视频的流畅性，按帧抠像的方式势必会在精度和效率之间进行取舍，出现这样的问题也是势所难免的。
因此，林山川和研究团队的伙伴们决定采用另一个方式来达到更好的抠像效果。在论文中我们可以发现，他搭建了一个循环架构，有效利用视频的时间信息，使抠图质量有了明显的提升。
当然，要详细说明整个抠像的过程并不是件容易的事，毕竟小黑要是能说清楚，就直接去华盛顿学了。不过小黑还是要简单介绍一下让这个循环架构高效抠像的关键要素，其中之一是它的循环解码器，另一项则是全新的AI训练策略。
在循环学和新学方式的共同帮助下，这个名为“RVM”的全新抠像工具就获得了更优秀的视频抠像能力。
▲ 相比其他视频抠像工具，RVM体积更小
此外，它还有更轻量级、抠像效率更高等特性。研究团队在使用英伟达GTX 1080Ti显卡的情况下，可以实现4K视频76帧率、高清视频（应该是1080P）104帧率的抠像能力，还能实现“头发丝级别”的抠像效果。
DEMO版就已经拥有这样的实力，小黑不禁猜测：未来的正式版或许可以直接拿来拍科幻类微电影了呢。
RVM抠像效果实测：用它抠的人像能数头发丝吗？
在论文中，RVM的研究团队提供了一张对比图片，让我们感受它的“头发丝”级别抠像效果。
▲ 论文中的毛发处理对比，侧为RVM
我们也可以在YouTube或B站上观看相关的演示视频，来感受它的抠像效果。目前这则视频的播放量和评论弹幕都不算多，算是一块未经开垦的处女地了。
而对这款工具充满好奇，想要实际体验它的真本领的小伙伴们也不用着急，研究团队已经提供了可供普通用户尝鲜的开源体验版本，用户只需要在GitHub上下载，或直接打开DEMO网页就可以体验这款强劲的抠像工具。
▲ B站视频的简介区就有它的主页链接
出于好奇，小黑也对它的网页版DEMO进行了一番体验，并与腾讯视频进行了对比。
首先是简单抠像，在和上文腾讯视频“虚拟背景”相同场景下，小黑体验了一下RVM的抠像效果。相比腾讯视频，RVM确实有所提升，至少小黑在较幅度移动头的时候，耳朵没有缺掉一块。
▲ 通过Alpha通道导出的图片
并且翘起的一缕头发也致清晰。
但在小黑的测试中，RVM尚没有做到真正以假乱真的抠像效果。根据小黑的分析，除了工具还在测试阶段、网页版效率受限这两个因素之外，原因可能还有以下这些：
首先是小黑选用的背景干扰项较多。
▲ 复杂办公场景下的抠像效果不够理想
小黑是在办公室场合进行测试的，因此不仅背景多是白色墙壁，不时路过的小伙伴、头顶强烈的光照，都严重影响了最终的抠像效果。
因此，我们可以在上图中看到那些奇怪的头发丝，最严重的分恰好是日光灯所在的位置。
之后，小黑就要开始上难度了。首先是将面遮挡之后的抠像效果。
点击播放 GIF 0.0M
▲ 腾讯视频中面遮挡后的效果
在腾讯视频中，遮挡物只需要盖过眉毛的位置，应用就无法识别到小黑的脸，小黑就此从镜头中消失。
而在RVM中，小黑哪怕遮住了整张脸，系统依然可以通过手特征来识别到小黑脸的致位置。
当然，此时与墙壁颜色接近的白色服装就无法正常识别了。
之后，小黑决定对常见场景进行测试，对比腾讯会议和RVM在戴上口罩后对人脸识别、抠像的能力。结果也符合小黑的预期。
点击播放 GIF 0.0M
戴口罩的人脸腾讯视频能轻松认出，但一旦遮住眉毛，小黑就消失不见了。这就意味着在需要佩戴口罩视频时，我们不能举起手展示面前的物品。在会议中自然没什么问题，毕竟不戴口罩就可以了。但在疫情下想要拍些Vlog的小伙伴来说，这样的限制实在太不友好了。
由此小黑还能联想到一个问题：那就是腾讯会议的人脸识别中，眉毛是一个重要的基准点，而不是眼睛。
这其实很反直觉，而且似乎腾讯没有想到的是，世界上还有不少无眉侠的存在。
而RVM的抠像技术则依然坚挺。
从上面的测试结果来看，相比目前常见的人脸识别抠像技术，RVM不仅可以对人脸和半身进行抠像，还能对全身进行抠像，识别效率和抠像效果也更好一些。
但RVM同样存在一些问题，特别是在复杂场景下，传说中的“头发丝”级别抠像还难以做到，右下方还能隐隐约约看到小伙伴的身影。
不过，作为一个测试版，RVM已经展现出它的实力和潜能了。小黑相信，随着技术的发展，AI抠像技术迟早能够让我们的Vlog拍摄更加精彩。
图源：Robust Video Matting项目主页
相关论文及视频素材、腾讯会议截图
百度搜索
免责声明：文中图片均来源于网络，如有版权问题请联系我们进行删除！
