为什么换脸会在手挡脸、侧脸和暗光下出问题

简短回答

视频换脸在正面口播上通常没问题,但会在五类镜头上出问题:转到侧脸、手或物体挡在脸前、手臂扫过脸、昏暗的侧面,以及头歪着、镜头还在晃的画面。Video FaceSwap Online 1.1.0 就是针对这几种镜头做的。下面说明每种情况容易出什么问题,并展示真实的片段。

1. 完整转到侧脸

容易出的问题: 头转得很大时,脸大半被遮住,人脸检测丢了脸,新的脸要么从头上"飘"下来,要么糊在脸颊上。

示例展示的: 头转了九十度又转回来,戴着眼镜、留着胡子,新的脸在每个角度都稳住,转动时没有闪烁。头转到可用角度之外时,产品会让那些帧保持原样并计入报告,而不是糊掉。

2. 转开头,再转回镜头

容易出的问题: 暗光加侧面,让换脸几乎没有可以依靠的特征,人转向镜头时脸容易滑动。

示例展示的: 暗光下的侧面,然后转向镜头,脸始终待在头上。

3. 手挡在脸前,还戴着眼镜

容易出的问题: 换脸把脸前面的东西也一起涂掉了,包括手和镜框。

示例展示的: 手一直在脸的前面,没有被改动。只有能看见的那部分脸被替换,手一离开,整张脸就完整地回来了。

4. 手臂扫过脸

容易出的问题: 头在转、镜头在抖,同时有东西从脸前扫过,是最难的情况:脸和遮挡物都在动,逐帧的判断彼此对不上。

示例展示的: 手臂从脸前扫过,脸不动;遮挡物始终在前面,头在转,手持镜头也在抖。

5. 大笑,手在头发里

容易出的问题: 每次大笑头都会歪、表情都在变,手碰头发和脸又叠加了一些小遮挡。

示例展示的: 手碰着脸和头发,头随着每次大笑歪动,换脸也跟着走。

为什么这些镜头难

怎样让任何工具有最好的结果

这不能证明什么

这五段是我们因为它们难而挑选的,用 Fast 模式渲染。它们说明困难镜头是可以做好的,但不是基准测试,结果取决于你的素材。在我们公布的 74 段公开视频测试里,约二十分之一没有可用的人脸,系统如实报告了这一点。

相关文章

五段示例的素材和参考照片来自 Pexels(可免费使用)。被替换的脸属于图库模特,请只换你有权使用的脸。