视频不能用，视频是不是不能p图
chanong
|封色发布人：奥飞斯量子比特| 公众号QbitAI
你用过GAN 制作过图像吗？你看过用GANP 制作的视频吗？你看，那个面无表情、一直微笑着、本来就40 岁、50 岁的人？他们现在20多岁了。
与此同时，正在微笑着唱歌的“赫敏”突然变得愤怒起来，甚至变成了一张几岁孩子的脸。
奥巴马总统也是如此，他的面部状况可以在四个版本中轻松操纵，而且他的性别也被指定为女性。
无论面部表情和条件如何变化，这些视频都不会给人一种违和的感觉。整个过程非常顺利~哦耶，除了真人之外，动漫视频中的脸也P了：
这真是太神奇了。
以色列特拉维夫大学提供了基于GAN 的视频人脸编辑模型。
众所周知，GAN 能够在潜在空间中编码丰富的语义，并广泛用于面部编辑。然而，在视频中使用它仍然有点困难。一是缺乏高质量的数据集，二是需要克服一个根本�**菏奔湟恢滦浴５芯咳嗽比衔诙稣**饕侨宋摹Ｓ捎谠悠稻哂惺奔湟恢滦裕员嗉蟮氖悠狄驯恍薷摹Ｔ蛑皇潜嗉艿乐心承┳榧聿坏薄Ｋ翘岢龅氖悠等肆秤镆灞嗉蚣苡氲鼻白钕冉募际跸啾扔邢宰诺母慕核鍪褂帽曜嫉姆切蛄蠸tyleGAN2来集成GAN编辑管道中的各个组件，分析并确定哪些组件是一致的。只需使用这些组件即可。整个过程不包括任何额外的操作来保持时间一致性。具体过程分为六步。
1. 首先将输入视频分割成帧，并对每帧中的人脸进行裁剪和对齐； 2. 使用预训练的StyleGAN2 编码器对每个裁剪后的人脸进行空间势反转； 3 PTI（一种新提出的视频人脸编辑方法）用于在每个并行帧上对生成器进行微调，以纠正初始反转中的错误并提高整体一致性恢复。 4. 所有框架均使用方向和步长线性固定。操纵枢轴潜在代码并进行相应的编辑； 5. 再次调整生成器，将背景和编辑后的脸部“缝合”在一起； 6. 反转对齐步骤并进行更改，将您所做的脸部粘贴到视频中。
脖子上有很多划痕，但最后阶段已经完全修复了。
该模型与SOTA 模型相比如何？比较揭示了以下内容：
第一个越来越年轻，第二个和第三个越来越老。您可以清楚地看到，当前的SOTA（Latent Transformer）和PTI 模型的面孔“抽搐”并且有伪影，但这个新模型避免了这些问题。此外，研究人员还进行了时间一致性测试。指标包括：
局部时间一致性（TL-ID）通过现成的一致性检测网络评估两个相邻帧之间的一致性。 TL-ID分数越高，说明该方法产生的效果越平滑，没有明显的局部抖动。全局时间一致性（TG-ID）还使用一致性检测网络来评估所有可能帧（不一定是相邻帧）之间的相似性。 1 分表示该方法成功地保持了与原始视频的时间一致性。结果如下。
正如您所看到的，这个新模型在这两个指标上都稍好一些。最后，代码将于2月14日发布，有兴趣的朋友可以看看哦~
论文地址：https://arxiv.org/abs/2201.08361 项目主页：
https://缝合时间.github.io/
- 就这样-
量子比特QbitAI·今日头条签名
关注我们，第一时间了解最新技术动态