站长之家(ChinaZ.com)8月5日 消息:当下,各种AI换脸工具层出不穷,而最近三星实验室有一个名为 MegaPortraits 的新AI换脸工具在国外走红。
简单的说,MegaPortraits 可以根据捕捉真人的脸部动作,让一张静态的图片动起来。这种逼真的deepfake技术,可以让静态的肖像模仿真人面部表情,头部和颈部伸展,以及其他表情动作。
比如原来的图片并为绘制肖像侧面,而 MegaPortraits也能自行“脑部”,结合真人动作,图片动态化之后也能展示侧脸轮廓。
以下图为例,除了微笑、眨眼等简单的表情以外,“蒙娜丽莎”转头、仰头等大幅度的动作让人看不出丝毫的破绽。这意味着,任何细微的表情都可以魂穿到“蒙娜丽莎”身上。
项目网址:https://samsunglabs.github.io/MegaPortraits/
那这是怎么做到的呢?
三星将源图像与“真人动态表情”的运动混合在一起,并将“动态表情”的运动嵌入在静止图像中。每一帧生成运动的AI模型是从来自源图片和“动态表情”的两个随机样本中训练出来的。
图像的外观及其运动在被投影到原始图像上之前由模型分别处理。在这项工作中,三星将神经头头像技术提升到百万像素分辨率。高分辨率头像的设计目的是无论真人看起来是长得像图片的形象,都可以实现图片动态化,而不需要像其他deepfake 软件需要的面部形状或肤色相似才能模仿。
“我们的模型将驱动框架的运动(即头部姿势和面部表情)强加到源框架的外观上,以产生输出图像,”MegaPortraits 背后的研究人员在一篇关于该技术的论文中解释道。
该小组的工作还包括实时创建 deepfake,而无需提前准备视频。AI 模型连接了100个与现有图像相关联的神经化身,并以每秒130帧的速度运行。
目前,MegaPortraits还未实现商业化,研究人员希望改善肩膀的移动能力,并改进一些可能导致闪烁或其他问题的BUG。