划重点:
⭐️ 提出了一种基于扩散的二维头像生成框架，名为 Make-Your-Anchor。
⭐️ 通过仅需一分钟的视频片段进行训练，实现了自动生成带有准确躯干和手部动作的锚点样式视频。
⭐️ 实验结果表明，在视觉质量、时间连贯性和身份保留方面，该系统在扩散 / 非扩散方法中具有更高的效果和优越性。
站长之家（ChinaZ.com）3月29日 消息:近日，一项名为 Make-Your-Anchor 的研究成果即将在 CVPR2024上展示。该项目输入1分钟视频进行训练，可以合成带手部动作的虚拟人视频，支持嘴型同步，支持换脸。
这一创新系统在创造与全身动作的锚点样式视频方面取得了重要突破，尽管基于说唱头像的创作解决方案已有显著进展，但直接生成具有完整躯干和手部动作的视频仍然具有挑战性。
该系统提出了一种全新的解决方案，仅需一个个体的一分钟视频片段进行训练，随后就能自动生成具有精确躯干和手部动作的锚点样式视频。具体而言，他们在输入视频上微调了一个结构引导的扩散模型，将3D 网格条件渲染为人类外观。为了将动作与特定外观有效地绑定，他们采用了两阶段训练策略来训练扩散模型。
为了生成任意长的时间视频，他们将帧间扩散模型中的2D U-Net 扩展到3D 样式，而无需额外的训练成本，并且提出了一个简单而有效的批次重叠的时间去噪模块，以在推理过程中绕过视频长度的限制。最后，引入了一种新颖的特定身份的面部增强模块，以改善输出视频中面部区域的视觉质量。不过这一项目代码还没发布。
经过比较实验，结果显示该系统在视觉质量、时间连贯性和身份保留方面的有效性和优越性，优于当前最先进的扩散 / 非扩散方法。这一创新的框架为头像生成领域带来了新的可能性和前景。
产品入口：https://top.aibase.com/tool/make-your-anchor
论文：https://arxiv.org/abs/2403.16510v1