划重点:
🔍 提供了一个可控制相机姿态的图像到视频生成框架
🔍 引入 Plücker 坐标和极线约束注意力，实现了三维一致性
🔍 通过结构光算法对真实世界视频进行微调，改进了对象运动的合成效果
站长之家(ChinaZ.com) 6月5日 消息:研究提出了一种新颖的可控制相机姿态的图像到视频生成框架 ——CamCo，用于生成高质量、三维一致的视频。通过引入 Plücker 坐标，为预训练的图像到视频生成器提供了精确参数化的相机姿态输入。
产品入口网址：https://top.aibase.com/tool/camco
为了增强生成的视频的三维一致性，研究人员在每个注意力模块中集成了极线约束注意力模块，以对特征图施加极线约束。此外，通过结构光算法对真实世界视频进行微调，以改进对象运动的合成效果。实验结果表明，与之前的模型相比，CamCo 在三维一致性和相机控制能力方面有显著的改进，同时能够有效地生成合理的对象运动。
CamCo 是一个全新的可控制相机的图像到视频生成框架，可以生成高质量、三维一致的视频。CamCo 通过使用 Plücker 坐标和极线约束注意力块将相机参数注入模型中。研究人员还引入了一个数据筛选流程，用于处理带有动态主体的真实世界视频，并通过这个筛选后的数据集对 CamCo 进行微调，以提高其生成具有相机自我运动和动态主体的视频的能力。
给定一张单独的图片和一个相机序列作为输入，CamCo 模型可以合成符合相机条件并具有三维一致性的视频。我们支持室内、室外、以物体为中心的和文本到图像生成的图片。最后一行的提示为 "一个繁茂的花园，里面有各种颜色的盛开的玫瑰，中间蜿蜒着一条石子路"，第一帧的相机姿态以紫色显示。