站长之家(ChinaZ.com)12月15日 消息:阿里在11月份发布了论文,宣布将开源I2VGen-XL图像生成视频模型。如今,他们终于发布了具体的代码和模型。这一模型可以生成没有大幅人物动作的视频演示。
I2VGen-XL模型分为两个阶段。首先是基础阶段,该阶段通过使用两个分层编码器来保证连贯的语义,并保留输入图像的内容。其次是优化阶段,该阶段通过整合额外的简短文本来增强视频的细节,并将分辨率提高到1280x720。
代码地址:https://github.com/damo-vilab/i2vgen-xl
为了优化模型,研究团队收集了约3500万个单镜头文本视频对和60亿个文本图像对。通过这些数据,I2VGen-XL模型可以提高生成视频的语义准确性、细节的连续性和清晰度。