站长之家 - 业界 2024-09-24 19:49

豆包视频生成大模型发布:突破多主体互动难关

**字节跳动发布AI视频生成大模型**

字节跳动近日宣布进军AI视频生成领域,推出两款面向企业市场的AI大模型:PixelDance和大模型Seaweed。

这些模型以其出色的语义理解能力和复杂的交互画面的精准捕捉而闻名。它们不仅可以理解并响应复杂的指令,还能在不同镜头切换下保持内容的一致性。

值得一提的是,这些模型得益于字节跳动自主研发的DiT(动态集成变压器)架构。DiT融合计算单元实现了视频在大动态场景下的无缝切换,赋予其变焦、环绕、平摇、缩放和目标跟随等多镜头语言能力,为视频创作提供了更大的自由度。

为了提升视频的专业性和观赏性,字节跳动采用了创新的扩散模型训练方法。该方法解决了多镜头切换中保持主体、风格和氛围一致性的技术难题,确保了视频在切换瞬间的和谐统一,为观众带来身临其境的体验。

目前,PixelDance和大模型Seaweed已在即梦AI内测版中进行了小范围测试,以收集用户反馈并优化产品性能。

推荐关键词

24小时热搜

查看更多内容

大家正在看