划重点:
⭐ FourieScale 通过引入空洞卷积和低通滤波操作,实现不同分辨率下的结构和尺度一致性。
⭐ 采用「填充然后裁剪」策略,使 FourieScale 能够适应生成任意尺寸的图像。
⭐ 引入 FourieScale 作为引导,提高生成图像质量,解决细节缺失和伪影问题。
站长之家(ChinaZ.com)4月8日 消息:最近,香港中文大学和商汤科技联合实验室的研究人员提出了一种名为 FourieScale 的新方法,用于改善利用预训练扩散模型生成高分辨率图像的效果。
随着扩散模型在生成式模型中的应用日益普遍,传统问题是生成超出训练分辨率的图像时会出现模式重复和人工伪影的情况。为解决这一难题,FourieScale 通过引入空洞卷积和低通滤波操作,确保不同分辨率下的图像保持一致的结构和尺度。
与此同时,研究人员还采用了「填充然后裁剪」的策略,使得 FourieScale 具备生成任意尺寸图像的能力。此外,他们还引入了 FourieScale 作为引导,通过额外的条件生成估计来提高生成图像的质量,解决细节缺失和伪影等问题。
定量和定性实验结果显示,FourieScale 在不同预训练模型和分辨率下都取得了显著的提升,为高分辨率图像生成领域带来了新的可能性。这一研究成果为图像生成技术的发展提供了新的思路和方法,值得关注。
论文地址:https://arxiv.org/abs/2403.12963
开源代码:https://top.aibase.com/tool/fouriscale