划重点:
🔍 许多 AI 图像生成器已经提供了一个强大的工具,通过文本进行图像内容修改,称为修补。
🎨 基于点的编辑使得调整变得更加容易。
站长之家(ChinaZ.com)4月7日 消息:南京大学和腾讯的研究人员开发了一种名为 StableDrag 的新型基于 AI 的图像编辑方法,允许元素轻松移动到新位置,并保持正确的透视,根据他们的论文。
该方法基于近期 AI 图像编辑的进展,如 FreeDrag、DragDiffusion 和 Drag-GAN,并在基准测试中取得了显著更好的结果。一个例子是通过将她的鼻子稍微向右移动来改变 “蒙娜丽莎” 的观看方向。输入图像与源点(红色)和目标点(蓝色)显示在左侧,DragDiffusion 的结果在中间,StableDrag-Diff 的结果在右侧。
这个工具在照片、插图和其他 AI 生成的图像上表现良好,对于人脸和主题(如汽车、风景和动物)也同样适用。关键创新在于一种点跟踪方法,可以精确定位更新的目标点,以及一种基于置信度的策略,以在每个步骤保持高图像质量,研究人员解释说。置信度值评估编辑质量,如果下降得太低,则恢复到原始图像特征,保留源材料而不限制编辑选项。
虽然 AI 图像生成从文本方面已经迅速发展,使高度逼真的照片成为可能,但与之相比,图像操纵仍在追赶。一些 AI 模型提供修补功能,以文本输入改变选定区域,但 StableDrag 的基于点的编辑承诺更精确。研究人员表示他们将很快开源代码。
苹果正在采用不同的操纵方法,MGIE 使用文本提示添加、删除或更改对象,而无需选择特定区域。
产品入口:https://top.aibase.com/tool/stabledrag