站长之家 - 业界 2022-06-22 15:29

趣AI | 英伟达推新AI技术,轻松将2D照片转换成可编辑的3D图像

站长之家(ChinaZ.com)6月22日 消息:英伟达再次尝试利用人工智能技术丰富普通2D图片的内容深度。在将2D 图像转换为3D场景、模型和视频后,该公司将重点转向了编辑功能。

这家 GPU 巨头日前推出了一种新的AI技术——3D MoMa,可以将静态照片转换为创作者可以轻松修改的3D 对象。

据介绍,这项被AI技术可以让游戏工作室实现轻松修改图像和场景的工作。3D MoMa 通过反向渲染加速了任务。这个过程中,主要使用人工智能分析静止图像进而估计场景的物理属性,包括几何结构、光照等。然后再将这些图片构建成为逼真的3D形式。

Nvidia 图形研究副总裁 David Luebke 将这项技术描述为“一个将计算机视觉和计算机图形结合在一起的圣杯”。Lubeke说:“通过将每一个反向渲染问题作为gpu加速可微组件来制定,NVIDIA3D MoMa渲染管道通过使用现代AI机器和NVIDIA gpu的原始计算能力实现快速生成3D对象,创造者可以在现有工具中不受限制地导入、编辑和扩展。”

3D MoMa 将对象生成为三角形网格——一种让广泛使用的工具可以直接编辑的格式。这些模型是在单个英伟达Tensor Core GPU上一个小时内创建的。 

然后不同属性的材质可以像皮肤一样覆盖在网格上。还可以预测场景的照明,这使得创作者可以修改材质属性获得物体不同实现效果。

image.png

英伟达本周在新奥尔良举行的计算机视觉和模式识别会议(CVPR) 上展示了3D MoMa。为了向爵士乐的发源地致敬,英伟达的研究人员使用3D MoMa技术在视觉上呈现这种音乐类型。

image.png

该团队首先收集了数百张小号、长号、萨克斯管、鼓和单簧管的图片。接着就是使用3D MoMa 将图像重建为3D 形式。然后对这些乐器进行编辑并赋予新材料。例如,廉价的塑料材质小号变成了奢华的黄金材质。

然后,经过编辑的乐器就可以放入任何虚拟场景中。下图为,英伟达将创建的3D乐器模型放置在各种虚拟场景中的效果。 

image.png

该公司表示,所有的乐器都能像在现实世界中一样对光线做出反应,比如铜管乐器会反射光线,而鼓皮则会吸收光线。最后,还可以使用3D MoMa技术在动画场景中渲染3D 对象。

目前,3D MoMa仍在开发中,但英伟达认为它可以让游戏开发者和其他设计师快速修改3D对象,然后将它们添加到任何虚拟场景中。这也可以让我们更容易接近元宇宙状态。

注:图片均来自英伟达官方YouTube视频截图。

推荐关键词

24小时热搜

查看更多内容

大家正在看