近日，GPU巨头英伟达推出了一种AI技术“3D MoMa”，可以将静态照片转换为创作者可以轻松修改的3D模型，可以为游戏工作室提供一种改变图像和场景的简单方法。此前通常依赖于耗时的摄影测量，而3D MoMa可以从照片中进行测量。
据了解，3D MoMa通过逆向渲染加速了任务，这个过程使用AI分析静止图像来估计场景的物理属性，然后以逼真的3D形式重建图片。英伟达图形研究副总裁David Luebke将该技术描述为“统一计算机视觉和计算机图形的圣杯”。
David Luebke表示：“通过将逆渲染问题的每一部分都制定为GPU加速的可微分组件，3D MoMa渲染管道利用现代AI的机器和英伟达GPU的原始计算能力快速生成3D对象，创作者可以导入、编辑、并在现有工具中不受限制地扩展。”
3D MoMa将对象生成为三角形网格，一种使用广泛使用的工具可以直接编辑的格式。这些模型是在一小时内在单个NVIDIA Tensor Core GPU上创建的。 然后模型可以像皮肤一样覆盖在网格上，还可以预测场景的照明，这允许创建者修改其对对象的影响。
为了向爵士乐的发源地致敬，英伟达的研究人员使用该技术在视觉上呈现了不同的音乐流派。该团队首先收集了数百张小号、长号、萨克斯管、鼓和单簧管的图片。然后通过3D MoMa对它们进行了3D模型重建。
此外，对这些乐器进行编辑并提供新材料。例如，小号从廉价的塑料变成了奢华的黄金。然后，新编辑的乐器就可以放入任何虚拟场景中，英伟达将它们放入用于测试渲染质量的康奈尔盒子中。
该公司表示，所有乐器都像在现实世界中一样对光做出反应，从反射明亮的铜管乐器到吸收光的鼓皮。最后，在动画场景中渲染3D对象。
目前，3D MoMa仍在开发中，但英伟达相信它可以让游戏开发人员和其他设计师快速修改3D对象，然后将它们添加到任何虚拟场景中。
0