谷歌升级 NeRF,仅需一张 2D 图像即可生成 3D 模型

2022-09-22 13:25:35   来源:新浪VR

  近日,谷歌宣布了其使用 LOLNeRF 从单个 2D 图像生成 3D 模型的研究结果。其特点是可以仅从一个视点看到的一张 2D 图像来构建 3D 模型。

  谷歌解释说:“LOLNeRF 采用了一个自解码器框架,用于从一组图像中学习 3D 结构和外观建模。LOLNeRF 可以通过从汽车、人类等对象集合中提取特征来学习 3D 结构。每个感兴趣的对象只需要一张图像,没有必要对同一个对象进行两次训练。”

  2020年,神经辐射场(NeRF)模型发布,仅根据二维图像即可生成三维模型,不过缺陷也很明显,即模型需要同一个场景的多个视图作为监督学习的输入。如果多视角数据不足,模型就无法估计体积表征,生成的场景很容易崩溃成平面,这也是 NeRF 的主要瓶颈。

  据了解,LOLNeRF 是对 NeRF 的升级,其使用机器学习通过 2D 图像中的多个点估计 3D 空间中每个点的颜色和密度,从而产生更准确和多方面的 3D 视觉效果。具体来说,LOLNeRF 使用预测的二维 landmarks 将数据集中的所有图像大致对齐到一个典型的姿态,以此来确定应该从哪个视图渲染辐射场以再现原始图像。

  就公布的图像而言,与原始二维图像的视点有很大偏差的模型背面是不会生成的。但是,如果建立这种方法,可以大大减轻对真实物体进行 3D 建模的负担。换言之,它具有加速构建像元宇宙这样需要大量 3D 模型的虚拟空间的潜力。

新浪声明:新浪网登载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述。

微博

HOT RECOMMEND

关于新浪VR | 论坛社区

Copyright © 1996-2015 SINA Corporation, All Rights Reserved 京ICP证000007  京网文【2017】10231-1157号

北京幻世新科网络科技有限公司 版权所有