新加坡国立大学等研究小组推出新 3D 图像渲染技术 HOSNeRF

2023-05-09 16:01:15   来源:新浪VR

  近日,新加坡国立大学和其他研究小组宣布推出了 HOSNeRF,这是一种新的渲染技术,可以使用单个 2D 摄像机创建高清 3D 图像。

  来自新加坡国立大学和其他机构的一个研究小组宣布了一项新的渲染技术,名为“人-物-场景神经辐射场(HOSNeRF)”,可以在任何时间点从单个视频创建 360° 图像,即使是没有用 360° 摄像头拍摄的视频也可以比传统方法更清晰地渲染人体动作。

  HOSNeRF 基于一种称为神经辐射场(NeRF)的技术。而 NeRF 是一种使用深度学习在多个角度拍摄的 2D 图像中创建 3D 图像的方法。自 2020 年引入 NeRF 以来,从 2D 视频生成 3D 图像的技术开发一直在进行中,其中之一就是 HOSNeRF。

  与具有固定构图的图像不同,视频在主体(例如人类和网球拍)之间创建复杂的交互(例如打网球)。此外,人类不会一直携带球拍,有时他们会放下球拍或携带袋子,很难准确渲染这种人与物体的交互和物体转移,这被认为是视频自由视角渲染的一个挑战。

  为了解决这些问题,HOSNeRF 引入了一种表达人体骨骼和物体骨骼的机制,以及一种处理物体状态变化的机制。在涉及物体与环境交互的视频中,成功地实现了高精度的自由视点渲染。

  查看研究团队创建的比较图像,可以看出物体的排列、模糊和虚化现象比其他方法更少。

  在他们的论文中,研究小组还指出,HOSNeRF 是一种专注于“人和物体”的动态建模方法,目前缺乏动态表示“背景”的能力,未来进一步的研究可能会开发一种忠实的背景渲染方法。

新浪声明:新浪网登载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述。

微博

HOT RECOMMEND

关于新浪VR | 论坛社区

Copyright © 1996-2015 SINA Corporation, All Rights Reserved 京ICP证000007  京网文【2017】10231-1157号

北京幻世新科网络科技有限公司 版权所有