Google开发出一项新技术，可让原本被VR头盔挡住的脸部表情，在混合现实影像中重现，让VR体验影片变得更逼真。
VR带来沉浸式体验，但如果你看过其他人使用VR装置，就会知道少了VR场景，他们在真实世界中的行为有多诡异。过去，我们已经可以在绿幕场景，拍摄出结合VR场景和真实世界行为的混合现实（MR）影片，但要让观众更能贴近体验者感觉的关键之一——脸部表情，却被VR装置遮住一大块。
有鉴于此，Google开发出一项新技术，可让原本被头盔挡住的脸部表情（包含眼球视线、眨眼等）在混合现实影像中重现，让VR体验影片变得更逼真。
一分钟内建好脸部3D模型、眼球视线资料库
这项研究来自Google Research部门、Daydream Labs和YouTube Spaces团队。过去，VR头盔挡住用户表情和眼睛注视的方向，降低MR影片的逼真感。
Google结合脸部撷取程式、眼球追踪和电脑视觉技术，设计出这项称做“摘掉头盔”的技术，可以将人脸合成在影片中，重现原本被VR头盔挡住的表情。
根据部落格说明，这项技术利用彩色和深度照相机，在一分钟内即可建立用户的3D脸部模型，并建立眼球视线资料库，让不同的脸部图像可对应到相对的眼睛视线和眨眼。
接着，他们将VR头盔改造成可追踪眼球，在结合“摘掉头盔”技术、透过VR头盔搜集来的眼球追踪数据、以及可和头盔同步的外部摄影机，便能将最初设定的脸部模型合成和真实世界的行为合成，让影片更为逼真。
避免“恐怖谷”，不完全拿掉头盔、而是模拟潜水面镜效果
不过，这项模拟人类表情的技术，由于过于拟人，就算和真人仅有微妙差异，也会让人觉得很不自然，这即是恐怖谷理论。因此，为了避免恐怖谷现象，Google选择模拟浅水面镜的效果，不完全移除VR头盔、而是用半透明的效果呈现头盔，减少观众对表情不自然的地方的注意。
Google指出，希望这项技术可提升VR在各种应用中的沟通和社交互动能力，如VR视讯会议、多人玩家VR游戏，以及和好友和家人共同在VR世界中探险等。未来，他们将在特定YouTube Space开放这项技术，让各地创作者使用、提升他们的VR体验影片。
from：bnext.com
0