据外媒消息，Facebook的AR/VR研发团队Reality Labs发表了一项关于超逼真实时虚拟化身方法的详细研究，扩展了该公司之前称为“Codec Avatars”的工作。
Facebook现实实验室已经创建了一个系统，能够实时为虚拟头像提供动画处理，能够通过硬件实现前所未有的保真度，通过头显内部的三个标准摄像头，可以捕捉用户的眼睛和嘴巴，该系统能够比以前的方法更准确地表示特定个体复杂面部表情的细微差别。
这项研究的重点不仅仅是将摄像头固定在头显上，还在于使用传入图像来驱动用户的虚拟表情。解决方案在很大程度上依赖于机器学习和计算机视觉。其中一位作者说：“我们的系统是实时运行的，它适用于各种各样的表情，包括鼓起的脸颊、咬嘴唇、来回晃动的舌头，以及像皱纹这样的细节，这些细节在以前的方法中很难被精确地描绘出来。”
该小组还发表了他们的完整研究论文，深入研究了系统背后的方法和数学。 “通过多视图图像翻译进行VR面部动画”的作品发表在《ACM Transactions on Graphics》上，该杂志自称为“图形领域中最重要的同行评审期刊”。该论文由Shih-En Wei，Jason Saragih，Tomas Simon，Adam W。 Harley，Stephen Lombardi，Michal Perdoch，Alexander Hypes，Dawei Wang，Hernan Badino，Yaser Sheikh共同撰写。
这篇论文解释了该项目如何涉及到创建两个独立的实验头显，一个“训练”头显和一个“跟踪”头显。
这款训练头显的体积更大，使用了9个摄像头，可以捕捉到受试者脸部和眼睛的更大范围的视野。这样做可以更容易地找到输入图像和用户先前捕获的数字扫描之间的“对应”（决定输入图像的哪些部分表示化身的哪些部分）。该论文称，这一过程是“通过自我管理多视图图像翻译自动发现的，不需要手工注释或域之间的一一对应。”
（a）带有九个摄像头的“训练”头显。（b）带有三个摄像头的“跟踪”头显；与训练头显共享的摄像头位置用红色圈起来。|图片由Facebook现实实验室提供一旦建立了对应关系，就可以使用“跟踪”头显。 它的三个摄像头对准了“训练”头显上九个摄像头中的三个。 由于从“训练”头显收集的数据可以更好地理解这三个摄像机的视图，这使得输入能够准确地驱动虚拟化身的动画。
本文着重研究了该系统的精度。以前的方法生成逼真的输出，但是用户实际的面部表情与表现形式相比，在关键区域的准确性会下降，尤其是在极端表情以及眼睛和嘴巴动作之间的关系时。
当你回过头来看看实际发生的情况时，你会发现这项工作令人印象深刻，对于一个面部被头显遮挡的用户来说，极其近距离的相机镜头被用来精确地重建一张没有被遮盖的面部图像。
尽管这种方法令人印象深刻，但仍然存在着一些主要障碍。对用户进行详细的初步扫描，以及最初需要使用“训练”头显，这就需要一些类似于“扫描中心”的东西，用户可以去那里扫描和训练他们的化身（你在那里的时候也可以捕捉到一个定制的HRTF）。在虚拟现实成为社会交流方式的重要组成部分之前，这样的中心似乎不太可行的。然而，先进的传感技术和在这一工作之上的自动通信建设的不断改进，最终可能带来一个可行的在家工作过程。
0