Quest Pro 面部跟踪功能将很快投入使用，使 Meta 的虚拟化身更具表现力，下一代虚拟化身将从新技术中受益匪浅。
Quest Pro 的一大新功能是面部跟踪系统，该系统使用内部摄像头来感应眼睛和脸部某些部位的运动。结合免校准的机器学习模型，头显可以将它所看到的内容转换为可以驱动任何化身动画的输入。
在短期内，这将与 Meta 现有的化身一起使用。虽然这确实使它们更具表现力，但它们看起来仍然有些愚蠢。这可能是由于当前 Meta 化身系统的底层动画框架还不能很好与之适配，将 Quest Pro 的面部跟踪输入嫁接到当前系统中，并没有真正达到它的实际显示效果。
为此，Meta 已经构建了一个技术演示，该演示展示了当化身在设计时考虑到 Quest Pro 的面部跟踪时（渲染化身几乎动用了头显的全部处理能力）的可能性。
目前，该技术演示仍有些不稳定，但是在这里看到的每个动作都是由用户做出相同动作推动的，包括喘气脸颊或将嘴巴从一侧移动到另一侧之类的事情。总的来说，这是一张更完整的面孔。
此外，Aura的皮肤细节处理也很出色。如果眯起眼睛揉捏着鼻子，可以看到它周围的皮肤逼真地堆积起来，当抬起眉毛时也是如此。这些微妙的细节，确实给人留下了深刻的印象，即这不仅仅是面前的一个物体，而是一个活生生的东西。
Meta 表示，将把 Aura 演示作为一个开源项目发布，这样开发人员就可以看到他们如何将面部跟踪输入附加到化身上。该公司还表示，开发人员将能够使用单个工具集来驱动人形化身以及动物、怪物等非人类化身，而无需单独调整每个化身。
Meta 表示，开发人员将能够利用面部跟踪 API，该API 使用与 FACS 相对应的值，FACS 是一个众所周知的系统，用于描述人脸中不同肌肉的运动。
这是一个有效的系统，不仅可以代表人脸，还可以为用户提供优秀的隐私保障。根据 Meta 的说法，开发人员实际上无法访问用户面部的原始图像。相反，他们得到的是“一系列零到一的数值，它与一组通用的面部动作相对应，比如皱鼻子或皱眉头等”。
Meta 表示：“这些信号使开发人员在将信号将脸部跟踪 API 的信号映射到他们自己的角色装备时，无论他们的角色是人形还是更奇幻的东西，都可以轻松保留玩家原始动作的语义含义。”
Meta 声称，即使是公司本身也看不到头显内部或外部摄像头拍摄的图像。根据该公司的说法，数据在头显上进行处理，然后立即删除，而无需发送到云端或开发人员。
0