在 Meta Connect 2022 上，Meta 展示了在 VR 和 AR 领域的新研究成果。
Meta 的研究旨在持续十年或更长时间，并推动当今 VR、AR 和 AI 等技术的发展。在 Meta Connect 2022 上，该公司概述了许多领域的研究，从 Meta 的 AR 头显到神经接口，从 3D 扫描到逼真的编解码虚拟化身。
增强现实
Meta 的目标是在未来几年推出一款时尚、视觉上吸引人但功能强大的 AR 头显。由于小型化、功率、电池容量和余热方面的技术挑战很大，Meta 在开发中正在采取双重战略。
扎克伯格在主题演讲中表示：“眼镜需要相对较小才能看起来和感觉良好。因此，我们正在从两个不同的角度来构建 AR 眼镜。首先是建立全 AR 眼镜所需的所有技术，然后努力将其安装到我们所能提供的最佳眼镜外形中。第二种方法是从理想的外形开始，并随着时间的推移努力将越来越多的技术融入其中。”
前者的代号为 Project Nazare，而后者是 Meta 和全球最大的眼镜制造商 EssilorLuxottica 公司之间的联合项目，并已经推出了一种产品：Ray-Ban Stories，它提供了多种智能功能，但没有内置显示器。
在 Meta Connect 2022 上，Meta 和 EssilorLucottica 介绍了其眼镜项目和合作的最新情况：Ray-Ban Stories 将很快获得免提呼叫联系人或通过软件更新发送短信的能力。
还有一个新功能叫做 Spotify Tap。Meta 写道：“你只需点击并握住眼镜侧面播放 Spotify，如果你想听不同的东西，请再次点击并按住，Spotify 会推荐一些新的东西。”
EssilorLucottica 可穿戴设备首席执行官 Rocco Basilico 在主题演讲中宣布，他的公司和 Meta 正在开发一种新的头显，将打开一个“进入元宇宙的门户”。下一代的 Ray-Ban Stories 会有显示器吗？扎克伯格和 Basilico 留下了这个疑问。
那 Nazare 项目呢？
在 Meta Connect 2021 上，Meta 模拟了通过 Project Nazare 视图的样子。今年，扎克伯格在没有展示的情况下提供了 AR 头显的另一个预告片。
Meta 首席执行官带着该设备的走廊移动，并使用 EMG 腕带对其进行控制。显然，你可以通过 Project Nazare 看到一个视图。
扎克伯格向 Meta 的研究主管 Michael Abrash 发送了一条消息，并录制了一段视频，这两者都使用微手势。这是通过 EMG 腕带实现的，EMG 腕带拦截手腕上的运动脑信号，并在 AI 的帮助下将其转换为计算机命令。Meta 认为这种类型的接口是未来最重要的 AR 操作概念，与语音控制和手部跟踪一样。
扎克伯格没有说 Nazare 项目何时会出现。根据一份报告，Meta 计划在 2024 年推出它，并在 2026 年将其商业化。
脑机接口
Meta 研究更新中的另一个块涉及上述 EMG 腕带。Meta 依靠这项技术和个性化 AI 支持未来的 AR 界面相结合，它能识别情况和行动的背景，并积极支持眼镜佩戴者的日常生活。这应该可以在人与计算机之间实现直观、几乎无摩擦的界面。
Meta 写道：“通过结合机器学习和神经科学，这个未来的界面将适用于不同的人，同时通过一个协同适应性学习的过程来解释他们在生理、体型等方面的差异。”
一个视频说明了这一点。在其中，可以看到两名 Meta 员工通过 EMG 腕带和手指的动作玩简单的街机游戏。请注意，它们使用的手势略有不同，人工智能从信号和运动中学习并生成单个模型。算法训练得越好，必须移动的手和手指就越少。该系统通过解码手腕上的信号并将其转换为计算机命令来识别该人已经决定的动作。
面向视障人士的 AR 导航
Meta 正在与卡内基梅隆大学（CMU）合作开展一项研究项目，以帮助视障人士在复杂的室内环境中导航。
该大学研究人员使用 Meta 的 Project Aria 传感眼镜以 3D 扫描匹兹堡机场。他们使用这个环境的 3D 地图来训练 AI 本地化模型。因此，由 CMU 开发的智能手机应用程序 NavCog 可以通过转述音频指令来引导用户更安全地通过机场。
简单的 3D 扫描
像 Meta Quest Pro 这样的 MR 头显会在设备内部显示物理环境。他们还不能扫描对象并将其另存为 3D 模型。如果这项技术能成为现实，那么就有可能将真实对象带入虚拟环境。
Meta 写道：“从头开始构建 3D 对象很困难，使用物理对象作为模板可以更容易更快捷。但是今天没有无缝的方法来做到这一点，所以我们正在研究两种不同的技术来帮助解决这个问题。”
第一个使用机器学习，称为神经辐射场或简称 NeRF，从几张照片中创建一个非常详细的 3D 对象。
第二种技术称为逆向渲染，使用此方法数字化的对象会对 VR 环境中的光照和物理场做出动态反应。
这两种技术的缺点是它们尚未实时工作。然而，Meta 认为它们是实现物理对象简单 3D 扫描的重要步骤。
Codec Avatars 2.0
逼真的虚拟化身对于扎克伯格来说，这是 VR 和 AR 的杀手级应用程序。
为此，Meta 多年来一直在研究所谓的 Codec Avatars，其外观与人类原始版本几乎没有区别。
在 Meta Connect 2021 上，Meta 展示了第二代 Codec Avatars，并展示了全身化身。今年，该技术又进行了一次更新。
Codec Avatars 2.0现在可以在虚拟服装之间切换，而且更具表现力。为了展示改进的表现力，扎克伯格有一个由他自己制作的 Codec Avatar。
Codec Avatars 营销和使用的最大问题之一是其复杂创建过程，用户必须在特殊的 3D 工作室中扫描自己。
为了简化个人虚拟化身的生成，Meta 正在开发即时 Codec Avatars。只需用智能手机对面部进行两分钟的扫描即可。
这个过程的缺点是，完成后的虚拟化身看起来并不像扎克伯格的那么逼真，创建并准备使用虚拟化身仍然需要几个小时的时间。然而，Meta 正在努力加快这一进程。
Meta 强调，这些项目显示了研究成果，技术不一定要找到产品商业化的方式。Meta 写道：“不过，它还是可以窥见未来 5 到 10 年该技术的发展方向。”
0