Apple Vision Pro 允许用户通过简单的手势控制 visionOS 或与 visionOS 交互。然而，有时可能需要额外的“控制器”来控制 Apple TV 内容、电子游戏、演示文稿或处理文档图表，为此可以使用手指设备来操作数据。近日，美国专利商标局公布了苹果公司的一项专利申请，该专利申请涉及在 Vision Pro 工作区的虚拟触控板上使用手指设备。
苹果的发明涵盖了一种方法，包括通过肢体追踪器获取肢体追踪数据。该方法包括在显示器上显示计算机生成的触控板虚拟表示，该触控板在空间上与物理表面相关联。
在 Vision Pro 的显示屏中可以看到物理表面，以及一个与计算机生成的触控板表示分开的内容操作区域。该方法包括根据肢体追踪数据在计算机生成的触控板表示中的第一位置。
该方法包括将第一个位置映射到内容操作区域内的相应位置，以及包括在显示屏上显示指示映射的指示器。指示器可与内容操作区域内的相应位置重叠。
电子设备显示指示映射的指示器。例如，基于手指操作数据，电子设备确定手指可穿戴设备正悬停在或接触计算机生成的触控板表示的中心。因此，电子设备在内容操作区域的中心显示一个指示器。通过显示映射的指示，电子设备向用户提供反馈，以说明在某些实施方案中手指可穿戴设备与内容操作区域接触的情况。反馈减少了电子设备从手指可穿戴设备接收错误输入的数量，从而降低了电子设备的资源利用率。
因此，苹果专利中公开的各种实施方案使用户能够有效地参与（例如，操作）内容操作区域内的内容。例如，当手指操作数据显示手指可穿戴设备在计算机生成的触控板表示上画圆时，电子设备会在内容操作区域内显示圆圈的相应表示。因此，与其他设备相比，电子设备在与内容操作区域交互时提供了更多的控制和准确性。
手指可穿戴设备可以由用户的手指佩戴。在某些实施方案中，电子设备基于手指操作数据以 6DOF 追踪手指。因此，即使物理对象遮挡了手指可穿戴设备的一部分，电子设备也继续接收来自手指可穿戴设备的手指操作数据。
以下是一系列苹果专利图，展示了将计算机生成的触控板映射到 Vision Pro 中内容操作区域的电子设备示例。
上述专利图中的电子设备对应于头戴式设备（HMD），后者包括一个集成显示器，用于显示操作环境的表示。
显示数据可以通过 XR 环境来说明。例如，图像传感器获取表示物理桌 #302 和物理灯 #304 部分的图像数据，生成的显示数据显示在显示器 #312 上，并显示物理桌和物理灯部分的各自表示。
在某些实施方案中，电子设备（HMD）包括透明显示器。透视显示器允许来自物理环境的环境光穿过透视显示器，物理环境的表示是环境光的函数。例如，透视显示器是一种半透明的显示器，如具有光学透视的眼镜。在某些实施方案中，透视显示器是一种附加显示器，可实现物理表面的光学透视，例如光学 HMD（OHMD）。
物理表面（例如，物理桌 #302）可在显示屏 #312 内与内容操作区 #330 一起观看，内容操作区 #330 与触控板 #324 分离。
例如，内容操作区域包括应用内容，例如 Web 浏览器内容、文字处理内容、绘图应用内容等。根据来自手指可穿戴设备 #320 的手指操作数据，HMD 确定触控板和内容操作区域之间的映射。
正如苹果所介绍的那样，Apple Vision Pro 用户可以使用虚拟键盘工作，而该专利则证实，通过手指设备，用户将可以使用虚拟触控板来操作 Vision Pro 中的内容。
0