近日，美国专利商标局正式授予苹果公司一项专利，该专利涉及使用基于血流追踪的机器学习生成下一代逼真的虚拟化身。苹果公司技术开发集团副总裁 Mike Rockwell 在介绍 Apple Vision Pro 时提出了示例。
Mike Rockwell 表示：“对于像 FaceTime 这样的数字通信，Vision Pro 不仅仅是传达你的眼睛，而是创造了一个真实的你。这是我们在构建 Vision Pro 时面临的最困难挑战之一。没有视频会议摄像头在看着你，即使有，你的眼睛上也戴着什么东西。使用我们最先进的机器学习技术，创建了一个新颖的解决方案。”
在使用 Vision Pro 上的前置传感器进行快速注册过程后，系统使用先进的编码器-解码器神经网络来创建用户的数字角色。该网络在数千人的多元化群体中进行了培训。它提供自然的呈现，动态匹配用户的面部和手部动作。借助数字角色，用户可以与超过 10 亿台支持 FaceTime 通话的设备进行通信。当有人在另一个 Vision Pro 中观看时，用户的角色具有传统视频中无法实现的体积和深度。
苹果专利涉及系统、方法和计算机可读介质，以利用基于机器学习的血流追踪技术来生成虚拟化身。为了生成逼真的虚拟化身，可以根据受试者可能做出的面部表情来模仿血流动向。也就是说，当一个人说话或做出不同的面部表情时，或做任何其他使面部变形的动作时，血液会在面部周围以不同的方式流动。随着血液的流动，受试者面部的颜色可能会因血流的变化而改变（例如，受试者的血液集中在皮下）。该过程可能包括培训阶段和应用阶段。
第一阶段涉及基于使用摄影测量系统捕获的血流图像数据训练纹理自动编码器。拍摄对象的许多图像会做出不同的表情，因此可以在表情和面部血流之间获得基本真实数据。血流可以通过从反照率图中提取光照分量来确定，因为它从反照率图中移位。反照率贴图描述了具有完美漫射光的脸部纹理，以及主体皮肤的静态版本。
因此，提取的照明分量指示特定表情从反照率贴图中偏移的位置。因此，纹理自动编码器可以将受试者的表情映射到 2D 血流纹理映射。在一个或多个实施方案中，纹理自动编码器可以考虑将一系列表情作为输入，从而产生特定的 2D 血流纹理图。
第二阶段涉及利用 2D 血液纹理图生成虚拟化身。例如，可以使用多通道渲染技术生成虚拟化身，在该技术中，2D 血液纹理贴图在多通道渲染过程中作为附加通道进行渲染。
作为另一个示例，可以根据 2D 血液纹理图将特定表情的血流纹理叠加到主体的 3D 网格上。
就本专利而言，自动编码器是指一种用于以无监督方式对数据进行分类的人工神经网络。自动编码器的目的是以优化的形式学习一组数据的表示方法。经过训练的自动编码器将具有编码器部分、解码器部分和潜在变量，它们表示数据的优化表示。
该专利涵盖了可用于未来 iPhone、iPad、Mac 和 Apple Vision Pro 的自然化身创建。
苹果专利图 2 显示了训练网格和纹理自动编码器的流程图；图 5 示出了一种流程图，该流程图说明了利用血液纹理图渲染化身的方法；图 6 示出了示出化身生成的流程图。
苹果专利图 3 显示了一个流程图，其中训练了一个神经网络，以提供表情和血流纹理之间的映射。
0