苹果新专利:可通过确定虚拟聆听环境的传感器改进空间音频效果

2023-04-12 15:52:37   来源:新浪VR

  近日,美国专利商标局发布了苹果公司一份关于空间音频的专利申请。该专利深入研究了从 AirPods 到 AirPods Max 再到 XR 头显等设备中的先进传感器,以确定用户的环境并相应地调整音频。苹果公司指出,虚拟房间越像用户所处的真实房间的声学效果,外化感就越合理。

  苹果在其专利申请中指出,内容创作者可以创作音频或视听作品。音频可以根据内容创建者的口味进行精确的调整,以便向听众提供特定的体验。内容创建者可以制作音频,使它携带特定场景的可感知线索,例如,一个回声的户外山坡、一个体育场或一个小的封闭空间。在户外录制的音频作品可能有可感知的声学线索,将听者带到户外环境。同样地,如果一个音频作品被记录在一个录音室中,那么听者实际上可能被传送到该录音室中。

  用户可以在不同的位置收听音频,每个位置都可以有一个不同的声学环境。例如,用户可以在汽车里、草地上、教室里、火车上或客厅里收听音频或视听作品。用户周围的每个声环境都可能伴随着对声音的期望,即使声音是由用户戴的耳机产生的。

  人类可以通过分析两只耳朵上的声音来估计一个声音的位置,这被称为双耳听觉,人类的听觉系统可以利用声音在周围衍射、反射并与耳廓相互作用的方式来估计声音的方向。

  麦克风可以通过使用电声换能器将声压的变化转换为电信号来感知声音。该电信号可以通过模数转换器(ADC)进行数字化。音频可以用空间滤波器进行渲染播放,使音频被感知具有空间质量。空间滤波器可以人为地将空间线索传递到音频中,类似于由我们身体几何结构和耳廓自然引起的衍射、延迟和反射。经过空间滤波的音频可以通过空间音频再现系统产生,并通过耳机输出。

  一个带有耳机的空间音频再现系统可以跟踪用户的头部运动。双耳过滤器可以根据用户的头部位置进行选择,并随着头部位置的变化而不断更新。这些滤波器应用于音频,以保持声音来自空间中理想位置的错觉。这些空间双耳滤波器被称为头部相关脉冲响应(HRIRs)。

  随着苹果尝试通过 XR 头显提供真实的 XR 环境,苹果已经调整了他们的空间音频技术。根据苹果的说法,一个强大的虚拟声学模拟(例如空间音频)从房间的虚拟化中获益匪浅,从而诱导一种声音外化感,这种感觉可以理解为声音不是来自耳机,而是来自外部世界。决定虚拟房间的声学参数对于提供令人信服的空间音频体验非常重要。

  一般来说,虚拟房间越像真实房间的声学效果,外化的感觉就越合理。然而,当使用空间音频再现诸如电影、播客、音乐或其他内容等预先录制的音频内容时,模拟真实房间可能对体验不利,因为虚拟房间的声学可能超负荷或造成感知上的差异。

  这方面的一个典型例子是户外电影场景,其中用户可能会期望听到没有或很少的混响,但由于虚拟化,用户可能会听到来自虚拟房间的大量混响。在这种情况下,可以在复制的合理性(有助于外部化和包围)和复制的保真度(保持内容创建者的预期观看体验)之间做出权衡或妥协。

  在某些方面,系统可以基于对真实房间的声学和被播放内容的声学的分析和/或先验知识,选择最优的虚拟房间预设或混响算法的参数。

  苹果专利图 1 说明了音频或视听文件的音频处理;图 2 说明了用于音频处理的声学参数的选择;图 3 说明了用于确定和应用预设声学参数的工作流程。

  苹果专利图 6 说明了用于确定预设声学参数的音频处理操作;图 7 说明了具有声学参数的元数据。

  音频处理系统可以是计算设备,例如,台式计算机、平板电脑、智能手机、笔记本电脑、智能扬声器、媒体播放器、家用电器、耳机组、头戴显示器(HMD)、智能眼镜、用于汽车或其他车辆的信息娱乐系统,或其他计算设备。

新浪声明:新浪网登载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述。

微博

HOT RECOMMEND

关于新浪VR | 论坛社区

Copyright © 1996-2015 SINA Corporation, All Rights Reserved 京ICP证000007  京网文【2017】10231-1157号

北京幻世新科网络科技有限公司 版权所有