近日，Meta AI 宣布了其通用语音翻译（UST）项目的突破性更新，该项目是一个主要用于口头语言的开源实时语音到语音翻译系统。
UST 项目已成功翻译了福建话，UST 系统使福建话使用者能够通过实时翻译技术用英语交谈，反之亦然。
Meta AI 研究人员使用机器学习（ML）数据来创建听觉翻译系统，包括数据收集、模型设计和评估。Meta 正在发布其集成的 ML 福建翻译数据和研究论文作为开放资源，使 AI 开发人员能够创建涵盖更多语言的 UST 项目。
由于其不成文的性质，Meta 在试图收集 ML 数据以创建福建翻译平台时遇到了重大问题。该公司还利用来自类似高资源语言（如普通话）的数据来协助创建 ML 训练数据。
此外，Meta 正在使用语音挖掘系统来收集适当的翻译数据，而无需源文本。在此过程中，Meta AI 开发人员使用预先训练的语音编码器，将未写入的福建语音数据与类似的英语文本对齐，使 ML 系统能够根据预先存在的语言数据翻译福建话。
Meta 指出其翻译系统是一项正在进行的工作，一次只能翻译一个句子。尽管该公司解释说，福建项目是实现语言间实时同声传译的第一步。
在公告中，Meta 还提到了其实时翻译研究如何应用于元宇宙服务。该公司希望通过其 UST 系统在虚拟和现实世界中鼓励联系和相互理解。
Meta 正在构建 VR 社交平台 Horizon Worlds，可以通过其 Meta Quest VR 头显组合访问，包括最近宣布的 Quest Pro。
如果 Meta 将其实时翻译系统集成到像 Horizons 这样的元宇宙平台中，它可以允许用户与全球语言障碍较低的个人聊天。
此外，Meta Quest Pro 还具有眼睛，面部和身体跟踪功能，可以实现更大的个人表达。结合 UST 集成，Horizon 可以包含强大的工具，以数字方式连接个人。
0