自 12 月初以来，人们就一直在探索 OpenAI 的 ChatGPT 神经网络的深度。近日，一位开发人员让这款对话 AI 吐出了有效的 AR 代码。
OpenAI 的 ChatGPT 对话 AI 针对生成文本和回答问题进行了优化。但从 12 月初开始的初步测试很快表明，该系统不仅仅是几个措辞整齐的句子，还能回答编程代码。
由 ChatGPT 生成的 AR 应用 ChatARKit
开发人员 Bart Trzynadlowski 想知道他是否可以使用 ChatGPT 开发一个 AR 应用程序，该应用程序仅使用语音命令即可自动将数字 3D 对象放置在环境中。他还使用 AI 模型（OpenAI 的Whipser）识别语音命令，然后将它们作为 AI 提示带入 ChatARKit 应用程序的 JavaScript 环境。
因此，ChatGPT 从 Sketchfab 中选择与语音命令匹配的 3D 对象，并根据提示将它们放置在桌面或地板上。如果提示它，ChatGPT 甚至会缩放和旋转 3D 模型，AI 系统自行为此生成代码。
根据 Trzynadlowski 的说法，这些是一些工作示例提示：
- 在最近的平面上放置一个立方体。
- 将一个旋转的立方体放在地板上。
- 把一辆跑车放在桌子上并旋转90度。
- 把一辆校车放在最近的平面上，让它沿着平面来回行驶。
Trzynadlowski 表示，ChatGPT 不能可靠地工作。对于相同的命令，AI 模型会生成非常不同的输出，并在应用程序中放置不正确的 JavaScript 代码行。 有时，ChatGPT 会将对象描述转换为代码标识符，这意味着无法再从 Sketchfab 检索 3D 模型。
Trzynadlowski 将他的 ChatGPT AR 应用程序作为 Github 上的开源免费提供。
使用自然语言在 VR 中生成 3D 对象
对于 VR，开发人员 Jasmine Roberts 最近展示了 OpenAI 新的 3D AI Point-E 的实现，与图像 AI DALL-E 2 一样，它可以仅基于文本输入生成内容。然而，Point-E 生成的不是图像，而是代表 3D 模型的 3D 点云。每次生成，Point-E 在单个 Nvidia V100 GPU 上只需要大约一到两分钟。Roberts 的演示是实时运行的。
Point-E 是 OpenAI 在文本到 3D 合成方面的进一步工作的起点。谷歌与 Dreamfusion 或英伟达与 Magic3D 最近也推出了文本转 3D 系统，这可能在未来 3D 内容的进一步传播中发挥重要作用 ，这也是元宇宙理论的基本假设。
0