真正沉浸式体验拼图

May 11, 2022

Florence Xing

Jon Gabay，贸泽电子专稿

(图源: Shutterstock.com/HQuality)

为了获得广泛认可，沉浸式现实技术一直在进行一场漫长的竞赛。例如，随着小型、低功耗、高分辨率显示器的发展，可以在眼球运动范围内实现精确、无缝的立体连续视觉效果。更快、更精确的三轴加速度计允许更高速度的处理器以伪实时方式渲染图像；速度足够快，可以超过眼睛的闪烁融合频率，让沉浸在其中的用户移动头部时，实际的全景场景看起来很真实。

已经克服了一些挑战，仍需继续战胜一些挑战，这项技术的品质和性价比才足可以真正打入游戏玩家市场，更不消说进入工业、商业、军事、执法等领域。

无论谈论的是扩展现实 (XR)、空间计算、全息图还是体三维数据，人们往往会对所得到的体验抱有期待。当人们第一次戴上虚拟现实耳机时，很多人被迷住了，但也有很多人感到失望。虽然图形、声音和头部跟踪效果更好，但人类有多种感官，只有少数感官可以在沉浸式环境中使用。即使在今天，我们也远不能实现电影《阿凡达》中的那种沉浸水平。

然而，人们对沉浸式技术的前景并没有放弃希望，他们正寄望于工程师能够实现这样的产品。几乎你能想到的每个行业都对沉浸式技术所带来的好处持乐观态度，这使得该技术的市场前景如同工程师的想象一般广阔。诚然，要满足他们的期望确实是一大挑战，不过征服挑战本就是工程师的使命。让我们探讨一下工程师在开发未来沉浸式体验时面临的各种挑战。

营造真正的沉浸式体验

要营造真正的沉浸式体验，需要传感器、机器视觉、3D扫描、电源管理，以及用户设备自身的数百个不同组件。在某些情况下，比如体三维视频，甚至需要架设数百个传感器和摄像机围绕在动作周围。那么，工程师面对的挑战，仅仅就是技术本身吗？

是的，技术挑战仍然是一大问题，许多聪明的工程师正在解决这些问题。关键在于营造真实的体验。例如，真实视频可以与静态或动态渲染对象的数字叠加一起使用。视频捕获技术已经迎接了挑战，视频显示技术也在不断改进以应对挑战。

虚拟现实游戏或数字形式的工程演示可能并不需要特别高的分辨率。在这种情况下，根据“闭合律”（格式塔定律），只要对象的不连续性足够小，我们就会感觉到它以一种平滑的模式延伸，因而较低的分辨率就可以满足需求。但是，如果我们被推进手术室进行复杂的脑部手术，如果我们的医生曾在尽可能逼真的虚拟颅骨上进行过演练，手术结果可能会更好。然而，即使高分辨率并非完全必要，它也可能有助于赢得市场份额。

在许多情况下，分辨率并不像延迟那么重要。动显延迟 (motion-to-photon latency) 是工程师们试图打破的障碍之一。理想情况下，您会希望用户的空间体验与现实无法区分。要做到这一点，专家表示需要将延迟控制在15ms以内。任何高于这个数值的延迟都会降低用户体验，根据不同使用情况，还可能导致恶心或潜在危害。如果无法解决延迟问题，那么您的硬件恐怕很难逃脱被丢进垃圾场的命运。

虽然市面上现有的传感器系统还没有达到15ms的速度，但我们正不断地看到持续的改进。Oculus决定不再等待组件制造商来解决这个问题，他们自行打造了一款支持高达1000Hz采样率，并且延迟只有2ms的传感器。他们已经证明了这是可以做到的，他们的产品有望提高业界的整体水准。

计算能力与通信速度的结合至关重要。由于有一个包含主要处理引擎的独立单元，占位面积至关重要。有很多高端组件必须装进越来越小的空间。例如，将有线虚拟现实耳机与电脑相连，可能会影响游戏时的移动自由度。

不过，并不是每种应用都会受到这种影响。例如，将虚拟现实、增强现实和扩展现实应用于培训或教育时，用线缆连接到桌子内功能更强大的计算机则不会产生影响。在这些场景里，学生不会走动，意味着线缆不会妨碍他们。

USB 3.0具有良好的5GB/s带宽，是一个非常不错的多用途接口，即插即用。正如最初的USB 2.0一样，连接器尺寸在未来的迭代中可能会缩小，从而减少连接带来的干扰。由于USB是嵌入到众多处理器中的通用标准，因此在这种情况下，使用它可以降低成本，减少设计时间。

MIPI CSI-2（移动行业处理器接口）标准是头戴式虚拟现实设备最常用接口之一。此外，MIPI的6GB/s高带宽也有比USB 3.0更快的速度。最后，CSI-2的多核处理器意味着它使用的CPU资源很少。

有线接口的另一个优点是能够调节功率分配。越来越高的屏幕分辨率和刷新率会导致显示功耗水涨船高。Oculus在他们的开发者网站上告诉我们，他们设备上的调控程序可以“监控内部温度传感器，并在温度上升到一定水平以上时尝试采取纠正措施，以防止出现故障或表面温度过高。” 这些纠正措施包括降低时钟频率。例如，在耳机中减去会发热的电压调节功能可以降低整体温度。

未来之声

虽然人们非常关注视力和视觉的清晰度和连续性，但沉浸式技术的音频表现对于体验也非常重要。与视觉效果一样，音频必须依靠头部跟踪和位置检测来调整沉浸式体验中的环绕声效果。

由于扬声器和声波发射器相对靠近耳部，因此不需要高音频功率，但需要小尺寸、低失真、低电压和高效率。例如，一款非常适合沉浸式技术使用的放大器是Maxim MAX98360A/B/C/D数字输入D类放大器。这些非常小的3.69毫米见方WLP封装器件在5伏电压下向4欧姆负载输出高达3.2瓦的功率。
较低的2.2毫安静态电流确保了不使用时的长电池续航能力，这些部件的效率为92%，1KHz时的总谐波失真率低至0.009%。基于D类开关技术，边缘速率控制技术不需要外部滤波器，这些部件还具有减少噼啪声和咔哒声的电路系统。

支持8KHz到96kHz的采样率，数据字可以是16、24和32位分辨率，以增加动态范围。虽然能够连接到1.2伏和1.8伏逻辑，但这些部件可以承受5.5V I/O，并可消除逻辑控制的电平转换。

简单的I squared S接口使引脚数较少（9个引脚），并简化了与数字控制电路的接口（图3）。像MAX98360AEVSYS#FCQFN这样的音频开发工具提供了现成的测试平台，可以快速方便地进行评估。