沉浸式技术就是一个技术问题……吗？

营造真正的沉浸式体验

要营造真正的沉浸式体验，需要传感器、机器视觉、3D扫描、电源管理，以及用户设备自身的数百个不同组件。在某些情况下，比如体三维视频，甚至需要架设数百个传感器和摄像机围绕在动作周围。所以，工程师面对的挑战，仅仅就是技术本身吗？

HaptX联合创始人兼加州理工州立大学 (Cal Poly) 生物医学工程教授Robert Crockett博士表示，并非如此。事实上，他认为，在沉浸式技术领域表现出色的工程师是系统思想家。有了现成的、高质量的现成组件，工程师可以专注于如何让所有这些组件作为一个系统一起工作。

这就意味着您要将大量精力投入到设计前的工作中，例如考虑客户的需求以及对他们真正重要的东西，然后规划系统并找出可能会失败的地方。对于HaptX来说，这意味着需要大量的原型来帮助思考将所有部件组装起来的过程中所面临的工程挑战。然后就是大量的测试和迭代，直至认为找到一个可靠的系统。他们所做的这个系统是一只手套，可以为虚拟现实增加真实的“触摸”体验。

这是在性能方面你想要努力获得的真实体验。是的，您需要的一切都可能随处可得，但选择使用哪一部分通常取决于应用本身。

例如，当我们考虑VR中的真实视觉体验时，是否意味着VR头显设备的分辨率一定越高越好？ 这还是要视情况而定。

虚拟现实游戏或数字形式的工程演示可能并不需要特别高的分辨率。在这种情况下，根据“闭合律”（格式塔定律），只要物体上的不连续性足够小，我们就会感觉到它以一种平滑的模式延伸，因而较低的分辨率就可以满足需求。但是，如果我们被推进手术室进行复杂的脑部手术，如果我们的医生曾在尽可能逼真的虚拟颅骨上进行过演练，手术结果可能会更好。然而，即使高分辨率并非完全必要，它也可能有助于赢得市场份额。

在许多情况下，分辨率并不像延迟那么重要。动显延迟 (motion-to-photon latency) 是工程师们试图打破的障碍之一。理想情况下，您会希望用户的空间体验与现实无法区分。要做到这一点，专家表示需要将延迟控制在15ms以内。任何高于这个数值的延迟都会降低用户体验，根据不同使用情况，还可能导致恶心或潜在危害。如果无法解决延迟问题，那么您的硬件恐怕很难逃脱被丢进垃圾场的命运。

虽然市面上现有的传感器系统还没有达到15ms的速度，但我们正不断地看到持续的改进。Oculus决定不再等待组件制造商来解决这个问题，他们自行打造了一款支持高达1000Hz采样率，并且延迟只有2ms的传感器。他们已经证明了这是可以做到的，他们的产品有望提高业界的整体水准。

正如Crockett所说，这些系统将由数百个组件构成，而您的工作空间非常狭小。例如，如果您使用扩展现实 (XR)，那么嵌入式视觉接口的选择就会非常重要，但您希望尽可能保持简单，因为布线空间非常狭小。

虽然带宽高达5GB/s的USB 3.0是一个出色的多用途接口，基本上即插即用，但它的连接器尺寸太大，并且需要刚性布线，因而会占用大量空间； 然而，它却可以减少成本和开发时间。这可能就是MIPI CSI-2（移动行业处理器接口）标准成为VR头显设备最常用接口之一的原因。此外，MIPI的6GB/s高带宽也带来了比USB 3.0更快的速度。最后，CSI-2的多核处理器意味着它使用的CPU资源很少。

在打造用户佩戴的设备时，电源调节也是需要注意的事项。越来越高的屏幕分辨率和刷新率会导致显示功耗水涨船高。Oculus在他们的开发者网站上告诉我们，他们设备上的调控程序可以“监控内部温度传感器，并在温度上升到一定水平以上时尝试采取纠正措施，以防止出现故障或表面温度过高。这些纠正措施包括降低时钟频率。” Oculus的建议是，不要浪费任何程度的优化机会，因为“每次操作都会消耗电池并使设备变热。”  

缺失的部分：触觉反馈

虽然所有这些功能对于沉浸式体验都很重要，但仍然缺少一个关键部分：触觉反馈。要与计算机建立可信交互，这一部分非常重要，正是触觉使我们的感知变得完整。触觉反馈模拟了人在现实世界中与物理对象交互时体验到的感觉， 这就是为什么当你在游戏中遭到伤害时控制器会隆隆作响，当你收到短信时手机会震动。这种振动是通过偏心旋转质量 (ERM) 致动器、线性谐振致动器 (LRA) 甚至压电致动器实现的。

然而，隆隆声和振动仅仅是Crockett所说的“符号式触觉反馈”， 它们只是一种暗示。工程师们努力追求的是真实的感觉，或者尽可能精确的虚拟感觉，Crockett先生称之为“自然触觉反馈”。

自然触觉反馈可以让用户感觉到抓住了真实的东西。例如，力反馈（在汽车模拟中的方向盘上的力感）就更接近自然触觉反馈。但是，当你的身体并没有实际接触物体，但你又必须感觉到在接触它时，你会怎么做？ 

当Crockett的合伙人Jake Ruben带着营造自然触觉的愿景来找他时，他们开始思考这个问题，并意识到：握在手上的现实对于真正的沉浸感至关重要，这也是最难实现的。

既然人类大多数日常活动都是用手来完成的，那为何还要执着地在胸口营造真实的感觉呢？ 合乎情理的做法当然是先攻克手上的问题，然后再继续营造其他触觉反馈体验。
为了证明触觉的重要性，Crockett举了一个飞机模拟器的例子。在驾驶飞机离开地面、保持空中飞行并最终着陆的过程种，飞行员必须扳动许多开关。他们的视线会集中在多个仪表和面板上，通常不会抬起头来扳动开关， 而是通过肌肉记忆来确定它们的位置。建立肌肉记忆是沉浸式技术的常见用例，在这种情况下，就需要自然触觉反馈。但是，正如您需要将虚拟开关放在正确的位置一样，您也希望扳动开关的感觉与真实情况一样。即便承认这“并不容易实现”，都有点轻描淡写了。

HaptX决定利用气体力学来实现触觉反馈。每只手套都有130多个小气球，他们称其为“触器”。向其中充入空气，就可以对皮肤施加压力。这些触觉感受器可以精确模仿触摸驾驶舱开关时的感觉模式。此外，您还希望用户感觉到他们正在触摸固体。为了从物理上阻止用户将手穿过物体，他们在手套背面布设了一系列肌腱。这种对手进行控制以及通过对皮肤施加适当压力来感受正确模式的能力，可以给用户一种与并不存在的物体进行交互的自然感觉。

克服工程挑战

就连Crockett也承认，没有一个头脑正常的工程师会设计出一个复杂的系统，需要数百个微小的独立管道，每个管道通向一个气球并连接到一组比例控制阀。这是一项极其艰巨的工程挑战，几乎花了十年时间才解决。尽管如此，他们最终还是设计了一个实用的系统，不涉及任何特殊技术。

他们的解决方案就是前文所述系统思维的一个典型例子，这就是为什么像HaptX这样的公司要寻找能够理解系统并在高层次上进行思考的工程师。也就是说，他们考虑的不仅仅在于什么是有效的，更在于什么可以共同发挥作用，从而构建一种可靠、耐久且能满足需求的设计。

如果您意识到了沉浸式技术不仅仅涉及良好的工程技能，这就表明你开始明白这一切是怎么回事了。理解计算机科学、光学，甚至人类的感知，无疑是有帮助的。但许多专家认为，我们还需要更广泛的技能。

在设计面向特定用户的体验时，关于心理学、生理学、生物学、运动学等各种学科的实用知识都将发挥其作用。在这种情况下，设计就会变得很棘手，因为没有两个现实是相同的。年龄、性别、体型、国籍、健康状况、经济状况、能力等等都会影响我们的生活体验。

尽管包容性体验至关重要，但在打造实现这些体验的硬件和设备时，应考虑通用设计原则。通用设计最初是一个应用于建筑学的概念，现在已经扩展到几乎所有学科。它的设计初衷是为了适应每个人，无论其年龄、大小、能力或认知经验如何。

在一篇发表于有关混合现实和无障碍性的研讨会上的论文中，微软公司的研究人员提出，“将无障碍性视为系统迭代设计过程的核心部分，不仅对全世界10多亿患有某种残疾的人有价值，更对所有用户都有价值，因为每个人都会因所处环境而经历情景性的残疾。” 

研究人员提出的改进时机成熟的设备范例，就是头显设备。这些设备大多都很笨重，而且对于佩戴眼镜、助听器或人工耳蜗的人来说也不太理想。此外，哪怕是稳固地戴上头显设备这一个动作，就需要具备一定的运动范围和灵巧度。这些因素会限制大量潜在用户使用设备。

结语

工程师可以通过简单地将通用设计纳入他们的系统思维，使沉浸式技术更具包容性。沉浸式技术正处于许多技术在被广泛接受为游戏规则改变者之前都会面临的关键时刻。它正在趋向成熟，但尚未得到广泛采用。用户仍然希望他们的体验能够符合自己的预期。因此，现在正是将无障碍性融入到技术中的最佳时机。