沉浸式技术让我们从旁观者变为参与者

这项技术改变了我们与世界互动的方式

发布于2022-02-23

不再被现实阻隔

图1：早期对沉浸式技术的尝试虽然很少，但却很精巧。Stunt Master耳机（左侧）具有¼ VGA分辨率和低保真扬声器。红外手套控制器（右侧）使用应变技术测量手指位置，并借助于红外LED传输手部和按键动作。（图源：贸泽电子） 

另一个绊脚石是低密度的低速内存芯片和模块，按照今天的标准，它们缺乏存储3D图像的深度。虽然头部跟踪并不实用，能耗管理也较为落后。

但随着技术的进步，沉浸式体验终将成为现实。只要使用得当，人们在现实世界和日常生活中沉浸于由科技营造的环境将有益于个人和社会。

现实世界的应用让技术达致下一个稳定期 

尽管按照今天的预期，这一项简单的工作，但它开创了3D映射和再现、透视处理、内存管理和索引技术、着色和光源处理以及实时图像拼接和滚动。此外，它还使用了多端口或冗余内存块，因此内存的一个区块用于播放实时视频，而另一个区块则同时进行更新，准备播放下一段视频。

尽管很多飞行模拟器爱好者享受到了这项技术带来的乐趣，但沉浸式技术对社会的实际作用现在才开始显现。游戏以经济实惠的方式将这项技术带入到大众化的生活领域，但随着与其他现代主流功能的融合，挽救生命将成为其中一个重要的应用。

例如，在需要修理飞机发动机时， 尽管需要遵循维修手册的步骤，但沉浸式虚拟技术还可以增强这项操作的乐趣。不同于平面图、等距图或参数化图，技术人员不仅可以生动地看到虚拟浮动引擎， 还可以旋转、虚拟拆解和直观地观察，以及查看释放夹、螺栓以及组件的准确位置（图2）。当然，对于汽车维修、电器维修乃至几乎所有的机器维修，技术人员若采用能与之交互的高分辨率虚拟投影，就能增强操作能力，也能更轻松地理解操作步骤。

传感器数据与虚拟图像的结合让操作变得更加有趣，因此维修技术人员可以查看发动机内部并找到有故障的轴承，再确定如何查找出看不见的预埋螺栓。

图2：技术人员和机械师在开始工作之前利用虚拟机研究复杂部件错综复杂的细节。这对于培训和实际维修非常有用。（图源：Gorodenkoff/Shutterstock.com）

医学领域是最值得期待和最可能产生影响的应用领域之一。例如，借助磁共振成像 (MRI) 生成的高分辨率扫描数据，医生不仅可以查看病人的整体身体状况，从各个角度检查肿瘤， 还可以局部放大，仔细查看内部结构。

结合交互式机械手（例如，图1，右侧所示具有更高分辨率的控制手套）使用时，医生可以使用机器人工具而非颤抖的人手更精确地进行精细的手术。结合传感器（此类情况下为触觉反馈传感器）使用时，熟练的外科医生可以抓住、拉动、移动和缝合肌肉，而不会造成损伤（图3）。

图3：虚拟和增强现实技术可以让医生进行精细的手术，其精确度和控制控制能力远胜于可能不掌握此项技术的人手，甚至可以进行远程手术。（图源：Gorodenkoff/Shutterstock.com）

这项技术甚至可以支持进行远程手术。例如，在执行火星任务中，地球上的外科医生可以对一百万英里外的宇航员进行手术。无需将自身调整到失重状态下，就可进行简单的手术，如清理耳道或堵塞的动脉。信号滞后时间是个问题，对于数百万英里以外的手术尤为明显。这就是人工智能能够在出现时间延迟或信号丢失时帮助调整动作和行为的地方。

沉浸式技术也可以挽救生活在地球上的普通人的生命。试想一下GPS引导你穿越暴风雪时的情景， 当一切都被大雪覆盖时，根本无法分清哪里是道路，哪里是湖泊。

结合传感器和精确的GPS定位，沉浸式虚拟现实显示屏可以在实时视频中叠加实际道路，为我们提供实时路况。在上述事例中我们需要注意以下两点：添加超越人类感官范围的传感器数据增强了沉浸式体验，进而提高了不采用这项技术根本时无法实现的能力。这就是虚拟现实与增强现实相结合带来的改变。

虚拟和增强现实技术给社会带来的另一个益处就是以远程或虚拟的方式拯救生命。例如，拆除炸弹时，虚拟存在检测装置（如多关节机器人）可以到达危险位置并执行精细操作，而不会危及人身安全。相比任何2D系统，3D深度感知让拆弹小组操作人员拥有更好的深度感知。

对于诸如手动关闭核反应堆阀门的其他危险工作，相较于单独使用2D系统，使用3D系统能够更安全、更娴熟地完成工作。这些精确的远程和虚拟操作的关键在于触觉反馈。对于远程手术和任何其他关键操作，操作人员必须能够通过力反馈技术感觉到他正在触摸的物体。简单的红外 (IR) 手套已被真正的多传感器和多执行器手套所取代，如HaptX工业级型号（图4）。

图4：高精度传感器精确检测手指和手部运动以及手势，触觉力反馈技术可显著提高触觉灵巧度和力量控制。（图源：HaptX） (图源: HaptX).

最近一项有趣的技术进步是基于视频的手势检测、识别和控制技术，其特点是无需戴手套即可实现触觉反馈。 精心布置的摄像机用于监控手部的动作，同时一种巧妙的超声波波形干扰技术实际上让操作者能感觉到触觉反馈，类似于声波力场（图5）。

图5：尽管高清摄像机可以捕捉手部动作，而使用精确相位控制的超声波发射器却能让操作员感觉到动作。（图源：贸泽电子）

通常情况下，使用增强现实技术时，视频画面清晰、透明。在现代，有机发光二极管 (OLED) 技术非常适合这类应用。每个像素都是一个独立的发射点，因此不需要背光或扫描激光来渲染图像。

结合立体视频，虚拟耳机可以很好地展现虚拟现实和增强现实体验。在这种情况下，可以在不利条件下对现实进行调整，例如调整立体声平衡效果。当一个清晰简洁的虚拟世界呈现在面前时，即使是银装素裹、极为炫目的暴风雪天气环境也不一定会分散注意力。

图6：增强现实允许信息叠加在我们所感受的现实之上。例如，通过使用着色手法使热可见，进而扩大我们的感官范围。（图源：HQuality/Shutterstock.com） 

在人类能够感觉到之前就对潜在危险进行探测并发出警告是一种非常明显的安全优势，而且不仅限于人类的感知范围。利用热技术，可以看到热量并对其重新着色，使其变得可见。这项技术让驾驶员借助于有限的可见光谱，在看到物体之前就知道前方道路上是否有人或动物。紫外线可以显现人眼无法看到的细节。

将人类的视觉范围从射频 (RF) 扩展到X射线可能是一项重大的诊断和故障排除技术。无论是在太空、核反应堆还是潜艇中，所有这些环境都依赖于防患于未然的能力，即在潜在问题成为真正问题之前检测并解决掉。

薄膜技术 (TFT) 显示器应用广泛，物美价廉，多渠道现货供应。这种显示器需要LED背光，且不透光，因此主要用于虚拟现实；结合立体相机使用时，也可用于增强现实。

对于增强现实应用，OLED技术可能是更好的选择。它是透明柔性屏，可以变形、弯曲，可呈现出透明清晰的画质。最重要的是，嵌入到透明薄膜中的是微型LED，因此无需背光即可创建一个发光显示器。OLED显示器虽已面世，但却不如TFT易于购买。激光扫描平视技术不失为另一种选择。

得益于智能手机革命和自拍大潮，多家制造商还生产了超小型高分辨率摄像头。由于尺寸小巧，因此非常适合安装在镜架以及完全沉浸式不透明耳机上。

音频处理器和小型全音域扬声器也可从过往业绩卓著且信誉良好的供应商处轻松购到。同样，由于听音乐的需求，移动设备行业也迅速推动了这项技术的发展。

也许让这些设计落地的重要技术进步就是我们拥有的先进多轴加速度计。这些技术可以监控头部的运动，此外，结合快速响应的视频处理和再现系统使用时，用户不仅可以感觉图案清晰，而且不会感到不适。（注意：当显示滞后头部跟踪时，感觉的分离可能会引起不适。）

其他先进技术，如超高密度和快速内存、能量管理芯片和高密度电池技术，皆已步入正轨，使这项技术具有足够高的成本效益和效率成为未来的首选用户界面。此外，宽带宽、高频无线通信技术也有利于这些沉浸式设备完全摆脱任何束缚。

无论哪种情况，都可以通过OEMing（一种耳机）进行可行性研究和原型设计。多家参与制造者提供了价位与性能水平各异的产品， 既有有线配置，也有无线配置。最常见的是售价约300美元的Occlus Quest 2。该器件具有一个独立的计算和图形引擎、无线通信、用于外围设备的蓝牙（BLUETOOTH®）接口，以及良好的头部跟踪功能。Sony PlayStation®也提供了一款价位大致相同的竞争产品。还有HTC和Valve Index VR工具包。

此外，开发工具也可用于布设场景和多角色交互。配备图形引擎和CPU的耳机已上市。而相关社区也在不断发展，以帮助支持这个全新的虚拟世界。