Methods 电子书

1 | 目录 3 先睹为快：沉浸式技术 作者：Paul Golata 5 沉浸式技术打造全新的现实世界 作者：Adam Kimmel 10 沉浸式技术让我们从旁观者变为参与者 作者：Jon Gabay 沉浸式技术就是一个技术问题……吗？ 作者：Traci Browne 21 在虚拟空间生活、工作和学习 作者：David Freedman 26 超越Zoom：在The Wild中如何实现沉浸式协作 作者：David Freedman 28 沉浸式技术将为产品制造和采购带来变革 作者：Carolyn Mathas 和 Jon Gabay 31 为虚拟世界打造身临其境的3D音效 作者：Jon Gabay 35 VR协作的未来 作者：David Freedman 17 贸泽、贸泽电子、Mouser与Mouser Electronics是Mouser Electronics公司的注册商标。所有出现在此的其他产品、公司名称及标识均可 能分属于各公司所有。文中所含参考设计、概念图以及其他图片仅供参考。 版权所有© 2021 Mouser Electronics, Inc. — TTI和Berkshire Hathaway旗下公司

• | 1
• 目录沉浸式技术让我们从旁观者变为参与者作者：Jon Gabay先睹为快：沉浸式技术作者：Paul Golata沉浸式技术打造全新的现实世界作者：Adam Kimmel超越Zoom：在The Wild中如何实现沉浸式协作作者：David Freedman沉浸式技术将为产品制造和采购带来变革作者：Carolyn Mathas 和 Jon Gabay为虚拟世界打造身临其境的3D音效作者：Jon Gabay VR协作的未来作者：David Freedman在虚拟空间生活、工作和学习作者：David Freedma
• 贸泽、贸泽电子、与是公司的注册商标。所有出现在此的其他产品、公司名称及标识均可能分属于各公司所有。文中所含参考设计、概念图以及其他图片仅供参考。
• Mouser
• Mouser Electronics
• Mouser Electronics (1)
• © 2021 Mouser Electronics, Inc. — TTIBerkshire Hathaway
• 版权所有
• 和
• 旗下公司
• Figure
• 特约作者
• Adam Kimmel
• Jon Gabay
• Traci Browne
• David Freedman
• Carolyn Mathas
• 技术撰稿人
• Paul Golata
• Joseph Downing
• Christina Unarut
• 设计与制作
• Robert Harper
• 特别感谢
• Kevin Hess
• 市场营销高级副总裁
• Russell Rasor
• 供应商营销副总裁
• Jack Johnston
• 市场通讯总监
• Raymond Yin
• 技术内容总监
• 先睹为快：沉浸式技术
• Paul Golata (1)
• 作者：
• 即刻体验
• 首先，我带大家来一次沉浸式体验。想象一下，当我们置身于一个已无路可退的环境中时，然后下定决心跳离地面，彷佛翱翔于天际，世界一览无余，这种快感令我们沉醉。突然！啪！跌落下来！犹如陷入一座阴暗的水下坟墓，压力越来越大。接着缓慢上升，最终浮出水面，重见天日，开始贪婪地呼吸着空气。
• 你很可能曾经经历过我们许多人都有过的经历，站在水池边，思索着跳还是不跳。最终下定决心跳下，感觉整个人被完全沉浸在其中，从熟悉的环境逐渐下沉，一直深入到泳池的水下世界之中。这些都是沉浸式技术能带给我们的体验。
• 随着沉浸式技术的发展，贸泽电子与客户也参与进来，以进一步推动创新。沉浸式技术将人类带入到一个非物理世界，为我们提供了另一种感知途径。它正在重塑我们对现实的认知，颠覆我们感知虚实事物的方式。它采用增强现实 (、扩展现实 ()、混合现实 () 和虚拟现实 (VR) 等技术，将人类的感官体验与计算机和数字信息相结合，营造出精彩纷呈的全新环境。沉浸式技术将重新定义我们感知事物的方式，并大幅改变人机交互之间的关系。
• AR)
• XR
• MR
• 要想在未来立于不败之地，各大公司必须调整其流程，以出色地实施和贯彻沉浸式技术。这种创新技术将激发人类的
• 创造力和意识，从而开拓全新的应用领域和市场。接下来，我们将介绍这一创新技术的定义，让你有一个大致的了解。然后，将探索主观现实和客观现实之间的关系，以及这类必要技术可以为我们提供哪些功能，对我们的工作、学习和日常生活产生怎样的巨大影响。另外，我们也会探讨体验、触摸、聆听和感受的动态方式。最后，还将介绍设计工程师应该如何适应这一技术。
• 贸泽电子诚邀您品读，了解我们如何解决客户面临的挑战以支持他们的设计需求，以及为何要选择贸泽电子作为满足下一代沉浸式设计需求的分销商。
• Figure
• 关于作者
• 于年加入贸泽电子。作为高级技术内容专家，凭借出色的战略领导力、战术执行力以及先进技术相关产品的整体产品线和营销方向把控能力，为贸泽电子的成功做出了突出贡献。通过独特而有价值的技术内容，为设计工程师提供电气工程方面的新信息和发展趋势，帮助贸泽电子成为用户青睐的电子元器件分销商。
• Paul Golata
• 2011
• Paul
• Paul (1)
• 图源："garykillian / stock.adobe.com"
• 沉浸式技术打造全新的现实世界
• Adam Kimmel
• 作者：
• ，贸泽电子专稿
• 如何定义现实？ 从表面上看，"现实"这个概念很容易理解。它就是我们周围的世界—我们在既定空间所看到、所感受到的一切。现实就是真实存在的东西。
• 至少，这个定义是我们过去对现实的理解。然而随着物联网 (IoT) 、智能设备和5G的普及，现实的前提已经从恒定、可预测的环境转化为不断演变的真实和虚拟体验。我们看到并感受到物理现实，这只是其中的一部分。沉浸式/扩展现实 (XR) 弥补物理现实的不足，增加并创造了新的体验。
• 沉浸式现实有三种主要类型：
• ·
• 虚拟现实 ) — 一个完全模拟的环境，让用户觉得自己沉浸在一个纯数字世界中。
• (VR
• · (1)
• 增强现实 — 通过增加数字图像和体验来增强物理环境。用户常常通过智能手机摄像头来体验AR。
• (AR)
• · (2)
• 混合现实 — 物理和数字对象之间的交互。同时利用和的强项和优势来优化用户体验。
• (MR)
• MR
• AR
• VR
• 随着智能手机的饱和，和正在迅速普及。关于沉浸式技术，横跨年的给出了以下数字：
• 2018-2023
• 2021 Statista
• 市场报告
• 截至年，沉浸式技术行业的全球收入接近亿美元，预计在未来五到十年内将继续呈指数级增长。
• 2020
• 63
• 尽管增长率在年间接近 ，到年间将回落到 ，虚拟现实仍是最大的细分市场。
• 2020-21
• 42%
• 2022-23
• 10%
• 移动增强现实技术与增强/混合现实技术相结合，创造了亿美元的收入，其中亿美元来自虚拟现实。
• 37
• 26
• · (3)
• 增强现实和混合现实正以更高的速度增长，随着物联网的扩张，混合现实将出现指数级增长。
• 除了智能手机摄像头，提供沉浸式用户体验的主要技术是耳机。除其他组件外，设备内还包含计算和处理元件、执行器和传感器。这些组件将两个世界连在一起，打造出颠覆性应用来造福人类。XR应用的一些例子包括造福于人类和社会，例如，为儿童营造安全的模拟社交互动，以及辅助治疗从恐惧症到疼痛和焦虑的各种疾病。除了在医疗方面的明显用途外，还通过智能城市和联网路灯、太空旅行辅助设备以及成千上万种其他应用为人类增强了便利性。
• XR
• XR (1)
• XR (2)
• 虚拟世界和物理世界的交汇可以让人类社会变得更美好。下面介绍了每种类型的，并概述了支持这种颠覆性技术的相关信号链组件所发挥的作用。
• 沉浸式技术参考框架
• 自年该技术发明以来，扩展现实已经吸引了科学和消费领域的目光。虽然科学家们提出虚拟现实（年）和增强现实（年）这两个术语的时间较
• 1957
• 1975
• 1990
• 晚，但却早已有了利用计算机和技术来增强人类体验的愿望。
• 业界有必要定义沉浸式技术的参考框架，以帮助大家了解信号链以及相关处理组件如何帮助营造体验。
• 物理现实
• 物理现实是最容易理解的，它就像是一张画布，技术在这张画布上将各种数字特性付诸应用。利用所有五大感官，我们会收到关于周围世界的即时、准确的反馈。正是"反馈"这个概念为用户的期望设置了屏障。
• 物理现实示例：转过拐角
• 举个简单的例子，一辆购物车撞上了杂货店货架的一角。一个心不在焉的购物者试图转过过道转角，但却撞到了货架转角。但是，他会迅速倒回购物车，调整转弯半径，完成转弯。
• 货架提供的反馈是"半径不正确"。该信息为用户提供了成功转弯所需的即时、准确的响应。因为物理现实是恒定不变的，不受数字容差的影响，所以反馈是即时的。此外，货架是静止不动的，因此其位置在任何时间点都确定无疑。
• 物理对象的位置和大小是创建数字现实的关键输入和反馈，物理现实涉及到所有五大感官。在确定框架并定义了画布后，程序员就可以在物理环境中营造数字体验。
• 图源："HQUALITY / stock.adobe.com"
• 虚拟现实
• 虚拟现实也许是最广为人知的沉浸式体验。它有助于提升人类体验，让用户有机会做一些因现实、财务或时间限制而做不到的事情。此外，虚拟现实为操作者提供完全沉浸式的体验，尽可能充分刺激五大感官。
• Roman Rumble
• 虚拟现实示例：
• 因为虚拟现实营造了一种完全模拟的体验，所以人们可以花一天时间观看年前的角斗士在罗马竞技场的比赛。这项技术可以刺激人们的视觉、听觉、嗅觉和感觉体验。如果用户足够勇敢，他们还可以亲自参与到游戏中，充分还原昔日的真实历史。
• 2000
• 虚拟现实和增强现实之间的主要区别之一是用户在环境中的位置。在增加数字功能之前，增强现实使用智能手机（或其他设备）的摄像头在物理环境中引导用户的视线。虚拟现实在数字环境中对视线进行完全数字定位，通常使用头戴式显示器(。该技术响应用户的视觉运动，因此以合乎逻辑的方式快速接收、处理、分析和返回数据至关重要。技术越先进，体验越自然。
• HMD)
• 增强现实
• 这种形式的扩展现实正是互联技术进步大放异彩之处。增强现实已经渗入我们的日常生活，如谷歌地图、美国国家橄榄球联盟 (的黄色首攻线和精灵宝可梦，以及许多其他应用，增强了用户所见，增加了更多功能或特性。
• NFL)
• GO
• 这项技术的关键在于满足了用户对数字功能所带来的体验差异的需求。在观看比赛时，首攻线应该是一项不易察觉的添加功能，因此该技术不会分散观众对运动员活动的注意力。用户希望地图上的精灵宝可梦或街道交叉口可见，因此需要更具颠覆性的数字功能。
• 增强现实示例：月亮有多高
• 天文学家在观察夜空中的星座和行星
• 时可以使用增强现实。这项技术为用户提供关于他们所看到东西的信息，如物体的位置、距离、运动模式以及星星的起源和运动模式。增强现实让人们能够在家中舒适地参观天文馆，就像在现实生活中一样，并且它可以回答各种经验水平的太空爱好者所提出的许多常见问题。
• 增强现实提供有用且有趣的功能，并通过改善体验，随着每个新联网应用的推出而越来越受欢迎。图像捕获和映射对于增强现实的效果好坏至关重要。如果操作正确，多种数字功能会让人感觉就像在现实生活中一样，行为举止像实际存在的物体一样。
• 混合现实
• 即便是经验丰富的沉浸式技术开发人员和用户，也会交换使用或混用混合现实和增强现实。当结合物理和虚拟特性时，混合现实指的是两者之间的交互，而不是叠加在物理现实上的数字元素。根据的报告，这种互动的利用正在年复一年地推动混合现实达到非常高的市场增长率。因此，以设计工程为例说明混合现实与增强现实的主要区别将会有所助益。
• Statista
• CAD
• 混合现实示例：成功的品控
• 对于工业物联网，可以确定机器容差是否足够，从而验证其规格。质量工程师可以在已部分完成的物理零件上投影成品零件的几何图形，以预测组件的尺寸是否准确。在生产过程的早期达到这种水平的预测精度可以降低报废率，提高生产能力、运营效率并降低成本。混合现实还可以远程指导技工完成详细的维修过程。
• 将混合现实应用
• 于生产过程
• 混合现实有机会发挥巨大的颠覆作用，最终以前所未有的方式弥合人类与机器之间的鸿沟。与在虚拟现实和增强现实中一样，物理对象位置精度和数字功能响应时间对于混合现实能否实现预期效果至关重要。
• 技术信号链组件
• 沉浸式技术对人类有着深远的影响，但其优势只有在技术能够实现的情况下才能发挥作用。与采购材料的供应链类似，信号链由提供体验的网络和组件订单构成。要释放沉浸式技术的全部潜能，目前的限制技术包括处理能力/散热管理、视觉显示/照明、连接及运动跟踪技术。
• XR
• 处理能力/散热管理
• 显示屏的像素密度越大，提供数字功能所需的功率要求就越高。集成高功率密度的散热管理和处理器可确保该技术不会偏离沉浸式体验。此外，系统还必须充分冷却不断增加的处理负载，以保护用户免受设备故障的影响，尤其是对于医疗和人文关怀应用。数据中心散热市场正在推动处理和芯片冷却解决方案的发展，这些解决方案有助于实现。
• 视觉显示/照明
• 眼睛是沉浸式技术的第一感官，因此显示质量至关重要。嵌入照明策略的显示器可以让用户的视觉在现实和虚拟世界之间切换，从而提供用户寻求的颠覆性体验。分辨率日益提高的相机提供了更逼真的体验。在真实照明和数字照明之间进行平衡可以模糊两个世界的边界。智能手机和显示器制造商掌控着显示和照明组件的发展速度。
• 连接
• 在连接方面，将是最具颠覆性的技术。在访问数据进行快速分析时，不能出现连接问题。反映真实环境的数据量只会随着系统向用户传输更多数据而增加。的高速度和低延迟将推动进入一些必须实时响应用户行为的应用领域。的广泛部署使得数据分析可以独立于中央枢纽，并在设备级别 (边缘)上处理更多数据。边缘处理减少了数据传输时间和距离。
• 5G
• 5G (1)
• 5G (2)
• 运动跟踪
• 随着视觉模式和运动的细微变化，沉浸式技术必须对用户的一举一动高度敏感。传感器收集环境数据，执行器记录并传输人类的响应。车辆自主驾驶技术正在推动这两种仪器的发展，尤其是传感器。为了实现物理和数字环境的精确交互，传感器必须创建物理空间的精确映射，执行器则必须按照预期传输人类的动作。
• 结语
• 无缝集成沉浸式技术的优势不言而喻。通过改善我们开发的产品、医疗护理和程序、旅行安全、教育质量和深度，这场颠覆性技术运动可以提升娱乐体验并有助于社会发展。以下领域的发展将推动这种集成：
• 数据中心行业的处理能力和散热
• ·
• 能力
• · (2)
• 智能手机和显示器制造商主导的显示器和照明技术
• · (1)
• 制造商和网络服务提供商主导的连接技术
• 5G
• 传感器和执行器电子制造业主导的运动跟踪技术
• 这些技术中的每一种都有限制沉浸式技术发展的风险。要实现市场报告所预测的指数级增长，需要各方共同努力，开发和发展每个细分市场。考虑到改进扩展现实可以为人类带来的益处，该技术显然是值得投资的。
• Figure
• AD-FXTOF1-EBZ 3D ToF开发套件
• mouser.cn/adi-ad-fxtof1-ebz-kit
• 关于作者 (1)
• 关于作者
• 拥有近年的执业工程师、研发经理和工程内容创作者经验。他撰写过白皮书、网站副本、案例研究和博客文章，内容涉及汽车、工业/制造、技术和电子等垂直市场。拥有化学和机械工程学位，是工程和技术内容创作公司的创始人和首席执行官。
• Adam Kimmel
• 20
• Adam
• ASK Consulting Solutions, LLC
• 图源："HQUALITY / stock.adobe.com" (1)
• PiezoHapt和PowerHap执行器
• mouser.cn/38Of1lJ
• 11Core™ U
• 第
• 代
• 系列处理器
• mouser.cn/intel-u-series
• Figure (1)
• Figure (2)
• 沉浸式技术让我们从旁观者变为参与者
• 作者：，贸泽电子专稿
• Jon Gabay
• 不再被现实阻隔
• 在口头语言出现之前，人类就已经开始使用手势来传达信息。木炭以及后面钢笔和铅笔的问世，让文字能更加清晰和具体的表达出来，人类得以用书面和插图的形式概括知识、新闻与经验。然而人类创造力和表达能力的传奇并没有就此结束。不妨想一想，我们可以利用哪些现有资源来分享我们的经验和知识从音频和视频功能，再到互动性更强的交流方式。
• ——
• 打造沉浸于科技产品环绕的个人世界的想法已不再新鲜。使用立体声耳机也可以说是一种沉浸式技术。闭上眼睛，在立体声的环绕之下，让人仿佛置身于自然的环抱之中，例如，能感受到森林中的各种声音和周围的生物。虽然视频和电影提供了一个部分沉浸式的环境，但仍与现实相距甚远。但系统工程、显示技术、音频技术和混合信号数字技术的进步让我们从信息的旁观者转变为信息创造的参与者。
• 克服挑战
• 视频耳机是视觉沉浸领域的首次尝试。早期产品(如)只不过是戴在眼睛周围的低分辨率视频屏幕()该设备的分辨率仅为分辨率的四分之一，是戴在用户头上的个人视频显示器。头部跟踪、互动或内置音频并不是该体验的一部分，但它确实有助于开拓可穿戴技术在人体工程学和光学方面带来的舒适体验。早期的用户界面
• StuntMaster
• 图
• 1
• ，上方
• VGA
• (320 x 240)
• 虽精巧，却不是非常有效。其中一个范例就是红外感应手套，带上它，内置接收器的计算机即可检测并试图理解手部动作 () 。
• ，下方
• Figure (3)
• 早期对沉浸式技术的尝试虽然很少，但却很精巧。耳机（上方）具有分辨率和低保真扬声器。红外手套控制器（下方）使用应变技术测量手指位置，并借助于红外传输手部和按键动作。（图源：贸泽电子）
• ：
• Stunt Master
• ¼ VGA
• LED
• 另一个绊脚石是低密度的低速内存芯片和模块，按照今天的标准，它们缺乏存储图像的深度。虽然头部跟踪并不实用，能耗管理也较为落后。
• 3D
• 但随着技术的进步，沉浸式体验终将成为现实。只要使用得当，人们在现实世界和日常生活中沉浸于由科技营造的
• 环境将有益于个人和社会。
• 现实世界的应用让技术进入下一个稳定期
• 正如许多技术的金科玉律一样，军事应用往往是进入公共领域的基础技术先驱。阴极射线管、电视、无线电和微波只是其中的几个例子。借助沉浸式技术，飞行模拟器等军事训练催生了我们正在构建的沉浸式环境。
• 尽管按照今天的预期，这是一项简单的工作，但它开创了映射和再现、透视处理、内存管理和索引技术、着色和光源处理以及实时图像拼接和滚动。此外，它还使用了多端口或冗余内存块，因此内存的一个区块用于播放实时视频，而另一个区块则同时进行更新，准备播放下一段视频。
• 尽管很多飞行模拟器爱好者享受到了这项技术带来的乐趣，但沉浸式技术对社会的实际作用现在才开始显现。游戏以经济实惠的方式将这项技术带入到大众化的生活领域，但随着与其他现代主流功能的融合，挽救生命将成为其中一个重要的应用。
• 例如，在需要修理飞机发动机时，尽管需要遵循维修手册的步骤，但沉浸式虚拟技术还可以增强这项操作的乐趣。不同于平面图、等距图或参数化图，技术人员不仅可以生动地看到虚拟浮动引擎， 还可以旋转、虚拟拆解和直观地观察，以及查看释放夹、螺栓以及组件的准确位置（
• 图源："Tran / stock.adobe.com"
• Figure (4)
• 技术人员和机械师在开始工作之前利用虚拟机研究复杂部件错综复杂的细节。这对于培训和实际维修非常有用。（图源：）
• 图
• 2
• ：
• Gorodenkoff/ Shutterstock.com
• ）。当然，对于汽车维修、电器维修乃至几乎所有的机器维修，技术人员若采用能与之交互的高分辨率虚拟投影，就能增强操作能力，也能更轻松地理解操作步骤。
• 传感器数据与虚拟图像的结合让操作变得更加有趣，因此维修技术人员可以查看发动机内部并找到有故障的轴承，再确定如何查找出看不见的预埋螺栓。
• 医学领域是最值得期待和最可能产生影响的应用领域之一。例如，借助磁共振成像 生成的高分辨率扫描数据，医生不仅可以查看病人的整体身体状况，从各个角度检查肿瘤，还可以局部放大，仔细查看内部结构。
• (MRI)
• 结合交互式机械手（例如，所示具有更高分辨率的控制手套）使用时，医生可以使用机器人工具而非颤抖的人手更精确地进行精细的手术。结合传感器(此类情况下为触觉反馈传感器) 使用时，熟练的外科医生可以抓住、拉动、移动和缝合肌肉，而不会造成损伤（）。
• 1
• ，下方
• 图 (1)
• 3
• 这项技术甚至可以支持进行远程手术。例如，在执行火星任务中，地球上的外科医生可以对一百万英里外的宇航员进行手术。无需将自身调整到失重状态下，就可进行简单的手术，如清理耳道或堵塞的动脉。信号滞后时间是个问题，对于数百万英里以外的手术尤为明显。这就是人工智能能够在出现时间延迟或信号丢失时帮助调整动作和行为的地方。
• 沉浸式技术也可以挽救生活在地球上的普通人的生命。试想一下引导你穿越暴风雪时的情景，当一切都被大雪覆盖时，根本无法分清哪里是道路，哪里是湖泊。
• GPS
• 结合传感器和精确的定位，沉浸式虚拟现实显示屏可以在实时视频中叠加实际道路，为我们提供实时路况。在上述事例中我们需要注意以下两点：添加超越人类感官范围的传感器数据增强了沉浸式体验，进而提高了不采用这项技术根本无法实现的能力。这就是虚拟现实与增强现实相结合带来的改变。虚拟和增强现实技术给社会带来的
• 另一个益处就是以远程或虚拟的方式拯救生命。例如，拆除炸弹时，虚拟存在检测装置（如多关节机器人）可以到达危险位置并执行精细操作，而不会危及人身安全。相比任何系统，深度感知让拆弹小组操作人员拥有更好的深度感知。
• 2D
• 3D
• Figure (5)
• 高精度传感器精确检测手指和手部运动以及手势，触觉力反馈技术可显著提高触觉灵巧度和力量控制。（图源：）
• 图
• 4
• ：
• HaptX
• 对于诸如手动关闭核反应堆阀门的其他危险工作，相较于单独使用系统，使用系统能够更安全、更娴熟地完成工作。这些精确的远程和虚拟操作的关键在于触觉反馈。对于远程手术和任何其他关键操作，操作人员必须能够通过力
• 2D
• 3D
• 反馈技术感觉到他正在触摸的物体。简单的红外手套已被真正的多传感器和多执行器手套所取代，如工业级型号（图）。
• (IR)
• 最近一项有趣的技术进步是。精心布置的摄像机用于监控手部的动作，同时一种巧妙的超声波波形干扰技术实际上让操作者能感觉到触觉反馈，类似于声波力场（）。
• 基于视频
• 的手势检测、识别和控制技术，其特点
• 是无需戴手套即可实现触觉反馈
• 5
• Figure (6)
• 尽管高清摄像机可以捕捉手部动作，而使用精确相位控制的超声波发射器却能让操作员感觉到动作。（图源：贸泽电子）
• 在增强现实与虚拟现实之间取得平衡
• 就像阿诺德·施瓦辛格在电影《终结者》中扮演的电子人一样，目睹信息叠加的现实可以让我们与众不同。然而，增强现实和虚拟现实都有自己的一席之地。
• 通常情况下，使用增强现实技术时，视频画面清晰、透明。在现代，有机发光二极管技术非常适合这类应用。每个像素都是一个独立的发射点，因此不需要背光或扫描激光来渲染图像。
• (OLED)
• 结合立体视频，虚拟耳机可以很好地展现虚拟现实和增强现实体验。在这种情况下，可以在不利条件下对现实进行调整，例如调整立体声平衡效果。当一个清晰简洁的虚拟世界呈现在面前时，即使是银装素裹、极为炫目的暴风雪天气环境也不一定会分散注意力。
• 在人类能够感觉到之前就对潜在危险
• 虚拟和增强现实技术可以让医生进行精细的手术，其精确度和控制能力远胜于可能不掌握此项技术的人手，甚至可以进行远程手术。（图源：）
• 3
• Gorodenkoff/Shutterstock.com
• Figure (7)
• Figure (8)
• 增强现实允许信息叠加在我们所感受的现实之上。例如，通过使用着色手法使热可见，进而扩大我们的感官范围。（图源：）
• 图
• 6
• ：
• HQuality/Shutterstock.com
• 进行探测并发出警告是一种非常明显的安全优势，而且不仅限于人类的感知范围。利用热技术，可以看到热量并对其重新着色，使其变得可见。这项技术让驾驶员借助于有限的可见光谱，在看到物体之前就知道前方道路上是否有人或动物。紫外线可以显现人眼无法看到的细节。
• 将人类的视觉范围从射频 扩展到 射线可能是一项重大的诊断和故障排除技术。无论是在太空、核反应堆还是潜艇中，所有这些环境都依赖于防患于未然的能力，即在潜在问题成为真正问题之前检测并解决掉。
• (RF)
• X
• 不仅仅是成像技术
• 这就是它的乐趣所在。视觉不是我们唯一重要的必备感官。许多人认为，听觉在某些情况下同样重要。人类之所以能作为一个物种存在，是因为我们的立体听觉让我们能够在完全看不见的情况下察觉到危险并定位出它的大概位置。
• 听觉在沉浸式技术和沉浸式体验中发挥着重要作用。长期以来，虽然立体声已经满足了大多数听众，但它并不是一种精确的三维声景渲染。尽管我们已经
• 设计出并应用了多种环绕声技术，但它们都依赖于额外的扬声器和低音炮。在房间里实现这一点很容易，但在耳机上要困难得多。
• 数字信号处理算法获取立体声信息并提取环绕声标准的特定通道。然后，这些合成音轨可以被放大并应用到环绕声扬声器。转换器还可以在立体声和 、、、环绕声标准之间来回切换。
• 5.1
• 7.1
• 7.2
• 9.2
• 这就是技术需要分化的地方。对于娱乐而言，声音再现最为重要。例如，如果在环绕声中录制了音频，那么只有在系统上播放时，音频再现效果才最佳。对于增强现实来说，三维感知和再现的能力非常重要。执行秘密任务的士兵或许能够使用热技术来识别敌人，而经过滤波的定向环绕声可以提高精确度。如果敌人在墙后，三维声音仍然可以探测到呼吸或心跳。
• 5.1 (1)
• 杜比全景声等现代系统专为电影院这类真正的环绕声沉浸式体验而设计。这些系统最多装有个扬声器，而这对可穿戴耳机而言太多了。此系统还引入了处理资源的需求，因为它提供的不再只是简单的音频，而是一个数字建模的声音对象，其特征、距离、运动和方向都会导致音轨被合成并分布到多个扬声器。虽然会在剧院里给人带来很酷的体验，但可穿戴沉浸式系统可能无法实现。
• (DolbyAtmos)
• 64
• 掌握这项功能的各项技术
• 设计和打造沉浸式技术耳机的时机已经成熟。各项技术也已准备就绪。这对增强、虚拟和组合现实系统而言确实如此。
• 薄膜技术显示器应用广泛，物美价廉，多渠道现货供应。这种显示器需要背光，且不透光，因此主要用于虚拟现实；结合立体相机使用时，也可用于增强现实。
• (TFT)
• LED
• 对于增强现实应用，技术可能是更好的选择。它是透明柔性屏，可以变形、弯曲，可呈现出透明清晰的画质。最重要的是，嵌入到透明薄膜中的是微型 ，因此无需背光即可创建一个发光显示器。显示器虽已面世，但却不如易于购买。激光扫描平视技术不失为另一种选择。
• OLED
• OLED (1)
• TFT
• 得益于智能手机革命和自拍大潮，多家制造商还生产了超小型高分辨率摄像头。由于尺寸小巧，因此非常适合安装在镜架以及完全沉浸式不透明耳机上。
• 音频处理器和小型全音域扬声器也可从过往业绩卓著且信誉良好的供应商处轻松购到。同样，由于听音乐的需求，移动设备行业也迅速推动了这项技术的发展。
• 也许让这些设计落地的重要技术进步就是我们拥有的先进多轴加速度计。这些技术可以监控头部的运动，此外，结合快速响应的视频处理和再现系统使用时，用户不仅可以感觉图案清晰，而且不会感到不适。（注意：当显示滞后头部跟踪时，感觉的分离可能会引起不适。）
• 其他先进技术，如超高密度和快速内存、能量管理芯片和高密度电池技术，皆已步入正轨，使这项技术具有足够高的成本效益和效率成为未来的首选用户界面。此外，宽带宽、高频无线通信技术也有利于这些沉浸式设备完全摆脱任何束缚。
• 设计选项和考虑因素
• 在决定如何推进增强和/或虚拟现实应用时，需要考虑的因素包括成本、上市时间、可靠性以及特殊功能。对于商业和消费类应用，成本和上市时间都异常重要。耐用性、可靠性和特殊功能是军事和航空航天设计的重中之重。其他一切都介于两者之间。
• 无论哪种情况，都可以通过(一种耳机)进行可行性研究和原型设计。多家参与制造者提供了价位与性能水平各异的产品，既有有线配置，也有
• OEMing
• 无线配置。最常见的是售价约美元的。该器件具有一个独立的计算和图形引擎、无线通信、用于外围设备的蓝牙() 接口，以及良好的头部跟踪功能。也提供了一款价位大致相同的竞争产品。还有和工具包。
• 300
• Occlus Quest 2
• BLUETOOTH®
• Sony PlayStation®
• HTC
• Valve Index VR
• 此外，开发工具也可用于布设场景和多角色交互。配备图形引擎和的耳机已上市。而相关社区也在不断发展，以帮助支持这个全新的虚拟世界。
• CPU
• 迈入新世界
• 虚拟和增强现实让用户沉浸在人工智能的世界。通过虚拟现实，沉浸式体验可以呈现一个与耳机之外不同的世界，而增强现实则增强信息功能并扩展人类感官的范围。幸运的是，我们拥有将各项技术结合在一起的能力，从而创造出能够提高教育、机械维修、手术、导航性能乃至扩大感官范围的世界。
• Figure
• Aside
• 关于作者
• 完成电气工程的学习后，曾与国防、商业、工业、消费、能源和医疗公司合作，担任设计工程师、固件程序员、系统设计师、科学家和产品开发人员。作为一名替代能源研究员和发明家，他自创立和运营公司以来一直致力于自动化技术，直至年。自年以来，他一直从事研发工作，撰写文章，并开发面向下一代工程师和学生的技术。
• Jon Gabay
• Dedicated Devices Corp
• 2004
• 2004 (1)
• FiT系列连接器
• mouser.cn/molex-fit-connectors
• 图源："Gorodenkoff / stock.adobe.com"
• DRV8601
• 触觉驱动器
• mouser.cn/ti-drv8601-haptic-driver
• MP23DB02MM MEMS
• 麦克风
• Figure (9)
• mouser.cn/3Ob7Cgg
• Figure (10)
• 沉浸式技术就是一个技术问题……吗？
• Traci Browne
• 作者：
• ，贸泽电子专稿
• 无论谈论的是扩展现实、空间计算、全息图还是体三维数据，人们往往会对所得到的体验抱有期待。几年前，当我第一次戴上虚拟现实头显时，我并不确定自己的期望是什么，但我知道自己很失望。我们显然应该面对这样的现实：即使在今天，我们也远不能实现《阿凡达》的那种沉浸式水平。
• (XR)
• (VR)
• 然而，人们并没有放弃沉浸式技术的承诺，他们正寄望于工程师能够实现这样的产品。几乎你能想到的每个行业都对沉浸式技术所带来的好处持乐观态度，这使得该技术的市场前景如同工程师的想象一般广阔。诚然，要实现他们的期望确实是一大挑战，不过解决挑战本就是工程师的使命。但是，我们具体要面对的，究竟是什么样的挑战呢？
• 营造真正的沉浸式体验
• 要营造真正的沉浸式体验，需要传感器、机器视觉、扫描、电源管理，以及用户设备自身的数百个不同组件。在某些情况下，比如体三维视频，甚至需要架设数百个传感器和摄像机围绕在动作周围。所以，工程师面对的挑战，仅仅就是技术本身吗？
• 3D
• 联合创始人兼加州理工州立大学生物医学工程教授 博士表示，并非如此。事实上，他认为，在沉浸式技术领域表现出色的工程师是系统思想家。有了现成的、高质量的现成组件，工程师可以专注
• HaptX
• (CalPoly)
• RobertCrockett
• 于如何让所有这些组件作为一个系统一起工作。
• 这就意味着您要将大量精力投入到设计前的工作中，例如考虑客户的需求以及对他们真正重要的东西，然后规划系统并找出可能会失败的地方。对于 来说，这意味着需要大量的原型来帮助思考将所有部件组装起来的过程中所面临的工程挑战。然后就是大量的测试和迭代，直至认为找到一个可靠的系统。他们所做的这个系统是一只手套，可以为虚拟现实增加真实的触摸体验。
• "
• 这是在性能方面你想要努力获得的真实体验。是的，您需要的一切都可能随处可得，但选择使用哪一部分通常取决于应用本身。
• 例如，当我们考虑中的真实视觉体验时，是否意味着头显设备的分辨率一定越高越好？ 这还是要视情况而定。
• VR
• VR (1)
• 虚拟现实游戏或数字形式的工程演示可能并不需要特别高的分辨率。在这种情况下，根据闭合律，（格式塔定律）只要物体上的不连续性足够小，我们就会感觉到它以一种平滑的模式延伸，因而较低的分辨率就可以满足需求。但是，如果我们被推进手术室进行复杂的脑部手术，如果我们的医生曾在尽可能逼真的虚拟颅骨上进行过演练，手术结果可能会更好。然而，即使高分辨率并非完全必要，它也可能有助于赢得市场份额。
• Figure (11)
• 在许多情况下，分辨率并不像延迟那么重要。动显延迟
• 是工程师们试图打破的障碍之一。理想情况下，您会希望用户的空间体验与现实无法区分。要做到这一点，专家表示需要将延迟控制在以内。任何高于这个数值的延迟都会降低用户体验，根据不同使用情况，还可能导致恶心或潜在危害。如果无法解决延迟问题，那么您的硬件恐怕很难逃脱被丢进垃圾场的命运。
• (motion-to-photon latency)
• 15ms
• 虽然市面上现有的传感器系统还没有达到的速度，但我们正不断地看到持续的改进。决定不再等待组件制造商来解决这个问题，他们自行打造了一款支持高达采样率，并且延迟只有的传感器。他们已经证明了这是可以做到的，他们的产品有望提高业界的整体水准。
• Oculus
• 1000Hz
• 2ms
• (图源：HaptX)
• 正如所说，这些系统将由数百个组件构成，而您的工作空间非常狭小。例如，如果您使用扩展现实 (，那么嵌入式视觉接口的选择就会非常重要，但您希望尽可能保持简单，因为布线空间非常狭小。
• Crockett
• XR)
• 虽然带宽高达的是一个出色的多用途接口，基本上即插即用，但它的连接器尺寸太大，并且需要刚性布线，因而会占用大量空间；然而，它却可以减少成本和开发时间。这可能就是（移动行业处理器接口）标准成为
• 5GB/s
• USB 3.0
• MIPI CSI-2
• VR
• 头显设备最常用接口之一的原因。此外，的高带宽也带来了比 更快的速度。最后，的多核处理器意味着它使用的资源很少。
• MIPI
• 6GB/s
• CSI-2
• CPU
• 在打造用户佩戴的设备时，电源调节也是需要注意的事项。越来越高的屏幕分辨率和刷新率会导致显示功耗水涨船高。在他们的开发者网站上告诉我们，他们设备上的调控程序可以"监控内部温度传感器，并在温度上升到一定水平以上时尝试采取纠正措施，以防止出现故障或表
• Oculus
• 面温度过高。这些纠正措施包括降低时钟频率。的建议是，不要浪费任何程度的优化机会，因为每次操作都会消耗电池并使设备变热。
• " Oculus
• "
• 缺失的部分：触觉反馈
• 虽然所有这些功能对于沉浸式体验都很重要，但仍然缺少一个关键部分：触觉反馈。要与计算机建立可信交互，这一部分非常重要，正是触觉使我们的感知变得完整。触觉反馈模拟了人在现实世界中与物理对象交互时体验到的感觉，这就是为什么当你在游戏中遭到伤害时控制器会隆隆作响，当你收到短信时手机会震动。这种振动是通过偏心旋转质量 致动器、线性谐振致动器甚至压电致动器实现的。
• (ERM)
• (LRA)
• 然而，隆隆声和振动仅仅是所说的符号式触觉反馈，它们只是一种暗示。工程师们努力追求的是真实的感觉，或者尽可能精确的虚拟感觉，先生称之为自然触觉反馈。
• Crockett
• Crockett (1)
• " (1)
• 自然触觉反馈可以让用户感觉到抓住了真实的东西。例如，力反馈（在汽车模拟中的方向盘上的力感）就更接近自然触觉反馈。但是，当你的身体并没有实际接触物体，但你又必须感觉到在接触它时，你会怎么做？
• 当的合伙人带着营造自然触觉的愿景来找他时，他们开始思考这个问题，并意识到：握在手上的现实对于真正的沉浸感至关重要，这也是最难实现的。
• Jake Ruben
• 既然人类大多数日常活动都是用手来完成的，那为何还要执着地在胸口营造真实的感觉呢？合乎情理的做法当然是先攻克手上的问题，然后再继续营造其他触觉反馈体验。
• 为了证明触觉的重要性，举了一个飞机模拟器的例子。在驾驶飞机离开地面、保持空中飞行并最终着陆的过程种，飞行员必须扳动许多开关。他们的视线会集中在多个仪表和面板上，通常不会抬起头来扳动开关，而是通过肌肉记忆来确定它们的位置。建立肌肉记忆是沉浸式技术的常见用例，在这种情况下，就需要自然触觉反馈。但是，正如您需要将虚拟开关放在正确的位置一样，您也希望扳动开关的感觉与真实情况一样。即便承认这并不容易实现，都有点轻描淡写了。
• 决定利用气体力学来实现触觉反馈。每只手套都有多个小气球，他们称其为触器。向其中充入空气，就可以对皮肤施加压力。这些触觉感受器可以精确模仿触摸驾驶舱开关时的感觉模式。此外，您还希望用户感觉到他们正在触摸固体。为了从物理上阻止用户将手穿过物体，他们在手套背面布设了一系列肌腱。这种对手进行控制以及通过对皮肤施加适当压力来感受正确模式的能力，可以给用户一种与并不存在的物体进行交互的自然感觉。
• HaptX
• 130
• 克服工程挑战
• 就连也承认，没有一个头脑正常的工程师会设计出一个复杂的系统，需要数百个微小的独立管道，每个管道通向一个气球并连接到一组比例控制阀。这是一项极其艰巨的工程挑战，几乎花了十年时间才解决。尽管如此，他们最终还是设计
• 了一个实用的系统，不涉及任何特殊技术。
• 他们的解决方案就是前文所述系统思维的一个典型例子，这就是为什么像 这样的公司要寻找能够理解系统并在高层次上进行思考的工程师。也就是说，他们考虑的不仅仅在于什么是有效的，更在于什么可以共同发挥作用，从而构建一种可靠、耐久且能满足需求的设计。
• 如果您意识到了沉浸式技术不仅仅涉及良好的工程技能，这就表明你开始明白这一切是怎么回事了。理解计算机科学、光学，甚至人类的感知，无疑是有帮助的。但许多专家认为，我们还需要更广泛的技能。
• 在设计面向特定用户的体验时，关于心理学、生理学、生物学、运动学等各种学科的实用知识都将发挥其作用。在这种情况下，设计就会变得很棘手，因为没有两个现实是相同的。年龄、性别、体型、国籍、健康状况、经济状况、能力等等都会影响我们的生活体验。
• 尽管包容性体验至关重要，但在打造实现这些体验的硬件和设备时，应考虑通用设计原则。通用设计最初是一个应用于建筑学的概念，现在已经扩展到几乎所有学科。它的设计初衷是为了适应每个人，无论其年龄、大小、能力或认知经验如何。
• 在一篇发表于有关混合现实和无障碍性的研讨会上的论文中，微软公司的研究人员提出，将无障碍性视为系统迭 代设计过程的核心部分，不仅对全世界 多亿患有某种残疾的人有价值，更对所有用户都有价值，因为每个人都会因所处环境而经历情景性的残疾。
• 10
• 研究人员提出的改进时机成熟的设备范例，就是头显设备。这些设备大多都很笨重，而且对于佩戴眼镜、助听器或人工耳蜗的人来说也不太理想。此外，哪怕是稳固地戴上头显设备这一个动作，就需要具备一定的运动范围和灵巧度。这些因素会限制大量潜在用户使用设备。
• 结语 (1)
• 工程师可以通过简单地将通用设计纳入他们的系统思维，使沉浸式技术更具包容性。沉浸式技术正处于许多技术在被广泛接受为游戏规则改变者之前都会面临的关键时刻。它正在趋向成熟，但尚未得到广泛采用。用户仍然希望他们的体验能够符合自己的预期。因此，现在正是将无障碍性融入到技术中的最佳时机。
• Figure
• 关于作者 (2)
• 关于作者
• 是一位专门研究制造和工业应用的自由撰稿人，她主要关注新兴技术、工程、机器人和工业物联网等领域。好奇心驱动着她不停探索，那些有梦想的实干家则给予了她源源不断的灵感。
• Traci Browne
• (IIoT)
• 在虚拟空间生活、工作和学习
• David Freedman
• 作者：
• ，贸泽电子专稿
• 沉浸式技术已经模糊了现场与虚拟协作之间的界限
• 在波士顿，顶级的建筑师和工程师们设计建造了一个建筑项目，它即将成为这座城市最新的主要住宅楼。现在，他们第一次走上了它的顶层，走进了其中一套宽敞的公寓，却发现了一个可怕的问题：住户可以透过这个单元的一些大窗户，清楚、直接、畅通无阻地看到旁边的公寓；这也必然意味着邻居们也能够轻易地看到这边的情况。这是对隐私的侵犯，这对那些高端住宅挑剔的潜在买家而言绝对不可接受。于是，顶层的窗户不得不重新调整角度，这将需要改变这座层大楼的结构。
• 32
• 对已经开工很久的建筑进行大的改动，是每个建设者的噩梦，这些改动动辄就要耗费数百万美元，并导致好几个月的延误。但在这个项目中，改动大楼设计只需几个小时就能完成，成本相对而言也非常低因为当时这个项目还没有破土动工。这一行人的顶层漫游完全是在虚拟现实中进行的，他们看到的是计算机生成的三维规划结构模拟，通过头显设备，让不同城市工作的关键成员间得以实现共享。
• ——
• 虚拟现实和其他沉浸式现实技术可以让人们感觉自己置身于计算机生成的空间和物体中，并与之进行交互，这有点像穿过计算机屏幕进入其背后的世界。这些有时看起来非常真实的模拟，通常要借助特殊的高科技眼镜和其他装备才可体验，长期以来一直在科幻题材的各种人工智能世界中提供极具吸引力的、甚至是惊人的冒险经历。
• 3D
• 然而，沉浸式现实正越来越多地被用于一个更贴近现实的目的：将相距甚远的人们带入人工智能生成的房间和其他合成环境中，在那里，他们可以合作学习、分享创意、做出发现、解决问题、相互交流，这往往比电子邮件、电话交谈或会议更具吸引力和启发性。沉浸式现实软件公司的副总裁兼业务主管说：你可以在会议上进行交流， 但在虚拟现实中，你可以用平板屏幕无法实现的方式进行连接。
• Zoom
• Spatial Systems
• Jacob Loewenstein
• "
• Zoom (1)
• 沉浸式现实硬件和软件在过去几年中才变得足够成熟，能够超越对现实的粗糙、卡通式模仿，实现更逼真的协作体验。而且，随着这项技术变得更加经济实惠，几乎所有员工甚至消费者都能越来越多地使用它。随着设备变得更好、更便宜，越来越多的人和组织开始熟悉这项技术，最终人们一起工作、学习和放松的方式可能会发生巨大变化。沉浸式现实已经影响到了商业、教育、健康和诸多社会领域，在不远的将来，它甚至可能成为我们许多人每天长时间使用的媒介。
• 沉浸的不同方面
• 沉浸式现实有两种主要形式：增强现实 和虚拟现实。用户仍然可以看到真实世界，但虚拟物体和信息会叠加在真实环境上。这项技术已经通过 应用程序为全世界数亿人所熟知，玩家可以通过带摄像头手机的屏幕窥视周围的环境，看到隐藏在附近的卡通人物。
• (AR)
• (VR)
• AR
• Pokémon GO
• 还有更多的实际用途。它可以用有用的信息来诠释和说明我们周围的世界，指出附近餐馆和朋友的位置、需要维修的机器部件，或者其他与会者或会议关键产品的名称和位置。必须通过手机来观察这一切可能会很尴尬，但在未来几年中，我们将能够通过智能眼镜来体验，这种眼镜已经出现在和联想等公司的原型产品中。正在开发一种先进的系统，其首席执行官说道：你可以轻易地让你能想象到的任何物体出现在你面前，而且你仍然可以看到周围的房间，这样你就可以绕着物体走动，抿一小口桌上的可乐。最终，你将能够举行这样的会议，其中一些人与你同处一室，而另一些
• AR (1)
• Facebook
• EyeWay Vision
• AR (2)
• Nikhil Balram
• " (1)
• 至于，它是一种更全面的体验，它用模拟世界完全取代了用户周围的真实世界，而模拟世界通常通过安装在头显设备中的微型显示屏投射到用户的眼睛上。头显设备还配有传感器，可以跟踪用户头部位置的变化，改变视野以匹配这些动作，并提供一种度全方位环视环境的真实感。除了完全处在一个共享的、模拟的世界之外，手持传感器还可以让用户在场景中伸手抓取虚拟物体、按下按钮或在虚拟环境中向其他访客做手势；而内置在头显设备中的微型扬声器则提供丰富、逼真、定向的声音。
• VR
• 360
• 新冠疫情让人们认识到虚拟会议的潜在价值，因为数以千万计的人离开办公室，转而在电脑屏幕前进行协作。但它也让数百万人认识到，在一个尴尬的、由发言者组成的小组会议上，试图让人
• 图源："wacomka / stock.adobe.com"
• 们全身心参与会议所存在的缺点。在这种聚会上，参与者可能难以将注意力集中在一个小屏幕上，而不去关注周围发生的事情。卡内基梅隆大学电子和计算机工程教授处于研究的前沿，他说道：这场疫情是虚拟技术的催化剂，也让人们对产生了疲劳。现在，技术需要介入，让我们超越虚拟会议。虚拟会议只是一个由人脸构成的平面网格，在二维上进行互动对人类来说是不自然的。
• Anthony Rowe
• VR
• "
• Zoom
• 相比之下，在中协作可以给人一种令人信服的感觉，即在共享空间中与他人充分互动。可以肯定的是，会议环境可能会有一点卡通化的感觉，由头像代表的人可能看起来并不真实，但因为头像是的，可以使其与他们所代表的人物相似，并且可以模仿他们的手势，在某些情况下还可以模仿他们的面部表情。大多数参与者很快就能克服这些限制。
• VR (1)
• 3D
• 各大组织纷纷采用
• 交互甚至比面对面会议感觉更丰富，因为它能够共享场景、物体的三维视图，甚至是在现实生活中无法调用的抽象数据。公司的说道："您可 以在房间中面对面坐着，将模型、视频和白板带入其中，以一种比常规屏幕共享更具协作性的方式分享一切。无论是商务会议、社交时间还是研讨会，都会让人感觉更具吸引力。"
• Spatial
• Loewenstein
• 这就是为什么尽管与几年前的视频游戏 市场相比，硬件和软件的商用市场非常小，但是根据行业研究公司的数据，后者到年将占据整个市场的一半。市场研究公司的一项调查发现，一半的公司计划在两年内进入沉浸式现实领域。
• IDC
• 2024
• VR (2)
• Forrester Consulting
• 建筑、工程和施工 行业在采用协作方面处于领先地位。对于该领域的专业人士而言，这并不是一个很大的飞跃，因为该行业长期以来一直依赖于计划建设项目的虚拟模型。但现在，会议使团队能够共同出现在模型中，在逼真的空间中查看模型，并一起浏览模型，指出潜在的问题，尝试可能的变化，所有这些都是在相互交谈的同时进行的，即使团队成员分散在世界各地各自的办公室或家中。公司的先生说道，"虚拟现实极大地减少了地理阻隔。
• (AEC)
• 3D (1)
• EyeWay
• Balram
• 这就是为何世界各地的主要设计和施工公司，从上海的到荷兰代尔夫特的，都一直在转向沉浸式现实技术和其他形式的协作。例如，是一家办工场所遍布世界各地的智能自动化系统公司，他们在举行系统设计审查会议时，借助英国塔姆沃思的
• Ennead
• Mecanoo
• Valiant TMS
• Theorem Solutions
• 公司开发的软件，将位于奥地利、印度、加拿大和墨西哥的工程师聚集在一起。公司的高级主管 指出："这在疫情期间帮了我们大忙，毕竟许多国家之间都禁止旅行。"
• VR
• Theorem
• Katharine Edmonds
• 波士顿的住宅大厦项目团队成员正是通过发现了窗户存在隐私问题。该团队由罗德岛和波士顿公司的设计和工程专业人员组成。研究小组的一名成员还发现，当他在虚拟现实模型中"走进"一间电力服务室时，他的头部（实际上是他头像的头部）撞到了一根低矮的横梁，这提供了一个宝贵的提示，表明该房间将违反建筑规范。
• Odeh Engineers
• Stantec
• 团队通过节约大量金钱的故事数不胜数。一个团队在佛罗里达州的一个高中建设项目中节省了美元，因为会议协助快速解决了几十个潜在问题，否则就需要延期来研究问题、分享细节并让每个人都参与解决方案。同样，英国公用事业公司也通过在中就一项基础设施项目进行协作而节省了数千美元。此外，挪威一个耗资亿美元的新地铁项目的主管成功召集了来自两个国家的四家不同公司的专业人士参加协调和目视检查的会议，这些会议在早期就发现了多个问题，防止了大规模的成本超支和延期。
• AEC
• 32000
• VR (1)
• Anglian Water
• VR (2)
• 20
• VR (3)
• 全球建筑公司的会议非常富有成效。现在，所有个办事处都参加了每周一次的会议，对项目进行审查。该公司在销售会议上也使用了技术，并利用其模型让设计师和建筑工程师了
• Gensler
• 28
• 解不同的照明和材料如何影响建筑物的外观，以及更好地了解建筑及其要素在全尺寸下的样子，这是传统虚拟模型或微型物理模型难以做到的。建筑虚拟现实工具供应商的创始人兼首席执行官说道："现在有很多人将这些工具作为他们工作的核心，他们不会让你把它拿走。这个行业过去是在 屏幕上工作的；但五年后，对于新入行的人来说，这恐怕就会变得很可笑。"
• The Wild
• GabePaez
• 2D
• 超越建筑
• 在接受VR协作方面，建筑、工程和施工行业之外的产品设计师和工程师并没有落在后面。玩具公司美泰经常会将相距较远的设计师聚集到虚拟现实的会议空间，利用 模型计算出新玩具设计的细节。当设计完成准备进行制造时，生产工厂 (通常位于中国）的制造工程师会在虚拟房间中加入到团队中，工程师可以提出修改建议，以降低制造成本，提高生产速度和质量。
• (AEC)
• (Mattel)
• 3D
• 航空航天公司洛克希德·马丁在其丹佛工厂运营着世界最大的虚拟现实设计实验室之一，在那里，工程师和管理人员负责从卫星到航天器的各种设计。他们甚至可以在模型上进行模拟性能测试，以优化飞行器的空气动力学、耐热性和抗应力性能，所有这些都是在实际构建微型模型之前完成的。
• 协作的优势并不局限于设计师和工程师。在疫情期间，许多组织已经发现了虚拟会议的优势，现在正在寻找从虚拟交互
• 中获取更多应用和益处的方法，并且正日益填补这一空白。劳埃德银行集团 和宜家都是利用对求职者和新员工进行面试和入职培训的全球公司。金融服务公司法国兴业银行集团将金融分析师和客户聚集在虚拟空间中。总部位于旧金山的生物数据分析公司已经鼓励其遍布个国家的数百名员工在中完成他们的所有协作工作，只维持最低限度的办公设施。
• (Lloyds Banking Group)
• (Ikea)
• (Société Générale)
• Larvol
• 14
• 坚持认为，在中创造新型办公空间将解放许多公司。他说道："我们每天去的办公空间有助于增强我们的身份感、品牌意识以及社会关系，但我们很难将物理空间变成真正趣味盎然的东西，比如美术馆、露营地或草地。这在中就很容易做到，共享这些空间可以加强我们与在那里工作的人的联系。"
• Loewenstein
• 大型会议的举办者也在转向，以消除出席会议的物理距离障碍，同时使虚拟与会者能够体验与面对面与会者相同的参与度。恰巧，世界最大的专业技术人士组织下属专注于的分支机构在网上举办了年会议，会议上，所有主题演讲、会议环节甚至社交聚会均在中进行。
• IEEE
• 2020
• 培训也已经成为各家企业的一大应用。利用为估价员提供如何对洪水淹没的房屋进行保险理赔检查的培训，让参加培训的人员可以打开虚拟柜门，查看家具下方，以发现潜在的损坏。沃尔玛让其员工在大促销期间以虚拟方式面对激增
• State Farm Insurance
• 的购物人群，这样他们在现实世界中就不会面临不知所措的窘境。管理咨询公司普华永道为美国各地的管理者提供高级决策培训，结果发现，在学习内容测试方面，从课程毕业的学员比那些以普通在线形式学习课程的学员得分高出。联合国、和泰森食品公司都在尝试将用于培训。说道："你可以在平面屏幕上学习，但这很无聊。学习的过程不仅需要了解信息，更需要与他人互动，沉浸式技术更适合于此。"
• (PWC)
• VR
• 35%
• UPS
• VR (1)
• Balram
• 实现变革
• 领域的下一个重大飞跃将是更真实的头像，不断变化的表情让那些在虚拟现实中相遇的人看起来更像他们真实的自我。在卡内基梅隆大学的实验室已经在使用包含指向佩戴者面部的摄像头的头显设备，这样就可以将面部图像投影到头像上。
• Rowe
• 补充道，未来的头显设备将包括传感器，用于识别面部肌肉运动以进一步细化头
• 像表情，以及眼球跟踪器，用于检测用户目光的方向。他说："当你能分辨出某人注视的方 向时，尤其是当你们对视时，你的感觉会更真实。" 更高速的网络连接和更强大的处理器也有助于实现头像真实感方面的其他重大改进，因其可以提高头像的分辨率，平滑面部动作，以及减小用户面部动作与该动作反映在头像动作上之间的时间差。
• 表示，随着沉浸式技术的进步，并且越来越多的人接受它，它将改变我们的工作和生活，所采用的方式几乎不可预测。他解释说："我们一直在做的大部分工作是将旧的做事方式强行融入这些新环境。现在我们需要开始彻底反思我们的工作方式，以便真正利用这些工具。"
• SAS-PCIe Gen 4连接器
• mouser.cn/te-sas-pcie-gen4-connectors
• 关于作者 (3)
• 关于作者
• Figure
• 是一名居住在波士顿的科学作家。他的文章经常在《大西洋月刊》、《新闻周刊》、《发现》、《》和《》等出版物上发表。
• David H. Freedman
• Marker by Medium
• Wired
• 图源："HQUALITY / stock.adobe.com" (2)
• 超越：在中如何实现沉浸式协作
• Zoom
• The Wild
• David Freedman (1)
• 作者：
• ，贸泽电子专稿
• 从个人突发设计灵感，到与不同办公室的队友分享设计的清样，这中间需要多长时间？
• 3D
• 俄勒冈州波特兰市一家虚拟现实软件公司的创始人兼首席执行官 坚持认为，这中间不需要任何时间。表示："我们的目标是缩短创意转化成团队共识的时间，直到无限趋近于转瞬之间。"
• Gabe Paez
• Paez
• 和他的团队旨在使设计过程像共享文档一样直观地完成协作。他说："空间就是我们的内容。"
• Google
• 与多家公司合作，将他们带入到虚拟现实协作设计的世界。其中有许多是建筑设计、工程设计和建筑施工行业的龙头，包括和PAEEngineers等。该公司还帮助大型家装零售商、鞋类制造商 、电信龙头企业等公司推出新产品以及零售概念。
• (VR)
• Perkins & Will
• Lowe's
• Adidas
• Verizon
• PaezThe Wild
• 指出，他和
• 的同事不断与
• 分散在美国和世界各地的这些公司及其他公司的团队开会与合作。但并不需要任何人飞来飞去。合作者只需戴上虚拟现实耳机，就可以在虚拟现实空间中开会。说道："飞机飞得再快，也不可能像一样迅速将人们召集在一起。"
• VR
• 当会议的主题是新设计构思时，无论是摩天大楼还是运动鞋，团队成员都以虚拟的方式集中到计算机生成的空间，即"工作室"中。在这个地方，每个人都以卡通"虚拟化身"出现，围坐在一张虚拟会议桌旁。然后，小组中的任何人都可以尝试先做一个"概念模型"，也就是大致勾勒一个粗略的设计创意雏形。
• 通常，设计者们会使用泡沫、粘土或轻木等易于成型的材料，自己做一个概念模型。然后，觉得进展不错时，他们可以展示给其他团队成员来征求反馈。一般情况下，收集所有相关人员的反馈可能需要几天甚至几周的时间。但是在的会议中，小组成员们在一起实时看到概念模型，任何人都可以着手尝试改进或取舍。
• 说，协作最重要的一方面，也许就是让团队成员能够一起斟酌设计，从不同的角度和不同的尺度观察，讨论他们的印象和想法。能够作为一个团队在共享空间（即使是虚拟的形式）这样做，使这种互动超越了会议的讨论模式。他解释道："当你可以前后左右地打量设计，同时还有其他人在身边分享经验时，会感到身心的活力都被激发出来。这是一种更有活力、更丰富的互动，可以促成更多有意义的见解。当你被隔在电脑屏幕的后面时，恰恰无法做到这一点。"
• 他指出，在设计可以一起进入和探索的建筑和空间时，效果尤其显著。他说道："你不 只是在谈论空间， 而是大家一道体验这个空间，所有人都同时身临其境，四处打量，观察它会怎样变化。这类空间感知和联系有助于确定我们在现实生活中的体验。"
• 通常，设计会议的一大好处是合作者逐渐深化认知，起初看起来无懈可击的设计，实际上慢慢就会挑出来需要解决的缺陷。他表示："在家里重新装修过的人都知道，只有住了天以后，才能
• 30
• 发现什么好用、什么不好用。无论是设计的基本轮廓，抑或仅仅是电灯开关的位置，都很难仅凭想像就抓住细微调整的设计效果。"
• 如果团队能在中一起反复开会探索设计，此类问题就会逐渐暴露出来。这样，当建筑真正开始施工，或者产品投入到生产线时，团队对结果早已了然于心，几乎没有什么意外情况发生。说："到了这个时候，团队感觉到已经与成品心有灵犀，这是泡沫模型很难做到的事情。"
• VR
• Paez
• Figure
• 图源："blacksalmon / stock.adobe.com"
• 沉浸式技术将为产品制造和采购带来变革
• Carolyn MathasJon Gabay
• 作者：
• 和
• ，贸泽电子专稿
• 沉浸式技术将越来越多地为设计工程师提供模拟和虚拟世界中的"临场感"。虽然今天的技术已经在设计和原型开发中得到应用，但它最终将引导用户走完整个流程，让他们在做出决策、构建甚至购买之前就能了解产品的预期表现和体验。
• VR
• 实际上，沉浸式技术只是一幅更大图景中的一部分。例如，在讨论产品设计中的设计思维时，我们的重点是要满足人的需求，从而创造出切实可行的最终产品。如果从设计思维和临场感的概念再进一步的话，同理心的运用让设计人员能够"想用户所想"，最终提高设计和产品质量，支持完整的创意过程。
• 通过利用设计思维、同理心和沉浸感的概念，就可以顺利成章、有效诚实地传达产品满足客户需求的精确方式。现在，假设我们继续以这种方式走近沉浸式技术。在这种情况下，它将显著影响产品设计，并且正如我们将看到的那样，最终将被用来改变人类的购买体验。
• 虚拟现实、增强现实和我们当前的现实
• 高级分析师表示："今天，沉浸式设计和模拟正将作为计算机辅助设计和工程的自然延伸。由机器学习提供支持的模拟和可视化正呼之欲出，它们将把沉浸式设计带入好似科幻小说般的境界，为新的工程工具推动下一代创新奠定基础。" 补充道："我们看到实现了
• TiriasResearch
• Simon Solotko
• Solotko
• VR (1)
• 将工程师的一整天、他们的整个工作空间带入所必需的高分辨率和精确视觉控制。从初始设计到选择组件、评估功能并最终创建多组件设计，每个要素都在成为可能。我们有众多富有经验的公司和团队投入巨资，矢志不渝地追求这一惊人一致的共同愿景。从医药到能源和电子工程，这些交叉技术的力量现在几乎存在于每个行业。"
• 正如所指出的那样，沉浸式技术目前已触及影响安全、效率和企业效益的领域。
• 例如，利物浦大学的虚拟工程中心已经支持了多家公司采用和开发沉浸式数字工具，以在核能、航空航天、能源、健康和制造领域产生业务影响。该中心的触觉技术利用了来自跟踪手套的振动，该手套在两个或以上虚拟实体发生虚拟接触时会发出信号。相对于仅向用户提供视觉反馈的通常情况，振动会让沉浸感水平提高一个台阶。这项新技术有望成为未来更深入沉浸感的基础。
• 900
• 营造的是一个完全不同的环境，而 则是将图像叠加在现实世界上，在没有实际模型的情况下以交互方式实现虚拟查看和操控。以形式呈现，用户界面 不依赖于鼠标、触摸板或触摸屏的触觉交互，而触觉交互则是模仿出来的。
• AR
• VR/AR
• 3D
• (UI)
• 设计所受到的影响，将是手势、眼动追踪、语音、控制和触控技术的全面运用，而传统设计将只作为视觉设计的关键组成部分。
• UI
• UI (1)
• 实现了一个开放的环境，在这个环境中，即使在不容半点差池的情况下，实际产品质量也能与渲染模型完全匹配。因此，设计工程师可以从不同的角度观看他们的模型，从而能够更好地润色和改进。
• 产品设计与测试
• 虚拟和增强现实系统目前已被纳入产品设计开发、供应链和生命周期管理。这从概念阶段开始，代表了一种处理、执行、测试和产生新设计的新方法。
• 一旦为并不存在的产品创建了虚拟呈现，设计师和团队就能够以过去难以想象的方式与新的设计进行交互。首先，他们能够在查看自己的设计时进行放大、缩小、三维旋转等操作。即使是经验丰富的机械工程师，也未必能够确定图纸落实到空间后的样子。如果能放大到零件内部，就可以更彻底地检查与相邻零件的相互作用。例如，在机械方面，检查驱动轴与齿轮和键槽的耦合程度；在电子方面，查看器件的散热区域与散热器之间的耦合程度，即使这个散热器隐藏在其他方式无法看到的组件内部也不受影响。
• 2D
• 这里的一大关键在于团队成员可以遍布全球各地，实时接收和共享数据，并在自己的专业领域内做出贡献，同时在开发出昂贵的原型或零件之前，早早地就可以看到可能出现的问题。
• 图源："Gorodenkoff / stock.adobe.com"
• 有了材料科学，我们现在可以使用多种多样的新材料。如果能够以虚拟的方式描绘并测试这些可能稀缺或昂贵的材料，就可以让任何人在自己的设计中用上它们。
• 每个组件都有自己的弹性模量、熔点、剪切力极限和压缩极限等属性。在模拟世界中，应力集中点和危险区域都可以显示出来，从而帮助进行设计迭代改进；此外，也可以确定总成的配合和摩擦，而且随着建模和模拟工具的改进，整个复杂总成都可以通过虚拟方式渲染出来。
• 3D
• 您不仅可以看到组件在标称条件下如何配合和相互作用，各地的设计团队还可以查看齿轮升温时的摩擦、温升、配合和干扰的热模拟。有了这样的视野，在原型零件还没有制作之前，就可以对不同的材料进行实验，从而显著节省时间和费用。无论是何种情况，设计完稿的基本元素现在都尽在掌握。
• 使用相同的数据作为数据源，分散在世界各处的团队成员可以共同而又独立地工作，进行验证和测试，确保组件在正确的位置放置妥当，并模拟最坏情
• 况下的应力和失效模式。此外，即使是对自己专业领域之外的内容，得到这种赋权的设计团队也可以提出问题。遵循戴明哲学(一种全面的领导和管理方法) 的公司已经发现了这一点。
• 原型——从虚拟到实体
• 机械零件的细节一经确定，就可以使用自动化技术、打印或传统手工方式制作原型。但是，在制造用于批量生产的昂贵工装和模具之前，必须要让经过彻底审查的虚拟产品接受机械和电气方面的考验，以确保万无一失。
• CNC
• 通常，电子产品只有在机械约束条件全部明确之后才可以投产。例如，如果不知道印刷电路板的尺寸或连接器穿过机箱所需的位置，就无法设计印刷电路板。因此，机械设计约束通常是首先需要确定的方面。
• 对于电子产品本身，沉浸式技术可以用来评估封装间距和高度，也可以用来解决电物理问题， 还可以对组件温度、热
• 流和散热器效率、电容器和电感器间距以及后备来源的组件进行验证。以结构的形式观察，对于确保与指示灯或导光柱对齐而言非常有益，因为 图纸并不总是能面面俱到，而且不是每个人都能在心中将图片转化为 图像。这种视角可以有效地实现用户界面测试，尽可能避免代价高昂的无谓迭代。
• LED
• 2D
• 2D (1)
• 3D (1)
• 然而，沉浸式技术能够找出的不仅仅是机械和电气问题，光电、机电、电化学和传感器技术也是虚拟设计的受益者。
• 虽然虚拟技术对设计、电缆线束制造、文件化和软件工程等学科影响不是很大，但系统级设计师、工程团队负责人和经理都能够从这项技术带来的简化流程中受益。如果看不见、摸不到，或者无法拿在手中，就很难真正负责任地开展设计项目的各项工作。
• PCB
• 虚拟技术将使设计经理能够在产品投产之前详细检查他们的设计。这种新的现实可以使项目大大简化，因为这将会减少甚至完全消除代价高昂的迭代， 从而以更
• 低的成本更快地将产品推向市场，并在每个阶段得到更大的保证。
• 随着我们将人工智能集成到中，这项技术还能够实现更加深入的故障排除和维护。例如，放大的视觉视频流可以检测到人眼很容易错过的破损焊点。借助通过学习获得的性能，可以快速识别常见故障特征，并快速引导维修技术人员解决问题。因此，虚拟世界可以先于自然世界创造更高质量的现实世界物品。
• (AI)
• AR
• AI
• 采购的未来：贸泽
• 3.0
• 当我们开始掌握在沉浸式世界中进行设计和开发的概念时，我们也有必要考虑一下分销商在其中扮演的角色。我们不妨来畅想一下"贸泽"。在设计师持续运用沉浸式技术之时，贸泽会是什么样的？ 可以想见，许多全新互动形式都可能会出现，其中最令人兴奋的就是实时产品开发和分销。
• 3.0 (1)
• 用户或许可以访问贸泽网站，选择丰富多样的组件添加到设计中，并对其进行测试，还可以尝试不同的零件，利用沉浸式环境观察它们的表现。也许设计师一开始会通过目镜和振动，去"触摸""、感受"和转动零件，而贸泽专员会实时协助。
• 设计师可以从整体的视角审视设计，使他们能够观察未来的产品在现实世界中的样子。这不仅能够节省时间，还可以提高最终产品的整体质量。正如我们所讨论的那样，使用仿真工具将加速工程创新、降低成本并提高产品质量。
• 从概念到细节，贸泽可以指数级扩展其今天已有的合作伙伴关系。因此，全球工程师将与贸泽并肩工作，就好像他们在同一个房间里一样。
• 这种愿景什么时候能够实现？也许比我们想象的更早。下一代设计平台将支持更出色的集成、数据共享和智能功能。跨设计流程和学科的集成优化了资源，可以缩短开发时间、降低开发成本。
• 挑战
• 虽然我们与沉浸式购买、设计和生产的距离可能比我们想象的更加接近，但是要实现我们寻求的沉浸式客户交互水平，依然存在着挑战。以下仅举几例：
• · (3)
• ·
• 改进基础网络技术，以充分支持设计工程和电子商务
• · (1)
• 优化个人和团队的立体视觉和感知
• · (2)
• 提供用户友好的和可视化环境元素
• 2D
• 3D
• 提供充分并且完全支持电子商务平台的沉浸式分析
• · (4)
• 针对这一级别的虚拟购物实现充分的沉浸式比较
• 除了数字化原型开发之外，在制造和供应链内部还将有很多优势，包括测试、简化流程以及真正将虚拟产品变成现实的能力。
• 表示："针对设计组件的电子商务将演变成这种沉浸式工作流程。我们今天在网络上采取的步骤需要更加无缝地集成到未来的沉浸式、受到支持的工程工作流程中，还可以延伸到制造、质保甚至客户支持，也就是将在线集成和沉浸式环境延伸到工程产品和系统的整个使用寿命。"
• Solotko
• VR
• 进入新的现实
• 当我们从和的角度审视我们当前的现实时，我们显然正处于全新开发体验的边缘。工程师将更进一步地亲临他们的设计，在虚拟环境中测试和触摸，最终甚至可以运用物理生产技术，让虚拟在他们的眼前成真。此外，随着流程变得更加灵活，成本得到降低，整个购买和建造过程将会为实现创新留出更多空间，从而进一步改变我们的生活方式。
• Figure
• 关于作者 (4)
• 关于作者
• Carolyn MathasUnited Business MediaEDNEE TimesIHS 360AspenCoreMathasSecurealink and MicriumInc.PhilipsAlteraBoulder Creek EngineeringLucent Technologies
• 是
• （联合商业媒体）旗下的
• 和
• 、
• 和 (1)
• 以及其它公司的自由撰稿人/网站编辑。
• 曾担任
• ，
• 的营销总监，并为
• 、 (1)
• 、 (2)
• 和 (2)
• 等公司提供公关、营销和撰稿服务。她持有纽约理工大学的工商管理硕士学位和美国凤凰城大学的市场营销学士学位。
• 为虚拟世界打造身临其境的 音效
• 3D
• 作者：，贸泽电子专稿 (1)
• Jon Gabay
• 引言
• 世界是不断变化的。这种不断发展的状态，意味着我们与世界、设备和他人互动的方式也在发生变化。支配这种变化的，除了获取利润外，还存在两种重要的力量：其一，是技术的发展，它推动着我们不断开拓创新，带来了各种当今习以为常的设备和应用程序； 其二，则是在新冠疫情的推动下，人们对身体健康的关注度变得更高。
• 当人们拥有更多时间用来娱乐，沉浸式技术便迎来了发展机遇。现在，消费者可以购买到多家制造商推出的虚拟现实和增强现实头显设备，业余开发者和专业人员也可以借助开发工具来渲染虚拟世界和场景。这些显示技术正不时地见诸媒体头条，与此同时相应的音频技术也没被落下。
• 在公认的五大感知中，声音也许是人们最先感受到的。不论是大自然的丰富、管弦乐的浑厚，还是灵歌的激荡，声音和其他任何感知一样，都会对我们的情感和生理产生深远的影响。
• 发展历程
• 我们之所以能繁衍至今，很大程度上离不开我们专注于倾听的能力。例如，我们的祖先在狩猎时，会通过声音来追踪和寻找食物，维持家族或村庄的生计。借助声音，他们能够以一种沉浸式的方式来定位潜在的致命因素，从而避开捕食
• 者。我们只要听到声音，就可以感知到它在哪个方向、距离我们多远，以及它正以怎样的速度靠近。
• 沉浸式音频是一种高科技音频处理和音响技术，它的实现离不开高质量的音频处理，以及一系列经过精心设计、校准和布置的高、中、低音扬声器单元，这样才能提供动态的全频谱听觉感受。
• 虽然以往的普通发烧友并不追求这样的配置，但电影院和各种表演场所多年来一直在运用这项技术。就像所有的开创性技术一样，它最终会找到自己的方式来惠及其他领域。
• 现代娱乐系统会采用许多专门的滤波器和动态处理，打造更适合预算、经济实惠的方案。如今，家庭影院空前普及，肆虐的疫情进一步推动了这种趋势。在遍地开花的游戏装备和家庭影院中，沉浸式音效是一种顺理成章的需求。
• 虽然立体声可以实现基础的环绕声，但数字技术才是当今应用最广泛的环绕声和3D音效方案。此类系统包括杜比数字、杜比定向逻辑、、和等技术，它们都采用围绕听众布置的六扬声器配置（五个全带宽声道、一个重低音扬声器)(）。这些环绕声技术首先在电影院中得到应用，这推动了它们实现进一步发展，并将成本降低到大众可以接受的程度。
• 杜比
• 5.1 (Dolby Digital 5.1)
• II (Dolby Pro Logic II)
• DTS
• SDDS
• THX
• 图
• 1
• 在这样的系统中，多个扬声器都由独立的音频流驱动，让听众可以感受到虚拟的声音环绕在自己周围。其中，左后和右后声道负责空间深度； 左前、右前和前中置声道负责横向深度；重低音扬声器负责整个空间的低频声音。
• 对于处在收听区域（也就是沙发）中央的单个听众而言，这样的配置是理想的。在多人收听的情况下，不同位置的听众体验上会有细微差异，但总体而言是相对一致的，每个人都可以感受到声音的移动。现在，已经有一些录音师在新唱片中提供了环绕声音轨，并以"沉浸式"来进行宣传。
• 5.1
• 一个有趣的事实是，前中置声道针对语音范围的声音进行了优化，这有助于听众在沉浸于音效的同时依然能够分辨人物对话。在丰富、浑厚的声音越来越受追捧的情况下，分辨人声会变得更加困难。通过中置声道的过滤和放大，听众便更容易听清人物对话。
• 在环绕声基础上，如果取消左后和右后声道，改为左环绕、右环绕和后中置声道，便可升级为环绕声（）；如果在 环绕声基础上取消后中置声道，改为左后和右后声道，则成为环绕声（）。
• 6.1
• 2
• 6.1 (1)
• 7.1
• 图 (1)
• 3
• 环绕声技术增加了更多扬声器和独立声道，因而可以构建出的立方体或多边形声场，在重要位置配备更多高、中、低音单元，使听众沉浸到和有限的音频中（）。对于声音从听众正上方或正下方发出的音效，一定程度上可以通过信号处理来近似地实现，但
• 2.5D
• 2D
• 并不能达到比较完美的效果，除非在上方或下方确实有扬声器。
• 值得注意的是，我们可以通过音源转换器对拾取的立体声音频信号进行处理，从而创建出合成的多扬声器环绕声信号。也就是说，只需借助数字信号处理技术，我们就能够在很大程度上从立体声中分离出声源的位置。当然，音频最理想的解决方案依然是通过麦克风拾取声音，然后使用同样的扬声器配置来播放，但这种做法即麻烦又困难，而且既然信号处理就能够实现很近似的效果，也就鲜少有人会如此折腾了。
• 3D
• 3D (1)
• 3D (2)
• 但信号处理真的是一剂"万灵丹"吗？我们敏锐的听觉，仅仅遇上信号处理和有限的几个扬声器，就可以被糊弄吗？如果不是这样的话，我们是不是就得用上满墙、满天花板的扬声器？
• 面向对象的音频
• 沉浸式音效的新实践来自，它最初是为影院应用而设计的。迄今为止，已有近家影院经过改造，通过个扬声器带来这种全新听觉体验。该技术支持由多达个声道组成的大型阵列，这些声道可以使用全频、低音、重低音和高音单元。
• 杜比全景声
• (Dolby Atmos)
• 5000
• 64
• 128
• 与传统音效不同的是，杜比全景声（及其竞争对手）采用了"音频对象"的概念。视听接收器将自动适配扬声器的数量、类型和位置，并对每个音频对象的频谱构成、振幅位置、速度和方向进行处理。不过，"音频对象"并不仅仅包含声音本身， 它还带有各种元数据，能帮助对象音频渲染器让对象动起来。在 个声道中，个用于环境效果，余下的 个可用于音频对象。
• 360
• 索尼
• (AVR)
• (OAR)
• 10
• 118
• 这些声道并不一定对应于特定的扬声器。声道信息和声音对象是对应的，对象音频可以进行处理，并与其他对象音频相结合，最终以适当的音量分配到各个扬声器。整个过程均由借助元数据来实时处理信号，并进行实时混音和分配。
• AVR
• 可以想见，这样的技术绝不像立体声那样，只要随手放两台扬声器就可以实现。对于杜比全景声以及许多其他环绕声和音响系统，扬声器在放好位置后还必须进行校准，才能共同呈现出精确的声场。杜比全景声还有适用于家庭影院的方案，但并不会用到全部个声道。这种家用方案采用的应该是个扬声器的配置
• 34
• 杜比全景声并不是完全新鲜的事物。年，洛杉矶的一家影院举办了一部迪士尼电影的首映式，这是该技术的首次实际应用。从那时起，大型影院、、天文馆、音乐剧、戏剧和其他音响应用都积极采用这项技术，使之成为了新电影和活动事实上的音频拾取标准。杜比全景声还通过天花板上的扬声器来构建完整的声音半球，不仅能够使声音真正从上方发出，还让实时处理变得更加容易。
• 2012
• IMAX
• 曾几何时，杜比全景声对普通发烧友而言过于复杂和昂贵，但现在它对于有足够空间和预算的发烧友而言，已经成为让朋友们惊叹的必备配置，拉风指数五颗星。
• 如果你已经在其他环绕声技术上耗费了大量银子，那么也可以入手一个杜比全景声转换器，然后继续使用现有的扬声器和功放。不过，你一定不会止步于此，至少你肯定希望配备天花板扬声器。该转换器可以将杜比转换为扬声器的环绕声配置。
• 5.1
• 17
• 7.4.1
• 值得注意的是，杜比全景声还可以通过条形音箱而非环绕扬声器来实现。各种形式的条形音箱技术正越来越受到欢迎。降低成本、简化设置、降低功耗、减少电缆和缩小尺寸等明显的优势推动了这项技术的发展。
• 相控阵垂直条形音箱已经证明了它们能够以良好的清晰度和分离度模拟完整的音频频谱。使用它们的音乐人会告诉你，带有英寸扬声器的条形音箱柱可为重低音扬声器应用提供相当于英寸扬声器的清晰度。这应该足够引起一些人的注意了。因此，水平条形音箱和基于条形音箱的混合系统（包括远
• 6
• 18
• Figure (12)
• 环绕声使用五个放置在特定位置的全频扬声器和一个重低音扬声器。音频处理工程师可以通过混音，让听众感觉到声音似乎在他们周围移动。重低音扬声器通常可以放在任意位置，在这里并未显示。（图源：）
• 图
• 1
• ：
• Zern Liew/Shutterstock.com
• Figure (13)
• 环绕声在左右两侧配备了扬声器，当音频对象从前面移向侧面或背后时可增强移动音效。重低音扬声器依然可以随意放置，这里也不讨论有关低音的话题。（图源：）
• 2
• 6.1
• Figure (14)
• 以较小角度放置更多扬声器，有助于消除音频热点，尤其是音轨没有正确地进行混音或处理，或者音频转换器未能正确处理环绕声时。（图源：）
• 3
• Zern Liew/ Shutterstock.com
• 程扬声器）在许多家庭影院和工作室中都很受欢迎。
• 条形音箱的顶部扬声器和侧边扬声器使声音在墙壁和天花板表面反射，让听众感到它似乎来自上方和背后。现代感十足的特斯拉就将前置条形音箱技术作为其扬声器音频系统的一部分，从而将环绕声和沉浸式音频作为一项卖点。关闭的后置扬声器，启用带有信号处理和混响的沉浸
• Model 3
• 15
• Model 3 (1)
• Figure (15)
• 式音频模式，便可以体验到这项功能，那些尝试过的人都坚信声音是从后面传来的。不过它的实际反馈毁誉参半，许多人都不喜欢这样的音效。测评师的观点也呈现出两极化倾向，不少都提到了不同类型的音乐适合或者不适合条形音箱式的沉浸式方案。这是有道理的，因为声音再现的质量离不开录音师的混音技术。条形音箱能够在这种场景中成功落地，意味着准确、带有上下方向的沉浸式音箱技术在没有地板和天花板扬声器的情况下也几乎都能实现。
• 拾取和渲染
• 诸如游戏之类的沉浸式视频体验，使用的是一种完全创造出来的环境，由具有表面渲染和指定物理属性的结构组成。真实的视频片断可以被捕获并以数字方式拼接在一起，形成一个包括上下影像的全景。
• 3D
• 沉浸式的体验，例如在国家公园中散步，可以整合丰富的视觉效果，而音频则可以通过对预先录制的片段进行组合来合成或创建出来。这些片段可以在音响系统中进行拾取，并用作沉浸式体验的一部分。就像由头部追踪控制的视频一样，音频也必须由头部追踪来控制。例如，在你面对一条潺潺小溪时，所听到的声音与背对它时会有显著区别。如果没有通过头部追踪来控制声音，沉浸式体验就会大打折扣。
• 好在，你不必为沉浸式的目的而自己发明 音频拾取方案。森海塞尔 等知名音频厂商利用分
• (Sennheiser)
• 段轴和数字工具，制造出了专业的真正全向麦克风，以拾取高度定向的声音（）。包含多个敏感的宽频谱麦克风元件，并采用环绕声配置。处理软件可以渲染定向音频以提供标准环绕声配置。
• 图
• 5
• AMBEO VR Mic
• DearVR MICRO
• 为此，音频引擎需要知道你头部的方向和运动。按照今天的标准，这一点在使用头显设备时很容易实现，因为它们都内置了头部追踪功能用于视频渲染。但是，如何才能通过局限于两只耳朵的耳机来实现基于头部位置的沉浸式音频系统呢？我们可以把多个微型扬声器放置在耳机中，模拟环绕声体验。对于大多数应用而言，立体声已经足够，但它与真正的环绕声依然不在同一水平上。
• 非娱乐应用
• 虽然大多数情况下沉浸式视听技术会用于娱乐用途，但它在专业用途中也有一席之地。例如，产品设计工程就可以从包括视频和音频在内的沉浸式技术中获益。从视频的角度而言，可以通过虚拟的方式构建、渲染和检查复杂组件的机械设计。对于以沉浸式方式生成的虚拟组件，例如喷气式发动机，我们可以身临其境地进行构建、推入和检查，确保齿轮和涡轮对齐。沉浸在制造环境中的工厂专家可以指导世界另一端的维修技术人员进行操作。
• 沉浸式音频也可以在工程应用中提供帮助。设计汽车的工程团队可以聆听到模拟渲染的发动机和变速箱噪音。他们可以从虚拟设计中提取出气流、振动
• 和摆动等环境控制要素，也可以在虚拟环境中设计并测试车窗，避免在特定车速下将车窗摇到特定位置时发出砰砰声——这是一种在当今许多新车上依然会出现的问题。
• 5Sennheiser AMBEO VR Mic--
• ：
• 等沉浸式音频拾取技术，使数字音频引擎能够根据地磁极和方向来渲染声场。通过数字求和，可以创造出结合了不同距离多个声源的复合音频。(图源
• https://en-us.sennheiser.com/ambeo#segment-teaser-new-24223
• )
• 在各种用例中，音频都是沉浸式体验的组成部分，但并不是所有情况都需要环绕声。至少在通过双耳耳机实现真正环绕声的问题解决之前，模拟环绕声可能就已经足够了。
• Figure
• 协作的未来
• VR
• David Freedman (2)
• 作者：
• ，贸泽电子专稿
• 沉浸式技术领域即将实现的改进将使协作更加丰富多样
• ，卡内基梅隆大学电气与计算机工程教授
• Anthony Rowe
• 在看到虚拟现实时，我就想，哇，未来的协作就是这个样子。但目前而言，这样的协作距离日常使用还很遥远。现在您能看到每天有人在使用的主要场所是在类似于我们这样的研究实验室。
• 这项技术还有很多问题有待解决，其中之一就是虚拟化身的"恐怖谷"问题。如果虚拟化身的外表比卡通形象更加逼真，然而距离完全逼真还差一点的话，就会让人觉得毛骨悚然。正因为如此，以用户实时视频源作为虚拟化身目前效果并不好。既然视频源还达不到要求，为了避免令人毛骨悚然的效果，就必须使用滤镜使其卡通化。我们这里[卡内基梅隆大学] 有一个名为的项目，它可以从不同角度捕捉运动中的人。我不 )(并创建逼真的虚拟化身 像，敢打包票说他们已经完全解决了恐怖谷问题，但这样的虚拟化身看起来确实没那么恐怖了。
• Panoptic Studio
• 图1
• 经常有人会抱怨在平面屏幕上与人互动产生的疲劳问题，而则会带来不同类型的疲劳，目前这种疲劳更甚于疲劳。导致疲劳的原因有"动
• "Zoom
• "
• Zoom
• VR (1)
• 显延迟"（即身体移动和中可见移动之间的延迟），也有"纱门效应" (图像像素之间的空白导致) 。有些人会因为延迟的问题而"晕"。这一切都可以通过更高的分辨率、可变焦图像、更快的帧速率和更强大的处理能力来解决，但现在所有这些都成本高昂。
• 另一个重大改进将是创建高保真环境，让体验看起来就像是走在真实世界中一样。要做到这一点，一种方法是将高质量传感器嵌入现实世界并将它们链接到图像，这样您就可以在一个部分实物、部分数字的现实中成为虚拟的存在。
• 这些改进有很多将会走那样的"先军用再民用"路线，毕竟军方对于通过更好、更新的方式来开展协作、获得态势感知这件事是非常感兴趣的。他们不差研发资金，最终成果也终究会运用到其他各种领域。
• GPS
• 最终会吸引大多数人——也许会让人不能自拔
• Jacob LoewensteinSpatial Systems
• ，沉浸式现实软件公司
• 副总裁兼业务主管
• 协作一度是一个高度细分的市场，只能工作在很少有人买得起的硬件上。后
• VVR
• 来，(一款头显) 使其不再高不可攀。现在，用户数正迅速增长。
• Oculus Quest
• 但我们最终意识到，大多数人都还没做好在中工作的准备，毕竟硬件依然只是少数人拥有的东西。因此，我们并不会像大多数应用程序那样，开会时要么全员，要么干脆全都不用；我们会让没有条件的人可以通过网络浏览器来加入会议。现在，使用我们的软件参加 会议的人中有一半以上是通过浏览器加入的。
• VR (2)
• VR (3)
• VR (4)
• 最终，大多数人将可以使用某种设备，让他们参与到中（图）。但一个不容忽视的问题是，今天大多数人长时间使用都会感到不舒服。大多数使用我们的软件进行会议的人在中保持创造力和效率的时间大约只有分钟左右。事实上，即便是大多数硬核游戏玩家，也不会在 中停留超过一个小时。
• 2
• 30
• VR (5)
• 随着硬件的改进，以及人们越来越习惯于使用，这种情况将会有所改观。伴随 长大的年轻一代肯定会发生改变，就像伴着个人电脑长大的孩子长大成人，然后是陪着智能手机长大的一代。我们可以在教育领域看到更多应用，包括麻省理工学院、亚利桑那大学和哥伦比亚大学社会工作学院在内的几所大学都举办了 研讨会。
• 图源："Lemonsoup14 / stock.adobe.com"
• 从长远来看，存在的问题并不在于推广普及，而在于人是会上瘾的。现在，已经有每天在中停留长达八小时的超级用户了。这在当下仍然还是个案，但我认为会有越来越多这样的人。用户有责任养成使用的良好习惯，而公司则有责任鼓励合理使用而不是沉溺其中。我们已经要求用户至少要年满岁，但我们看到其他公司的应用更倾向于年轻受众，这可能会成为一个大问题。
• VR
• VR (1)
• VR (2)
• VR (3)
• 18
• VR (4)
• 当的使用开始变得越来越密集时，我们可能会希望设计一些功能来督促用户经常性地离开，到户外进行一些体育活动。尽管如此，使用并不意味着要一直坐在沙发上。人们即使身处虚拟现实，也完全可以通过一定的方式来保持身体活跃，例如就有特殊的鞋子和平台可以让人们通过实际迈腿来穿过空间，尽管他们在现实世界依然原地不动。我们会看到更多类似的产品。
• 工作领域向我们提出的最大要求，就是要让人们的化身看起来更像真实的自我，而非卡通人物。现在，我们还无法用流媒体视频来做到这一点，但通过可以从照片中生成逼真虚拟化身的机器学习程序，这会成为可能。但是关于虚拟化身在中的交互方式还有很多事情需要厘清。
• 作为协作工具，增强现实将超越虚拟现实
• ，增强现实技术公司 首席执行官，前加州大学伯克利分校视觉科学客座教授
• Nikhil Balram
• EyeWay Vision
• 我们梦想中的虚拟会议，将是能够结合现实人类与数字人类的会议，所有的人都在协作。数字人类将参与到虚拟现实中，而
• 现实人类将通过眼镜以形式看到他们的实时扫描。这其中最大的挑战，是让会议室里的现实人类看到彼此的眼睛，因为眼镜往往会遮挡眼睛。眼神交流和跟随他人的目光是沟通的重要组成部分。
• AR
• 3D
• AR (1)
• 目前，市面上还没有足以用于协作的眼镜。以现在的技术，这样的眼镜已经可以开发出来，但购买和维护成本会高得离谱。解决这个问题的方法就是借鉴有线电视公司的商业模式。您无需购买有线电视设备，而是按月付费租用，有线电视公司会解决您遇到的任何问题。
• 对于希望在看到虚拟图像的同时看到自己所处环境的人而言，是非常有用的 ()。在许多情况下，人们会更喜欢完整的虚拟现实，并不需要看到自己所处的环境。比如，当您想体验一把月球行走时，肯定不希望看到自己身边的真实场
• 图
• 3
• 景。但是，如果您是坐在咖啡馆里，并且希望在这时参与到虚拟现实协作中，就可能需要留心周围发生的事情。您肯定不想在从虚拟现实中走出来时，发现自己的笔记本电脑不见了。
• 和都会有现实当中的最佳切入点，您很容易就能发现哪种情况下更需要哪一个。它们是互补的技术，而不是竞争的技术。
• VR
• AR
• Figure
• i.MX 8QuadMax (MEK)
• 多传感器支持套件
• mouser.cn/nxp-mek
• 37 |
• Figure (16)
• Application Board 3.0
• mouser.cn/bosch-app-board
• | 38