嵌入式技术前线： 把AI嵌入到边缘，下一个杀手级设备正从嵌入式世界浮出水面
发布于2023-07-03
工程师手中一块新的开发板，可能蕴藏着改变世界的技术潜能。而所有令人振奋的新技术，如何穿越研发周期进入商业社会？
从人工智能、电源管理、智能可穿戴、AIoT、智慧城市应用，到各种智能传感、无线互联解决方案，这些创新的应用和方案的背后是看不见的英雄——无处不在的嵌入式系统。嵌入式技术集电子、计算机技术、信号处理技术等多种学科于一体的交叉学科技术，广泛应用于各种电子产品中。
现在，在嵌入式世界中智能已经无处不在。这也是上个月刚刚落幕的上海嵌入式展上传递出的强烈信息。源自于德国纽伦堡的嵌入式展（Embedded World）在这个夏天首次登陆中国，是名副其实的工程师的技术嘉年华。
三天的展会逛下来，印象最深的就是各大原厂对于嵌入式人工智能（Embedded AI）或者边缘智能（Edge AI）相关的技术产品和方案上都开始投入大量资源，这已经成为嵌入式世界的确定方向。各大原厂展出的各类边缘人工智能方案在各个细分应用上已经形成了多点开花、应用落地的局面。比如瑞萨电子的MCU+AI的各类解决方案，莱迪思半导体的FPGA+AI，TI的异构集成的SoC产品和方案…… 此外，物联网（IoT）、汽车电子、RISC-V、嵌入式视觉等领域的智能与安全设计以及解决方案也是相当火热的话题。
贸泽电子也借此机会在现场与广大工程师了有了更多的深度交流。贸泽君同时也深入各个原厂展台和同期的各场论坛会议，观察学习到不少最新的技术、市场和行业干货，与原厂工程师以及论坛大咖们的交流让贸泽君收获满满，更想在此想分享一些我们所观察到的前线视点。
前线视点 1.
把AI嵌入到边缘 ，边缘智能爆发
世界正在以前所未有的速度迈向智能化——数十亿个由人工智能算法支持的互连传感器、设备和系统每天都在生成大量数据，这让通用算力CPU面临着巨大的计算压力。
如何有效释放CPU计算压力？如何让这个世界更加智能的同时更加高效运作？
这加速了对网络边缘智能的需求。人工智能从云端放到边缘侧，是当前半导体技术、电子技术一大重要变革趋势。
“当我们把所有数据送到云端去计算的时候，固然能够分配到的算力更大，但是也同时会带来延时或者连接丢失等异常状况以及数据泄露的风险。”德州仪器 (TI) 中国区嵌入式与数字光处理应用技术总监师英 (Jerry Shi)在一场论坛演讲中这样指出，“而当把智能计算放到边缘侧，就能有效地规避这些问题，同时也是让计算分析更高效的路径之一。”
不同于传统云计算架构中将所有计算资源都集中在云端的做法，边缘计算将更多的计算任务放到网络边缘端完成，这样的计算架构在减少延迟、避免大量数据传输对带宽的占用、保护本地敏感数据安全等方面有独特的优势。研究机构Gartner预测，到2025年将有75%的数据产生于网络边缘，这也表明整个智能世界的计算资源分布重心正在移向“边缘”。
“无处不在的智能是接下去的趋势，我们周围几乎所有的东西都可能有某种视觉和听觉能力，它们可以思考和行动。”Arm物联网事业部业务拓展副总裁马健（Chloe Ma）也有同样的看法，而这些智能终端设备事实上就是各类嵌入式系统和设备的扩展和延伸。
“在云端训练，在边缘端推理”的模式已经被业内普遍认同并采用。因为机器学习(ML)训练一般在云端完成，推理则可在云端或设备端进行，而ML的运算处理可在边缘端进行。这样就能减少云端上传的数据带宽，提升本地设备的响应速度，同时提高本地数据的安全性，可以促进AI应用的加速落地。
但边缘端的新挑战也随之产生。莱迪思半导体（Lattice）的一位工程师对贸泽君解释，让边缘端的设备会“思考”实现智能，势必就会面临功耗、算力、成本等受限的局面。因而如何设计出更高效、更低功耗且成本可控的嵌入式AI方案成为行业专家以及广大工程师们关注探讨的重点。
前线视点 2.
智能手机之后，下一个将成功“上岸”的超级智能设备是什么？
Arm物联网事业部业务拓展副总裁马健（Chloe Ma）在第一天的圆桌论坛中抛出了一个有趣的视角，在谈到嵌入式世界的未来趋势时，她指出，“嵌入式技术发展的未来趋势就是不断地‘逃离’嵌入式世界”。
事实上，大量的新兴技术、智能应用都是从于嵌入式技术的创新发展中产生的。但是很多“杀手级”的应用和产品则是成功“逃离”了嵌入式世界，或者更确切地说，应该是从嵌入式世界脱颖而出，从而实现了进一步的延伸、扩展、进化。智能化是其必不可少的条件。在智能手机以前，我们所使用的手机（功能机）就是一种嵌入式设备。之后，随着苹果、谷歌等科技公司在技术上的发展，推出了大量的智能应用，同时手机芯片越来越强大，具备超强的计算能力，嵌入了强大的AI，集成了丰富的功能，于是从嵌入式世界中脱颖而出，成为一个计算平台，并且赋能每一个人。
那么下一个即将“上岸”的超级单品会是什么？智能汽车显然将是其中之一。
AMD自适应和嵌入式计算事业部（AECG）市场及业务开发总监酆毅指出，当前的汽车行业正在经历“文艺复兴式（Car Renaissance）”的革命，并将带来一系列的变革，不仅仅是汽车本身，更是与之相关的生活方式、生产模式和认知变革。
首先，这场革命将带来生活方式的变化——汽车从以往的代步工具转变为人们的“第三生活空间”，人们会花更多时间呆在车里，它将兼具更多娱乐和工作的功能。
第二，更加安全。汽车智能化程度的提升，自动驾驶系统的进化，最终将减少事故率，提升人们的幸福指数。
第三，汽车价值定位的转变。汽车将从以前的工业级设备向消费级设备转变，智能汽车空间无疑是下一个信息娱乐、通信、计算等不同类型的数字设备和技术集聚的数字融合大场景。
前线视点 3
增强/混合现实（AR/MR）的世界正式打开
芯原微电子（上海）股份有限公司创始人, 现任董事长兼总裁戴伟民指出，未来5年，一个很清楚的趋势是，手机等消费电子市场将不再继续成长。那么下一个可能取代手机的杀手级设备或应用会是什么？
在戴伟民看来，AR/VR眼镜是极有可能的一个方向，“它是进入元宇宙的重要入口，有望很‘自然’地连接虚拟和现实世界。就像苹果最新发布的首款MR眼镜Vision Pro，其瞄准的场景不仅仅是娱乐、游戏，而将更多在社交、工作场景。”
AMD的酆毅也认同这一点，技术的发展让物理世界和虚拟世界实现无缝链接将是下一个重要趋势，在经过了十多年的发展，他觉得现在增强/混合（AR/MR）的世界正式打开，AR/VR技术和设备会渗入到各个领域，工业制造、汽车、商业、社交等场景。
原厂嵌入式AI方案各显身手：
德州仪器（TI）：多核异构（说人话： “什么都要有”）
在本届展会上，TI以“让嵌入式的未来成为可能”为主题，演示了嵌入式处理和连接技术在汽车电气化、ADAS、机器人和可再生能源领域的应用，并展出了全新 Arm® Cortex®-M0 MCU、SimpleLink™ 低功耗蓝牙® CC2340 无线 MCU 等多款明星产品。
如何将智能嵌入到边缘侧，从产品端来看，TI有一个非常清楚的方向就是——多核异构。如TI新一代的Sitara处理器系列，像是TDA4、AM69A、AM68A、AM62A等多核异构的处理器，都能够帮助客户实现边缘AI的应用。
据TI介绍，之所以能够实现边缘AI的应用，是因为其在整个片上系统（SoC）里集成了CPU以及DSP加MMA（Matrix Multiplication Accelerator）所实现的AI算力引擎，可以用它来高效运行AI模型。同时，还集成了像GPU这样的图形处理单元，以及很多硬件加速的运算单元和图形渲染的功能模块，像ISP等。此外还有一些功能安全模块也同样都集成在SoC中，像是汽车级的ISO26262或是工业级的IEC61908等。
这样一个多核异构的片上系统，可以完成从前端传感器进来的数据信号的处理、融合、运算，以及之后的决策、执行等一系列的工作。它可以应用到包括通信、数字娱乐、医疗、汽车系统、能源基础设施等在内的多种领域，比如汽车的ADAS应用、工业级的机器视觉、智能摄像头等诸多场景，实现用一个多核异构的SoC完成从传感器融合到AI运算到决策执行的整个系统。
由此看来，比起做专用处理器方案，TI更在意通用能力。而从这次TI展示的一系列产品和方案来看，也可以从一个侧面反映出原厂在嵌入式技术领域研发思路上的未来代表方向：多应用领域、高集成度以及低成本和低功耗。
莱迪思半导体（Lattice）：主打的就是一个“灵活”
Lattice的目标是将AI的能力移植到FPGA芯片上，实现功耗低、成本低、体验度不受影响。近年来Lattice在边缘AI的研究和开发投入了大量资源。
在本次展会上，Lattice展出了SensAI方案，可在低功耗FPGA上实现前沿的神经网络算法，具备边缘 AI计算能力，支持Intel最新的MTL平台，实现3D人脸识别、屏幕光自动调节、自动熄屏、人脸解锁等功能。
Lattice指出，在面对越来越多通信、计算、汽车、工业等行业的终端客户是，他们发现功耗、性能和尺寸成为最重要的关注要素。这也是低功耗、小尺寸中端FPGA器件的优势之处。把AI识别功能引入到低功耗的FPGA，就可以减少用高功耗的CPU去做识别。通常CPU算力功耗在几瓦或十几瓦，相应的FPGA器件的功耗则在百毫瓦，功耗差比可谓是数量级的。
当然，边缘AI的实现也不限于FPGA、GPU、或者MCU等，但在该公司看来，在AI功能固化前，通过FPGA的灵活性来实现是一个很好的选择。
AMD：自适应和嵌入式计算解决方案赋能智能边缘
AMD展出了一系列高性能和自适应和嵌入式计算解决方案如何与人工智能、汽车、KVM、工业等领域的合作伙伴技术无缝集成，通过综合全面且灵活的硬件技术、自适应计算产品组合赋能开发部署。
在汽车、工业、专业音视频应用中，数字化以及无处不在的人工智能正在改变数据处理的方式。AMD指出，为了在边缘应用实现智能化，需要数据产生的边缘端便开始处理更多的数据，从而做出实时决策。
在展会现场，AMD展示了人工智能、沉浸式智能座舱、汽车雷达与电子后视镜、专业音视频、工业控制与储能技术等应用的最新发展。
比如在其展示的多任务AI视觉加速解决方案中，借助灵活自适应的AIE-ML架构和Vitis™ AI强大的深度学习推理加速优势，可在Versal™ AI Edge系列VE2802芯片上实现高效的多任务AI视觉加速功能，如目标检测、分割、车道线检测、可行驶区域检测和深度估计等功能，满足用户在不同场景的需求。
值得一提的是，差不多与展会同期，AMD在其数据中心和人工智能技术首映式上正式发布了一系列重磅产品，包括云原生的Bergamo CPU、3D V-Cache的Genoa-X CPU及AI芯片Instinct MI300X GPU和MI300A APU。其中，MI300被称为“世界上第一款在数据中心集成的CPU+GPU”，显示出其全方位追击英伟达Grace Hopper 的决心。AMD董事会主席兼首席执行官苏姿丰博士（Dr. Lisa Su）在演讲中表示，人工智能代表了公司“最重要、最具战略意义的长期增长机会”。
瑞萨电子（Renesas）：“MCU+AI”发力边缘智能
瑞萨电子近年开始尝试在MCU中融入AI功能，发力边缘端的嵌入式智能。去年6月瑞萨电子瑞萨宣布以全现金交易形式收购了美国的嵌入式AI解决方案供应商Reality AI。如今Reality AI广泛的嵌入式AI和TinyML解决方案已经完美融入到瑞萨嵌入式处理及物联网产品，可用于汽车、工业及消费类产品的高级非视觉传感等一系列应用中，可为机器学习提供先进的数学方法进行信号处理，从而实现快速、高效的机器学习推理，可适用于小型MCU及强大MPU。
比如在eAI工业自动化人工智能解决方案中，演示了一个预测性维护用例，使用CM85内校的MCU运行基于 eAI 的电机控制应用，可以实現无刷直流电机控制应用中的负载不平衡检测。
还有基于Arm Cortex M85内核的MCU的嵌入式AI方案，该方案基于ARM Cortex M85内核的瑞萨下一代RA产品开发，通过集成的Helium加速可获得相比Cortex M7内核3.6倍的AI性能提升。应用于检测视角内人物时，可实现即使部分被遮挡也能正常检测，支持室内、外及红外LED光线环境，检测距离超过20米。
AI工具与MCU的结合，可以在工业应用中推进实时检测，可以及早检测出系统参数中预示着存在维护问题和异常的微小波动，及早发现工业环境中故障险情。这也是接下去瑞萨MCU领域的重要路线。