多智能体系统（MAS）的研究和发展趋势

March 1, 2023

Fanny Hu

发布于2022-03-08

前言：

MAS 的应用首先出现在了工业制造领域。如今多智能体的应用给大家的生活提供了便利，例如衍生出的无人配送。Amazon于2019 年下半年开始在加州使用无人车Amazon Scout进行配送。虽然短短半年就草草结束了配送服务，但Amazon从未停止对多智能领域的探索和研究。在2021年，Amazon又启用无人机实行无接触配送，这是由Covid-19衍生的新型配送方式。这也意味着，尽管多智能体系统在实现和完成项目中遇到了种种困难，但不可否认的是多智能体系统将会成为大型企业争先研究和发展的主流项目之一。

MAS的诞生和发展：

关于MAS的诞生，不得不提它的基础概念智能体（agent）。Agent概念的提出代表着智能领域一种新研究的诞生，并推动了一种新的研究方法。该概念的雏形可追溯至20世纪50年代，彼时人工智能（AI）的创始人之一麦卡锡提出了agent概念，此后又有明斯基、沃尔德里奇等科学家对agent进行了进一步探索研究，并取得了一定进展。多智能体是在简单agent的基础上提出的具有交叉综合的智能体系研究，下面我们来介绍一下智能体与多智能体的概念^[5]。

智能体（agent）和多智能体 :

智能体是一个拥有较高自制力并可运行存在于一个动态环境中的实体，也就是说它可以与所处环境长期友好地协作运转。简单来说，它可以应用于计算机系统或行为控制机器人，也可以应用于预编设定的软件程序。然而它的能力却不止于此，agent更重要的用途是结合所处环境优化问题的求解。

多智能体通过多个实体共享一个环境，利用传感器感知，并利用执行器进行运动。通过agent之间的协作、通信、协调、管理和控制来表现系统结构，实现功能和特性。多智能体构成的系统称为多智能体系统，其提供了一个分布式处理问题的视角，同时也将控制权限布置在每个智能体上，在此系统中的智能体需要与环境进行交互学习^[11]，从而使MAS拥有极强的自主性和分布性，具有强大的学习能力和冲突解决能力。MAS在解决实际问题时具有很强的鲁棒性和可靠性，并在解决问题时展现出高效性。在MAS中agent之间是相对松散和独立的，所以它们既可以分散处理任务又可以集中交互地应对复杂问题。

MAS支持分布式控制，所以不难发现其具有良好模块性从而更易于扩展，修改和控制管理，从而解决了在庞大系统中由于管理和扩展造成的时间成本增加，更有效率的系统控制使总成本有效降低。在MAS实现的过程中，对于庞大的复杂体系，我们利用多层次，多元化，多面向的方法去对接，而不是直接面向整个庞大的系统，从而降低了系统的复杂性。MAS的另一个优势就是协同工作能力，其实面对复杂的问题和冲突时，各个agent能够互相调动协调去解决问题，有效降低了时间成本。

现实世界中的很多MAS实例能够帮助大家更好地理解这一概念。比如动物的集群性，鱼群的自发聚集，多只蚂蚁有序的搬运，鸟儿的成群结队，动物的迁徙等。这类系统中往往存在多个个体，但每个个体都不具备全局操控能力，这些个体在有限的动态环境中通过互相协作进行信息交换从而完成预设目标任务^[7]。

多智能体系统的研究和应用方向：

多智能体的协作研究^[4]：Agent之间的协作一直是MAS研究的热点，在这里我们通过分析MAS的协作模型，从而更帮助大家更好地了解它的运作机制。每个模型都可以独立存在并有各自擅长的领域和特性。

多智能体的协作模型（multi-agent cooperative models）：

智能体BDI（belief-desire-intention）模型^[6]：BDI将一个agent划分为: 信念- belief（代表agent对自己内部认知），意愿-desire（代表agent想要实现的目标）和意图-intention（代表agent为实现目标如何计划）三个部分。该优点和特性使BDI模型多用于联合监控系统、工业制造控制和计算机控制领域^[8]。
协商模型：多智能体协作行为是协商后产生的，虽然agent是高度自治的，但当agent需要互相配合完成委托目标时，一致性关系的建立就变得至关重要了。在agent所处的动态环境中，当资源不足时，任务分解、任务分配、以及任务监管的目的都是使agent行为产生最大效用。
协作规划模型：多用于在multi-agent场景中为实现协调一致而规划求解。其中我们考虑对每个智能体进行独立规划，也称为部分规划。其运用在多智能体的通信方式上，使其在每个节点间进行协调规划，agent之间互相告知对方自己的目标期望，使MAS接受全局规划。所以协作规划模型的优点使其应用于军事演习的仿真和机器人世界杯足球赛的设计中。
自协调模型：自协调模型是为适应复杂动态环境而进行自调整的动态模型。MAS内的agent结构的分化重组，包含对共同委任的agent的选择、协作结构的动态协调以及分布式环境下以完成控制任务和平衡环境状态为目的的联合自主调节。

MAS中agent的交互学习研究^[4]：自20世纪80年代末开始，多智能体学习（multi-agent learning，MAL）就已经在MAS、分布式AI和machine learning的研究中崭露头角。但由于缺少参考案例以及受到研究思路的局限，智能体技术的发展没有取得大的进展。

Multi-agent 学习问题的特点：

在MAS中多个agent参与学习，并且每个agent都有自己的学习空间。由于agent之间存在交互认知，在学习过程中的某单一agent的行为改变会导致整个MAS上不可预编的行为变化。
每个agent 都需要学习和适应其他学习参与者的相关信息，通过信息筛选来找出单一agent最擅长的或曾经执行过的任务，但也不会局限于某一事物，而是会依据当前环境来学习未参与过的任务，从而实现对环境的自适应。

多智能体的应用：

多智能机器人合作控制：多智能体机器人系统的开发目的是设计分布式控制的基础，从而实现简单个体之间的协同交互，并最终实现复杂的群体协作行为。系统的协调一致性主要通过机器人与其他机器人交互学习而产生。当机器人群扩大到一定规模时，多智能体机器人合作控制能够展现出许多单一机器人无法实现的优点。例如，工业流水线运用多机械臂来代替不同岗位，其中利用传感器感知并用执行器进行运动，其中不可避免地使用多智能体协同控制系统^[10]。

编队式无人机：任务分配方法是无人机编队协同工作的关键，即预先把复杂任务分配后再控制，从而保证动态环境下最优的分配效能。

集中式控制：这种控制方法需要大量的信息交互。每架无人机需要明确编队中其他无人机的位置、速度和目标等，大量的信息交换容易产生冲突，所以对机载系统和算法要求很高，但控制效果相对最好。
分布式控制：控制效果相对较差。每架无人机要和相邻无人机进行信息交互，虽信息量相较集中，但控制效果减小，计算量也较小。
分散式控制：基本没有信息交互。每个无人机在其所在编队中的相对位置通过预编程实现，不与其他无人机进行信息交换，计算量最小，控制效果最差。

目前有待解决的问题是分布式控制中信息交互冲突的问题，减少冲突是分布式控制和未来无人机控制的发展方向^[9]。

自动驾驶：与多智能机器人相比，安全性对自动驾驶来说是首要关注的课题，从路径规划开始，尽可能规避风险从而保障最大程度的安全。但多场景和突发情况的应变也是自动驾驶需要着重考虑，我们不可能事先人工定义好所有的突发场景。随着多智能体的开发和利用，我们逐步将其运用到自动驾驶中，局部的路径规划模块可以根据高级策略输出进行有针对性的路径选择，不安全因素会在该层面被过滤掉，从而避免行车风险。多智能体使车与车之间存在了互动关系，由于其他车辆、障碍物和行人的运动都会影响到本车行驶，因此不是单一假设本车作为该环境中唯一智能体。

医疗：新型冠状病毒（COVID-19）的出现威胁了全人类的健康，寻找有效治疗新冠病症的药物迫在眉睫，多智能体参与的计算机辅助为药物筛选提供了方向。尤其是医疗智能体系统的评估体系对Covid-19所有靶点蛋白的结合情况进行大规模的辅助药物筛选，加速了药物的筛选和研发。

网络的资源分配：a).异构资源分配，在数量维度和枚举类型上进行。b).利用多智能体搜索空间的方法实现求解，每个智能体求解局部，在所有智能体通信协作下全局解即产生c). 当局部决策无法求解时，资源分配求解即是对顺序的搜索。

多智能体有待解决的问题^[3]:

一致性问题的研究仍旧需要投入大量的研究和测试。
多智能体技术与现有系统的兼容性问题。
如何在与智能体交互中减少与智能体的冲突及对目标任务的影响。
复杂交互环境中的多智能体是否具有强大的抗干扰能力。
由于预编程算法复杂，对于相应的设备要求也相对较高。

在实际应用过程中，控制器性能、网络宽带信息的传输、设备兼容程度和环境的不可控因素等，都是造成多智能体系统出现不稳定状态的原因。在某些领域系统资源有限的情况下，如交通信号和无线传感器控制中通常存在资源紧缺和设备异构等情况，信息处理的不对称产生了不同大小的时滞，使各个智能体受到影响，所以研究如何更好地处理时滞性问题将会是非常有意义的工作^[2]。另外，如何使智能体在复杂环境中也具有良好的临时决策力、智能体在面对冲突时如何妥善解决冲突，以及在生产制造中在不置换原有设备的前提下，提高企业软硬件生产系统的灵活性和拓展性，或在生产制造中利用大数据为智能体决策做出最优解。这些都是智能体未来研究值得关注的方向。

总结

本篇文章向大家介绍了什么是多智能体和多智能系统的研究（通信，协作，交互学习，结构）、现实中的应用和有待解决的问题和发展趋势。在我们了解近年来的多智能体应用后不难发现，多智能体之所以成为大型企业争先发展和研究的主流项目之一，其中最重要的缘由在于它的衍生应用为人们的生活提供了便利。人类一直向着用机械代替手工劳动的方向努力，这一点自始至终都未改变。