一种基于多智能体的AGV群系统的制作方法

一种基于多智能体的agv群系统
技术领域
1.本发明涉及agv调度技术领域，具体涉及一种基于多智能体的agv群系统。


背景技术：

2.目前agv系统多采用由agv调度系统集中控制的模式，包括任务管理、车辆管理、交通管理、路径搜索、故障诊断等都由agv调度系统完成，agv(agv智能体)自主性缺失，没有自学习、推理、运算和决策能力，无法自主选择任务执行，无法与其它agv进行通信等。agv处于运动状态时自身参数时刻都在变化，任务状态也随时间在变化，路径成本也随时动态变化，因此由agv调度系统瞬时计算所得的任务分配结果并非是最优解，也就造成效率低下。同时，当agv数量较多时，中央智能体处理信息量较大，会出现超负荷运转，处理信息不及时。


技术实现要素：

3.本发明旨在改善现有技术中agv系统的控制模式，释放中央智能体的职能，使中央智能体仅负责对外部系统的通信接口以及对内部系统即agv的注册管理、发起任务竞标、任务仲裁等，进而赋予agv更多的决策能力，中央智能体不再负责任务的分配、路径规划、路径资源分配、交通管理等，这些功能均由agv智能体独立完成，赋予agv更多的智慧，使其具有运算、决策能力成为agv智能体，提高agv系统的效率、稳定性和容错性。
4.根据第一方面，本发明提供了一种基于多智能体的agv群系统，包括至少一个中央智能体和相互通信连接的多个agv，所述中央智能体与agv通信连接；
5.所述中央智能体包括：外部系统通信层、agv通信服务层和运算决策层，所述外部系统通信层、agv通信服务层和运算决策层之间通过内部总线连接；
6.所述agv包括：推理决策层、网络交互层、控制层，所述推理决策层、网络交互层和控制层之间通过内部总线连接；
7.所述网络交互层包括：用于与中央智能体通信的中央智能体通信层和用于与其他agv通信的agv通信层，所述中央智能体通信层与所述agv通信服务层连接；
8.所述外部系统通信层用于接收外部系统下发的任务；
9.所述运算决策层用于对外部系统下发的任务进行解析，生成任务竞标通知单，并将竞标通知单下发到各agv；
10.所述推理决策层用于根据所述竞标通知单计算出自身的任务成本；
11.所述网络交互层用于将自身的任务成本通报给中央智能体和其他agv；
12.所述运算决策层还用于选定任务成本最低的agv为中标候选agv，标记为预中标状态，并根据竞拍结果，将竞标通知单的执行权限交给中标候选agv，并将其预中标状态修改为中标状态；
13.所述推理决策层还用于在agv与中标任务进行绑定后，判断任务类别，若为协同任务，则采用协同作业机制，召集协同任务所需数量的协同agv，共同组成协同作业小组；
14.所述控制层用于控制agv执行任务。
15.进一步地，所述任务成本包括：静态成本和动态成本；所述静态成本包括：agv行驶路径所需的理论时间成本、agv在行驶过程中可预知的加减速时间成本及执行操作所花费的其他时间成本；所述任务动态成本包括agv行驶过程中因障碍物、交通阻塞、agv故障及人为干预所造成的不可预知的时间成本。
16.进一步地，所述理论时间成本c
theorypath
为：
[0017][0018]
其中，n为所有需要走过的路径段的总数，li为每一路径段的距离，vi为每一路径段的速度，为每一路径段的校准因子。
[0019]
进一步地，所述运算决策层包括：任务管理模块和任务仲裁服务模块，所述任务管理模块用于对外部系统下发的任务进行解析，生成任务竞标通知单，并将所述竞标通知单下发到各agv；
[0020]
所述推理决策层还用于在agv确定任务过程中向所述任务仲裁服务模块提出异议；
[0021]
所述任务仲裁服务模块用于接收到所述推理决策层的异议时进行仲裁服务，基于任务仲裁机制决定由哪台agv来执行任务；
[0022]
所述任务仲裁机制包括：
[0023]
所述任务仲裁服务模块接收到所述推理决策层的异议后，依据各agv的健康度及运行数据进行仲裁，决定执行该任务的agv，或者重新发起竞拍；
[0024]
运行数据包括：故障率、任务执行效率、阻塞率、操作时长、空闲率。
[0025]
进一步地，所述推理决策层提出异议的条件为：
[0026]
当前状态下，该agv执行该任务的任务成本优于中标候选agv的任务成本，或多个agv执行该任务的最低成本相同，则提出异议，反之，则无异议。
[0027]
进一步地，每台agv中都包含同样的当前agv群系统中活动状态的任务列表，所述推理决策层包括：效益估算模块和任务竞争模块，所述效益估算模块用于根据所述竞标通知单计算出自身的任务成本，还用于每隔一定时间自行计算所述任务列表中尚未处于绑定状态的任务成本，所述任务竞争模块用于参与任务竞拍以及基于任务交换和转移机制进行任务交换或转移。
[0028]
进一步地，所述任务交换和转移机制包括：
[0029]
中标状态的agv在与任务绑定前，中标状态的agv与其它agv进行任务交换或任务转移；
[0030]
中标状态的agv在与任务绑定后，agv与任务不可分割，直至将任务执行完毕；
[0031]
任务交换发生在两个中标状态的agv之间，第一中标agv和第二中标agv，需满足条件：
[0032]
c1》c
12
+c
swap
[0033]
c2》c
21
+c
swap
[0034]
式中，c1表示第一中标agv执行自身中标任务的成本；
[0035]c12
表示第一中标agv执行第二中标agv任务的成本；
[0036]
c2表示第二中标agv执行自身中标任务的成本；
[0037]c21
表示第二中标agv执行第一中标agv任务的成本；
[0038]cswap
表示任务交换的成本；
[0039]
任务转移发生在中标状态的agv和未中标状态的agv之间，需满足条件：
[0040]
c1》c
31
+c
transfer
[0041]
其中，c
31
表示未中标agv执行中标agv任务的成本；
[0042]
c1表示中标agv执行自身任务的成本；
[0043]ctransfer
表示任务转移的成本。
[0044]
进一步地，所述推理决策层还包括：运算推理模块和路径规划模块；
[0045]
所述运算推理模块用于在agv中标后，判断任务类别，若为协同任务，则采用任务协同作业机制，召集协同任务所需数量的协同agv，组建协同作业小组；
[0046]
所述控制层包括：执行控制模块和运动控制模块，所述执行控制模块用于执行机构的运动控制，所述运动控制模块用于agv的行走控制；
[0047]
所述协同作业机制包括：
[0048]
agv中标后，该agv为牵头agv，通过任务竞拍组建协同作业任务小组；
[0049]
协同agv根据牵头agv下发的异步指令，利用路径规划模块自主完成从当前点到起始点的路径规划；
[0050]
所述运动控制模块根据所述路径规划模块规划的路径控制协同agv移动到起始点；
[0051]
所述执行控制模块根据牵头agv下发的同步指令控制执行结构同步执行装载动作，直至动作完成；
[0052]
所述运动控制模块根据牵头agv下发的同步指令控制agv移动到协同任务的目标点；
[0053]
协同作业小组同步到达目标点后，牵头agv统一向协同agv下发同步指令，所述执行控制模块控制执行结构同步执行卸载动作，直至动作完成。进一步地，所述推理决策层还用于将所述同步指令以时间为单位微分为多个单位时间指令，并依次向协同agv下发单位时间指令；
[0054]
所述同步指令包括同步移动指令和同步操作指令；
[0055]
所述运动控制模块根据所述同步移动指令控制agv移动，所述执行控制模块根据所述同步操作指令控制执行结构动作；
[0056]
各协同agv通过所述agv通信层实时向牵头agv报告自身和执行机构的状态，所述运动控制模块和执行控制模块严格按照单位时间指令控制agv执行动作；若某协同agv的状态与其它agv状态不同步，则其他协同agv进入等待状态，直至最后一个agv完成单位时间指令后，所有agv再开始下一单位时间指令。
[0057]
进一步地，牵头agv的路径规划模块基于路径规划算法计算出各协同agv的行驶轨迹，并基于所述行驶轨迹生成相应的同步移动指令；牵头agv的推理决策层基于协同任务，生成相应agv上的执行机构的同步操作指令。
[0058]
相比现有技术，本发明的有益效果介绍：
[0059]
(1)本发明提供的基于多智能体的agv群系统，任务成本由各agv自己进行计算，大大降低了中央智能体负荷。
[0060]
(2)各agv在中标后仍然计算实时任务成本，在任务未绑定前均可将任务转移或交换给成本更低的agv，保证了任务分配的合理性，有利于提高任务完成速度。
[0061]
(3)能够实现agv组队、协作完成任务，使大型、重型货物搬运能力得到了明显的提升。
附图说明
[0062]
图1为实施例1中的基于多智能体的agv群系统的系统示意图；
[0063]
图2为实施例1中agv的系统框图；
[0064]
图3为实施例1中基于多智能体的agv群系统的工作流程示意图；
[0065]
图4为实施例1中基于多智能体的agv群系统的竞拍模式的工作流程示意图；
[0066]
图5为实施例1中协同作业机制的流程示意图；
[0067]
图6为实施例1中协同作业小组协同移动的同步移动指令示意图；
[0068]
图7为实施例1中协同作业小组协同操作的同步操作指令示意图；
[0069]
图8为实施例2中中央智能体的系统框图；
[0070]
图9为实施例2中agv的系统框图。
具体实施方式
[0071]
下面通过具体实施方式结合附图对本发明作进一步详细说明。
[0072]
实施例1
[0073]
如图1-2所示，本发明提供了一种基于多智能体的agv群系统，包括：中央智能体、基于5g通信技术相互通信连接的多个agv，每个agv均与中央智能体连接。中央智能体包括：外部系统通信层、agv通信服务层和运算决策层，外部系统通信层、agv通信服务层和运算决策层之间通过内部总线连接。运算决策层包括：任务管理模块和任务仲裁服务模块，任务管理模块用于对外部系统下发的任务进行解析，生成任务竞标通知单，并将竞标通知单通过agv通信服务层下发到各agv。任务仲裁服务模块用于接收到所述推理决策层的异议时进行仲裁服务，基于任务仲裁机制决定由哪台agv来执行任务。
[0074]
agv包括：推理决策层、网络交互层和控制层，推理决策层、网络交互层和控制层之间通过内部总线连接；其中，网络交互层包括：中央智能体通信层和agv通信层，中央智能体通信层与agv通信服务层连接，以实现中央智能体与agv的通信连接，两台agv通过agv通信层通信连接，以实现agv的相互通信连接。推理决策层包括：运算推理模块、效益估算模块、路径规划模块和任务竞争模块。其中，效益估算模块用于根据竞标通知单计算出自身的任务成本，还用于每隔一定时间自行计算任务列表中尚未处于绑定状态的任务成本。路径规划模块用于自主完成从当前点到起始点的路径规划。任务竞争模块用于参与任务竞拍以及基于任务交换和转移机制进行任务交换或转移。控制层包括：执行控制模块和运动控制模块，执行控制模块用于执行机构的运动控制，运动控制模块用于agv的行走控制。运算推理模块用于在agv中标后，判断任务类别，若为协同任务，则采用任务协同作业机制，召集协同任务所需数量的协同agv智能体，组建协同作业小组。
[0075]
具体地，如图3-5所示，该系统的流程如下：
[0076]
外部系统通信层接收到外部系统下发的任务后，运算决策层对外部系统下发的任务进行解析，按任务分配模式将任务下发至agv。任务分配模式包括：指定模式和竞拍模式，指定模式即中央智能体为任务指定agv来执行，任务指定后，受指定的agv判断任务类别，若为单独任务，则独自完成任务；若为协同任务，则该agv担任牵头agv，推理决策层采用协同作业机制，召集协同任务所需数量的协同agv，共同组成协同作业小组，共同执行该任务。
[0077]
在竞拍模式下，运算决策层生成任务竞标通知单，并通过agv通信服务层将竞标通知单下发到各agv。竞标通知单包括：任务编号、任务属性、任务优先级、所需agv数量、任务起始时间、操作列表；操作列表包括多个操作，每个操作均包含：操作站台、操作码、操作码属性；所述操作码属性包括：操作码类型、执行机构的升降高度、速度；所述操作码类型包括：异步操作和同步操作。
[0078]
各agv通过任务竞争模块参与竞拍。其效益估算模块对竞标通知单进行解析、判断订单的合法性，然后计算出当前状态下自身执行该任务的任务成本，并将自身的任务成本通过网络交互层广播给中央智能体和其他agv，即agv以公开底价的方式竞标。
[0079]
agv的任务成本由静态成本及动态成本结合得出。具体地，静态成本包括agv完成路径规划后行驶该路径所需的理论时间成本、agv在行驶过程中可预知的加减速时间成本、执行操作所花费的时间成本。其中，理论时间成本为：
[0080][0081]
其中，n为所有需要走过的路径段的总数，li为每一路径段的距离，vi为每一路径段的速度，为每一路径段的校准因子。
[0082]
任务动态成本包括agv行驶过程中因障碍物、交通阻塞、agv故障、人为干预等造成的不可预知的时间成本，任务动态成本大多数为不可预知成本，任务动态成本预测将参照各agv在某一节点所花费的平均时间进行累加。如：交通阻塞在某个节点平均耗时两分钟，当执行任务的agv在这个节点遇到交通阻塞时，任务动态成本将增加两分钟成本。人为干预在某一路径段平均耗时三分钟，当执行任务的agv在该路径段遇到人为干预时，任务动态成本将累加三分钟。以此类推累加预测出任务动态成本。
[0083]
任务成本在外界条件干扰较小的情况下由静态成本起决定性因素，动态成本作为辅助因素，在运动过程中更多的将参考动态成本，根据agv上报的的障碍物、交通阻塞、agv故障、人为干预等情况实时做出判断，预测出任务执行成本，并以此作为竞拍成本。
[0084]
运算决策层接收到各agv的报价后，选定成本最低的agv成为中标候选agv，并标记为预中标状态。成为中标候选agv的agv同时向其他agv和中央智能体广播发送预中标通知。在此过程中，agv状态实时更新，原则上收到预中标通知的agv同意该预中标任务。但当效益估算模块计算出的该agv当前状态下执行该任务的任务成本优于中标候选agv的任务成本或多个agv执行该任务的最低成本相同，则推理决策层向任务仲裁服务模块提出异议，同时通知中央智能体和中标候选agv，任务仲裁服务模块接收到推理决策层的异议后，依据各agv的健康度及运行数据(故障率、任务执行效率、阻塞率、操作时长、空闲率)进行仲裁，决
定执行该任务的agv，或者重新发起任务的二次竞拍。若无异议，则任务管理模块竞标通知单的执行权限交给中标候选agv，并将其预中标状态修改为中标状态。
[0085]
每个agv中都包含同样的当前agv群系统中活动状态的任务订单列表，各agv的效益估算模块每隔一定时间自行计算执行任务列表中尚未绑定任务的任务成本。
[0086]
中标状态的agv与对应任务进行绑定前，若任一agv执行该任务的成本更低，即满足如下条件就进行任务转移：
[0087]
c1》c
31
+c
transfer
[0088]
其中，c
31
表示未中标agv执行中标agv任务的成本；c1表示中标agv执行自身任务的成本；c
transfer
表示任务转移的成本。
[0089]
此外，在任务进行绑定前，若两个中标状态的agv交换其中标任务后，节约的时间成本大于因任务交换而带来的时间成本损耗，即满足如下条件就进行交换：
[0090]
c1》c
12
+c
swap
[0091]
c2》c
21
+c
swap
[0092]
式中，c1表示第一中标agv执行自身中标任务的成本；c
12
表示第一中标agv执行第二中标agv任务的成本；c2表示第二中标agv执行自身中标任务的成本；c
21
表示第二中标agv执行第一中标agv任务的成本；c
swap
表示任务交换的成本。
[0093]
举例来说，若agv1中标任务1，agv2中标任务4，此时的任务列表如表1所示。agv1中标任务1，预中标任务2，agv最多中标一条任务和预中标一条任务，agv3已中标任务3、agv2已中标任务4、预中标任务5。
[0094]
表1
[0095][0096]
经过一段时间后，任务1被agv1执行完毕完成后，agv1的预中标任务2转为已中标任务，如下表2所示。
[0097]
表2
[0098][0099]
在agv1与任务2进行绑定前，即agv到达操作点前，同时，任务3也未与agv3进行绑定，此时，如表3和表4所示，由于agv1执行任务3的成本13低于agv3执行任务3的成本16，
agv3执行任务2的成本为8，也要低于agv1执行任务2的成本15，且两者成本差大于任务交换所带来的时间损耗，此时可直接将任agv1和agv3的任务进行交换，更新后的任务表如表5所示。
[0100]
表3
[0101][0102]
表4
[0103][0104]
表5
[0105][0106]
中标状态的agv与对应任务进行绑定后，运算推理模块判断任务类别，若为单独任务，则独自完成任务。若为协同任务，则中标状态的agv担任牵头agv，推理决策层采用协同作业机制，召集协同任务所需数量的协同agv，共同组成协同作业小组，共同执行该任务。
[0107]
具体地，协同作业机制包括：
[0108]
牵头agv的推理决策层根据协同任务中所需的agv数量n，生成n-1个任务；并采用任务广播招标方式召集所需数量的协同agv，空闲agv通过任务竞争模块参与竞标，每个任务进行一次招标，最终召集到n-1个协同agv，并和牵头agv组成数量为n的协同作业小组。
[0109]
协同作业小组组成后，牵头agv通过agv通信服务层将异步指令下发给各协同agv，异步指令包括起始点位置，各协同agv路径规划模块根据起始点位置和当前agv的位置进行路径规划，运动控制模块根据路径规划模块规划的路径控制协同agv移动到起始点。
[0110]
协同作业小组所有成员就位后，通过agv通信层向牵头agv报告自身的状态，当牵头agv接收到所有协同agv的到位状态后，牵头agv统一向协同agv下发同步操作指令，各协同agv执行控制模块控制执行机构同步执行装载动作，直至动作完成。
[0111]
随后牵头agv下发同步移动指令，各协同agv的运动控制模块控制agv移动到协同任务的目标点。到达目标点后，各协同agv执行控制模块再控制执行机构同步执行卸载动
作，直至动作完成。
[0112]
同步操作指令由牵头agv的推理决策层根据协同任务生成。同步移动指令由牵头agv的路径规划模块基于路径规划算法计算出各协同agv的行驶轨迹，并基于行驶轨迹生成相应的同步移动指令。路径规划算法采用目前主流的路径规划算法，如dijkstra算法、a*算法、最佳优先搜索算法等。同步移动指令包括agv行走距离、行走速度和航向角，用于控制agv行驶。同步操作指令包括执行机构运行速度、升降高度，用于控制agv上的执行机构工作(即升降货物)。
[0113]
具体地，牵头agv的运算推理模块将同步指令以时间为单位微分为多个单位时间指令，通过agv通信层向协同agv下发单位时间指令，即根据指令类型分为了同步移动单位时间指令和同步操作单位时间指令，牵头agv依次向协同agv下发单位时间指令。
[0114]
如图6-7所示，每一单位时间指令执行时间为一个周期，各协同agv实时向牵头agv报告自身和执行机构的状态，并严格按照单位时间指令执行动作。当所有成员均完成一个周期内各自的单位时间指令后，牵头agv再下发下一单位时间指令。若某协同agv的状态与其它agv状态不同步，并超过设定阈值，则其他协同agv进入等待状态，直至最后一个agv完成单位时间指令后，牵头agv再下发下一单位时间指令，直至最后一个单位时间指令完成后(即搬运完成后)，由agv牵头agv向中央智能体和其他agv协同agv进行通报，并将协同作业小组解散，各agv可重新作为独立个体竞拍任务。
[0115]
实施例2
[0116]
在实施例1的基础上，如图8-9所示，agv还包括：i/o层和感知层，i/o层用于agv数字信号或模拟信号的输入和输出控制。感知层用于agv与传感器之间的通信连接及数据交互。传感器包括激光雷达、视觉传感器、电磁传感器、磁带传感器、光电传感器、安全防护传感器，用于对外部环境数据采集，实现外部环境感知；还包括编码器、陀螺仪、倾角触感器，用于自身状态变化的感知。
[0117]
推理决策层还包括交通协作模块和私有知识库，运算推理模块还用于对环境的学习、地图构建、健康状态的估算、私有知识库管理，并基于私有知识向公有知识转化的机制向中央智能体申报将私有知识转为公有知识。交通协作模块用于路径的空闲路径资源计算和分配，以及与其它agv之间的交通避让。具体地，路径规划模块自主完成从当前点到目标点的路径规划后，交通协作模块根据路径规划和其它agv的行驶状态数据，计算空闲路径资源，路径资源包括路径点和路径段；然后将可行走路径点、段加入已占用点、段列表，标记为已占用路径资源，并广播告知其它agv。交通协作模块自行释放已行走完的路径资源，使已占用路径资源转为空闲路径资源。行驶状态数据包括：位置、姿态、行驶速度、目标点、已占用点、段列表。私有知识库用于存储agv智能体的环境地图、路径图、控制参数、安装参数及运行数据。
[0118]
中央智能体还包括知识管理层，知识管理层通过内部总线分别与外部系统通信层、agv通信服务层、运算决策层连接。知识管理层用于共享知识管理、agv运行数据统计分析，并基于私有知识向公有知识的转化机制决定私有知识向公有知识的转化。agv运行数据包括：agv的故障率、任务执行效率、阻塞率、操作时长、空闲率。运算决策层还包括agv管理模块，agv管理模块用于对ag的注册、注销、任务执行健康度管理。具体地，知识管理层包括：学习推理模块、知识管理模块和共享知识库；学习推理模块是中央智能体的自我学习、自我
优化的ai模块，负责对知识的推理、归纳和总结。知识管理模块用于对共享知识库的管理、对agv上报将自身某一私有知识申请为所有agv的共有知识的审核、批准；共享知识库包括：所有agv的知识和中央智能体的知识。
[0119]
具体地，私有知识基于私有知识向公有知识的转化机制转为公有知识，私有知识向公有知识的转化机制包括：
[0120]
agv向中央智能体申请将自身的某一私有知识转化为公有知识；
[0121]
然后中央智能体的知识管理层对提出申请的私有知识进行评估，并发送给其它agv进行评估；
[0122]
其它agv对知识管理层下发的评估知识进行验证，并向中央智能体报告验证结果；所述验证包括根据需评估的知识修改或新增自身相关的数据，并进行实际运行检验，如无异常则认为验证通过；
[0123]
待所有agv验证通过后，转为公有知识。
[0124]
其中，私有知识用于agv智能体自身，包括传感器的安装参数、驱动轮安装参数、驱动pid控制参数、转向pid控制参数等agv基本参数，还包括agv不断对新环境学习而产生导航环境地图等。公有知识包括：环境地图，用于所有agv及中央智能体，具有普遍适用性。
[0125]
运算决策层还包括：agv管理模块用于对agv的注册、注销、任务执行健康度管理。
[0126]
控制层还包括导航模块，导航模块基于感知层采集的环境数据，对环境的识别、构建地图、更新地图。此外，还用于计算agv自身在地图中的位姿，实现agv在地图中的定位及agv的导航、导引。