机械臂调度系统、方法、替换方法、装置、设备及介质与流程

1.本技术涉及机械臂技术领域，具体而言，涉及一种机械臂调度系统、方法、替换方法、装置、设备及介质。


背景技术：

2.为了提高工厂智能化程度，一些智能化工厂通过脑机交互控制移动机械臂运行进行作业，这种脑机控制机械臂运行处理的方式，能避免用户与操作按钮直接接触，减少了病毒、细菌等交叉感染的风险。
3.在脑机控制机械臂的处理方式中，需对机械臂群体的机械臂发布机械臂模型，使得机械臂能在机械臂模型指导下完成生产作业，但由于脑机发布的任务具有一定偏差性以及车间中环境随时会产生变化，因此需要机械臂模型具有一定学习进化能力，但机械臂模型独立运行学习，会导致机械臂模型进化程度参差不齐，无法确保机械臂群体能逐步完善进化。
4.针对上述问题，目前尚未有有效的技术解决方案。


技术实现要素：

5.本技术的目的在于提供一种机械臂调度系统、方法、替换方法、装置、设备及介质，使得机械臂能顺利完成相同或类似的作业运动时具有足够多的优秀样本驱使机械臂模型逐步完善进化，确保机械臂群体中的机械臂模型能共同学习进化。
6.第一方面，本技术提供了一种机械臂调度系统，用于调度机械臂群体以完成生产作业，所述系统包括：脑电采集模块，用于根据多模态脑机交互范式采集用户的脑电信号；处理标定模块，用于根据所述脑电信号分析获取用户规划信息；调度中心模块，用于根据所述用户规划信息规划多个子任务，以及用于分配所述子任务给机械臂模型；所述机械臂模型，存储于机械臂中，用于根据所述子任务控制相应的机械臂进行作业运动；所述调度中心模块还用于根据每个所述机械臂完成所述子任务的情况赋予对应所述机械臂模型相应的奖励信息，并用于根据所述奖励信息赋予机械臂模型一替换概率，以使机械臂模型根据所述替换概率进行替换。
7.本技术的一种机械臂调度系统，结合脑电采集模块和处理标定模块快速、精确地获取用户规划信息，利用调度中心模块根据用户规划信息规划多个子任务，并将对应的子任务分配给机械臂模型，使机械臂模型控制机械臂进行作业运动，在机械臂逐步完成子任务的过程中，调度中心模块赋予机械臂模型奖励信息，并使机械臂模型根据奖励信息获得一替换概率，以使机械臂模型根据所述替换概率进行替换，使得机械臂模型能持续进行更新迭代，使得机械臂能顺利完成相同或类似的作业运动时具有足够多的优秀样本驱使机械
臂模型逐步完善进化。
8.所述的一种机械臂调度系统，其中，所述调度中心模块用于根据每个所述机械臂模型获得的所述奖励信息的总和，赋予机械臂模型一替换概率，以使机械臂模型根据所述替换概率替换为获得奖励信息的总和最高的机械臂模型。
9.所述的一种机械臂调度系统，其中，所述替换概率与机械臂模型获得的奖励信息的总和呈负相关。
10.所述的一种机械臂调度系统，其中，所述调度中心模块用于在所述机械臂每完成预设数量的子任务时，赋予机械臂模型一替换概率，以使机械臂模型根据所述替换概率进行替换。
11.所述的一种机械臂调度系统，其中，所述调度中心模块用于在每个所述机械臂均完成相同数量的子任务时，赋予机械臂模型一替换概率，以使机械臂模型根据所述替换概率进行替换。
12.第二方面，本技术还提供了一种机械臂调度方法，用于调度机械臂群体以完成生产作业，所述调度方法包括：获取用户规划信息，并根据所述用户规划信息规划多个子任务，所述用户规划信息为通过处理标定模块根据脑电信号分析获取所得，所述脑电信号为通过脑电采集模块根据多模态脑机交互范式采集所得；分配所述子任务给机械臂模型，以使所述机械臂模型根据所述子任务控制相应的机械臂进行作业运动；根据每个所述机械臂完成所述子任务的情况赋予对应所述机械臂模型相应的奖励信息；根据所述奖励信息赋予机械臂模型一替换概率，以使机械臂模型根据所述替换概率进行替换。
13.本技术的一种机械臂调度方法，根据用户规划信息规划多个子任务，并将对应的子任务分配给机械臂模型，使机械臂模型控制机械臂进行作业运动，并在机械臂逐步完成子任务的过程中，赋予机械臂模型奖励信息，并使机械臂模型根据奖励信息获得一替换概率，以使机械臂模型根据替换概率进行替换，使得机械臂模型能持续进行更新迭代，使得机械臂能顺利完成相同或类似的作业运动时具有足够多的优秀样本驱使机械臂模型逐步完善进化。
14.第三方面，本技术还提供了一种机械臂模型替换方法，用于驱使机械臂模型在生产作业中进行进化替换，所述替换方法包括以下步骤：根据每个所述机械臂完成子任务的情况赋予对应机械臂模型相应的奖励信息；根据所述奖励信息赋予机械臂模型一替换概率，以使机械臂模型根据所述替换概率进行替换。
15.本技术的一种机械臂模型替换方法，在机械臂生产作业过程中，赋予机械臂模型奖励信息，并使机械臂模型根据奖励信息获得一替换概率，以使机械臂模型根据替换概率进行替换，使得机械臂模型能持续进行更新迭代，使得机械臂能顺利完成相同或类似的作业运动时具有足够多的优秀样本驱使机械臂模型逐步完善进化。
16.第四方面，本技术还提供了一种机械臂模型替换装置，用于驱使机械臂模型在生
产作业中进行进化替换，所述替换装置包括：奖励模块，用于根据每个所述机械臂完成子任务的情况赋予对应机械臂模型相应的奖励信息；替换模块，用于根据所述奖励信息赋予机械臂模型一替换概率，以使机械臂模型根据所述替换概率进行替换。
17.本技术的一种机械臂模型替换装置，在机械臂生产作业过程中，利用奖励模块赋予机械臂模型奖励信息，并利用替换模块使机械臂模型根据奖励信息获得一替换概率，以使机械臂模型根据替换概率进行替换，使得机械臂模型能持续进行更新迭代，使得机械臂能顺利完成相同或类似的作业运动时具有足够多的优秀样本驱使机械臂模型逐步完善进化。
18.第五方面，本技术还提供了一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述第三方面提供的所述方法中的步骤。
19.第六方面，本技术还提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述第三方面提供的所述方法中的步骤。
20.由上可知，本技术提供了一种机械臂调度系统、方法、替换方法、装置、设备及介质，其中机械臂调度系统利用调度中心模块根据用户规划信息规划多个子任务，并将对应的子任务分配给机械臂模型，使机械臂模型控制机械臂进行作业运动，在机械臂逐步完成子任务的过程中，调度中心模块赋予机械臂模型奖励信息，并使机械臂模型根据奖励信息获得一替换概率，以使机械臂模型根据替换概率进行替换，使得机械臂能顺利完成相同或类似的作业运动时具有足够多的优秀样本驱使机械臂模型逐步完善进化，确保机械臂群体中的机械臂模型能共同学习进化。
附图说明
21.图1为本技术实施例提供的一种机械臂调度系统的结构示意图。
22.图2为本技术实施例提供的一种机械臂调度方法的流程图。
23.图3为本技术实施例提供的一种机械臂模型替换方法的流程图。
24.图4为本技术实施例提供的一种机械臂模型替换装置的结构示意图。
25.图5为本技术实施例提供的一种机械臂调度系统实施例1的结构示意图。
26.图6为本技术实施例提供的电子设备的结构示意图。
27.附图标记：100、脑电采集模块；200、处理标定模块；201、脑电处理模块；202、任务标定模块；300、调度中心模块；301、任务规划单元；302、全息感知单元；303、高精地图单元；304、slam单元；305、智能编队单元；400、机械臂模型；500、机械臂；600、电子设备；601、处理器；602、存储器；603、通信总线；700、综合显示模块；800、安全监测模块；900、自检维修模块；3011、奖励模块；3012、替换模块。
具体实施方式
28.下面将结合本技术实施例中附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。通常在
此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
29.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
30.工业生产中常常利用多个机械臂组成的机械臂群体进行大规模生产作业，一些机械臂群体在生产作业中涉及移动和工作环节，因此，需要配备相应的调度系统以完成机械人群体的规模性调度控制，并对机械臂配置合适的机械臂模型，使得机械臂群体中的每个机械臂均能顺利完成生产作业。
31.第一方面，请参照图1，图1是本技术一些实施例中的一种机械臂调度系统，用于调度机械臂群体以完成生产作业，系统包括：脑电采集模块100，用于根据多模态脑机交互范式采集用户的脑电信号；处理标定模块200，用于根据脑电信号分析获取用户规划信息；调度中心模块300，用于根据用户规划信息规划多个子任务，以及用于分配子任务给机械臂模型400；机械臂模型400，存储于机械臂500中，用于根据子任务控制相应的机械臂500进行作业运动；调度中心模块300还用于根据每个机械臂500完成子任务的情况赋予对应机械臂模型400相应的奖励信息，并用于根据奖励信息赋予机械臂模型400一替换概率，以使机械臂模型400根据替换概率进行替换。
32.具体地，脑机交互范式为一种常用的脑电信号与另一种或多种生物电信号混合构成多模态融合的范式，例如：运动想象和稳态视觉诱发电位（ssvep）组合、p300和ssvep组合等范式；脑电采集模块100根据多模态脑机交互范式采集用户的脑电信号，采用脑机交互范式获取脑电信号能确保采集到的脑电信号准确。
33.具体地，脑电信号为脑活动的信息,它能反映脑活动的整体信息，脑电信号通过脑电采集模块100直接从用户头部获取。
34.具体地，用户规划信息为用户根据作业需求在作业场景中定下的加工节点和/或位移节点，用于指导机械臂500运行。
35.具体地，调度中心模块300先根据用户规划信息规划一个全局任务，再将全局任务拆分为多个子任务，全局任务可以是整个机械臂群体需要完成的作业任务，也可以是每个机械臂500需要完成的作业任务；当全局任务为整个机械臂群体需要完成的作业任务时，该全局任务中分配给每个机械臂500的子任务数量、类型可以是相同的，也可以是不同的，优选为分配相同数量、类型的子任务，使得每个机械臂500执行的任务具有一致性，从而利于比较机械臂模型400的优劣性；当全局任务为每个机械臂500需要完成的作业任务时，即代表了每个机械臂500执行的子任务数量、类型一致，从而利于比较机械臂模型400的优劣性。
36.具体地，奖励信息为调度中心模块300根据机械臂500完成子任务的情况赋予的奖励数值，机械臂500完成子任务的情况越好，调度中心模块300赋予对应机械臂模型400的奖
励信息越大。
37.具体地，调度中心模块300根据奖励信息赋予机械臂模型400一替换概率，以使机械臂模型400根据替换概率进行替换的过程，主要是利用奖励信息判断机械臂500完成子任务的业务能力以评定相应机械臂模型400的优劣性，然后根据机械臂模型400的优劣性赋予相应的替换概率，使得机械臂模型400根据替换概率以概率性地进行模型替换处理，目的是逐步替换掉业务能力较差的机械臂500对应的机械臂模型400，以在确保机械臂模型400能顺利完成生产作业的同时，留存更多优秀的机械臂模型400，确保机械臂模型400具有多样性，进而使得机械臂模型400具有足够多的优秀样本驱使机械臂模型400逐步完善进化，使得机械臂群体中的机械臂模型400能持续进行更新迭代；在生产作业工程中，机械臂模型400以机械臂群体中的不同机械臂模型400作为参考对象进行比较进化，使得机械臂模型400能逐步适应生产作业流程，即利用不同机械臂模型400的实际应用效果来修正完成机械臂模型400，免去了机械臂500实际应用时需要进行多次仿真模拟调试的过程，提高机械臂模型400优化效率。
38.更具体地，机械臂模型400根据替换概率进行替换指的是机械臂模型400具有一定概率替换成别的机械臂模型400，且有一定概率维持机械臂模型400不变，该替换概率与机械臂模型400获取的奖励信息相关，奖励信息用于综合反映机械臂500完成子任务的业务能力，如运算速度、运动速度、位置精度等；在完成一个相同子任务的过程中，获得更高奖励信息的机械臂500对应的机械臂模型400为该子任务中的优质模型；本技术实施例的一种机械臂调度系统基于机械臂模型400的优劣情况赋予相应的替换概率，机械臂模型400基于该替换概率判断是否进行进化行为，如替换概率为50%，则该机械臂模型400具有50%概率替换为别的机械臂模型400，也具有50%的概率保持不变，即保持为原来的机械臂模型400。
39.具体地，机械臂模型400的替换可以是替换为新的机械臂模型400，还可以是替换为完成当前子任务中获得奖励信息最高的机械臂模型400，还可以是替换为获得累计奖励信息最高的机械臂模型400，从而实现机械臂群体中机械臂模型400的求同存异，使得机械臂500能顺利完成相同或类似的作业运动的同时具有多样性以驱使机械臂模型400进行持续进化。
40.本技术实施例的一种机械臂调度系统，结合脑电采集模块100和处理标定模块200快速、精确地获取用户规划信息，利用调度中心模块300根据用户规划信息规划多个子任务，并将对应的子任务分配给机械臂模型400，使机械臂模型400控制机械臂500进行作业运动，在机械臂500逐步完成子任务的过程中，调度中心模块300赋予机械臂模型400奖励信息，并使机械臂模型400根据奖励信息获得一替换概率，以使机械臂模型400根据替换概率进行替换，使得机械臂模型400能持续进行更新迭代，使得机械臂500能顺利完成相同或类似的作业运动时具有足够多的优秀样本驱使机械臂模型400逐步完善进化，确保机械臂群体中的机械臂模型400能共同学习进化。
41.另外，机械臂模型400采用根据替换概率进行替换的方式，使机械臂群体中的机械臂模型400能在生产作业中，能逐步筛除作业能力较差的机械臂模型400，并保持具有多样性以驱使机械臂模型400进行持续进化。
42.在一些优选的实施方式中，调度中心模块300用于根据每个机械臂模型400获得的奖励信息的总和，赋予机械臂模型400一替换概率，以使机械臂模型400根据替换概率替换
为获得奖励信息的总和最高的机械臂模型400。
43.具体地，在机械臂500每完成一个子任务时，机械臂模型400得到一个与机械臂500完成子任务过程的表现情况相匹配的奖励信息，该奖励信息反映机械臂500完成当前子任务的好坏情况，而机械臂模型400控制机械臂500完成不同子任务的过程具有不同的表现能力，即在一个子任务中表现较差的机械臂模型400，可能在另一个子任务中表现优秀，因此，若基于单个子任务赋予的奖励信息评定机械臂模型400的优劣则过于片面，故调度中心模块300基于每个机械臂模型400获得的奖励信息的总和作为替换概率的参考基准，以更精确地判断机械臂模型400的优劣性。
44.更具体地，在机械臂群体中每个机械臂500均完成了相同数量的子任务后，获得的奖励信息的总和最高的机械臂模型400代表了机械臂群体中当前最优质的机械臂模型400，调度中心模块300根据其余机械臂模型400各自的奖励信息总和对相应的机械臂模型400设定相应的替换概率，使得其余机械臂模型400根据对应的替换概率以概率性地替换为当前最优质的机械臂模型400。
45.更具体地，当前获得奖励信息的总和最高的机械臂模型400在继续执行一个或多个子任务之后，获得的奖励信息的总和可能不再为最高，此时，之前最优质的机械臂模型400转变为另外的获得的奖励信息的总和最高的机械臂模型400，使得机械臂模型400的替换对象能实现动态调节，即替换对象始终为最优质的机械臂模型400，确保机械臂群体中的机械臂模型400能动态地持续朝向最优质机械臂模型400的方向进行进化替换。
46.在一些优选的实施方式中，替换概率与机械臂模型400获得的奖励信息的总和呈负相关。
47.具体地，一方面，机械臂模型400根据替换概率进行替换的目的是为了保留更多相对优质的模型样本，因此，机械臂模型400的替换概率与机械臂模型400获得的奖励信息的总和呈负相关，使得表现较差的机械臂模型400具有更大的替换概率替换为当前最优质的机械臂模型400，表现较好的机械臂模型400具有更小的替换概率替换为当前最优质的机械臂模型400，使得机械臂群体中的劣质机械臂模型400逐步被淘汰而替换为优质机械臂模型400，使得机械臂模型400的替换进化过程类似于物竞天择的进化过程；另一方面，机械臂模型400进行概率性替换的目的是为了留存机械臂模型400进化的多样性，机械臂模型400具有擅长和不擅长的作业内容，当前表现不佳的机械臂模型400在后续作业中可能表现为最优质机械臂模型400，因此，设置替换概率进行替换行为可使得这些机械臂模型400具有一定概率维持不变以留存机械臂模型400进化的多样性。
48.在一些优选的实施方式中，调度中心模块300用于在机械臂500每完成预设数量的子任务时，赋予机械臂模型400一替换概率，以使机械臂模型400根据替换概率进行替换。
49.具体地，机械臂模型400的替换行为可以是发生在机械臂500完成一个子任务时进行，也可以是发生在机械臂500完成多次子任务时进行，即机械臂模型400的进化时间间隔为基于机械臂500完成子任务次数的进行设定，对应于机械臂模型400获得对应奖励信息的时机。
50.更具体地，进化时间间隔对应于调度中心模块300设定的子任务预设数量，该预设数量越小代表机械臂模型400进化频率越高，在本实施例中，进化时间间隔对应的子任务预设数量优选为一个，即机械臂模型400在机械臂500每完成一个子任务后，便进行一次替换
概率的判定，以判定该机械臂模型400是否需要替换为当前最优质的机械臂模型400。
51.在一些优选的实施方式中，调度中心模块300用于在每个机械臂500均完成相同数量的子任务时，赋予机械臂模型400一替换概率，以使机械臂模型400根据替换概率进行替换。
52.具体地，由于调度中心模块300是基于机械臂模型400获得的奖励信息的总和赋予机械臂模型400替换概率的，所以为了更客观地反映机械臂模型400的优劣情况，调度中心模块300需在每个机械臂500均完成了相同数量的子任务时再给每个机械臂500赋予相应的替换概率，确保每个机械臂500获得了相同数量的奖励信息，使奖励信息总和能更精确地反映机械臂群体中机械臂模型400的优劣性。
53.在一些优选的实施方式中，子任务包括子移动任务和子动作任务。
54.具体地，机械臂群体为可移动的机械臂500组成的群体，子移动任务为机械臂500进行移动的任务，子动作任务为机械臂500进行动作变化的任务。
55.更具体地，机械臂500在执行子移动任务的过程中，调度中心模块300根据机械臂500的移动速度、避障行为等赋予相应的奖励信息；机械臂500在执行子动作任务的过程中，调度中心模块300根据机械臂500的避障行为、动作精准度、作业完成度等赋予相应的奖励信息。
56.在一些优选的实施方式中，用户规划信息包括目的地信息和必经航点信息。
57.其中，目的地信息为作业地点，在一个完整的生产作业任务中，存在一个以上的作业地点，作业地点为机械臂500进行作业运动的地方，用户基于脑电信号设定多个目的地信息，即设定了多个作业地点，使机器人达到作业地点后进行作业，即执行子动作任务；必经航点信息为机械臂500位移必须经过的位置点，在一个完整的生产作业任务中，机械臂500需要移动至进行作业运动的地方，用户基于脑电信号设定多个必经航点信息，即设定了多个机械臂500的路径点，以指导机械臂500位移路径的规划。
58.具体地，全局任务基于目的地信息和必经航点信息进行规划设定，该全局任务包含机械臂群体的移动路径和工作地点的内容，使得机械臂群体能完成用户指派的整体生产作业任务，其中，目的地信息定义了工作地点，必经航点信息定义了移动至工作地点的路径。
59.更具体地，全局任务基于目的地信息和必经航点信息划分为若干子任务，其中，由于必经航点信息为机械臂500位移必须经过的位置点，故移动路径基于必经航点信息划分为多个子移动任务，使得机械臂500每移动一段距离便完成一个子任务，使得机械臂模型400能在一次移动路径的位移过程中进行多次概率性替换判断，使得机械臂群体中的机械臂模型400在移动过程中逐步进化；另外，由于目的地信息定义了工作地点，机械臂500在同一个工作地点中可能进行多次的重复性生产作业，故机械臂500在工作地点中每完成一道重复性工序定义为一个子动作任务，使得机械臂模型400能在工作地点中的重复性生产作业过程中多次生成替换概率进行替换判断，使得机械臂群体中的机械臂模型400在重复性生产作业过程中逐步进化。
60.更具体地，全局任务中的移动路径基于必经航点信息划分为多段路径段，但一些路径段长度仍然过长，调度中心模块300中设置有路径阈值，若路径段长度超出路径阈值，则将该路径段再次等分，直至路径段长度低于路径阈值，进而将对应于路径段的子移动任
务设定在合适长度内，使得机械臂群体中的机械臂模型400概率性替换时间间隔更均匀。
61.第二方面，请参照图2，图2是本技术一些实施例中提供的一种机械臂调度方法，用于调度机械臂群体以完成生产作业，调度方法包括：s101、获取用户规划信息，并根据用户规划信息规划多个子任务；用户规划信息为通过处理标定模块200根据脑电信号分析获取所得，脑电信号为通过脑电采集模块100根据多模态脑机交互范式采集所得；s102、分配子任务给机械臂模型400，以使机械臂模型400根据子任务控制机械臂500进行作业运动；机械臂模型400存储于机械臂500中，用于根据子任务控制相应的机械臂500进行作业运动；s103、根据每个机械臂500完成子任务的情况赋予对应机械臂模型400相应的奖励信息；s104、根据奖励信息驱使赋予机械臂模型400一替换概率，以使机械臂模型400根据替换概率进行替换。
62.本技术实施例的一种机械臂调度方法，根据用户规划信息规划多个子任务，并将对应的子任务分配给机械臂模型400，使机械臂模型400控制机械臂500进行作业运动，并在机械臂500逐步完成子任务的过程中，赋予机械臂模型400奖励信息，并使机械臂模型400根据奖励信息获得一替换概率，以使机械臂模型400根据替换概率进行替换，使得机械臂模型400能持续进行更新迭代，使得机械臂500能顺利完成相同或类似的作业运动时具有足够多的优秀样本驱使机械臂模型400逐步完善进化。
63.作为一种实施方式，优选采用上述第一方面的机械臂调度系统实施该机械臂调度方法。
64.第三方面，请参照图3，图3是本技术一些实施例中提供的一种机械臂模型替换方法，用于驱使机械臂模型400在生产作业中进行进化替换，替换方法包括以下步骤：s201、根据每个机械臂500完成子任务的情况赋予对应机械臂模型400相应的奖励信息；s202、根据奖励信息赋予机械臂模型400一替换概率，以使机械臂模型400根据所述替换概率进行替换。
65.本技术实施例的一种机械臂模型替换方法，在机械臂500生产作业过程中，赋予机械臂模型400奖励信息，并使机械臂模型400根据奖励信息获得一替换概率，以使机械臂模型400根据替换概率进行替换，使得机械臂模型400能持续进行更新迭代，使得机械臂500能顺利完成相同或类似的作业运动时具有足够多的优秀样本驱使机械臂模型400逐步完善进化。
66.现有的多机械臂模型进化形式中，普遍是通过机械臂500运行以获取机械臂的实际运行参数，然后机械臂将该实际运行参数反馈上报至上位机中，上位机再根据实际运行参数在仿真平台中修正机械臂模型400并进行再次仿真，将仿真后获得的修正参数发布给机械臂500，实现机械臂500 的修正进化，该进化形式主要是通过获取多个机械臂500获取多个实际运行参数以综合修正机械臂模型400的设计参数使得机械臂模型400进行进化，但这类进化方式存在计算量大、进化方向单一、模型单调、数据传输频繁等缺点；而本技术实
施例的一种机械臂模型替换方法，则根据机械臂模型400获得的奖励信息赋予相应的替换概率，使机械臂模型400根据替换概率进行替换，该过程无需跟踪实际运行参数，也不需要根据实际运行参数进行仿真修正，更不需要将修正数据发送至相应的机械臂500中进行机械臂模型400修正，能有效减少计算量，并确保机械臂模型400的形式多样性、进化多样性，且能有效减少数据传输频率。
67.在一些优选的实施方式中，步骤s202包括以下子步骤：s2021、计算每个机械臂模型400获得的奖励信息的总和；s2022、将获得的奖励信息的总和最高的机械臂模型400定义为最优质机械臂模型400；s2023、根据每个机械臂模型400获得的奖励信息的总和赋予对应机械臂模型400相应的替换概率；s2024、驱使每个机械臂500的机械臂模型400基于根据自身的替换概率替换为最优质机械臂模型400。
68.具体地，本技术实施例的一种机械臂模型替换方法，基于每个机械臂模型400获得的奖励信息的总和作为替换概率的参考基准，以更精确地判断机械臂模型400的优劣性。
69.在一些优选的实施方式中，步骤s2023中的替换概率，与相应的机械臂模型400获得的奖励信息的总和呈负相关。
70.具体地，替换概率与相应的机械臂模型400获得的奖励信息的总和呈负相关，使得机械臂群体中的劣质机械臂模型400逐步被淘汰而替换为优质机械臂模型400，使得机械臂模型400的替换进化过程类似于物竞天择的进化过程，还使得机械臂模型400具有一定概率维持不变以留存机械臂模型400进化的多样性。
71.作为一种实施方式，优选采用上述第一方面的机械臂调度系统中的调度中心模块300实施该机械臂调度方法。
72.第四方面，请参照图4，图4是本技术一些实施例中提供的一种机械臂模型替换装置，用于驱使机械臂模型400在生产作业中进行进化替换，替换装置包括：奖励模块3011，用于根据每个机械臂500完成子任务的情况赋予对应机械臂模型400相应的奖励信息；替换模块3012，用于根据奖励信息赋予机械臂模型400一替换概率，以使机械臂模型400根据替换概率进行替换。
73.本技术实施例的一种机械臂模型替换装置，在机械臂500生产作业过程中，利用奖励模块3011赋予机械臂模型400奖励信息，并利用替换模块3012使机械臂模型400根据奖励信息获得一替换概率，以使机械臂模型400根据替换概率进行替换，使得机械臂模型400能持续进行更新迭代，使得机械臂500能顺利完成相同或类似的作业运动时具有足够多的优秀样本驱使机械臂模型400逐步完善进化。
74.第五方面，请参照图6，图6为本技术实施例提供的一种电子设备的结构示意图，本技术提供一种电子设备600，包括：处理器601和存储器602，处理器601和存储器602通过通信总线603和/或其他形式的连接机构（未标出）互连并相互通讯，存储器602存储有处理器601可执行的计算机程序，当计算设备运行时，处理器601执行该计算机程序，以在执行时执行第三方面实施例的任一可选的实现方式中的方法。
75.第六方面，本技术实施例提供一种存储介质，所述计算机程序被处理器执行时，执行第三方面实施例的任一可选的实现方式中的方法。其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（static random access memory, 简称sram），电可擦除可编程只读存储器（electrically erasable programmable read
‑
only memory, 简称eeprom），可擦除可编程只读存储器（erasable programmable read only memory, 简称eprom），可编程只读存储器（programmable red
‑
only memory, 简称prom），只读存储器（read
‑
only memory, 简称rom），磁存储器，快闪存储器，磁盘或光盘。
76.实施例1请参照图5，图5为本技术实施例提供的一种机械臂调度系统实施例1的结构示意图。
77.该调度系统包括：脑电采集模块100、处理标定模块200、调度中心模块300和机械臂群体。
78.具体地，下面以该调度系统用于货物抓取的生产作业场景为例进行进一步阐述，在本实施例中，处理标定模块200包括脑电处理模块201和任务标定模块202，调度系统还设有供给用户观察操作的综合显示模块700，综合显示模块700用于显示配合脑电采集模块100进行脑电信号采集的操作界面；用户佩戴脑电采集模块100，并通过预设的左右手运动想象脑机交互范式控制综合显示模块700的操作界面中的货物选择界面的滑动，以此选择需要机械臂500抓取的货物类型，即利用脑电采集模块100采集脑电信号后，由脑电处理模块201解码脑电信号获取用户操作意图，继而使得综合显示模块700的货物选择界面进行左右滑动而确定需要抓取的货物类型。
79.在用户确定机械臂500需抓取的货物类型之后，用户通过预设的ssvep脑机交互范式制定运送货物的目的地信息、必经航点信息。
80.具体地，用户通过眼睛接受综合显示模块700中导航界面发出的不同频率的闪烁，利用闪烁刺激和大脑想象左右手运动就可产生不同类型脑电信号，脑电处理模块201解码出不同脑电信号类型就可得知用户的意图，不同频率的闪烁刺激分别代表不同目的地信息和必经航点信息，如：当用户接受6.67hz闪烁刺激时表示用户意图选择的目的地信息为c点，用户接受7hz闪烁刺激时表示用户意图选择的必经航点为b1点，以此类推确定目的地信息和必经航点信息。
81.在脑电处理模块201解码脑电信号对应的目的地信息和必经航点信息后，任务标定模块202根据目的地信息和必经航点信息，在高精度地图中标注目的地和航点；其中，高精度地图为提前测量获取。
82.调度中心模块300的任务规划单元301根据标注有目的地和航点的高精度地图规划全局任务，并将全局任务划分为多个子任务，其中包括关于货物提起的子动作任务、货物放下的子动作任务、由航点划分的多个路径段的子移动任务，并对子任务进行排序打包处理。
83.调度中心模块300的任务规划单元301划分子任务后，将排序打包处理后子任务发送给对应机械臂500的机械臂模型400中，使得机械臂500逐步执行子任务。
84.机械臂500在执行子任务的过程中，调度中心模块300根据每次机械臂500完成子
任务的情况赋予机械臂500相应的奖励信息，机械臂模型400在完成一个子任务获得的奖励信息为，其中，i为机械臂的编号，如1号机械臂完成一个子任务获得的奖励信息为，而当机械臂500完成k个子任务后，获得的奖励信息总和为，则机械臂500完成k+1个子任务时获得的奖励信息总和为：，即将原有的增加赋予为值。
85.另外，以机械臂500移动为例，一机械臂500在执行一个子任务中获得的奖励信息，其中，i为机械臂的编号，t为机械臂500移动的步进长度，且为正整数，可以是具体的机械臂500移动的距离，如t=10m，也可以是机械臂500一段移动距离的分割数量，如t=10段， t=0,1,2,3
……
t，为折现系数，为瞬时奖励值，且为机械臂500在位移过程中根据相对于状态空间的行动位姿而给定的动作奖励，即奖励信息为将步长t分割为多段后，根据每段行动位姿给定对应的瞬时奖励值，然后对求和所得；机械臂500为学习型机械臂，因此，在t移动范围内，机械臂500越往后的行动越能反映机械臂500的优劣性，故采用的t次方作为瞬时奖励值，并利用折现系数的t次方进行补偿计算。
86.此外，在别的实施例中，还可以增加阻碍惩罚，使得，其中，为惩罚值，如一个机械臂500在位移过程中出现运动停止或显著延迟，则赋予该机械臂500相应的惩罚值，根据机械臂500完成子任务的用时进行设定。
87.每个机械臂模型400具有各自的值，为便于对奖励信息总和进行比较，故对每个机械臂模型400的奖励信息的总和进行如下归一化处理：，其中，为该机械臂模型400奖励信息总和归一化处理后的奖励值，其中，为机械臂群体中的机械臂500均完成当前数量子任务时机械臂群体中取得最大奖励信息总和的机械臂模型400的奖励信息总和，为机械臂群体中的机械臂500均完成当前数量子任务时机械臂群体中取得最小奖励信息总和的机械臂模型400的奖励信息总和。
88.在对机械臂模型400的奖励信息总和进行均一化处理后，调度中心模块300根据该均一化处理后的数值给每个机械臂模型400设定相应的替换概率，其中，机械臂模型400的替换概率为，其中μ为进化参数，由用户预先设定，为当前获得奖励信息总和最大的机械臂模型400获得的奖励信息总和归一化处理后的奖励值，即有，则机械臂模型400的保持不变的概率为1
‑
，即机械臂500完成一个子任务时，对应机械臂模型400以的概率替换成当前获得奖励信息总和最大的机械臂模型400，并以1
‑
的概率保持不变，使得机械臂群体的机械臂模型400在实际进行作业过程
中持续性地实现优胜劣汰的进化，使移动机械臂群体中的机械臂模型400不断得到优化更新迭代。
89.具体地，本实施例中的综合显示模块700用于显示图像以配合脑电采集模块100进行脑电信号采集，显示图像包括用于采集脑电的提示刺激显示图像、用户意图选择的航点信息显示图像、机械臂500运动信息显示图像和高精度地图显示图像、安全监测信息显示图像、自检维修界面显示图像等。
90.具体地，调度中心模块300在进行全局任务规划的时候，将所有机械臂500视为一个系统以同时规划所有机械臂500的路径，其规划过程基于考虑每个移动机械臂500之间各种碰撞可能性以及最小化总的系统运行时间进行。
91.更具体地，该调度系统的调度中心模块300包括：全息感知单元302、高精地图单元303、智能编队单元305、slam单元304、任务规划单元301。
92.任务规划单元301用于划分子任务并将子任务赋予给机械臂模型400，并用于根据每个机械臂500完成子任务的情况赋予对应机械臂模型400相应的奖励信息，以及用于根据奖励信息赋予机械臂模型400一替换概率，以使机械臂模型400根据替换概率进行替换。
93.高精地图单元303用于建立高精度地图，便于任务规划单元301结合目的地信息、必经航点信息和高精度地图进行全局任务规划。
94.智能编队单元305用于对机械臂群体进行分组编队。智能编队单元305将编入一队的机械臂500分为领航者和跟随者这两个任务角色，其中一队里至少有一个领航者，担任跟随者的机械臂500会按照程序设定保持与领航者固定的相对距离和相对角度，利于机械臂500统筹规划控制。
95.全息感知单元302和slam单元304均用于实时获取地图数据以修正高精度地图。
96.此外，该调度系统还包括：安全监测模块800，用于实时监测调度场景和机械臂500调度过程。安全监测模块800创建与真实空间通信互联的数字空间，便于机械臂500和场景环境的监控。该调度系统通过在数字空间建立真实机械臂500和环境的物理模型，并利用传感器实时更新数据，实现与实际场景和移动机械臂500真实状态完全同步，用户可实时监控调度全过程，实时记录储存整个系统的信息数据，反馈移动机械臂500运动信息和异常状态信息，检测到异常状态时进行报警，该安全监测模块800通过综合显示模块700显示监控情况。
97.自检维修模块900，用于在机械臂群体完成任务过后，根据传感器数据和历史信息，及时分析评估机械臂500和场景环境的当前状态，判断是否需要维修，为下次调度任务做准备，该自检维修模块900通过综合显示模块700显示需要维修信息。
98.综上，本技术实施例提供了一种机械臂调度系统、方法、替换方法、装置、设备及介质，其中机械臂调度系统利用调度中心模块300根据用户规划信息规划多个子任务，并将对应的子任务分配给机械臂模型400，使机械臂模型400控制机械臂500进行作业运动，在机械臂500逐步完成子任务的过程中，调度中心模块300赋予机械臂模型400奖励信息，并使机械臂模型400根据奖励信息获得一替换概率，以使机械臂模型400根据替换概率进行替换，使得机械臂500能顺利完成相同或类似的作业运动时具有足够多的优秀样本驱使机械臂模型400逐步完善进化。
99.在本技术所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
100.另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
101.再者，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
102.在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
103.以上所述仅为本技术的实施例而已，并不用于限制本技术的保护范围，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。