大语言模型驱动的异构多机器人系统任务规划方法和设备与流程

本发明涉及机器人任务规划，尤其是涉及一种大语言模型驱动的异构多机器人系统任务规划方法和设备。

背景技术：

1、机器人任务规划将一个高层次的任务指令分解为能够由单个机器人通过单步操作完成的一系列短期子任务，已被证实是实现复杂长期机器人任务的关键要素。相比于单一机器人，多机器人系统因其内部机器人之间可以通过任务分解，分配和协同合作实现更加长期复杂的任务而更受到关注。在过去主流的机器人任务规划问题中，常见到的方法大致可分为基于经典逻辑的方法，基于学习的方法以及基于大语言模型(llms)的方法。基于经典逻辑的方法将问题抽象为某种规则式的语言(例如规划域描述语言，planning domaindescription language，简称pddl)，然后使用传统求解器获得子任务序列，但无法适用于开放的环境中。基于学习的方法想要获得大量、多样化以及高质量的机器人训练数据是十分困难的，成本也非常昂贵。近期，大语言模型表现出来的丰富的世界知识以及强大的推理能力，为机器人在通用环境中实现泛化提供了可能。而现在基于大语言模型的工作更多关注于单一机器人的控制与规划任务，以及少量同类型机器人的协作。对于异构多机器人系统，还未有专门研究采用大语言模型为机器人赋能的工作。

2、然而，现有技术存在如下问题：

3、(1)现有技术方法通常是针对单一机器人或者同构的多个机器人而设计，受限于单一的结构和功能，这些方法难以完成更加复杂的任务。

4、(2)现有技术方法大多通过单一大语言模型直接进行任务规划或者多个大语言模型进行轮流讨论，在复杂任务规划中容易出错。

5、当前缺少一种异构多机器人系统任务规划方法，以解决或部分解决前述问题。

技术实现思路

1、本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种大语言模型驱动的异构多机器人系统任务规划方法和设备，以改善面向异构多机器人系统的任务分配和调整过程。

2、本发明的目的可以通过以下技术方案来实现：

3、本发明的一个方面，提供了一种大语言模型驱动的异构多机器人系统任务规划方法，包括提议-执行-反馈-调整阶段，每个异构机器人内置有互不相同的第二大语言模型，其中，

4、提议阶段：将获取的任务信息、异构机器人能力信息、历史对话信息以及异构机器人环境信息并输入第一大语言模型中，通过任务分解得到至少一个子任务，生成子任务的提议文本并发送至能力匹配的至少一个异构机器人；

5、执行阶段：异构机器人基于提议文本和可执行动作信息，利用异构机器人内置的第二大语言模型，从可执行动作中选取与提议文本相匹配的动作，并进行动作可执行性验证，如果验证成功则异构机器人执行动作；

6、反馈阶段：对每个分配到提议文本的异构机器人，基于内置的第二大语言模型生成执行阶段的反馈信息；

7、调整阶段：基于所述反馈信息更新所述历史对话信息，并更新异构机器人环境信息，重新执行提议阶段。

8、作为优选的技术方案，所述历史对话信息包括历史的子任务提议文本、执行子任务的异构机器人信息以及反馈信息。

9、作为优选的技术方案，所述执行阶段中，可执行动作信息的获取过程包括：

10、针对每个分配到提议文本的异构机器人，基于自身的环境信息，利用内置的第二大语言模型，得到各自的可执行动作信息。

11、作为优选的技术方案，所述反馈阶段中，所述反馈信息的生成包括如下步骤：

12、如果动作可执行性验证成功，获取成功执行的结果作为反馈信息；

13、如果动作可执行性校验失败，获取失败原因作为反馈信息。

14、作为优选的技术方案，所述成功执行的结果包括子任务中已完成的动作和待完成的动作。

15、作为优选的技术方案，所述调整阶段中，还包括：

16、基于更新后的异构机器人环境信息和对话历史信息，更新第一大语言模型的层次提示词。

17、作为优选的技术方案，所述环境信息包括异构机器人所在环境的图像。

18、作为优选的技术方案，所述任务信息包括任务背景和目标。

19、本发明的另一个方面，提供了一种电子设备，包括：一个或多个处理器以及存储器，所述存储器内储存有一个或多个程序，所述一个或多个程序包括用于执行前述大语言模型驱动的异构多机器人系统任务规划方法的指令。

20、本发明的另一个方面，提供了一种计算机可读存储介质，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行前述大语言模型驱动的异构多机器人系统任务规划方法的指令。

21、与现有技术相比，本发明至少具有以下有益效果之一：

22、(1)改善面向异构多机器人系统的任务分配和调整过程：本发明使用大语言模型解决异构多机器人系统的任务规划问题，提供了一种提议-执行-反馈-调整(pefa)循环机制，通过在任务分配和机器人执行之间不断地循环来促进任务的合理分配与及时调整，对于不同类型的任务和场景具有很好的泛化性，并在仿真环境和真实世界中都进行了验证。

23、(2)保证任务的连贯和执行高效性：本发明采用任务分配-机器人执行的两阶段分别用于实现任务分解分配和动作的执行，从而保证了整体任务的连贯性与执行的高效性，反馈-调整机制的设计用于保证在任务分配与执行出现问题时进行及时的改进。

24、(3)执行成功率高：任务分配者内置有任务分配者大语言模型用于任务规划，每个机器人(或智能体)也各自配有一个大语言模型，这些单独的大模型作为执行器，它们拥有各自的可执行动作，负责具体选择可执行的动作、总结执行结果并进行反馈。分配者的大模型再根据反馈结果自己进行规划调整。通过采用这样的配置结构具有更高的效率和成功率。

技术特征：

1.一种大语言模型驱动的异构多机器人系统任务规划方法，其特征在于，包括提议-执行-反馈-调整阶段，每个异构机器人内置有互不相同的第二大语言模型，其中，

2.根据权利要求1所述的一种大语言模型驱动的异构多机器人系统任务规划方法，其特征在于，所述历史对话信息包括历史的子任务提议文本、执行子任务的异构机器人信息以及反馈信息。

3.根据权利要求1所述的一种大语言模型驱动的异构多机器人系统任务规划方法，其特征在于，所述执行阶段中，可执行动作信息的获取过程包括：

4.根据权利要求1所述的一种大语言模型驱动的异构多机器人系统任务规划方法，其特征在于，所述反馈阶段中，所述反馈信息的生成包括如下步骤：

5.根据权利要求4所述的一种大语言模型驱动的异构多机器人系统任务规划方法，其特征在于，所述成功执行的结果包括子任务中已完成的动作和待完成的动作。

6.根据权利要求1所述的一种大语言模型驱动的异构多机器人系统任务规划方法，其特征在于，所述调整阶段中，还包括：

7.根据权利要求1所述的一种大语言模型驱动的异构多机器人系统任务规划方法，其特征在于，所述环境信息包括异构机器人所在环境的图像。

8.根据权利要求1所述的一种大语言模型驱动的异构多机器人系统任务规划方法，其特征在于，所述任务信息包括任务背景和目标。

9.一种电子设备，其特征在于，包括：一个或多个处理器以及存储器，所述存储器内储存有一个或多个程序，所述一个或多个程序包括用于执行如权利要求1-8任一所述大语言模型驱动的异构多机器人系统任务规划方法的指令。

10.一种计算机可读存储介质，其特征在于，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行如权利要求1-8任一所述大语言模型驱动的异构多机器人系统任务规划方法的指令。

技术总结
本发明涉及一种大语言模型驱动的异构多机器人系统任务规划方法和设备，使用大语言模型解决异构多机器人系统的任务规划问题，提供了一种提议‑执行‑反馈‑调整(PEFA)循环机制，通过在任务分配和机器人执行之间不断地循环来促进任务的合理分配与及时调整，对于不同类型的任务和场景具有很好的泛化性，并在仿真环境和真实世界中都进行了验证。与现有技术相比，本发明通过采用任务分配‑机器人执行的两阶段分别用于实现任务分解分配和动作的执行，从而保证了整体任务的连贯性与执行的高效性，通过采用反馈‑调整机制的设计保证在任务分配与执行出现问题时进行及时的改进。

技术研发人员：王之港,赵斌,刘坷卉,李学龙
受保护的技术使用者：上海人工智能创新中心
技术研发日：
技术公布日：2024/9/2