一种具身机器人任务规划方法、系统、控制器及具身机器人与流程

本技术涉及具身智能，尤其涉及一种具身机器人任务规划方法、系统、控制器及具身机器人。

背景技术：

1、随着科技的发展，具身机器人出现在人们生活的不同场景中，不同场景中的具身机器人基于用户下发的任务指令执行相应的任务，从而服务于用户。在用户下发任务指令后，具身机器人的控制器接收任务指令，并利用大模型对任务指令进行推理分析，从而为具身机器人制定相应的任务规划。而相关技术中，根据任务规划控制具身机器人执行任务时的灵活性仍有待提高。

技术实现思路

1、本技术提供一种具身机器人任务规划方法、系统、控制器及具身机器人，其根据层级场景图对具身机器人的任务指令进行任务规划，解决了相关技术中进行任务规划时缺乏对实际环境的实时感知能力的技术问题，从而能够根据实际环境对任务规划进行调整，提高具身机器人完成任务指令的效果。

2、为了达到上述目的，本技术采用的主要技术方案包括：

3、第一方面，本技术实施例提供一种具身机器人任务规划方法，所述方法包括：

4、基于预先构建的层级场景图和任务知识库，对所述具身机器人的任务指令进行任务解耦和规划，得到包含多个子任务的初步任务规划；其中，所述子任务对应有在所述层级场景图中的初步执行对象，所述初步执行对象为在执行所述任务指令过程中所述具身机器人需要到达的物体或位置；

5、根据所述初步任务规划控制所述具身机器人执行所述多个子任务，并反馈所述多个子任务的初步执行结果；

6、在所述初步执行结果表示所述具身机器人完成所述初步任务规划但未完成所述任务指令的情况下，判断所述层级场景图中是否存在候补执行对象；其中，所述候补执行对象是能够替代所述初步执行对象的物体或位置；

7、在所述层级场景图中存在所述候补执行对象的情况下，根据所述候补执行对象进行动态规划调整，得到调整任务规划，以控制所述具身机器人完成所述任务指令。

8、本技术实施例提出的具身机器人任务规划方法，利用预先构建的层级场景图和任务知识库对具身机器人进行任务规划，得到初步任务规划，并根据初步任务规划中子任务的执行结果进行推理，判断是否可对初步任务规划进行调整。本方法通过对具身机器人所处场景构建层级场景图，提高了具身机器人对实际环境的掌握能力，从而提高了具身机器人在复杂环境下的执行表现。此外，与相关技术中依赖初步任务规划的技术方案相比，本方法还通过初步任务规划中子任务的执行结果和层级场景图进行推理，从而能够根据实际场景中的环境变化对初步任务规划进行调整，提高了具身机器人对实际环境变化的响应能力，提高了具身机器人执行任务时的灵活性。

9、可选地，所述基于预先构建的层级场景图和任务知识库，对所述具身机器人的任务指令进行任务解耦和规划，得到包含多个子任务的初步任务规划，包括：

10、利用大模型对所述任务指令进行任务解耦和对象识别，得到所述任务指令中的目标对象和执行范围；其中，所述执行范围为所述具身机器人执行所述任务指令的空间范围；

11、根据所述目标对象、所述执行范围和所述任务知识库，在所述层级场景图中进行对象筛选，得到所述初步执行对象；

12、根据所述目标对象和所述初步执行对象进行任务规划，得到所述多个子任务，并制定所述初步任务规划。

13、可选地，所述根据所述目标对象、所述执行范围和所述任务知识库，在所述层级场景图中进行对象筛选，得到所述初步执行对象，包括：

14、确定所述目标对象在所述层级场景图中所处的目标层级；

15、在所述层级场景图中所述目标层级的上一层级上，确定所述执行范围内存在的多个候选执行对象；

16、根据所述任务知识库对所述多个候选执行对象与所述目标对象进行逐一关联分析，从所述多个候选执行对象中确定满足关联性条件的所述初步执行对象。

17、可选地，根据以下方式得到所述层级场景图：

18、对所述具身机器人所处场景进行图像采集，得到多张场景图像；

19、利用大模型对所述多张场景图像进行图像描述，得到描述结果；

20、基于所述任务知识库，根据所述描述结果对所述具身机器人所处场景中的物体或位置进行层次分级，确定各物体或位置对应的场景层级；

21、根据各物体或位置之间的相关性以及对应的场景层级构建场景图结构，得到所述层级场景图。

22、可选地，所述具身机器人具备多种预设任务工具；所述根据所述目标对象和所述初步执行对象进行任务规划，得到所述多个子任务，并制定所述初步任务规划，包括：

23、根据所述目标对象、所述初步执行对象和所述任务指令，从所述预设任务工具中确定对应的第一任务工具，以生成第一子任务；

24、利用大模型和所述任务知识库对所述第一子任务进行任务解析，从所述预设任务工具中确定第二任务工具，以生成第二子任务；

25、按照执行顺序将所述第二子任务关联至所述第一子任务，得到所述初步任务规划。

26、可选地，所述判断所述层级场景图中是否存在候补执行对象，包括：

27、根据所述初步执行对象在所述层级场景图中所处的层级和所述任务指令的执行范围，从所述层级场景图中确定待确定执行对象；

28、利用大模型，根据所述任务知识库对所述待确定执行对象进行关联分析，判断所述层级场景图中是否存在所述候补执行对象；其中，所述候补执行对象与所述任务指令中目标对象的关联性弱于所述初步执行对象与所述目标对象的关联性。

29、可选地，所述方法还包括：

30、根据所述调整任务规划，控制所述具身机器人执行所述调整任务规划中的子任务，并反馈调整执行结果；

31、在所述调整执行结果表示所述具身机器人完成所述调整任务规划但依旧未完成所述任务指令的情况下，再次执行上述的动态规划调整过程，得到新的调整任务规划，作为调整任务规划，以重复控制所述具身机器人执行相应的子任务直至满足任务指令结束条件。

32、第二方面，本技术实施例提供一种具身机器人任务规划系统，其特征在于，所述系统包括：

33、初步任务规划模块，用于基于预先构建的层级场景图和任务知识库，对所述具身机器人的任务指令进行任务解耦和规划，得到包含多个子任务的初步任务规划；其中，所述子任务对应有在所述层级场景图中的初步执行对象，所述初步执行对象为在执行所述任务指令过程中所述具身机器人需要到达的物体或位置；

34、初步任务执行模块，用于根据所述初步任务规划控制所述具身机器人执行所述多个子任务，并反馈所述多个子任务的初步执行结果；

35、动态规划调整模块，用于在所述初步执行结果表示所述具身机器人完成所述初步任务规划但未完成所述任务指令的情况下，判断所述层级场景图中是否存在候补执行对象；其中，所述候补执行对象是能够替代所述初步执行对象的物体或位置；

36、任务规划调整模块，用于在所述层级场景图中存在所述候补执行对象的情况下，根据所述候补执行对象进行动态规划调整，得到调整任务规划，以控制所述具身机器人完成所述任务指令。

37、第三方面，本技术实施例提供一种控制器，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行上述实施例中任一项所述的方法。

38、第四方面，本技术实施例提供一种具身机器人，包括上述实施例中任一项所述的控制器。

39、第五方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机指令，所述计算机指令用于使计算机执行上述实施例中任一项所述的方法。

40、第六方面，本技术实施例提供一种计算机程序产品，包括计算机指令，所述计算机指令用于使计算机执行上述实施例中任一项所述的方法。