基于跨媒体连续学习的机器人多场景路径规划方法及系统

本发明涉及路径规划，尤其涉及一种基于跨媒体连续学习的机器人多场景路径规划方法及系统。

背景技术：

1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

2、移动机器人是机器人技术研究领域中最重要的分支之一。移动机器人需要具备自主导航和避障能力，它们可以自主完成从一个点到另一个点的导航任务，也可以在沿着设定路径行驶的同时进行避障。早期的移动机器人通常在地形平整的室内环境中使用，例如willow garage实验室开发的turtlebot，它是一个典型的室内移动机器人研发平台；机器人操作系统ros中的movebase同样是一个应用非常广泛且成熟的室内机器人导航框架。近些年来，随着通信技术和人工智能的发展，无人驾驶成为了学术界和工业界研究的热点，并已经形成了比较成熟的技术方案，例如百度提出的apollo和名古屋大学kato等人提出的autoware为代表的无人驾驶框架。

3、移动机器人的应用场景非常广泛，例如家庭、工厂、仓库、医院、农业、交通、探测、救援等。为了适应这些复杂多变的环境，移动机器人需要具备强大的感知能力，能够获取并理解周围的信息，从而作出合理的决策和行为。在移动机器人感知过程中，基于跨媒体的路径规划方法是指利用多种类型的传感器来获取不同的信息作为系统输入，并由导航策略模块输出决策和控制轨迹。跨媒体感知可以提高移动机器人的感知效果和鲁棒性。这是因为跨媒体感知可以提供更丰富的和更完整的信息，单一媒体的感知可能会收到噪声、遮挡、光照等因素的影响，导致信息不准确或不完整。跨媒体感知就可以通过融合不同传感器的数据，补充和增强信息的质量。例如，视觉传感器可以提供颜色、形状、纹理等信息，而激光雷达可以提供距离、深度等信息。将这些信息结合起来，可以得到更详细和更精准的场景描述。

4、不仅如此，跨媒体感知可以提高移动机器人在路径规划时的适应性和灵活性。不同的环境和任务可能需要不同的感知方式和策略。单一模态的感知可能会受到某些特定条件的限制，导致无法正常工作。跨媒体感知可以通过选择合适的传感器组合和切换方式，适应不同的情况和需求，从而提升机器人在不同任务场景下的路径规划表现。

5、然而，不同任务场景之间往往差异巨大，这就导致在单一任务场景中训练得到的跨媒体感知模型在其他场景中表现较差，进而也容易造成移动机器人路径规划的失败。而同时采集不同场景的数据联合训练，又会导致高昂的模型训练及部署成本。

技术实现思路

1、针对现有技术存在的不足，本发明的目的是提供一种基于跨媒体连续学习的机器人多场景路径规划方法及系统，采用连续学习技术来提升基于跨媒体的路径规划方法在不同任务场景下的适应能力，在变化的环境中连续地学习和更新，同时保留场景中习得的知识，避免灾难性遗忘。

2、为了实现上述目的，本发明是通过如下的技术方案来实现：

3、本发明第一方面提供了一种基于跨媒体连续学习的机器人多场景路径规划方法，包括以下步骤：

4、根据任务需求搭建多场景的任务环境；

5、获取场景的图像和激光点云数据，并构建跨媒体感知模型；

6、利用跨媒体感知模型进行多任务的训练和连续学习，得到中间特征，其中，训练过程中利用自注意力机制融合图像和激光点云数据的特征；

7、利用中间特征训练路径规划策略网络，得到路径规划策略，其中，利用强化学习的方式对路径规划策略网络进行优化。

8、进一步的，跨媒体感知模型包括两个特征提取分支及一个跨媒体自注意力机制模块，并经跨媒体自注意力模块后输出中间特征，中间特征将包含两种数据模态的信息，从而完成跨媒体信息融合。

9、进一步的，利用融合的特征进行多任务的训练和连续学习过程中，为提高跨媒体感知模型的连续学习能力，将在第n个任务场景的任务训练中，随机从之前的n-1个场景中抽取固定比例的数据作为记忆回放，以避免模型产生灾难性遗忘。

10、进一步的，利用自注意力机制融合图像和激光点云数据的特征的具体步骤为：

11、利用图像特征提取分支与激光点云特征提取分支分别对图像和激光点云数据进行特征提取，获得特征图；

12、特征图通过平均池化后经过全连接层进行拼接，使来自图像和雷达特征向量通过逐元素求和相结合，完成跨媒体信息融合，得到中间特征。

13、进一步的，多任务训练包括语义地图分割任务和目标检测任务。

14、进一步的，利用中间特征训练路径规划策略网络的具体步骤为：

15、在使用连续学习完成跨媒体感知模型的训练后，跨媒体感知模型会习得在不同场景下的空间表征能力，然后冻结跨媒体感知模型的权重，利用跨媒体感知模型所提取的中间特征训练路径规划策略网络。

16、更进一步的，移动机器人从环境中获取环境状态观测信息，然后输入到冻结权重的跨媒体感知模型从而得到当前的中间特征，将当前的中间特征作为训练后路径规划策略网络的输入，并由路径规划策略网络输出动作，得到路径规划策略。

17、本发明第二方面提供了一种基于跨媒体连续学习的机器人多场景路径规划系统，包括：

18、场景搭建模块，被配置为根据任务需求搭建多场景的任务环境；

19、模型构建模块，被配置为获取场景的图像和激光点云数据，并构建跨媒体感知模型；

20、连续学习模块，被配置为利用跨媒体感知模型进行多任务的训练和连续学习，得到中间特征，其中，训练过程中利用自注意力机制融合图像和激光点云数据的特征；

21、路径规划模块，被配置为利用中间特征训练路径规划策略网络，得到路径规划策略，其中，利用强化学习的方式对路径规划策略网络进行优化。

22、本发明第三方面提供了一种介质，其上存储有程序，该程序被处理器执行时实现如本发明第一方面所述的基于跨媒体连续学习的机器人多场景路径规划方法中的步骤。

23、本发明第四方面提供了一种设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明第一方面所述的基于跨媒体连续学习的机器人多场景路径规划方法中的步骤。

24、以上一个或多个技术方案存在以下有益效果：

25、本发明公开了一种基于跨媒体连续学习的机器人多场景路径规划方法及系统，通过多任务场景之间的记忆回放来提升跨媒体感知模型对环境的连续学习能力；然后，利用已经习得多场景感知的中间特征输入路径规划模型，通过强化学习来训练移动机器人实现在不同场景完成灵活、安全、可靠的路径规划任务。

26、本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

技术特征：

1.基于跨媒体连续学习的机器人多场景路径规划方法，其特征在于，包括以下步骤：

2.如权利要求1所述的基于跨媒体连续学习的机器人多场景路径规划方法，其特征在于，跨媒体感知模型包括两个特征提取分支及一个跨媒体自注意力机制模块，并经跨媒体自注意力模块后输出中间特征，中间特征将包含两种数据模态的信息，从而完成跨媒体信息融合。

3.如权利要求1所述的基于跨媒体连续学习的机器人多场景路径规划方法，其特征在于，利用融合的特征进行多任务的训练和连续学习过程中，为提高跨媒体感知模型的连续学习能力，将在第n个任务场景的任务训练中，随机从之前的n-1个场景中抽取固定比例的数据作为记忆回放，以避免模型产生灾难性遗忘。

4.如权利要求1所述的基于跨媒体连续学习的机器人多场景路径规划方法，其特征在于，利用自注意力机制融合图像和激光点云数据的特征的具体步骤为：

5.如权利要求1所述的基于跨媒体连续学习的机器人多场景路径规划方法，其特征在于，多任务训练包括语义地图分割任务和目标检测任务。

6.如权利要求1所述的基于跨媒体连续学习的机器人多场景路径规划方法，其特征在于，利用中间特征训练路径规划策略网络的具体步骤为：

7.如权利要求6所述的基于跨媒体连续学习的机器人多场景路径规划方法，其特征在于，移动机器人从环境中获取环境状态观测信息，然后输入到冻结权重的跨媒体感知模型从而得到当前的中间特征，将当前的中间特征作为训练后路径规划策略网络的输入，并由路径规划策略网络输出动作，得到路径规划策略。

8.一种基于跨媒体连续学习的机器人多场景路径规划系统，其特征在于，包括：

9.一种计算机可读存储介质，其特征在于，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行权利要求1-7中任一项所述的基于跨媒体连续学习的机器人多场景路径规划方法。

10.一种终端设备，其特征在于，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行权利要求1-7中任一项所述的基于跨媒体连续学习的机器人多场景路径规划方法。

技术总结
本发明公开了一种基于跨媒体连续学习的机器人多场景路径规划方法及系统，涉及路径规划技术领域。该方法包括步骤：根据任务需求搭建多场景的任务环境；获取场景的图像和激光点云数据，并构建跨媒体感知模型；利用跨媒体感知模型进行多任务的训练和连续学习，得到中间特征，利用中间特征训练路径规划策略网络，得到路径规划策略。本发明能够训练移动机器人实现在不同场景完成灵活、安全、可靠的路径规划任务。

技术研发人员：张伟,赵越男,李晓磊,杨志强,李腾,李睿童,谢寅铎,许筱毓
受保护的技术使用者：山东大学
技术研发日：
技术公布日：2024/3/4