移动机器人控制方法、系统、移动机器人、云端及介质与流程

本申请涉及移动机器人，尤其涉及一种移动机器人控制方法、系统、移动机器人、云端及介质。

背景技术：

1、随着计算机技术、传感器技术和仿生学技术的不断发展，移动机器人的应用越来越广泛，例如，应用在迎宾接待、引导讲解、群舞演绎、业务办理、养老陪伴、教学科研等多种应用场景。对移动机器人来说，其很重要的一个性能是物体抓取性能。目前，较为常规的物体抓取方式是：通过移动机器人上的摄像头采集移动机器人前方环境的rgb图像数据，将rgb图像数据输入至部署在移动机器人本地的机器学习模型中，以由机器学习模型输出一系列的移动机器人的机械臂上的抓取部的最佳抓取位置和最佳抓取姿态，根据机器学习模型的输出结果控制机械臂的抓取部到达最佳抓取位置，并以最佳抓取姿态抓取目标物体。然而，这种端到端(end to end)物体抓取方案的结果不可控，难以在一堆物体中确认唯一抓取物，只能抓而不能定向抓，移动机器人的物体抓取性能较差。

技术实现思路

1、本申请的多个方面提供一种移动机器人控制方法、系统、移动机器人、云端及介质，用以提高移动机器人的作业性能。

2、本申请实施例提供一种移动机器人控制方法，应用于移动机器人，该方法包括：响应于接收到的针对目标物体的操作指令，每隔第一时间间隔，获取采集数据，以及将当前获取的采集数据发送给云端以使云端基于采集数据确定云端感知结果，云端感知结果包括移动机器人前方环境中的多个实例对象的对象信息；每隔第二时间间隔，获取对前方环境进行图像采集得到的rgb图像数据，以及若在上一次目标跟踪后且执行本次跟踪之前接收到云端返回的云端感知结果，则根据云端感知结果对当前获取到的rgb图像数据进行本次目标跟踪，得到本次目标跟踪的多个实例对象的对象信息，其中，第二时间间隔小于第一时间间隔；根据本次目标跟踪的多个实例对象的对象信息，控制移动机器人执行操作指令对应的作业任务。

3、本申请实施例还提供一种移动机器人控制方法，应用于云端，该方法包括：接收移动机器人每隔第一时间间隔发送的当前获取到的采集数据；根据采集数据确定云端感知结果；向移动机器人返回云端感知结果。

4、本申请实施例还提供一种移动机器人控制系统，包括：移动机器人和云端；移动机器人，用于执行移动机器人控制方法中的步骤；云端，用于执行移动机器人控制方法中的步骤。

5、本申请实施例还提供一种移动机器人，包括：存储器和处理器；存储器，用于存储计算机程序；处理器耦合至存储器，用于执行计算机程序以用于执行移动机器人控制方法中的步骤。

6、本申请实施例还提供一种云端，包括：存储器和处理器；存储器，用于存储计算机程序；处理器耦合至存储器，用于执行计算机程序以用于执行移动机器人控制方法中的步骤。

7、本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，当计算机程序被处理器执行时，致使处理器能够实现移动机器人控制方法中的步骤。

技术特征：

1.一种移动机器人控制方法，其特征在于，应用于移动机器人，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，还包括：

3.一种移动机器人控制方法，其特征在于，应用于云端，所述方法包括：

4.根据权利要求3所述的方法，其特征在于，所述采集数据包括：所述移动机器人前方环境的rgb图像数据和深度图像数据、相机内参和惯性测量单元imu数据；相应地，所述根据所述采集数据确定云端感知结果包括：

5.根据权利要求4所述的方法，其特征在于，根据所述深度图像数据、所述相机内参和所述imu数据，确定每个实例对象在世界坐标系下的三维点云信息，包括：

6.根据权利要求5所述的方法，其特征在于，确定所述承载面在世界坐标系下的三维点云数据后，还包括：

7.根据权利要求6所述的方法，其特征在于，确定所述物体在世界坐标系下的三维点云数据后，还包括：

8.根据权利要求3至7任一项所述的方法，其特征在于，所述特征提取网络包括依次连接的视觉特征提取模块和分类模块；所述特征提取网络的获取方式为：

9.根据权利要求8所述的方法，其特征在于，根据多个实例对象的视觉特征、预测对象类别和标注的对象类别，调整初始特征提取网络的网络参数，得到特征提取网络，包括：

10.一种移动机器人控制系统，其特征在于，包括：移动机器人和云端；

11.一种移动机器人，其特征在于，包括：存储器和处理器；所述存储器，用于存储计算机程序；所述处理器耦合至所述存储器，用于执行所述计算机程序以用于执行权利要求1-2任一项所述方法中的步骤。

12.一种云端，其特征在于，包括：存储器和处理器；所述存储器，用于存储计算机程序；所述处理器耦合至所述存储器，用于执行所述计算机程序以用于执行权利要求3-9任一项所述方法中的步骤。

13.一种存储有计算机程序的计算机可读存储介质，其特征在于，当所述计算机程序被处理器执行时，致使所述处理器能够实现权利要求1-9任一项所述方法中的步骤。

技术总结
本申请实施例提供一种移动机器人控制方法、系统、移动机器人、云端及介质。在本申请实施例中，采用云端和边缘端的协同计算架构进行移动机器人控制，在移动机器人执行作业任务过程中，低频触发云端处理移动机器人当前获取到的采集数据以获取云端感知结果，高频触发移动机器人结合云端感知结果进行目标跟踪，并基于目标跟踪到的各个实例对象的对象信息控制移动机器人执行作业任务。由此，移动机器人可以灵活应对各种作业任务，有效提高作业效率和完成作业任务的成功率，有效提升了移动机器人的作业性能。特别是，在作业任务为物体抓取任务时，能够有效提高物体抓取效率和物体抓取成功率，有效提升了移动机器人的物体抓取性能。

技术研发人员：刘亦芃,周明才
受保护的技术使用者：达闼机器人股份有限公司
技术研发日：
技术公布日：2024/1/15