多感知融合智能找桩对桩策略、存储介质及电子设备的制作方法

本发明涉及机器人，尤其涉及多感知融合智能找桩对桩策略、存储介质及电子设备。

背景技术：

1、随着机器人技术的发展，机器人正逐步替代部分人工的工作，机器人应用的场景越来越多。目前，已将机器人广泛应用于餐厅、酒店、医院、政府机构等场景中,提供卫生清洁、配送、引导、指引等服务。现有机器人通常配备充电电池，采用自主充电的方式，以减少人工干预。当机器人处于空闲状态或电池电量值小于或等于一定的电量阀值时，机器人获取充电桩的位置信息，根据机器人的当前位置和充电桩所处位置进行找桩对桩充电。目前机器人找桩对桩充电策略主要根据机器人定位和充电桩所在点位直接下发目标点，主要依赖机器人自身的定位算法，以使机器人直接从当前位置通过规控算法自动运行至充电桩所在的点位，达到对桩充电的目的。由于其找桩策略需要完全依赖于机器人自身的定位，而在现有的定位算法上很难满足机器人的定位不发生一定程度上的偏差。

2、参见申请公布号cn114296467 a的一种机器人充电桩自动找桩对桩的方法，机器人通过激光雷达获得周边环境的场景特征的激光数据；将采集的激光数据转换成点云数据，并将点云数据与充电桩的外形轮廓的特征点云数据进行匹配，得到充电桩的第一相对位姿；机器人运行至正对充电桩的预设距离位置；机器人通过激光雷达获取充电桩的各个特征边的尺寸值；根据充电桩的各个特征边的尺寸值得到充电桩中心点相对于机器人的第二相对位姿；规划对桩路径；机器人根据对桩路径与充电桩进行对桩。上述技术方案通过激光雷达所打出的点云特征对机器人的位姿进行控制，以使机器人到达充电桩正中心后直接进行直行，达到对桩充电的目的。虽然从算法程度上极大程度的抛开了定位所带来的偏差。但是由于环境复杂程度略高，单纯依靠激光雷达识别的算法可能带来误识别的情况，以致无法机器人无法精确找桩对桩。与此同时，针对后续一机多桩的找桩策略，无法获取某个充电桩的唯一性。

技术实现思路

1、为此，需要提供多感知融合智能找桩对桩策略，解决因误识别以致无法机器人无法精确找桩对桩问题。

2、为实现上述目的，本发明提供了多感知融合智能找桩对桩策略，其包括以下步骤：

3、机器人的摄像头采集充电桩的图像；

4、利用充电桩关键点检测模型对图像进行检测，获得图像中充电桩的四个角像素坐标，并通过四个角像素坐标计算充电桩的中心点像素坐标；

5、根据充电桩的四个角像素坐标、中心点像素坐标和摄像头内参，获得充电桩相对摄像头位置的偏航角yaw和俯仰角pitch以及充电桩和机器人之间的距离，并通过三角坐标系法则计算充电桩与机器人的横向距离；

6、根据充电桩与机器人的横向距离，控制机器人平移相应的距离以使机器人到达充电桩中心点；

7、调整机器人的位姿，以使机器人的充电口朝向充电桩；

8、机器人向充电桩直行进行对桩，直至接收充电信号。

9、进一步地，在所述利用充电桩关键点检测模型对图像进行检测，获得充电桩的四个角像素坐标，并通过四个角像素坐标计算充电桩的中心点像素坐标的步骤中，所述充电桩关键点检测模型为预训练的深度学习网络模型。

10、进一步地，所述充电桩关键点检测模型的训练包括以下步骤：

11、采集充电桩图像样本；

12、对充电桩图像样本进行充电桩四个角进行标注，并将其结果作为训练数据的标签；

13、建立深度学习网络模型，使用充电桩图像样本作为训练数据对深度学习网络模型进行训练；定义损失函数，通过反向传播更新学习网络模型参数，获得充电桩关键点检测模型。

14、进一步地，所述深度学习网络模型为yolov5模型或基于yolov5模型改进的模型。

15、进一步地，所述基于yolov5模型改进的模型包括将网络头部focus层替换为6*6卷积层。

16、进一步地，所述基于yolov5模型改进的模型包括将backbone网络替换为shufflenetv2网络。

17、进一步地，所述损失函数为wing loss与yolov5原有的损失函数的结合。

18、进一步地，所述机器人向充电桩直行进行对桩，直至接收充电信号的步骤时，还包括识别充电桩的编码信息。

19、存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的多感知融合智能找桩对桩策略的步骤。

20、电子设备，其包括存储器、处理器，所述存储器上存储有计算机程序，所述计算机程序被处理器执行时实现上述的多感知融合智能找桩对桩策略的步骤。

21、区别于现有技术，上述技术方案采用预训练的视觉深度学习模型检测充电桩的四个角的特征点，能够区分充电桩与形状相似的物体，可以有效剔除环境中形状与充电桩类似的物体的干扰，有效避免误识别的情况，提高检测的准确性，即使在复杂环境中也能准确定位，减少误差，增强鲁棒性；再根据摄像头内参获得充电桩相对摄像头位置，以控制机器人到充电桩正前方，通过调整机器人的位姿，使机器人的充电口朝向充电桩，并向充电桩直行进行对桩，直至接收充电信号，实现机器人精确找桩对桩。

技术特征：

1.多感知融合智能找桩对桩策略，其特征在于，包括以下步骤：

2.根据权利要求1所述的多感知融合智能找桩对桩策略，其特征在于，在所述利用充电桩关键点检测模型对图像进行检测，获得充电桩的四个角像素坐标，并通过四个角像素坐标计算充电桩的中心点像素坐标的步骤中，所述充电桩关键点检测模型为预训练的深度学习网络模型。

3.根据权利要求2所述的多感知融合智能找桩对桩策略，其特征在于，所述充电桩关键点检测模型的训练包括以下步骤：

4.根据权利要求3所述的多感知融合智能找桩对桩策略，其特征在于，所述深度学习网络模型为yolov5模型或基于yolov5模型改进的模型。

5.根据权利要求4所述的多感知融合智能找桩对桩策略，其特征在于，所述基于yolov5模型改进的模型包括将网络头部focus层替换为6*6卷积层。

6.根据权利要求4所述的多感知融合智能找桩对桩策略，其特征在于，所述基于yolov5模型改进的模型包括将backbone网络替换为shufflenetv2网络。

7.根据权利要求4所述的多感知融合智能找桩对桩策略，其特征在于，所述损失函数为wing loss与yolov5原有的损失函数的结合。

8.根据权利要求1所述的多感知融合智能找桩对桩策略，其特征在于，所述机器人向充电桩直行进行对桩，直至接收充电信号的步骤时，还包括识别充电桩的编码信息。

9.存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-8任意一项所述的多感知融合智能找桩对桩策略的步骤。

10.电子设备，其特征在于，包括存储器、处理器，所述存储器上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-8任意一项所述的多感知融合智能找桩对桩策略的步骤。

技术总结
本发明公开多感知融合智能找桩对桩策略、存储介质及电子设备，其包括以下步骤：机器人的摄像头采集充电桩的图像；利用充电桩关键点检测模型对图像进行检测，获得图像中充电桩的四个角像素坐标，并计算充电桩的中心点像素坐标；获得充电桩相对摄像头位置的偏航角和俯仰角以及充电桩和机器人之间的距离，并计算充电桩与机器人的横向距离；根据充电桩与机器人的横向距离，控制机器人平移相应的距离以使机器人到达充电桩中心点；调整机器人的位姿，以使机器人的充电口朝向充电桩；机器人向充电桩直行进行对桩，直至接收充电信号；上述技术方案能够有效剔除环境中与充电桩类似的物体干扰，有效避免误识别情况，提高检测的准确性。

技术研发人员：陈俊杰,邹慧云,陈华聪,戴俊源,田健,林毅,肖建辉,刘威,陈文强
受保护的技术使用者：福建汉特云智能科技有限公司
技术研发日：
技术公布日：2025/2/13