多模态移动分拣机器人的导航方法及分拣系统与流程

本发明涉及机器人导航，具体为多模态移动分拣机器人的导航方法及分拣系统。

背景技术：

1、分拣机器人是现代物流仓储系统中不可或缺的高效自动化设备，它通过集成先进的传感器技术、精密的机械结构和智能控制系统，能够实现对货物的快速识别、精准抓取与高效分拣，显著提升了仓储运作的效率和准确性，是推动物流行业向智能化、自动化转型的重要力量。

2、分拣机器人的多模态导航还融合了摄像头、红外线传感器、激光雷达等多种高精度传感器，以及先进的信息融合和路径规划算法。通过实时捕捉并处理周围环境的多维度信息，该技术使分拣机器人能够在复杂多变的场景中实现精确导航，有效避开障碍物，并规划出最优分拣路径。这一技术的应用极大地提升了物流、仓储和制造业等领域的分拣效率与准确性，为自动化、智能化生产提供了强有力的技术支持。

3、申请公布号为cn116295434a的中国发明专利中，公开了一种基于视觉识别的导航机器人导航方法，包括导航机器人，所述导航机器人配置有成像仪，所述方法包括成像、建模、标记障碍点、排除障碍物、路径规划和运行路径；通过导航机器人的成像图片建立空间坐标系，并同时对成像图片中的障碍物建立坐标进行排除，根据空间坐标系剩余坐标位置规划多种路径方案，结合导航机器人参数数据选择最优的路径方案进行实际的导航。

4、结合以上申请及现有技术中的内容：

5、在使用分拣机器人对物品进行分拣前，需要对待分拣物品进行识别，例如，确定待分拣物品的位置数据、类别信息及分拣需求等，并对机器人进行导航，现有的识别方法通常是基于机器视觉，例如，采集待分拣物品的图像数据后，对图像数据进行检测和识别，提取待分拣物品的相关信息，依据相关信息对待分拣物品进行分拣。

6、但现有的分拣机器人在基于视觉对进行导航时，对图像质量数据通常要求较高，低质量的图像数据会对后续的图像检测和识别造成影响，例如，难以准确地识别出图像中的待分拣物品，在分拣区域的光线条件难以一直维持在较高的条件时，例如，在分拣区域内经常出现阴影，分拣机器人及图像采集装置的光线条件经常产生较大波动时，成像质量难以得到保障，此时，若仍只依据机器视觉，对待分拣物品进行识别和定位的可靠性就会受到一定程度的影响，进而影响分拣效率。

7、为此，本发明提供了多模态移动分拣机器人的导航方法及分拣系统。

技术实现思路

1、（一）解决的技术问题

2、针对现有技术的不足，本发明提供了多模态移动分拣机器人的导航方法及分拣系统，通过将采集的听觉数据及视觉数据融合后提取多模态特征，依据多模态特征对待分拣物品进行识别；分别由视觉数据及听觉数据对待分拣物品进行定位后，若两个位置数据间的偏差程度超过预期，对待分拣物品的位置数据进行修正；由待分拣物品信息生成分拣值，以分拣值及实时位置对待分拣物品进行标记后，为分拣机器人规划移动至待分拣物品处的移动路径；使用多模态数据对待分拣物品进行识别和定位，提高分拣的效率性和可靠性，从而解决了背景技术中记载的技术问题。

3、（二）技术方案

4、为实现以上目的，本发明通过以下技术方案予以实现：多模态移动分拣机器人的导航方法，包括，在分拣区域内的光线波动超过预期时，在待分拣物品抵达预定位置前触发图像采集机制；其中，依据光线波动值和待分拣物品位置变化约束对物品图像数据的提前采集时长，约束方式如下：

5、；

6、权重系数，，； n为时间节点个数，是待分拣物品第 i个时间节点第 j个时间节点的距离，为距离平均值，是待分拣物品第 i个时间节点第 j个时间节点间的变动值差值，为光线波动值的平均值；

7、将采集的听觉数据及视觉数据融合后提取多模态特征，依据多模态特征对待分拣物品进行识别；分别由视觉数据及听觉数据对待分拣物品进行定位后，若两个位置数据间的偏差程度超过预期，对待分拣物品的位置数据进行修正；

8、由待分拣物品信息生成分拣值，以分拣值及实时位置对待分拣物品进行标记后，为分拣机器人规划移动至待分拣物品处的移动路径；

9、规划分拣机器人机械臂的抓取路径，将待分拣物品抓取放置在指定的处置区域内。

10、进一步的，由位于分拣区域内各个位置上的光电传感器采集光线数据，汇总生成分拣区域内的光线数据集合，由光线数据的变动状态生成光线波动值，方式如下：

11、；

12、式中：k为光电传感器总数， n节点总数，为时间节点上，第 i个光电传感器的度数。

13、进一步的，在贴附有发声元件的待分拣物品在传送带上处于持续移动状态时，依据光线波动值和待分拣物品位置变化约束对物品图像数据的提前采集时长，在抵达预定位置的前触发图像采集机制，向外部发出图像采集指令。

14、进一步的，接收到图像采集指令后，由图像采集装置采集传送带上待分拣物品的视觉数据，通过麦克风阵列采集分拣区域内的听觉数据，并通过时间戳和配准使数据对齐。

15、进一步的，将从对齐后数据中提取的不同模态特征进行组合后形成多模态特征；

16、以待分拣物品的多模态特征作为输入，使用训练后的待分拣物品识别模型进行识别，若识别出其中包含的待分拣物品，将其作为目标图像并获取识别数据。

17、进一步的，将目标图像的坐标转换为实际空间坐标，确定待分拣物品的视觉位置，通过麦克风阵列定位待分拣物品上发声元件的位置信息，将其作为听觉位置；

18、将待分拣物品的听觉位置及视觉位置数据汇总，生成待分拣物品的位置数据集合。

19、进一步的，由待分拣物品位置数据集合内的位置数据生成偏差值，若偏差值高于偏差阈值，向外部发出位置修正指令；接收到位置修正指令后，引入补充定位方式对待分拣物品的位置数据进行修正，其中，获取听觉位置与视觉位置间的距离后，将其作为偏差距离，在偏差距离处于无量纲条件下时，依照如下公式生成偏差值：

20、；

21、其中，为第 i个时间节点的偏差距离，为偏差距离的均值，为权重系数，； n为时间节点个数，为偏差距离的接受值。

22、进一步的，由图像采集装置在分拣区域内采集待分拣物品的多角度图像数据，使用文本检测算法检测图像中的文本区域，并使用ocr算法进行字符识别，提取相应的文本信息；依据文本信息识别待分拣物品的类型，提取待分拣物品的描述信息、材质规格数据，生成待分拣物品信息集合。

23、进一步的，以待分拣物品信息作为输入，使用训练后的分拣品评价模型进行评分，获取相应的分拣值，依据分拣值的大小确定对待分拣物品的分拣优先级；

24、使用跟踪算法实时跟踪待分拣物品，实时更新物品位置并记录其运动轨迹。

25、进一步的，建立覆盖分拣区域的电子地图，确定位于分拣区域内的障碍物后，将障碍物在电子地图上标记；依据分拣区域内的障碍物和待分拣物品的分拣值、实时位置信息及预测位置信息，由路径规划算法为分拣机器人规划移动至待分拣物品处移动路径，将移动路径在电子地图显示。

26、多模态移动分拣机器人的分拣系统，包括如下内容：

27、抓取路径规划单元，识别分拣机器人的机械臂末端执行器的姿态，使用rrt或rrt*算法规划机械臂的抓取路径后，通过bspline算法平滑抓取路径；

28、路径测试单元，以抓取路径作为输入，使用机器臂分拣数字孪生模型验证抓取路径是否可行，若不可行，则对抓取路径进行优化，若可行，发出抓取指令；

29、分拣控制单元，接收到抓取指令后，控制机械臂的末端执行器对待分拣品进行抓取；

30、放置单元，根据预先设定的规则或任务需求确定待分拣物品的放置点后，根据物品识别结果和预设分类规则，将待分拣物品放置在指定的处置区域内。

31、（三）有益效果

32、本发明提供了多模态移动分拣机器人的导航方法及分拣系统，具备以下有益效果：

33、1、依据光线波动值对当前的图像采集条件及图像检测识别条件进行分析判断，在待分拣物品抵达预定位置前对待分拣物品进行图像采集，避免在光线条件不佳的场景下，图像采集产生遗漏后不能充分补充。

34、2、使声音数据和图像数据之间可以形成相互验证和确认，在用于对待分拣物品进行识别和定位时，产生错误的风险更低。

35、3、依据发出的声音信号实现对待分拣品的快速定位，依据定位之间偏差程度构建偏差值，对不同定位之间的偏差程度进行判断，提高当前的位置检测数据间的可靠性。

36、4、对待分拣物品进行重新定位，依据获取的新位置数据对之前的定位数据进行修正和调整，在现有的定位方式可靠性降低时触发定位修正机制，启用不处于持续运行状态下的测距雷达，在对待分拣物品进行分拣时，提高后续分拣的准确性。

37、5、对待分拣物品的重要性及优先级进行评价，依据分拣优先级，在后续的分拣过程中可以确定对应的分拣顺序；为分拣机器人规划移动路径，对分拣机器人的移动路径进行调整，使分拣机器人的机械臂能够快速对待分拣物品进行抓取和分拣。

38、6、依据仿真测试数据抓取路径的可行性，在可行性不足时，依据仿真测试数据对当前的抓取路径进行优化，在对分拣机器人规划移动路径的基础上，进一步的提高抓取分拣的效率。

39、7、在分拣区域内光线条件较差的场景条件下，使用分拣机器人对待分拣物品进行分拣时，通过引入发声元件作为补充，使用多模态数据对待分拣物品进行识别和定位，可以提高分拣的效率性和可靠性，而且通过确定每个待分拣物品的分拣优先级，优先分拣和抓取重要物品，整体性提高分拣效率。