基于视觉神经网络的路径规划系统的制作方法

本发明涉及路径规划，更具体的说，它涉及基于视觉神经网络的路径规划系统。

背景技术：

1、目前随着物业管理行业发展，大部分的物业服务企业主要骨干力量是50岁以上的员工，年轻人匮乏。研究智能清洁机器人不仅可以有效解决物业一线员工短缺问题，而且可以大幅度促进企业快速向外输出服务，同时增加其他服务附加值，此外，现有技术中自动化技术快速发展，该领域中的机器人系统是由机器人和周边设备与工具组成的自动化作业系统，而机器人在自动化作业过程中不可避免的需要在多个工位之间进行移动，现有技术中机器人的移动多为完全按照设定路径进行移动，从而导致无法针对不同工况进行适应性变化，目前室内的智能清洁机器人导航主要基于即时定位与地图构建技术，但是路径规划的问题导致部分区域清扫不干净，清扫效率低等问题，另外，协作机器人控制技术受到普遍重视和广泛应用；以往的机器人路径规划的方法都是从初始位置到末端位置进行基本的s型规划和t型规划，一旦周围有新的障碍物出现，就会导致机器人在原轨迹下进行运动发生碰撞，不能很好的进行边调整规划路径边规划。

技术实现思路

1、(一)解决的技术问题

2、针对现有技术中存在的问题，本发明提供了基于视觉神经网络的路径规划系统，以解决背景技术中提到的技术问题。

3、(二)技术方案

4、为实现上述目的，本发明提供如下技术方案：基于视觉神经网络的路径规划系统，包括以下步骤：

5、步骤一：初始化策略神经网络、评判网络、目标策略网络、目标评判网络、网络参数、经验缓存池以及清洁机器人，机器人接收目标点信息和全局路径信息，机器人生成初始路径；机器人通过视觉传感器获取移动机器人机身前进方向上的环境信息，所述视觉传感器设置在所述移动机器人机身上；

6、步骤二：根据当前位置、当前位置与周围环境内障碍物的距离及当前位置与目标位置的距离的情况，设定以当前位置到达指定位置为目标奖励信号，生成一组优化后的到达指定位置的规划路径；

7、步骤三：清洁机器人通过传感器感知周围环境，融合传感器数据，判断机器人的地面情况、垃圾分布情况、周围是否有无障碍物以及清洁机器人自身状态；策略神经网络接受周围环境的传感器数据，传感器数据输入策略神经网络后，策略神经网络通过计算选取执行行为策略；

8、步骤四：通过目标检测模块对环境信息进行目标检测运算并判断路径有效性，通过设置选择是否需要障碍物检测运算，判断是否连接到数据传输模块，当连接上时则开始接收视觉传感器输出的视频数据，然后判断是否需要进行障碍物检测运算，当不需要障碍物检测时则直接显示视频数据，当需要则开始进行障碍物检测运算，将运算结果标记在视频数据上并显示，同时生成环境三维信息；

9、步骤五：根据所述环境三维信息对移动机器人机身前进方向进行通过性判断，确定所述机器人不能通过的障碍物，若能通过则原路径不变；若不能则计算机器人绕过障碍物的最优路径，计算出对应障碍物的最优路径并替换初始路径；

10、步骤六：采集机器人的各关节轴的速度、加速度、实际力矩和理论力矩数据，采用神经网络的方式建立摩擦力模型，从而识别机器人是否发生碰撞。

11、本发明进一步设置为，在步骤二的基础上，将障碍物对应的环形三维信息输入预设的障碍物分析模型中进行处理，从而得到所述障碍物分析模型输出的分析结果。

12、本发明进一步设置为，在上述基础上，其中，所述分析结果为可通过型障碍物或者不可通过型障碍物，所述障碍物分析模型基于神经网络模型并采用训练数据训练而成，所述训练数据由训练用信号序列和与所述训练用信号序列对应的人工标注所构成。

13、本发明进一步设置为，在上述基础上，依次检测路径上的障碍物信息，以得到完整、可完全通过的路径信息，即为规划后路线。

14、本发明进一步设置为，在步骤五的基础上，清洁机器人执行行为策略，将行为策略转换为驱动机构可识别的指令,并将该指令输入至驱动机构。

15、本发明进一步设置为，在上述基础上，将经验存储存入经验缓存池中，使用经验缓存池使得状态间相互独立，来消除输入经验间存在的很强的相关性。

16、本发明进一步设置为，在上述基础上，从经验缓存池随机采样n个经验，计算策略价值算法的损失函数值和策略决策算法损失函数值。

17、本发明进一步设置为，在上述基础上，通过目标策略网络以及评判网络计算当前策略期望回报，估计每个状态策略对的累积回报；采用梯度下降法训练神经网络，目标值网络的权重系数使用随机梯度下降算法，进行更新以最小化损失函数，计算梯度更新目标策略网络以及策略神经网络的参数。

18、本发明进一步设置为，在上述基础上，所述视觉传感器直接获取机器人前方的视频信息，目标检测模块获取视频信息后截取多组相邻帧作为判定图片；将多张不同角度照明的判定图片合成一张t iff格式的图片，使障碍物的轮廓特征更加明显；再应用深度学习方法，训练出障碍物模型，检测图像中的障碍物轮廓；图像合成后，采用目标检测算法，将合成的图像加载进预先设置好的网络框架中进行训练；将多组判定图片所计算出的障碍物轮廓进行三维匹配，形成障碍物三维信息。

19、(三)有益效果

20、与现有技术相比，本发明提供了基于视觉神经网络的路径规划系统，具备以下有益效果：本申请中的机器人具有视觉传感器，可通过目标检测模块生成环境三维信息；同时根据环境三维信息确定机器人能否通过障碍物，在分析能否通过时使用基于神经网络模型并采用训练数据训练而成的障碍物分析模型，使得分析结果更加精确，最终生成最优路径，此外，通过设置策略神经网络、评判网络、目标策略网络、目标评判网络、网络参数以及经验缓存池等模块，并由本发明的方法实现各个模块的调取以及应用，从而实现清洁机器人的正反馈工作，提高清洁机器人工作效率。

技术特征：

1.基于视觉神经网络的路径规划系统，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于视觉神经网络的路径规划系统，其特征是：在步骤二的基础上，将障碍物对应的环形三维信息输入预设的障碍物分析模型中进行处理，从而得到所述障碍物分析模型输出的分析结果。

3.根据权利要求2所述的基于视觉神经网络的路径规划系统，其特征是：在上述基础上，其中，所述分析结果为可通过型障碍物或者不可通过型障碍物，所述障碍物分析模型基于神经网络模型并采用训练数据训练而成，所述训练数据由训练用信号序列和与所述训练用信号序列对应的人工标注所构成。

4.根据权利要求3所述的基于视觉神经网络的路径规划系统，其特征是：在上述基础上，依次检测路径上的障碍物信息，以得到完整、可完全通过的路径信息，即为规划后路线。

5.根据权利要求1所述的基于视觉神经网络的路径规划系统，其特征是：在步骤五的基础上，清洁机器人执行行为策略，将行为策略转换为驱动机构可识别的指令,并将该指令输入至驱动机构。

6.根据权利要求5所述的基于视觉神经网络的路径规划系统，其特征是：在上述基础上，将经验存储存入经验缓存池中，使用经验缓存池使得状态间相互独立，来消除输入经验间存在的很强的相关性。

7.根据权利要求6所述的基于视觉神经网络的路径规划系统，其特征是：在上述基础上，从经验缓存池随机采样n个经验，计算策略价值算法的损失函数值和策略决策算法损失函数值。

8.根据权利要求8所述的基于视觉神经网络的路径规划系统，其特征是：在上述基础上，通过目标策略网络以及评判网络计算当前策略期望回报，估计每个状态策略对的累积回报；采用梯度下降法训练神经网络，目标值网络的权重系数使用随机梯度下降算法，进行更新以最小化损失函数，计算梯度更新目标策略网络以及策略神经网络的参数。

9.根据权利要求8所述的基于视觉神经网络的路径规划系统，其特征是：在上述基础上，所述视觉传感器直接获取机器人前方的视频信息，目标检测模块获取视频信息后截取多组相邻帧作为判定图片；将多张不同角度照明的判定图片合成一张tiff格式的图片，使障碍物的轮廓特征更加明显；再应用深度学习方法，训练出障碍物模型，检测图像中的障碍物轮廓；图像合成后，采用目标检测算法，将合成的图像加载进预先设置好的网络框架中进行训练；

技术总结
本发明公开了基于视觉神经网络的路径规划系统，包括以下步骤：初始化策略神经网络、评判网络、目标策略网络、目标评判网络、网络参数、经验缓存池以及清洁机器人，机器人接收目标点信息和全局路径信息，机器人生成初始路径；机器人通过视觉传感器获取移动机器人机身前进方向上的环境信息，所述视觉传感器设置在所述移动机器人机身上；根据当前位置、当前位置与周围环境内障碍物的距离及当前位置与目标位置的距离的情况，设定以当前位置到达指定位置为目标奖励信号，生成一组优化后的到达指定位置的规划路径。本发明通过设置策略神经网络、评判网络、目标策略网络、目标评判网络、网络参数以及经验缓存池等模块，并由本发明的方法实现各个模块的调取以及应用，从而实现清洁机器人的正反馈工作，提高清洁机器人工作效率。

技术研发人员：刘琳,孙壮壮
受保护的技术使用者：昆山联星业智能科技有限公司
技术研发日：
技术公布日：2024/4/17