基于视觉的智能循迹机器人系统及控制方法

本发明属于无人控制机器人自主移动控制领域，具体为一种适用于起伏地形，粗糙地面的移动机器人系统及控制方法。

背景技术：

1、随着信息时代的到来，无人驾驶控制技术被广泛应用于多种任务场景下，如在危险复杂环境搜索救援等任务中。

2、相比与传统的巡线机器人，无法应对较为复杂的环境场景，容易受到外界环境地形的影响，这种自主无人设备能实现进行路径跟随循迹，拥有面对处理复杂地形的能力，并能以较为高的速度稳定的完成任务，同时对于自身的运动姿态能有较好的控制。

3、不同于传统的巡线机器人，对外界复杂的环境监测效果较差，本机器人搭载了的树莓派处理器进行实例检测，提高了应对突发事件的能力，并且相较于同体积重量的机器人，搭载轻量级的设备树莓派处理器极大的减小了时间成本并且极大的丰富了机器人的功能。

技术实现思路

1、为了解决现有智能机器人对于复杂环境应对处理能力较差，对于突发事件处理速度较慢，准确性较低，并且在运行中功能单一的问题。本发明提供一种基于视觉的智能循迹机器人系统及控制方法。

2、为了解决上述技术问题本发明提供如下的技术方案：

3、一种基于视觉的智能循迹机器人系统，主控电路通过串口通信或电平控制的方式，分别连接有传感器、舵机控制器、车轮转速控制器、视觉系统、语言交互模块，所述视觉系统通过数据局域网连接于用户控制端。

4、进一步，所述传感器包括色标传感器、灰度传感器、陀螺仪传感器和碰撞检测开关。

5、再进一步，所述舵机控制器用于控制身体舵机、前瞻舵机；车轮转速控制器控制减速电机；所述视觉系统内部设置有单目摄像头、树莓派处理器；所述语言交互模块包括语言模块。

6、一种基于视觉的智能循迹机器人系统的控制方法，包括以下步骤：

7、步骤1.机器人循迹控制；

8、步骤2.起伏地形控制；

9、步骤3.外界实例检测和信息获取；

10、步骤4.根据感知信息触发的未来路径制定。

11、进一步，所述步骤1中，巡路时，系统通过灰度传感器把系统当前的机器人车头中心位置与规定路径的偏差距离和通过陀螺仪传感器把当前系统机器人姿态上传至主控电路，由主控电路将调整参数转发至车轮转速控制器，进而控制减速电机工作调整机身姿态并再次进行判断，使机身调整直至姿态正常，若出现多个分叉的规定路径，主控电路将通过预先设定的目标路径，排除干扰路径的影响，进行系统的巡路控制，若当系统出现在正常巡路过程中轨迹丢失的情况，主控电路将调整参数转发至车轮转速控制器，进而控制减速电机的反转，同时通过陀螺仪传感器上传的位姿信息与之前时刻的信息进行对比，至灰度传感器重新检测到轨迹信息为止。

12、再进一步，所述步骤2中，在进行外界环境检测时，色标传感器通过向主控电路发送高低电平，对当前系统面对的地形信息进行反馈，再由主控电路通过串口和pwm波分别控制车轮转速控制器和舵机控制器控制减速电机输出和身体舵机，以实现不同坡面条件或陡峭坡面下的稳定运行。

13、更进一步，所述步骤3中，在进行外界实例检测和信息获取时，树莓派处理器中将部署离线训练后的yolov5-lite模型，同时采用onnxruntime进行模型推理，通过处理单目摄像头回传的图像信号，进行视野中二维码的识别，以及识别外界的实例并判断实例在图像中的坐标信息，在成功获取到信息后，通过串口通信向主控电路发送二维码或外界实例情况，若在期望地点未识别出实例信息或二维码信息则，主控电路将调整参数转发至车轮转速控制器，进而控制减速电机工作调整机身姿态并再次进行识别，用户控制端可以通过数据局域网直接将外界信息传入树莓派处理器中。

14、所述步骤4中，根据感知信息制定未来路径时，通过视觉系统获取到的外界任务信息，通过先前测量得到的通过各路径所需耗时，进行基于dijkstra算法的最短路径规划，同时考虑到外界任务信息的不可预知性，采用事件触发的滚动路径规划，即将获取到外界任务信息的时刻作为触发时刻，重新进行dijkstra算法的计算，求解出未来的最优路径，并通过语言模块播报更新后的规划路径。

15、本发明的有益效果是：

16、1、本发明在传统的循迹机器人的基础上添加了以计算机视觉为基础的实例识别功能，大大的拓展了无人控制机器人的功能范围。

17、2、前瞻上安装的灰度挡板配合灰度传感器上的led灯，在多种光照环境中保证灰度返回值的恒定，提升在多种环境中运行的泛化能力。灰度挡板同时可以起到保护灰度传感器的作用，有延长元件及总体电路寿命的作用。

18、3、在分开使用控制开关和系统的电源总开关时可以有效保护电路，相较于整体的电路系统有着检修方便的优势。

19、4、本发明可以在多种场合需要复杂识别的场合进行无人作业操作，如无人搬运，识别避障。

技术特征：

1.一种基于视觉的智能循迹机器人系统，其特征在于，主控电路通过串口通信或电平控制的方式，分别连接有传感器、舵机控制器、车轮转速控制器、视觉系统、语言交互模块，所述视觉系统通过数据局域网连接于用户控制端。

2.如权利要求1所述的一种基于视觉的智能循迹机器人系统，其特征在于，所述传感器包括色标传感器、灰度传感器、陀螺仪传感器和碰撞检测开关。

3.如权利要求1或2所述的一种基于视觉的智能循迹机器人系统，其特征在于，所述舵机控制器用于控制身体舵机、前瞻舵机；车轮转速控制器控制减速电机；所述视觉系统内部设置有单目摄像头、树莓派处理器；所述语言交互模块包括语言模块。

4.一种如权利要求1所述的基于视觉的智能循迹机器人系统的控制方法，其特征在于，所述方法包括以下步骤：

5.如权利要求4所述的控制方法，其特征在于，所述步骤1中，巡路时，系统通过灰度传感器把系统当前的机器人车头中心位置与规定路径的偏差距离和通过陀螺仪传感器把当前系统机器人姿态上传至主控电路，由主控电路将调整参数转发至车轮转速控制器，进而控制减速电机工作调整机身姿态并再次进行判断，使机身调整直至姿态正常，若出现多个分叉的规定路径，主控电路将通过预先设定的目标路径，排除干扰路径的影响，进行系统的巡路控制，若当系统出现在正常巡路过程中轨迹丢失的情况，主控电路将调整参数转发至车轮转速控制器，进而控制减速电机的反转，同时通过陀螺仪传感器上传的位姿信息与之前时刻的信息进行对比，至灰度传感器重新检测到轨迹信息为止。

6.如权利要求4或5所述的控制方法，其特征在于，所述步骤2中，在进行外界环境检测时，色标传感器通过向主控电路发送高低电平，对当前系统面对的地形信息进行反馈，再由主控电路通过串口和pwm波分别控制车轮转速控制器和舵机控制器控制减速电机输出和身体舵机，以实现不同坡面条件或陡峭坡面下的稳定运行。

7.如权利要求4或5所述的控制方法，其特征在于，所述步骤3中，在进行外界实例检测和信息获取时，树莓派处理器中将部署离线训练后的yolov5-lite模型，同时采用onnxruntime进行模型推理，通过处理单目摄像头回传的图像信号，进行视野中二维码的识别，以及识别外界的实例并判断实例在图像中的坐标信息，在成功获取到信息后，通过串口通信向主控电路发送二维码或外界实例情况，若在期望地点未识别出实例信息或二维码信息则，主控电路将调整参数转发至车轮转速控制器，进而控制减速电机工作调整机身姿态并再次进行识别，用户控制端可以通过数据局域网直接将外界信息传入树莓派处理器中。

8.如权利要求4或5所述的控制方法，其特征在于，所述步骤4中，根据感知信息制定未来路径时，通过视觉系统获取到的外界任务信息，通过先前测量得到的通过各路径所需耗时，进行基于dijkstra算法的最短路径规划，同时考虑到外界任务信息的不可预知性，采用事件触发的滚动路径规划，即将获取到外界任务信息的时刻作为触发时刻，重新进行dijkstra算法的计算，求解出未来的最优路径，并通过语言模块播报更新后的规划路径。

技术总结
一种基于视觉的智能循迹机器人系统，主控电路通过串口通信或电平控制的方式，分别连接有传感器、舵机控制器、车轮转速控制器、视觉系统、语言交互模块，所述视觉系统通过数据局域网连接于用户控制端。本发明应用于四轮差速轮机器人，采用自适应的PD控制算法，并结合YOLOV5‑lite模型进行实例检测，在运行过程中对多种复杂地形环境均具有较强的鲁棒性。本发明通过结构设计以及算法设置能高效应对复杂的外界环境，包括多种应对复杂环境的控制方法，以及外界感知方法。本发明提高无人机器人运送效率，确保运行过程中的稳定性。

技术研发人员：刘安东,程聪阳,姜楠,朱华中,马英哲,袁晨晔
受保护的技术使用者：浙江工业大学
技术研发日：
技术公布日：2024/7/15