一种基于机器视觉的井下单轨吊车无人驾驶系统和方法

1.本发明涉及机器视觉技术技术领域，更具体的涉及一种基于机器视觉的井下单轨吊车无人驾驶系统和方法。


背景技术：

2.单轨吊是与煤矿井下运输中的其它设备配合使用的一种辅助运输设备。它具有在井下复杂环境中进行高难度作业的能力，同时易于维修，运输安全性和灵活性都比较高，已经成为现代自动化煤矿运输中不可或缺的重要组成部分。
3.单轨吊车的工作环境较为恶劣，属于高危环境,如何实现其无人驾驶,对于减少或避免矿井重大生产运输安全事故,降低运输成本,提升矿井物料生产转运效率,具有重大的应用前景和战略价值。
4.环境感知是井下无人驾驶中十分重要的一个环节，通过视觉系统可使车辆直接获取周围环境中障碍物类别等信息。机器视觉和计算机视觉在图像处理具有很多类似的地方，两者都需要从图像中提取目标特征。机器视觉通常是一个是视觉系统，其中涵盖了图像获取与处理，输出和控制，是可以实现工程应用的系统，更注重于解决工业上的实际问题。随着边缘计算技术的发展，轻量化的神经网络能够在嵌入式终端上进行部署，监控视频的目标识别任务可在摄像头前端完成，在井下机车的视觉系统中即可完成行车过程中的障碍物识别，而井上的监控中心只需调用较少的计算资源来生成机车行驶的控制指令。
5.当前存在问题是单轨吊车在轨道上对矿井内的障碍物检测目标的精度不高，对采集到的目标需要传输到井上，设备复杂，成本较高。


技术实现要素：

6.本发明实施例提供一种基于机器视觉的井下单轨吊车无人驾驶系统，包括：
7.车载摄像头，用于采集单轨吊车行车时的路况视频数据；
8.毫米波雷达，用于对单轨吊车行车时遇到的障碍物测距；
9.车载处理器，执行以下操作：
10.接收毫米波雷达发送的距离数据、并在车载摄像头发送的路况视频数据基础上，生成雷达数据转换后的感兴趣区域roi，
11.将路况视频数据输入改进的tinyyolov3神经网络，得到神经网络处理后的感兴趣区域roi，其中，在改进的tinyyolov3神经网络中，将基础的tinyyolov3网络结构中特征提取网络的结构由卷积层加池化层转变为下采样残差模块，由深度可分离卷积单元构成下采样残差模块主体；
12.将雷达数据转换后的感兴趣区域roi和神经网络处理后的感兴趣区域roi关联匹配，得到得到障碍物类型、障碍物的位置和障碍物与单轨吊的相对速度；
13.远程监控子系统，根据障碍物类型、障碍物的位置和障碍物与单轨吊的相对速度生成控制指令，远程控制单轨吊车进行行车控制。
14.优选地，还包括：
15.定位模块，用于定位单轨吊车在井下的位置。
16.优选地，还包括：
17.wifi模块，用于将障碍物类型、障碍物的位置、障碍物与单轨吊车的相对速度和单轨吊车的定位数据生成数据包发送至井下的wifi基站，wifi基站接入交换机通过工业以太环网将数据包发送至远程监控子系统。
18.优选地，远程监控子系统，包括：
19.通信服务器，接收wifi模块发送的数据包、并解析；
20.视频显示单元，用于对解析的数据包进行展示
21.调度管理单元，通过调度管理软件对数据包进行分析，生成单轨吊车的远程控制指令，经由通信服务器将远程控制指令下发给车载处理器(5)。
22.优选地，还包括：
23.图像预处理模块，用于根据msr算法对视频数据进行图像增强处理，将处理后的图像输入车载处理器，其中，msr算法的输出的表达式为：
[0024][0025]
其中，f
msr
(x,y)表示msr算法的图像处理结果，kn表示各个尺度下的权重系数，n为尺度总数，其值一般取3，则k1＝k2＝k3＝1/3，f
ssr
(x,y)是单尺度retinex(ssr)算法的图像处理结果，f
ssr
(x,y)的表达式为：
[0026][0027]
其中，i(x,y)表示输入的图像，g(x,y)表示低通高斯滤波函数。
[0028]
优选地，在改进的tinyyolov3网络结构中，多个下采样残差模块对图像增强预处理后的图像完成特征提取，并生成视频图像的roi区域，所述下采样残差模块中的深度可分离卷积单元，包括：
[0029]
一个卷积核尺寸为3
×
3的深度卷积层、批量化归一结构、leaky relu激活函数；
[0030]
一个卷积核尺寸为1
×
1的逐点卷积层、批量化归一结构和h-swish激活函数；
[0031]
在3
×
3的深度卷积层后选用leaky relu激活函数可给所有负输入一个不为零的斜率，能避免部分神经元无响应的现象；
[0032]
在1
×
1的逐点卷积层后选用h-swish激活函数。
[0033]
本技术还提供一种基于机器视觉的井下单轨吊车无人驾驶方法，其特征在于，包括：
[0034]
采集单轨吊车行车时的路况视频数据；
[0035]
对单轨吊车行车时遇到的障碍物测距；
[0036]
接收距离数据、并在路况视频数据基础上，生成雷达数据转换后的感兴趣区域roi，
[0037]
将路况视频数据输入改进的tinyyolov3神经网络，得到神经网络处理后的感兴趣区域roi，其中，在改进的tinyyolov3神经网络中，将基础的tinyyolov3网络结构中特征提
取网络的结构由卷积层加池化层转变为下采样残差模块，由深度可分离卷积单元构成下采样残差模块主体；
[0038]
将雷达数据转换后的感兴趣区域roi和神经网络处理后的感兴趣区域roi关联匹配，得到得到障碍物类型、障碍物的位置和障碍物与单轨吊的相对速度；
[0039]
根据障碍物类型、障碍物的位置和障碍物与单轨吊的相对速度生成控制指令，远程控制单轨吊车进行行车控制。
[0040]
本发明实施例提供一种基于机器视觉的井下单轨吊车无人驾驶系统，与现有技术相比，其有益效果如下：
[0041]
1、采用msr算法和改进的tinyyolov3神经网络模型对视频图像进行处理，在图像质量提升之后再进行目标识别，有效的提升了目标检测的精度。
[0042]
2、在单轨吊车的车载处理器上即可实现视频的目标识别，无需将视频数据发送至井上的服务器处理，减少了所需的服务器计算资源，降低了成本，同时通过摄像头与毫米波雷达的信息融合可以较为精确的得到障碍物的类型、位置等信息。
[0043]
3、单轨吊车无人驾驶系统在单轨吊车的运输过程中，大幅减少了单轨吊的司机以及押车工人数，环境感知数据现场解析和行车指令远程下达的方式，进一步提高了单轨吊在无人驾驶时的实时性。
附图说明
[0044]
图1为本发明的整体结构示意图；
[0045]
图2为本发明的机车控制子系统结构图；
[0046]
图3为本发明的远程监控子系统结构图；
[0047]
图4为本发明的车载摄像头与毫米波雷达信息融合结构图；
[0048]
图5为本发明的下采样残差模块结构图；
[0049]
图6为本发明的深度可分离卷积单元结构图；
[0050]
图7为本发明的改进的tinyyolov3网络结构图。
[0051]
图中，1-车载摄像头，2-毫米波雷达，3-定位模块，4-wifi模块，5-车载处理器，6-通信服务器，7-视频显示单元，8-调度管理单元。
具体实施方式
[0052]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0053]
如图1-7所示，本发明的一种基于机器视觉的井下单轨吊车无人驾驶系统包括机车控制子系统和远程监控子系统，其中机车控制子系统包括车载摄像头1、毫米波雷达2、定位模块3、wifi模块4和车载处理器5，车载摄像头1、毫米波雷达2、定位模块3、wifi模块4和车载处理器5之间采用电连接。远程监控子系统包括数通信服务器6、视频显示单元7和调度管理单元8，通信服务器6、视频显示单元7和调度管理单元8之间采用网络连接。
[0054]
其具体实施过程为：
[0055]
所述车载摄像头1对单轨吊行车过程中的路况进行画面拍摄，并将图像传输至车载处理器5。
[0056]
所述毫米波雷达2对单轨吊行车过程中的障碍物进行目标测距，并将采集的数据传输至车载处理器5。
[0057]
所述定位模块3对单轨吊在井下的位置进行定位，并将定位的信息传输至车载车载处理器5。
[0058]
所述车载处理器5对车载摄像头1和毫米波雷达2采集的数据进行空间、时间对准，车载处理器5对车载摄像头1采集的视频数据进行图像增强预处理以及神经网络算法处理，车载处理器5对毫米波雷达2采集的数据在摄像头拍摄图像中生成roi区域，车载处理器5对神经网络算法处理后生成的roi(region ofinterest，感兴趣区域)区域和雷达数据转换的roi区域进行关联匹配，得到障碍物类型、障碍物的位置和障碍物与单轨吊的相对速度。
[0059]
作为优选，所述车载处理器5对视频数据进行图像增强预处理时，将原始视频图像作为多尺度retinex(msr)算法的输入，经msr算法增强后，可得到对比度、亮度均提高的图像，msr算法的输出的表达式为：
[0060][0061]
其中，f
msr
(x,y)表示msr算法的图像处理结果，kn表示各个尺度下的权重系数，n为尺度总数，其值一般取3，则k1＝k2＝k3＝1/3，f
ssr
(x,y)是单尺度retinex(ssr)算法的图像处理结果，f
ssr
(x,y)的表达式为：
[0062][0063]
其中，i(x,y)表示输入的图像，g(x,y)表示低通高斯滤波函数。
[0064]
作为优选，所述车载处理器5对视频数据进行神经网络算法处理时，采用改进的tiny yolov3神经网络作为目标识别的算法模型，将基础的tiny yolov3网络结构中特征提取网络的结构由卷积层+池化层转变为下采样残差模块，下采样残差模块包括卷积核尺寸为3
×
3的卷积层、卷积核尺寸为1
×
1的卷积层和深度可分离卷积单元，卷积核尺寸为3
×
3的卷积层和卷积核尺寸为1
×
1的卷积层和深度可分离卷积单元依次对下采样残差模块的输入进行特征提取，卷积核尺寸为3
×
3的卷积层的处理结果与深度可分离卷积单元的处理结果进行特征融合，得到下采样残差模块的输出，在改进的tinyyolov3网络结构中，多个下采样残差模块对图像增强预处理后的图像完成特征提取，并生成视频图像的roi区域。
[0065]
作为优选，所述下采样残差模块中的深度可分离卷积单元包括：一个卷积核尺寸为3
×
3的深度卷积层、批量化归一结构、leaky relu激活函数、一个卷积核尺寸为1
×
1的逐点卷积层、批量化归一结构和h-swish激活函数。在3
×
3的深度卷积层后选用leaky relu激活函数可给所有负输入一个不为零的斜率，能避免部分神经元无响应的现象；在1
×
1的逐点卷积层后选用h-swish激活函数，在减少计算时间的同时，可保持运算精度与速度的平衡。
[0066]
所述wifi模块4由车载处理器5控制，将障碍物类型、障碍物的位置、障碍物与单轨吊的相对速度和单轨吊的定位数据生成数据包发送至井下的wifi基站，wifi基站接入交换
机通过工业以太环网将数据包发送至通信服务器6。
[0067]
所述通信服务器6对数据包进行接收，在视频显示单元7对数据进行展示，调度管理单元8通过调度管理软件对数据包进行分析，生成单轨吊的远程控制指令，经由通信服务器6对控制指令进行下发给车载处理器5，车载处理器5依据控制指令对单轨吊车的变频器进行行车控制。
[0068]
以上公开的仅为本发明的几个具体实施例，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明的精神和范围，但是，本发明实施例并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围内。