一种基于多标识线的井下辅助运输车辆导航系统与方法

本发明属于井下车辆导航技术领域，更具体地说，涉及一种基于多标识线的井下辅助运输车辆导航系统与方法。

背景技术：

井下辅助运输车辆在煤矿人员运输以及物料、矸石、材料运输等方面发挥着巨大作用，井下辅助运输车辆的类型较多、重量较大、对路面的要求较高，使用井下辅助运输车辆的矿井对辅运巷路面的强度、坡度、高度的要求都很高。

煤矿井下遇到生产高峰期需要近百辆辅助运输车辆运行于狭窄的巷道中，传统的人工操作车辆成本大，人员调度效率低，且井下辅助运输车辆的自重是同载重量地面车辆的几倍，在运行于长距离连续坡道时，适应性差的问题越发突出，由于车辆大的惯性和井下复杂的环境，驾驶人员手动操作方向盘容易出现安全事故。

经检索，中国专利公开号：cn109753081a；公开日：2019年5月14日；公开了一种基于机器视觉的巷道巡检无人机系统及导航方法，采用单目相机获取巷道空间图像，根据管道的颜色与周围环境差异明显，通过机器视觉算法对图像中的管道进行检测和处理，计算出管道中心到相机光心的距离和夹角，进一步得出巡检无人机在巷道中的偏航角，并反馈到无人机飞行控制器调整航向。该申请案无需在巷道中架设轨道等设备，能降低巡检机器人的导航成本，但煤矿井下的环境复杂，该申请案的方法过于单一，适用场景范围小，无法满足巷道车辆长距离无人驾驶的稳定性要求，在实际应用中难以满足效率的需求。

技术实现要素：

为了解决上述技术问题至少之一，根据本发明的一方面，提供了一种基于多标识线的井下辅助运输车辆导航系统，包括：

车体；

还包括：

图像采集模块，其设于车体前端，用于采集车体前方环境信息并传输；

图像处理模块，其设于车体上，接收图像采集模块传输的信息，处理生成目标轨迹并传输；

控制模块，其设于车体上，接收图像处理模块传输的信息，并根据信息控制车体行驶。

根据本发明实施例的基于多标识线的井下辅助运输车辆导航系统，可选地，所述图像采集模块包括：

摄像单元，其包括在车体顶部前端呈上下布置的管道摄像头和铁轨摄像头，管道摄像头采集井下管道图像，铁轨摄像头采集井下铁轨图像；以及，

探照灯，其布置于车体车头前端。

根据本发明实施例的基于多标识线的井下辅助运输车辆导航系统，可选地，所述管道摄像头和铁轨摄像头均为ccd双目摄像机，且均平行于地面安装。

根据本发明实施例的基于多标识线的井下辅助运输车辆导航系统，可选地，所述图像处理模块包括：

信号转换子模块，其将图像采集模块传输的图像信息转化为数字信息；

处理单元，其处理转化后的数字信息并拟合为预测轨迹信息；

信号传输子模块，其将预测轨迹信息传输至控制模块。

根据本发明的另一方面，提供了一种基于多标识线的井下辅助运输车辆导航方法，步骤如下：

一、图像采集：图像采集模块拍摄车体驶方向前方的图像，并将图像传输至图像处理模块；

二、生成目标轨迹：

a、图像预处理，提取管道摄像头采集rgb图像中墙面上管道区域为感兴趣区域，采用自适应直方图增强图像亮度，通过自适应中值滤波法增强图像细节特征，提取铁轨摄像头采集rgb图像中路面上的铁轨区域为感兴趣区域，采用自适应直方图增强图像亮度，通过自适应中值滤波法增强图像细节特征；

b、提取铁轨线，提取a预处理后的铁轨摄像头采集的图像中的铁轨线点集s；

c、提取管道线，提取a预处理后的管道摄像头采集的图像中的管道线点集m；

d、多标识线融合，

管道点的权重占比为w1，铁轨点的权重占比为w2，w1+w2＝1，

将同一纵坐标的检测点横坐标按对应的权重加权融合，得到点集q，即

(xq,yq)＝w1(xm,ym)+w2(xs,ys)，

从图像最下方点集作为起始点向上依次选取相邻点p0、p1、p2和p3，4个点为一组进行曲线拟合，不足4个点则舍弃，得到预测轨迹曲线b(t)，

b(t)＝p0(1-t)³+3p1(1-t)²t+3p2(1-t)t²+p3t³；

三、控制行驶：图像处理模块的信号传输子模块将预测轨迹曲线信息传输至控制模块，控制模块根据信息控制车体行驶。

根据本发明实施例的基于多标识线的井下辅助运输车辆导航方法，可选地，步骤二b中，具体提取步骤如下：

b1、将a预处理后的铁轨摄像头采集的图像灰度化处理，采用sobel算子边缘检测得到边缘图像f1(x,y)；

b2、分别利用长度为5的水平线性结构元素b1＝[11111]及长度为5的垂直线性结构元素b2＝[11111]^t对检测的边缘图像f1(x,y)先进行形态学腐蚀处理再进行形态学膨胀处理，得到开操作图像f2(x,y)，f2(x,y)即为干扰边缘图像；

b3、将边缘检测图像f1(x,y)减去干扰边缘f2(x,y)得到初步的轨道边缘图像f3(x,y)；

b4、扫描图像f3(x,y)，记图像中像素值都为1且位置相邻的像素点组成的图像区域为连通域c(x,y)，统计每个连通域的像素点数目，剔除连接像素点小于阈值th的连通域，获得优化的轨道边缘图像t(x,y)；

b5、标记轨道图像t(x,y)中像素值为1的轨道边缘点，记为点集s。

根据本发明实施例的基于多标识线的井下辅助运输车辆导航方法，可选地，步骤二c中，具体提取步骤如下：

c1、将a预处理后的管道摄像头采集的图像由rgb空间转到hsv空间；

c2、根据井下管道的颜色对应的h、s、v值，对图像进行阈值化处理，使符合井下管道颜色特征的像素值为255，不符合井下管道颜色特征的像素值为0，得到相应的二值图，标记像素值为255的点坐标，记为点集m；

c3、将点集m中的点的纵坐标平移，使得管道图像与铁轨图像的光学中心重合，得到点集m。

根据本发明实施例的基于多标识线的井下辅助运输车辆导航方法，可选地，步骤三中，具体控制步骤如下：

通过预测轨迹曲线b(t)得到曲率k＝b′(t)，

b′(t)＝3(1-t)²(p1-p0)+6(1-t)t(p2-p1)+3t²(p3-p2)，

车体方向盘转动角度δ＝lkn(1+ku²)，

其中，u为速度，k为稳定性因数，l为前后轮轴距，n为转向系角传动比；

控制模块根据实时计算的方向盘转动角度δ控制车体行驶过程中的方向。

本发明的基于多标识线的井下辅助运输车辆导航系统，通过图像采集模块采集车体前方管道与铁轨信息，经图像处理模块处理后拟合为目标轨迹，在控制模块的控制下使车体沿着目标轨迹行驶，降低了人工调整方向的成本，提高安全性，有效解决井下辅助运输车辆在行驶过程中方向偏移、撞碰巷道壁等问题，减少由于驾驶人员操作不当造成的事故；

本发明的基于多标识线的井下辅助运输车辆导航方法，分别提取巷道中管道线点集和铁轨线点集后，利用加权融合后的点集拟合曲线，并利用控制模块根据拟合曲线的曲率来控制车体行驶过程中的方向盘盘转动角度，从而达到对车体行驶的导航，相比于人工控制，安全性更高，效率更高，相比于单一的利用铁轨线拟合曲线进行导航及单一的利用管道线拟合曲线进行导航，本发明的导航方法能有效提高导航精度，综合利用巷道中铁轨及管道两种显著的标志物进行目标轨迹曲线的拟合，降低巷道中复杂环境对导航精度的影响；且通过对管道线点集和铁轨线点集的加权融合，得到处于巷道中间、车体正常安全行驶时必经点的点集，由此来确定拟合曲线，并根据曲线曲率来确定控制模块控制车体方向盘转动的角度，更加符合车体实际行驶位置处的方向盘转角需求，行驶安全性、稳定性更有保障。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本发明的一些实施例，而非对本发明的限制。

图1示出了本发明的车辆导航系统结构示意图；

图2示出了本发明的车辆导航系统工作流程示意图；

图3示出了本发明的车辆导航方法流程图；

图4示出了本发明的车辆导航方法生成预测轨迹的示意图；

附图标记：

1、车体；

2、图像采集模块；20、管道摄像头；21、铁轨摄像头；22、探照灯；

3、图像处理模块；30、信号转换子模块；31、处理单元；32、信号传输子模块；

4、控制模块。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。

除非另作定义，此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。

实施例1

如图1所示，示出了本实施例的基于多标识线的井下辅助运输车辆导航系统，车体1为常规的井下矿用车型，本实施例在车体1前端设置了图像采集模块2，用于采集车体1前方环境信息并传输，图像采集模块2包括摄像单元和探照灯22，其中，探照灯22为隔爆型探照灯，固定设置在车体1车头前方，为图像采集模块2采集图像提供充足的光线亮度，摄像单元设置在车体1车顶前端，确保有充足的视野能捕捉到车体1前方的管道图像信息与铁轨图像信息，摄像单元包括管道摄像头20和铁轨摄像头21，井下管道多铺设于巷道侧壁上，铁轨铺设于底面，因此管道摄像头20和铁轨摄像头21上下设置确保两者都能有足够的视野捕捉到对应的管道图像和铁轨图像；本实施例的管道摄像头20和铁轨摄像头21均为同种型号的ccd双目摄像机，且均平行于地面安装，两者光学中心的连线垂直于地面。

本实施例的图像处理模块3布置于车体1上，由多个子模块构成，包括信号转换子模块30、处理单元31与信号传输子模块32，本实施例的信号转换子模块30为ad采样模块，能接收图像采集模块2传输的图像信息并将其转化为数字信息，处理单元31可以采用fpga、单片机等芯片，能对数字信息进行处理，并拟合处预测轨迹曲线信息，然后通过信号传输子模块32传输至控制模块4；本实施例的控制模块4为工控机，通过rs232的串口和图像处理模块3的信号传输子模块32通讯，并将接收到的数字信号转化为操作命令从而对车体1的运动进行控制。

本实施例的基于多标识线的井下辅助运输车辆导航系统，工作流程如图2所示，车体1前方的目标区域的管道及铁轨信息通过图像采集模块2采集后传输至图像处理模块3，在图像处理模块3中图像信号被信号转换子模块30转化为数字信息，然后通过处理单元31处理并拟合为预测轨迹曲线信息，然后由信号传输子模块32传输至控制模块4，控制模块4将接收到的数字信号转化为操作命令从而对车体1的运动进行控制。

本实施例通过图像采集模块2采集车体1前方管道与铁轨信息，经图像处理模块3处理后拟合为目标轨迹，在控制模块4的控制下使车体1沿着目标轨迹行驶，降低了人工调整方向的成本，提高安全性，使车体1工作过程中能按照有效安全的目标轨迹行驶，效率高。

实施例2

本实施例的基于多标识线的井下辅助运输车辆导航方法，基于实施例1的多标识线的井下辅助运输车辆导航系统，方法流程如图3所示，具体步骤如下：

一、图像采集：

车体1行进时，图像采集模块2启动，打开探照灯22，铁轨摄像头21拍摄车体1前方铁轨信息的图像，管道摄像头20拍摄前方管道信息的图像，并都将图像传输至图像处理模块3；

二、生成目标轨迹：

a、图像预处理

提取管道摄像头20采集rgb图像中墙面上管道区域为感兴趣区域，采用自适应直方图增强图像亮度，通过自适应中值滤波法增强图像细节特征，提取铁轨摄像头21采集rgb图像中路面上的铁轨区域为感兴趣区域，采用自适应直方图增强图像亮度，通过自适应中值滤波法增强图像细节特征；

b、提取铁轨线

b1、将a预处理后的铁轨摄像头21采集的图像灰度化处理，采用sobel算子边缘检测得到边缘图像f1(x,y)；

b2、分别利用长度为5的水平线性结构元素b1＝[11111]及长度为5的垂直线性结构元素b2＝[11111]^t对检测的边缘图像f1(x,y)先进行形态学腐蚀处理再进行形态学膨胀处理，得到开操作图像f2(x,y)，f2(x,y)即为干扰边缘图像，f2(x,y)计算公式如下：

其中，为形态学开运算符号，θ为形态学腐蚀符号，为形态学膨胀符号；

本步骤利用数学形态学的方法，采用线性结构元素b对边缘图像f1(x,y)进行形态学开运算从而得到干扰边缘图像；

b3、将边缘检测图像f1(x,y)减去干扰边缘f2(x,y)得到初步的轨道边缘图像f3(x,y)，f3(x,y)计算公式如下：

f3(x,y)＝f1(x,y)-f2(x,y)；

b4、扫描图像f3(x,y)，记图像中像素值都为1且位置相邻的像素点组成的图像区域为连通域c(x,y)，统计每个连通域的像素点数目，剔除连接像素点小于阈值th的连通域，获得优化的轨道边缘图像t(x,y)，公式如下：

其中，cd(x,y)表示剔除的连通域；h表示像素点低于阈值th的连通域的集合；

本实施例中阈值th为10，选取此阈值可以确保剔除图像中的短小且呈团状的干扰特征，从而获得更优化的轨道边缘图像t(x,y)；

b5、标记轨道图像t(x,y)中像素值为1的轨道边缘点，记为点集s，点集s的坐标为(xs，ys)；

c、提取管道线

c1、将a预处理后的管道摄像头20采集的图像由rgb空间转到hsv空间操作如下，

记rgb图像中某一像素的值为r、g、b，转换到hsv颜色空间之后的像素值为h、s、v，对r、g、b归一化处理，得到r′＝r/255、g′＝g/255、b′＝b/255、cmax＝max(r′,g′,b′)、cmin＝min(r′,g′,b′)、δ＝cmax-cmin，则

v＝cmax，

遍历rgb图像上所有的像素点，采用上述公式转换到hsv颜色空间；

c2、根据井下管道的颜色对应的h、s、v值，对图像进行阈值化处理，使符合井下管道颜色特征的像素值为255，不符合井下管道颜色特征的像素值为0，得到相应的二值图，标记像素值为255的点坐标，记为点集m；

井下管道颜色一般有黄色、绿色、蓝色，黄色的h、s、v值为(60°，100％，100％)，绿色的h、s、v值为(120°、100％、50％)，蓝色的h、s、v值为(240°，100％，100％)，若井下管道为黄色，则对图像中h、s、v值符合黄色特征的点的像素值标为255，不符合黄色特征的点的像素值标为0，由此得到了只包含两种像素值的二值图，标记出像素值为255的点坐标，记为点集m，点集m的坐标为(xm，ym)；

c3、将点集m中的点的纵坐标平移，使得管道图像与铁轨图像的光学中心重合，得到点集m，点集m坐标为(xm，ym)，其中

xm＝xm，

ym＝ym-a，

其中a为管道摄像头20与铁轨摄像头21的光学中心距离；

d、多标识线融合，

管道点的权重占比为w1，铁轨点的权重占比为w2，w1+w2＝1，

本实施例中w1取0.2～0.3，w2取0.7～0.8；

将同一纵坐标的检测点横坐标按对应的权重加权融合，得到点集q，即

(xq,yq)＝w1(xm,ym)+w2(xs,ys)，

经加权融合后的点集q位置处于巷道中间，是车体1正常安全行驶时的必经点，w1与w2的取值影响着加权融合后q中点的位置，w1与w2的取值过大或过小均会使加权融合后的点偏离巷道中间位置或不在车体1正常安全行驶时的必经点，会影响最终拟合目标曲线的有效性；

得到点集q后，利用三阶贝塞尔曲线拟合融合点，从图像最下方点即yq最小值的点作为起始点向上依次选取相邻点，4个点为一组，若最后一组小于4个点则舍弃，贝塞尔曲线由p0、p1、p2、p3四个点唯一确定，得到预测轨迹曲线b(t)：

b(t)＝p0(1-t)³+3p1(1-t)²t+3p2(1-t)t²+p3t³，

其中t的取值范围为[0，1]，t＝0表示曲线位于初始点即p0，t＝1表示曲线位于终点即p3，b(t)即为目标轨迹，如图4所示；

三、控制行驶：

图像处理模块3的信号传输子模块32将预测轨迹曲线信息传输至控制模块4，控制模块4根据信息控制车体1行驶，具体控制步骤如下，

通过预测轨迹曲线b(t)得到曲率k＝b′(t)，

b′(t)＝3(1-t)²(p1-p0)+6(1-t)t(p2-p1)+3t²(p3-p2)，

车体1方向盘转动角度δ＝lkn(1+ku²)，

其中，u为速度，k为稳定性因数，l为前后轮轴距，n为转向系角传动比；

控制模块4根据实时计算的方向盘转动角度δ控制车体1行驶过程中的方向。

本实施例的导航方法，分别提取巷道中管道线点集和铁轨线点集后，利用加权融合后的点集拟合曲线，并利用控制模块4根据拟合曲线的曲率来控制车体1行驶过程中的方向盘盘转动角度，从而达到对车体1行驶的导航，相比于单一的利用铁轨线拟合曲线进行导航及单一的利用管道线拟合曲线进行导航，本实施例的导航方法能有效提高导航精度，综合利用巷道中铁轨及管道两种显著的标志物进行目标轨迹曲线的拟合，降低巷道中复杂环境对导航精度的影响；且通过对管道线点集和铁轨线点集的加权融合，得到处于巷道中间、车体1正常安全行驶时必经点的点集，由此来确定拟合曲线，并根据曲线曲率来确定控制模块4控制车体1方向盘转动的角度，更加符合车体1实际行驶位置处的方向盘转角需求，行驶安全性、稳定性更有保障。

本发明所述实例仅仅是对本发明的优选实施方式进行描述，并非对本发明构思和范围进行限定，在不脱离本发明设计思想的前提下，本领域工程技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明的保护范围。