基于激光测距仪和机器视觉的煤机装备定位方法和装置与流程

1.本发明涉及煤机装备技术领域，尤其涉及一种基于激光测距仪和机器视觉的煤机装备定位方法和装置。


背景技术：

2.煤矿井下掘进工作面是最重要的工作面之一，煤机装备，例如掘进机所在工作面环境复杂，工作人员较多。掘进机在截割过程中会产生大量的粉尘和噪音，且工作面温度、湿度较大，危害着工作人员的身体健康。因此，实现掘进机的自动化、掘进机工作面的智能化是必然的趋势，其中，掘进机的自主导航至关重要。
3.在实现本发明过程中，发明人发现现有技术中至少存在以下问题：传统的激光指向仪导航技术操作简单，机器视觉技术定位精度高、成本低，惯性导航技术抗干扰强、自主性高。但是，传统的激光指向仪易被遮挡，机器视觉受环境影响大，惯性导航存在累积误差。


技术实现要素：

4.本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
5.为此，本发明的目的在于提出一种基于激光测距仪和机器视觉的煤机装备定位方法和装置。
6.第一方面，基于激光测距仪和机器视觉的煤机装备定位方法包括：
7.工业摄像机对煤机装备进行实时跟踪，其中，工业摄像机上固定有倾角仪和激光测距仪，激光测距仪和工业摄像机指向同一方向；
8.激光测距仪对所述煤机装备上固定的360度棱镜进行测距，获得激光测距仪和所述360度棱镜之间的距离；
9.响应于所述煤机装备运动，倾角仪测量实时水平方向的倾角和垂直方向的倾角；
10.根据激光测距仪和所述360度棱镜之间的距离、倾角仪测量的实时水平方向的倾角和垂直方向的倾角计算得到所述煤机装备的实时位置。
11.根据本发明的一个实施例，基于激光测距仪和机器视觉的煤机装备定位方法还包括：
12.服务器端获取所述工业摄像机采集的图像，利用帧差法识别出图像中的所述煤机装备，并控制工业摄像机偏转以指向所述煤机装备。
13.根据本发明的一个实施例，基于激光测距仪和机器视觉的煤机装备定位方法还包括：
14.将相邻帧图像对应像素值相减得到差分图像，对差分图像二值化；
15.若对应像素值的变化小于阈值，则此处为背景像素，否则此处为所述煤机装备像素。
16.根据本发明的一个实施例，基于激光测距仪和机器视觉的煤机装备定位方法还包括：
17.巷道坐标系的规定为：y轴方向为巷道前进方向，x方向为垂直y轴水平向右，z轴为垂直水平面向上；
18.设定所述激光测距仪在巷道坐标系下的初始位置为p(x0,y0,z0)，棱镜位置为t(x
t
,y
t
,z
t
)；
19.所述煤机装备上的360度棱镜的位置按下式计算：
[0020][0021]
式中，θ为激光测距仪与360度棱镜的水平方向夹角，φ为激光测距仪与360度棱镜垂直方向夹角，s为激光测距仪与360度棱镜的斜距。
[0022]
360度棱镜的实时位置即为煤机装备的实时位置。
[0023]
本发明的第二个目的在于提出一种基于激光测距仪和机器视觉的煤机装备定位装置，包括：
[0024]
工业摄像机，对煤机装备进行实时跟踪，其中，所述煤机装备上刚性连接有360度棱镜；
[0025]
激光测距仪，安装在所述工业摄像机的上方，用于测量激光测距仪与所述360度棱镜之间的距离，其中，激光测距仪和工业摄像机指向同一方向；
[0026]
倾角仪，安装在激光测距仪的上方，用于测量得到所述激光测距仪与所述煤机装备的水平方向夹角以及所述激光测距仪与360度棱镜的垂直方向夹角；
[0027]
服务器端，用于获取所述工业摄像机采集的图像，利用帧差法识别出图像中的所述煤机装备，并控制工业摄像机偏转以指向所述煤机装备，计算得到所述煤机装备的实时位置。
[0028]
根据本发明的一个实施例，基于激光测距仪和机器视觉的煤机装备定位装置还包括承载台，所述工业摄像机可旋转的设置在所述承载台上方，所述激光测距仪与所述工业摄像机刚性连接，所述倾角仪安装在所述激光测距仪的上方。
[0029]
根据本发明的一个实施例，所述工业摄像机和所述激光测距仪通过球铰连接。
[0030]
根据本发明的一个实施例，所述工业摄像机设有防爆外壳。
[0031]
根据本发明的一个实施例，所述煤机装备为掘进机、掘锚机和采煤机的至少一种。
[0032]
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
[0033]
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
[0034]
图1是本发明一实施例提出的基于激光测距仪和机器视觉的煤机装备定位方法的流程示意图。
[0035]
图2是本发明一实施例提出的基于激光测距仪和机器视觉的煤机装备定位装置的结构示意图。
[0036]
图3是本发明一实施例提出的利用帧差法实现煤机实时追踪的流程示意图。
[0037]
图4是本发明一实施例提出的利用激光测距仪测量煤机实时位置的原理图。
[0038]
附图标记：
[0039]
1-360度棱镜，2-掘进机，3-倾角仪，4-激光测距仪，5-工业摄像机，6-承载台。
具体实施方式
[0040]
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
[0041]
图1是本发明一实施例提出的基于激光测距仪和机器视觉的煤机装备定位方法的流程示意图。
[0042]
第一方面，本发明的一个实施例中，参见图1、图2，提供基于激光测距仪和机器视觉的煤机装备定位方法，包括以下步骤：
[0043]
s102，工业摄像机5对煤机装备进行实时跟踪，其中，工业摄像机5上固定有倾角仪3和激光测距仪4，激光测距仪4和工业摄像机5指向同一方向。
[0044]
s104，激光测距仪4对煤机装备上固定的360度棱镜1进行测距，获得激光测距仪4和360度棱镜1之间的距离。
[0045]
s106，响应于煤机装备运动，倾角仪3测量实时水平方向的倾角和垂直方向的倾角。
[0046]
本步骤中，由于工业摄像机进行煤机装备跟踪，因此激光测距仪和工业摄像机随煤机装备一起发生了水平和垂直方向旋转。
[0047]
s108，根据激光测距仪4和360度棱镜1之间的距离、倾角仪3测量的实时水平方向的倾角和垂直方向的倾角计算得到煤机装备的实时位置。
[0048]
本步骤中，煤机装备可以是掘进机2。初始时，激光光线方向可以为巷道轴线方向，此时倾角仪水平夹角和垂直夹角都设为零。当煤机装备运动时，360度棱镜位置发生变化，工业摄像机进行目标跟踪，激光测距仪和工业摄像机一起水平和垂直旋转，此时倾角仪测量的激光测距仪的水平角和垂直角，就是相对巷道轴线方向的水平夹角和相对水平面的垂直夹角。
[0049]
通过上述步骤，根据工业摄像机和激光指示仪的结合，获得煤机装备的实时位置，可以避免现有技术中使用机器视觉定位容易受环境影响，以及激光指示仪需要人工调整的问题，实现煤机装备定位的自动化和智能化。
[0050]
识别出工业摄像机采集图像中的煤机装备，可以根据实际需要来确定，图像处理识别的方式有很多种，在本实施例中提供以下可选的实现方式。
[0051]
步骤s102，工业摄像机5对煤机装备进行实时跟踪包括：
[0052]
步骤s1021，服务器端获取工业摄像机5采集的图像，利用帧差法识别出图像中的煤机装备，并控制工业摄像机5偏转以指向煤机装备。
[0053]
控制工业摄像机5偏转的装置可以采用现有技术中的驱动机构来实现。
[0054]
具体而言，参照图3，将相邻帧图像对应像素值相减得到差分图像，对差分图像二
值化。
[0055]
例如，设当前帧图像为fk，上一帧图像为f
k-1
，前后两帧图像的灰度值设为fk(x,y)和f
k-1
(x,y)，求两帧图像灰度值的差值的绝对值ak(x,y)：
[0056]ak
(x,y)＝fk(x,y)-f
k-1
(x,y)
[0057]
若对应像素值的变化小于阈值，则此处为背景像素，否则此处为煤机装备像素。
[0058]
得到的差分值ak(x,y)与提前设定的阈值t进行对比，当ak(x,y)大于阈值t，为掘煤机装备，当ak(x,y)小于阈值t，则为背景，如下式所示。
[0059][0060]
在步骤s106中，为了标准化测量，参照图4，巷道坐标系的规定为：y轴方向为巷道前进方向，x方向为垂直y轴水平向右，z轴为垂直水平面向上；
[0061]
设定激光测距仪在巷道坐标系下的初始位置为p(x0,y0,z0)，棱镜位置为t(x
t
,y
t
,z
t
)；
[0062]
煤机装备上的360度棱镜的位置按下式计算：
[0063][0064]
式中，θ为激光测距仪与360度棱镜的水平方向夹角，φ为激光测距仪与360度棱镜垂直方向夹角，s为激光测距仪与360度棱镜的斜距。
[0065]
360度棱镜的实时位置即为煤机装备的实时位置，360度棱镜的位置应能使激光测距仪照射到。
[0066]
从上述实施例可以看出，本发明实施例提供的基于激光测距仪和机器视觉的煤机装备定位方法，采用机器视觉进行煤机装备实时跟踪，激光测距仪进行煤机装备位置检测。激光测距仪环境适应性相对较好，精度高，能够进行煤机装备位置的实时检测。两者结合成本较低，且环境适应好，定位精度高，为煤机装备自动化、智能化实现提供帮助。
[0067]
基于上述目的，本发明实施例的第二个方面，提出了一种基于激光测距仪和机器视觉的煤机装备定位装置。本发明一个实施例中，基于激光测距仪和机器视觉的煤机装备定位装置，包括服务器端、倾角仪3、激光测距仪4和工业摄像机5。工业摄像机5，对煤机装备进行实时跟踪，其中，煤机装备上刚性连接有360度棱镜；激光测距仪4，安装在工业摄像机5的上方，用于测量激光测距仪4与360度棱镜之间的距离，其中，激光测距仪4和工业摄像机5指向同一方向；倾角仪3，安装在激光测距仪4的上方，用于测量得到激光测距仪4与煤机装备的水平方向夹角以及激光测距仪4与360度棱镜1的垂直方向夹角；服务器端，用于获取工业摄像机5采集的图像，利用帧差法识别出图像中的煤机装备，并控制工业摄像机5偏转以指向煤机装备，计算得到煤机装备的实时位置。
[0068]
需要说明的是，煤机装备为掘进机2、掘锚机和采煤机的至少一种。
[0069]
在一些实施例中，基于激光测距仪和机器视觉的煤机装备定位装置，还包括承载台6，工业摄像机5可旋转的设置在承载台6上方，激光测距仪4与工业摄像机5刚性连接，倾角仪3安装在激光测距仪4的上方。
[0070]
作为一种可能实现的方式，工业摄像机5和激光测距仪4通过球铰连接。激光测距仪4和工业摄像机5整体结构能够在水平面内进行360度旋转，在垂直方向可以进行-90
°
～90
°
的上下旋转。当煤机装备发生前进、横滚和俯仰变化时，360度棱镜随着煤机装备一起发生相同变化。为满足井下安全作业需求，工业摄像机5设有防爆外壳。
[0071]
基于激光测距仪和机器视觉的煤机装备定位方法，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。
[0072]
需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
[0073]
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
[0074]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0075]
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。