一种基于双轴云台机器人与双目视觉的高精度火源空间定位方法

1.本发明涉及计算机视觉技术领域，具体地说是一种基于双轴云台机器人与双目视觉的高精度火源空间定位方法。


背景技术：

2.在火灾发生初期，对火源进行探测、预警以及定位可以有效地保障人员的安全，避免财产损失。随着科技的不断进步，现有方法对火灾的发生已经具备一定的主动监控和预防能力。但以接触式传感器为核心的传统火源定位方法精度不高，并且在恶劣环境下会因环境限制和干扰而无法对火源进行有效定位，存在漏定、误定等问题；其次，现存一些基于图像处理的火源定位方法虽然改善了上述基于传感器的火源定位方法的不足，但此类方法无法计算出火源图像中的深度信息，即对于火源的三维空间信息无法得知；此外，基于图像处理的火源定位方法时间成本较高，无法满足在实际应用场景中对实时性的要求。
3.综上所述，现有火源定位方法的主要缺点如下：1)定位精度不高，存在漏定、误定等问题；2)实时性低，定位火源所需要的时间成本太高从而会导致更大的经济损失；3)丢失了火源图像的三维空间信息，即火源图像中的深度信息。


技术实现要素：

4.本发明的目的是针对以上不足，提供一种基于双轴云台机器人与双目视觉的高精度火源空间定位方法，实现对火源的三维空间定位，提高了火灾预防能力。
5.本发明所采用技术方案是：
6.一种基于双轴云台机器人与双目视觉的高精度火源空间定位方法，包括如下步骤：
7.s1、获取机器人上的双目相机在不同状态下对火源的多组拍摄图像；
8.s2、对每组拍摄图像均进行双目视觉定位，计算每组拍摄图像中的火源的三维信息，火源的三维信息包括平面位置信息和深度信息；
9.s3、根据所计算的多组火源的三维信息，取多组平面位置信息的中心作为火源的最终平面位置信息，取多组深度信息的均值作为火源的最终深度信息。
10.作为进一步的优化，本发明步骤s1中，通过调整双轴云台机器人的平面转动云台和仰角云台来调整双目相机的状态，并在每种状态下完成对火源的双目拍摄。
11.作为进一步的优化，本发明在步骤s1之前，当双轴云台机器人监测到火源时，向火源移动，当在一帧图像中被分割的火源目标所占像素大于50个时停止移动，并在步骤s1对火源拍摄的过程中，双轴云台机器人的位置不再发生变化。
12.作为进一步的优化，本发明在步骤s1之前，还需要通过张正友标定法对双目相机进行相机标定，获取相机的相机参数，所述相机参数包括内部参数和外部参数，所述内部参数包括焦距、图像中心和畸变系数，所述外部参数包括旋转矩阵和平移矩阵。
13.作为进一步的优化，本发明所述双目相机的相机标定的过程包括如下步骤：
14.s211、左目相机标定，获取左目相机的相机参数；
15.s212、右目相机标定，获取右目相机的相机参数；
16.s2013、双目标定，获取左目相机和右目相机之间的平移旋转关系。
17.作为进一步的优化，本发明步骤s2中，对每组拍摄图像进行双目视觉定位的过程包括：
18.s21、双目校正；
19.s22、双目视觉匹配；
20.s23、计算视差图；
21.s24、计算深度信息。
22.作为进一步的优化，本发明步骤s21中，采用极线矫正法对左目图像和右目图像进行畸变校正。
23.作为进一步的优化，本发明步骤s22中，在进行双目视觉匹配时采用归一化互相关匹配算法进行左目图像和右目图像的匹配，设定校正后的左目图像和右目图像分别为i
l
、ir，归一化互相关匹配算法对图像i
l
中其中一个待匹配像素构建一个n*n的匹配窗口，在图像ir极线上对每一个像素构建匹配窗口与待匹配像素匹配窗口计算相关性，相关性最高的视为最优匹配，计算相关性的计算公式如下：
[0024][0025]
其中：u1、u2分别为图像i
l
、ir匹配窗口的像素均值；
[0026]
归一化互相关匹配算法的匹配流程是通过在同一行中查找最优匹配，多行像素之间并行处理。
[0027]
作为进一步的优化，本发明步骤s23中，所述计算视差图的过程为将左目图像中的待测像素水平坐标与右目图像中的匹配像素水平坐标之间计算差值，然后统筹每个匹配像素的视差得到视差图。
[0028]
作为进一步的优化，本发明步骤s24中，通过将上述步骤中分别得到的焦距、极线和视差图数据，利用三角计算得到火源在世界坐标系中的深度信息，该深度信息即为火源距离双轴云台机器人的距离信息。
[0029]
本发明具有以下优点：
[0030]
1、本发明在传统火源定位方法的基础上，将双轴云台机器人和双目视觉定位有效结合，使得火源定位不再受二维空间的限制，可以计算出火源的三维位置信息；相比其他定位方法，本发明利用双轴云台机器人多次调整双目相机的方位、仰角，多次计算火源三维位置信息从而得到高精度的火源三维位置信息，能够有效在火灾初期定位火源预防火灾的发生；同时，该发明受周围环境的影响较小，可以自主在实际场景中移动，一定程度上解决了火灾定位设备部署困难的问题；此外，本发明也可以满足实际场景中对火源定位实时性的要求；
[0031]
2、本发明所提出的方法，火源定位精度高，时间成本低，能够在复杂环境中实现以非接触式的方式定位火源。
附图说明
[0032]
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0033]
下面结合附图对本发明进一步说明：
[0034]
图1为本发明的方法的流程示意图；
[0035]
图2为双目相机成像的原理图；
[0036]
图3为双轴云台机器人的正视图；
[0037]
图4为定位火源平面位置的示意图。
[0038]
其中：1、左目相机，2、右目相机，3、水平转动云台，4、仰角云台。
具体实施方式
[0039]
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互结合。
[0040]
需要理解的是，在本发明实施例的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。在本发明实施例中的“多个”，是指两个或两个以上。
[0041]
本发明实施例中的属于“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，单独存在b，同时存在a和b这三种情况。另外，本文中字符“/”一般表示前后关联对象是一种“或”关系。
[0042]
本实施例提供一种基于双轴云台机器人与双目视觉的高精度火源空间定位方法，如图1所示，包括如下步骤：
[0043]
s1、获取双轴云台机器人上双目相机在不同状态下对火源的多组拍摄图像；
[0044]
双目相机在拍摄火源图像之前，需要先进行双目相机的相机标定，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数，相机标定的目的主要为了获取相机的相机参数，所述相机参数包括内部参数和外部参数，所述内部参数包括焦距、图像中心和畸变系数，所述外部参数包括旋转矩阵和平移矩阵；
[0045]
相机标定就是为了标定左、右相机之间的相互位置，便于后续进行火源距离计算，具体的，本实施例的相机标定的过程包括如下步骤：
[0046]
s211、左目相机标定，获取左目相机的相机参数；
[0047]
s212、右目相机标定，获取右目相机的相机参数；
[0048]
s213、双目标定，获取左目相机和右目相机之间的平移旋转关系。
[0049]
本实施例中，上述相机标定过程均采用张正友标定法。
[0050]
在步骤s1之前，当双轴云台机器人监测到火源时开始移动，当在一帧图像中被分割的火源目标所占像素大于50个时停止移动，在后续对火源拍摄的过程中，双轴云台机器人的位置不再发生变化。
[0051]
如图3所示，本实施例中的双轴云台机器人上设置有平面转动云台3和仰角云台4，能够让双目相机在水平平面上和竖直平面上转动，其中双目相机包括左目相机1和右目相机2，左目相机1和右目相机2为一体结构，位置相对固定，上述通过调整平面转动云台3和仰角云台4来调整双目相机的状态，并在每种状态下完成对火源的双目拍摄，即在每次拍摄中分别获得左目图像和右目图像，本实施例的图示4中进行了五组火源图像的拍摄；
[0052]
s2、对每组拍摄图像均进行双目视觉定位，计算每组拍摄图像中的火源的三维信息，火源的三维信息包括平面位置信息和深度信息；
[0053]
具体的，对每组拍摄图像进行双目视觉定位的过程包括：
[0054]
s21、双目校正；
[0055]
双目校正的目的就是为了让左目图像与右目图像之间只存在x方向上的差异，提升视差计算的准确性。
[0056]
双目校正的具体步骤如下：
[0057]
(1)畸变校正：相机采集到的图像会发生形变，主要可分为径向畸变和切向畸变，径向畸变是指像素点以图像中心为圆心，顺着径向产生的变形，通常由于镜头厚薄不均匀导致，切向畸变是由相机的光轴未垂直于成像平面引起的，径向畸变和切向畸变都可以根据畸变系数进行校正。本实施例的所获得左目图像和右目图像的畸变采用极线校正方法，在校正之前，图像所反映的左右相机的光心并不是平行的，两个光心的连线为基线，像平面与基线的交点为极点，像点与极点所在的直线为极线，左右极线与基线构成的平面为空间点对应的极平面。校正后，校正后的图像所反映的极点在无穷远处，两个相机的光轴平行，像点在左右图像上的高度一致，后续的双目图像特征匹配时，只需在左、右目图像的同一行上搜索图像平面上的匹配点即可，使其效率大大提高；
[0058]
(2)经畸变校正后，非共面行对准的左、右目火源图像被校正为共面行对准。所述共面行对准：双目相机的图像平面在同一平面上，且同一点投影到两个相机的图像平面时位于两个像素坐标系的同一行。
[0059]
s23、双目视觉匹配；
[0060]
双目视觉匹配的目的就是为了把左目图像与右目图像上对应的像素点进行匹配，由于经过了相机标定后，匹配点是在同一行上的，进而可以在两张图的同一行中查找匹配点，通过匹配点得到每个点的视差d。
[0061]
在进行双目视觉匹配时采用归一化互相关匹配算法进行左目图像和右目图像的匹配，设定校正后的左目图像和右目图像分别为i
l
、ir，归一化互相关匹配算法对图像i
l
中其中一个待匹配像素构建一个n*n的匹配窗口，在图像ir极线上对每一个像素构建匹配窗口与待匹配像素匹配窗口计算相关性，相关性最高的视为最优匹配，计算相关性的计算公式如下：
[0062][0063]
其中：u1、u2分别为图像i
l
、ir匹配窗口的像素均值；
[0064]
归一化互相关匹配算法的匹配流程是通过在同一行中查找最优匹配，多行像素之间并行处理，提升运算效率。
[0065]
s24、计算视差图；
[0066]
本实施例所述计算视差图的过程为将左目图像中的待测像素水平坐标x
l
与右目图像中的匹配像素水平坐标xr之间计算差值x
l-xr，然后计算出每个匹配像素的视差d从而得到视差图。
[0067]
s25、计算深度信息；
[0068]
通过上述步骤中分别得到的焦距、基线和视差图数据，利用三角计算得到火源在世界坐标系中的深度信息，该深度信息即为火源距离双轴云台机器人的距离信息。具体的，如图2所示，根据δpp
l
pr和δpo
l
or有相似关系，可以得到：
[0069][0070]
其中：u
l
和ur分别为p点在左、右目图像上x轴方向上的坐标，如图2所示几何模型中的ur在or的左边，因此ur为负值，几何模型中标注的距离为正值应为-ur；
[0071]
由步骤s25可以得到视差d：
[0072]
d＝u
l-ur[0073]
根据上式，可以得到深度值z为：
[0074][0075]
其中：f为双目相机的焦距，b为相机双目间的基线。
[0076]
s3、根据所计算的多组火源的三维信息，取多组平面位置信息的中心作为火源的最终平面位置信息，具体的，如图4所示，取5个火源平面位置为例，p1、p2、p3、p4、p5分别是双目相机在不同方位、不同仰角下得到的火源平面位置信息，将这5个点连接起来，求得该五边形的中心位置即点p’作为火源的平面位置信息；对n个深度信息取均值作为火源的深度信息，该深度信息即为火源的距离信息，也就是火源距离双轴云台机器人的距离。至此，本本实施例所述的方法定位到的火源位置不仅仅局限于其二维空间，实现了火源定位信息从二维空间到三维空间的提升，有效结合双轴云台机器人与双目视觉得到了火源的高精度三维位置信息，相比其他定位方法，火源定位精度得到了很大程度的提高。
[0077]
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。