基于激光测距仪引导的隧道图像拼接方法及装置与流程

本发明属于隧道扫描和计算机视觉领域，更具体地，涉及一种基于激光测距仪引导的隧道图像拼接方法及装置。

背景技术：

定期的隧道检查对及时的进行隧道维护有重要意义，可避免发生隧道衬砌脱落的严重事故，从而保障隧道内车辆的行驶安全。利用图像进行隧道病害的发现已经成为一种有效的隧道检查方法，提高了隧道检查的效率。但是单个相机的视场角不足使其无法通过一次拍摄获得整个隧道衬砌的图像，因此多相机阵列被用于同时获得隧道衬砌的多张图像。利用图像拼接技术将多张隧道图像进行拼接，得到覆盖整个隧道衬砌的图像。然而，隧道衬砌表面是一个曲面，这使相机的成像平面与隧道衬砌表面无法保持严格的平行，造成了隧道图像的几何畸变。为了减少这种几何畸变，利用运动中恢复结构(structurefrommotion，sfm)生成的隧道点云进行辅助拼接的方法开始被采用。该类方法首先将隧道图像投影到隧道点云所在的曲面实现图像的几何纠正，然后利用图像拼接软件进行自动拼接。

但是，利用sfm生成隧道点云需要进行特征点的检测和匹配，若隧道图像缺乏明显的特征，该类方法的效果则会很受限。采用激光扫描仪可以直接获得高精度且密集的隧道衬砌表面点云，但是传统的激光扫描仪成本过高，这限制了其应用。采用低成本的激光测距仪(laserrangefinder，lrf)辅助隧道图像的拼接成为了一个新的方向，但是该方法目前仍然存在下述挑战：

1)外参检校。相机和激光测距仪具有不同的坐标系，为了结合激光数据进行隧道图像的拼接，需要通过检校将相机和激光转换到一个公共坐标系。然而激光测距仪的激光数据是肉眼不可见的，因此无法直接建立激光点和像点之间的对应关系，这为检校带来了挑战。

2)隧道衬砌表面的3维建模。激光测距仪每次只扫描隧道衬砌表面的一条线，而相机则每次拍摄衬砌表面的一个区域，因此如何使用单线的激光数据对相机拍摄的衬砌表面进行建模亟待解决。

3)检校的误差对拼接结果的影响。经检校获得的相机外参存在误差，导致图像拼接时在重叠区存在错位，这种错位会影响病害等明显特征在拼接结果中的结构连续性。

因此，如何利用激光测距仪有效的辅助隧道图像的拼接是目前亟需解决的技术难题。

技术实现要素：

针对现有技术的以上缺陷或改进需求，本发明提出了一种基于激光测距仪引导的隧道图像拼接方法及装置，由此解决如何利用激光测距仪有效的辅助隧道图像拼接的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于激光测距仪引导的隧道图像拼接方法，包括：

(1)采用棋盘格建立每个相机和激光测距仪之间的共面约束，基于所述共面约束得到每个相机在所述激光测距仪坐标系中的外参；

(2)利用所述激光测距仪获取的激光数据建立隧道表面点云，结合各相机相对于所述激光测距仪坐标系的外参，对激光数据进行拟合，得到光滑的隧道轮廓线，将所述隧道轮廓线沿着车辆的前进方向平移复制实现隧道三维模型的建立；

(3)根据相机的小孔成像模型和各相机的外参，以隧道三维模型作为媒介，获得隧道图像和最终拼接结果之间的映射，将所述映射记录为查找表，通过查询所述查找表实现隧道图像的粗拼接，得到粗隧道衬砌图像；

(4)基于graphcuts，考虑灰度和梯度差异并结合空间分辨率，对所述粗隧道衬砌图像实现重叠区图像的最佳拼接，最终得到精细的拼接结果，获取精细隧道衬砌图像。

优选地，步骤(1)包括：

(1.1)对于每个相机，建立相机坐标系、激光测距仪坐标系和世界坐标系，其中，所述激光测距仪坐标系以激光扫描中心为原点，扫描平面为x-o-z平面建立右手系，所述相机坐标系以相机光心为原点，与成像平面平行建立x-o-y平面，光心后方为z轴建立右手系，所述世界坐标系以棋盘格平面为x-o-y平面建立右手系；

(1.2)调整棋盘格位置，使得棋盘格在被相机拍摄的同时，能够被激光扫描到；

(1.3)在距离相机不同距离的位置，通过摇晃棋盘格获得多组棋盘格图像，然后基于激光点在棋盘格平面上的共面约束得到相机的外参。

优选地，步骤(2)包括：

(2.1)将所述激光测距仪采集的位于所有相机视野外的激光点剔除，剩余的激光点作为有效激光点；

(2.2)在所述激光测距仪坐标系中，对所述有效激光点进行局部二次拟合，得到光滑的隧道轮廓线；

(2.3)沿着车辆前进的方向，每隔预设间隔平移复制一个拟合后的隧道轮廓线，从而得到隧道表面的三维模型。

优选地，步骤(3)包括：

(3.1)以相机拍摄的隧道图像的中心为原点建立图像坐标系，由所述三维模型上的模型点、所述模型点对应的图像像点及相机光心共线原理，根据相机成像的小孔成像模型，得到所述图像像点在所述图像坐标系的坐标，进而得到所述三维模型与所述隧道图像之间的对应关系；

(3.2)根据所述三维模型与所述隧道图像之间的对应关系，将所述隧道图像反投影到所述三维模型上后，将该带有纹理的三维模型展开成一个平面图像，得到所述隧道图像的粗拼接结果。

优选地，所述方法还包括：

将所述隧道图像中的像素和所述隧道图像的粗拼接结果中的像素之间的对应关系记录为查找表，其中，所述查找表用于在粗拼接时，通过查询所述查找表快速的将隧道图像进行拼接，得到粗拼接结果。

按照本发明的另一方面，提供了一种基于激光测距仪引导的隧道图像拼接装置，包括：

外参获取模块，用于采用棋盘格建立每个相机和激光测距仪之间的共面约束，基于所述共面约束得到每个相机在所述激光测距仪坐标系中的外参；

模型建立模块，用于利用所述激光测距仪获取的激光数据建立隧道表面点云，结合各相机相对于所述激光测距仪坐标系的外参，对激光数据进行拟合，得到光滑的隧道轮廓线，将所述隧道轮廓线沿着车辆的前进方向平移复制实现隧道三维模型的建立；

粗拼接模块，用于根据相机的小孔成像模型和各相机的外参，以隧道三维模型作为媒介，获得隧道图像和最终拼接结果之间的映射，将所述映射记录为查找表，通过查询所述查找表实现隧道图像的粗拼接，得到粗隧道衬砌图像；

精细拼接模块，用于基于graphcuts，考虑灰度和梯度差异并结合空间分辨率，对所述粗隧道衬砌图像实现重叠区图像的最佳拼接，最终得到精细的拼接结果，获取精细隧道衬砌图像。

优选地，所述外参获取模块包括：

坐标系建立模块，用于对于每个相机，建立相机坐标系、激光测距仪坐标系和世界坐标系，其中，所述激光测距仪坐标系以激光扫描中心为原点，扫描平面为x-o-z平面建立右手系，所述相机坐标系以相机光心为原点，与成像平面平行建立x-o-y平面，光心后方为z轴建立右手系，所述世界坐标系以棋盘格平面为x-o-y平面建立右手系；

外参获取子模块，用于在调整棋盘格位置，使得棋盘格在被相机拍摄的同时能够被激光扫描到后，在距离相机不同距离的位置，通过摇晃棋盘格获得多组棋盘格图像，然后基于激光点在棋盘格平面上的共面约束得到相机的外参。

优选地，所述模型建立模块包括：

预处理模块，用于将所述激光测距仪采集的位于所有相机视野外的激光点剔除，剩余的激光点作为有效激光点；

拟合模块，用于在所述激光测距仪坐标系中，对所述有效激光点进行局部二次拟合，得到光滑的隧道轮廓线；

模型建立子模块，用于沿着车辆前进的方向，每隔预设间隔平移复制一个拟合后的隧道轮廓线，从而得到隧道表面的三维模型。

优选地，所述粗拼接模块包括：

映射关系确定模块，用于以相机拍摄的隧道图像的中心为原点建立图像坐标系，由所述三维模型上的模型点、所述模型点对应的图像像点及相机光心共线原理，根据相机成像的小孔成像模型，得到所述图像像点在所述图像坐标系的坐标，进而得到所述三维模型与所述隧道图像之间的对应关系；

粗拼接子模块，用于根据所述三维模型与所述隧道图像之间的对应关系，将所述隧道图像反投影到所述三维模型上后，将该带有纹理的三维模型展开成一个平面图像，得到所述隧道图像的粗拼接结果。

优选地，所述粗拼接模块还包括：

查找表记录模块，用于将所述隧道图像中的像素和所述隧道图像的粗拼接结果中的像素之间的对应关系记录为查找表，其中，所述查找表用于在粗拼接时，通过查询所述查找表快速的将隧道图像进行拼接，得到粗拼接结果。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

本发明利用激光测距仪获取的激光数据建立隧道表面点云，结合标定得到的阵列相机相对于激光测距仪的位置关系，建立起隧道表面点云和影像像素之间的映射，获得具有纹理信息的隧道三维模型，将模型展开后即可得到完整的隧道衬砌图像，从几何角度实现了隧道图像的拼接，同时可采用基于graphcuts的优化拼接消除由外参误差造成的错位，得到精细的隧道衬砌图像，不依赖于特征的检测和匹配，具有高度的稳定性和足够的精度。

附图说明

图1是本发明实施例提供的一种隧道检查系统示意图；

图2是本发明实施例提供的一种方法流程示意图；

图3是本发明实施例提供的一种坐标系示意图；

图4是本发明实施例提供的一种外参检校示意图；

图5是本发明实施例提供的一种激光数据示意图；

图6是本发明实施例提供的一种隧道衬砌轮廓拟合示意图；

图7是本发明实施例提供的一种隧道表面3维模型示意图；

图8是本发明实施例提供的一种计算隧道表面模型和图像之间的对应关系的示意图；

图9是本发明实施例提供的一种隧道模型展开示意图；

图10是本发明实施例提供的一种基于graphcuts优化拼接的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明提出了一种基于激光测距仪引导的隧道图像拼接方法及系统，与传统基于特征的拼接方法相比，不依赖于特征的检测和匹配，具有高度的稳定性和足够的精度。

图1是本发明涉及的隧道扫描系统，该系统包含若干个ccd相机和一个激光测距仪。本发明所涉及的激光测距仪引导的隧道图像拼接方法，首先进行相机相对于激光测距仪的外参检校。然后采用激光测距仪采集的激光数据建立隧道表面的三维模型，并根据相机的小孔成像模型计算隧道图像和拼接结果的对应关系，将该对应关系记录为一个查找表，通过查询查找表实现隧道图像的粗拼接。最后，为了消除不精确的外参检校结果造成的粗拼接结果中的错位，可进行基于graphcuts的优化拼接，得到最终的精细隧道衬砌图像。本隧道图像拼接的方法流程如图2。接下来对每一部分的实施方式进行具体说明。

步骤一：相机相对于激光测距仪的外参检校。

在本发明实施例中，相机相对于激光测距仪的外参检校可以通过以下方式实现：

首先对隧道图像拼接所需的相关坐标系进行定义。如图3所示，以其中第7个相机为例，其摄影光心为原点，沿着光心后方的方向为z轴，与相机的成像平面平行建立xoy平面，建立如图所示的相机坐标系oc7-xc7yc7zc7，矩形框部分为该相机拍摄的隧道面。按照上述方式依次分别建立各个相机的相机坐标系oci-xciycizci(i＝1，2，3，...，n)。本发明实施例中，n取15，虚线为激光扫描线，对于激光测距仪，z轴垂直于水平面向上，xoz平面是扫描面，y轴指向相机，建立图3所示的激光测距仪坐标系of-xfyfzf。

图4是采用棋盘格平面进行相机相对于激光测距仪的外参检校的示意图，以棋盘格所在平面建立世界坐标系(ow-xwywzw)，棋盘格平面上zw＝0。激光点l在相机坐标系中的坐标为pc，其在激光坐标系中的坐标以pf表示，pc和pf满足：

pf＝φpc+δ(1)

其中，φ为相机坐标系与激光坐标系之间的旋转矩阵，是一个正交阵；δ为平移向量。

在相机坐标系中，棋盘格平面可以用其法向量n表示。||n||的大小表示相机坐标系的原点即光心到棋盘格平面的垂直距离d。激光点位于棋盘平面上，因此激光点到相机原点构成的向量pc和棋盘法向量n的乘积等于d²，即||n||²：

n·pc＝||n||²(2)

由(1)和(2)有：

n·φ^-1(pf-δ)＝||n||²(3)

在激光坐标系中，激光点pf的坐标已知，因此只需将n求解，便可根据(3)解出φ和δ，得出激光坐标系和相机坐标系之间的转换关系。

棋盘平面上任意两点在相机坐标系下构成的向量与棋盘平面法向量n垂直，同时棋盘平面上的点坐标可视为zw＝0，而棋盘平面在相机坐标系中的法向量存在以下关系：

n＝-r3(r3^t·t)(4)

其中，r3为棋盘格平面所在的世界坐标系和相机坐标系之间的旋转矩阵r＝(t1，r2，r3)的列向量，t为两坐标系之间的平移向量。r和t可根据现有的检校方法解出。

步骤二：隧道表面的3维建模。

图5是激光测距仪采集的激光数据示意图，图中矩形框中的激光点位于相机阵列的视野外，这些点作为无效点被剔除。对剩余的有效点进行局部二次拟合，在激光测距仪坐标系中，每一个激光点的y坐标都是0，即每一个激光点的坐标为(x，0，z)形式。

采用q表达原始轮廓和拟合轮廓之间的误差。

b0，b1和b2是系数，m是有效激光点的数目。q是bj(j＝0，1，2)的函数，所以当拟合轮廓为最佳时，q符合：

b0，b1和b2可根据下式求解。

其中，xi和zi分别表示第i个激光点的x坐标和z坐标。

拟合后得到图6所示的隧道光滑轮廓，图中矩形框中由隧道灯造成的干扰点通过拟合被排除。

沿着车辆前进的方向，每隔一个固定的间隔平移复制一个拟合后的轮廓线，从而得到隧道表面的3维模型，如图7所示。这个固定间隔即是最终得到的隧道衬砌图像的空间分辨率，该间隔的选择取决于相机和激光测距仪的选型。

步骤三：隧道图像的粗拼接。图8是隧道表面的3维模型与隧道图像的对应示意图。模型点m，图像像点p和相机光心c共线。以图像中心为原点建立图像坐标系o-uv。根据相机成像的小孔成像模型，m对应的p坐标可以根据下式计算。

其中，(u，v)是p相对于图像中心的坐标，f是相机焦距，(xa，ya，za)和(xs，ys，zs)分别是m和c在激光测距仪坐标系中的坐标，ai，bi和ci是的元素，φi是相机坐标系相对于激光测距仪坐标系的旋转矩阵。

隧道图像的空间分辨率根据下式进行计算。

其中，c是每一个像元的尺寸，d是该像元对应的模型点到相机光心c的距离。

获得隧道模型与图像之间的对应关系后，根据对应关系将隧道图像反投影到隧道模型上，再将该带有纹理的隧道模型展开成一个平面图像，即可得到隧道图像的粗拼接结果。图9是隧道模型展开示意图。通过展开，模型上左下角的点m被放到平面图像左上角的点m处，模型上的右上角的点n被放在平面图像上的右下角n处。

获得模型与图像的对应关系以及展开，这两个过程通过隧道表面模型作为中介，可以被视为从隧道图像直接到粗拼接结果之间的对应关系，这种关系被记录为一个查找表。查找表中记录着粗拼接结果中的像素与隧道图像中的像素的对应关系。通过查询查找表，可以快速的将隧道图像进行拼接，得到粗拼接结果，即粗隧道衬砌图像。需要注意的是，查找表所记录的粗拼接结果中的每一个像素，至少对应一个隧道图像的像素。这是因为位于重叠区域的粗拼接结果的像素p1，会有两个隧道图像的像素q1和q2与之对应。这里，对于p1，将q1和q2中，空间分辨率数值更小的像素赋值给p1。

步骤四：基于graphcuts的优化拼接。首先建立一个权重图graph。graph包含2类点分别为源点、汇点和普通节点，以及2类边分别为t-link和n-link，t-link为普通节点和源点或者汇点之间的连接。相邻的两张图像ip和iq分别作为源点和汇点。ip和iq的重叠区拼接而成的图像定义为组合图像i。组合图像i的每一像点为一个公共节点，每个公共节点与其四邻域的节点相连接，它们之间的连接就是n-link。

组合图像i的能量e(i)由数据能量项edata(i)和平滑能量项esmooth(i)组成，如下式。

e(i)＝edata(i)+esmooth(i)(10)

edata(i)表示给组合图像i的所有像素分配标签ip或者iq的总的能量成本。

edata(i)＝∑i＝p，qedata(ii)(11)

其中，edata(ii)，i＝p或q，是给组合图像i的像素分配标签ii的能量和，可根据下式进行计算。

edata(ii)＝∑x∈idi(x)(12)

其中，x是组合图像i的一个像素。di(x)表示给像素x分配标签ii的能量。组合图像i最左侧和最右侧的像素标签直接被分别设置为ip和iq，此时对应的di(x)＝0。组合图像i的剩余像素的di(x)根据下式进行计算。

其中，ri(x)是像素x在ip或iq中对应像素的空间分辨率。

根据graph的构建原理，在一个像素的4邻域，该像素与任一其他的像素都是相邻的。esmooth(i)用于惩罚给相邻的两个像素分配不同的标签，esmooth(i)根据下式计算。

esmooth(i)＝∑x，y∈n(i)esmooth(x，y)(14)

其中，n(i)是组合图像i中所有的相邻像素对。x和y是4邻域中的两个相邻的像素。esmooth(x，y)是平滑能量成本，等于x和y的能量成本之和，其可根据下式进行计算。

esmooth(x，y)＝nl(cc(x))+nl(cg(x))+nl(cc(y))+nl(cg(y))(15)

其中，cc(x)和cc(y)分别是相邻的两张图像ip和iq在x和y处的灰度差异，cg(x)和cg(y)表示梯度值的差异。nl(*)表示将差异归一化到0到255。

一个尺度因子α(0≤α≤1)被用于平衡edata(i)和esmooth(i)的影响。最终，能量成本e(i)被定义为：

e(i)＝α·nl(edata(i))+(1-α)(esmooth(i))(16)

这里edata(i)也进行了归一化处理。

图10是为了将相邻的两张图像的重叠区进行拼接所建立的graph的示意图，其中，s表示左图像ip，t表示右图像iq，矩形和圆形表示像素，相同形状的像素表示这些像素的灰度和梯度差异很小，具有较高的相似性。与s相连的像素被直接标记为ip，与t相连的像素则被标记为iq。这些像素上的数字表示像素的空间分辨率。

采用min-cut算法将像素选择分界线进行定位，如图10中虚线所示。分界线左侧像素都来自ip，右侧像素都来自iq。并且，分界线从具有高度相似性的区域通过，保证了明显特征的结构连续性。同时，使组合图像i中更多的像素来自于空间分辨率更清晰的图像，这保证了拼接结果的清晰度。

经过对粗拼接结果进行基于graphcuts的优化拼接，以减少粗拼接中存在的错位，保证隧道衬砌图像中特征的结构连续性，可实现隧道图像的精细拼接，得到最终的精细隧道衬砌图像。

在本发明的另一个实施例中，还提供了一种基于激光测距仪引导的隧道图像拼接装置，包括：

外参获取模块，用于采用棋盘格建立每个相机和激光测距仪之间的共面约束，基于所述共面约束得到每个相机在所述激光测距仪坐标系中的外参；

模型建立模块，用于利用所述激光测距仪获取的激光数据建立隧道表面点云，结合各相机相对于所述激光测距仪坐标系的外参，对激光数据进行拟合，得到光滑的隧道轮廓线，将所述隧道轮廓线沿着车辆的前进方向平移复制实现隧道三维模型的建立；

粗拼接模块，用于根据相机的小孔成像模型和各相机的外参，以隧道三维模型作为媒介，获得隧道图像和最终拼接结果之间的映射，将所述映射记录为查找表，通过查询所述查找表实现隧道图像的粗拼接，得到粗隧道衬砌图像；

精细拼接模块，用于基于graphcuts，考虑灰度和梯度差异并结合空间分辨率，对所述粗隧道衬砌图像实现重叠区图像的最佳拼接，最终得到精细的拼接结果，获取精细隧道衬砌图像。

其中，各模块的具体实施方式可以参考方法实施例中的描述，本发明实施例将不再复述。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。