影像匹配方法、装置及计算机可读存储介质与流程

本发明涉及计算机技术领域，尤其涉及一种影像匹配方法、装置及计算机可读存储介质。

背景技术：

影像匹配是指通过一定的匹配算法在两幅或多幅影像之间识别同名点的过程。它是影像融合、目标识别、目标变化检测、计算机视觉等问题中的一个重要前期步骤，在遥感、数字摄影测量、计算机视觉、地图学及军事应用等多个领域都有着广泛的应用。目前影像匹配最行而有效的方法就是通过目测，判断影像的不同点；其次，根据影像的本质就是像素的原理，比较目标区域的所有像素灰度值；或者基于模板匹配的原理，找到目标影像和搜寻影像中的子影像相同或最相似的位置等。

以上方法都能在某些领域中切实可行，但当应用于航拍下的密集立体场景的匹配中，效果都会差强人意。由于航拍下的影像不仅数量巨大，而且每张图片的物体也很密集，人眼目测应接不暇不切实际；而利用像素匹配在对多幅影像像素做差值时，受噪声、量化误差、微小的光照变化、极小的平移等影响，都将产生较大的像素差值，影响匹配效果；而模板匹配方法应用于密集的影像中，需生成大量的匹配模块在图中进行寻找，时效性一般，同时受影像噪声影响，误匹配的概率也非常大。综合来说，由于航拍下的密集场景复杂多变，能进行三维重建可以更有效的帮助使用人员进行分析研究，而上述方法都缺少该功能。

技术实现要素：

本发明提供一种影像匹配方法、装置及计算机可读存储介质，其主要目的在于提供一种应用于航拍下密集立体场景的新型影像匹配方法，提升影像匹配效率。

为实现上述目的，本发明提供的一种影像匹配方法，包括：

根据航拍仪拍摄的场景影像，生成影像成像图，利用尺度不变特征变换法对影像成像图进行初次影像匹配，生成初次影像匹配集；

基于所述初次影像匹配集，生成核线影像并计算所述核线影像之间的重叠度，完成第二次影像匹配，生成第二次影像匹配集；

基于所述的第二次影像匹配集，建立影像间所有像素点的密集匹配，生成第三次影像匹配集，并执行三维重建，得到重构后的场景影像。

可选地，根据航拍仪拍摄的场景影像，生成影像成像图，包括：

根据航拍仪器拍摄所述场景影像时所记录的参数，包括低精度位置、姿态信息及测区的概略高度，利用航拍下物体成像的模型公式将航拍仪器拍摄的存在重叠的场景影像恢复出各自的位置，生成n幅影像成像图，其中，所述物体成像的模型公式如下：

sm＝kr[i-c]m，

其中，s为尺度系数，m为像点坐标，m为物点坐标，k为航拍工具内的参数矩阵，r为旋转矩阵，c为投影中心位置向量，i为3阶单位矩阵。

可选地，所述利用尺度不变特征变换法对影像成像图进行初次影像匹配，生成初次影像匹配集，包括：

将所述n幅影像成像图组成的影像集转换为对应的无向图边集合e；

在所述无向图边集合e中，采用尺度不变特征变换算法进行影像匹配，并在影像匹配中，对于影像(ii、ij)，若ii、ij两影像的匹配点数量小于阈值n1，则将(ii、ij)从集合e中剔除，若ii、ij两影像的匹配点数量大于阈值n1，则保留该成像图对，生成影像对，产生所述初次影像匹配集。

可选地，基于所述初次影像匹配集，生成核线影像并计算所述核线影像之间的重叠度，完成第二次影像匹配，生成第二次影像匹配集，包括：

(a)利用尺度不变特征变换法算法对所述影像对进行点特征提取，获取分布均匀的高精度同名点后，利用基于ransac策略进行基础矩阵估计，得到基础矩阵；

(b)利用所述基础矩阵确定每组同名点对应的同名核线；

(c)根据核线必相交于核点的原理，采用最小二乘法确定影像对的核点坐标，根据核点坐标生成影像间核线的快速映射，并沿核线方向采用双线性内插法进行核线重采样，完成核线影像制作并匹配重新生成影像对，产生所述第二次影像匹配集。

可选地，所述(c)包括：

基于所述基础矩阵，构建旋转矩阵和投影矩阵，将所述旋转矩阵分为x、y、z轴，各为其中，的表达方式如下：

并得到投影矩阵

其中，为相机left的相机参数，为相机right的相机参数，t^left、t^right分别是相机left和相机right的相机参数在x、y、z轴的分量；

根据核线必交于核点原理，由投影矩阵的计算结果，采用最小二乘法确定影像的核点坐标(xp,yp)；

根据共线条件方程推导出中心投影，在核线采样时，计算出相邻两条核线之间的夹角关系，完成中心投影影像上每条核线的确定；利用上述生成的基础矩阵，可以确定每个影像对所对应的核线，分别根据中每个核像的核点坐标确定该点的核线，完成同影像对之间的核线对应，得到的核线方程为：

其中，(xp,yp)是上述计算的核点坐标，(xbase,ybase)为中心投影影像的基准坐标，同理得到的核线方程；

以所述核线方程为基础，建立起每个影像对的核线映射之后，按照双线性内插法的重采样规则，生成核线影像并计算重叠度，将核线影像的重叠度小于阈值n2的影像对丢弃，生成影像对，得到所述第二次影像匹配集。

可选地，所述基于所述的第二次影像匹配集，建立影像间所有像素点的密集匹配，包括：

在所述第二次影像匹配集e2的基础上，利用最小同值分割吸收核的角点检测算法分别提取的角点，形成角点的匹配点集合，结合对极几何约束、动态规划算法建立起影像间所有像素点的密集匹配。

可选地，所述基于所述的第二次影像匹配集，建立影像间所有像素点的密集匹配，生成第三次影像匹配集，包括：

对输入影像进行高斯平滑，遍历影像中每个像素点，利用sobel算子判断该像素点是否为边缘点，若是边缘点，则进一步根据全局能量方程的损失函数最小化原理，判断路径损失lr(p,d)是否最小化，判定原则如下：

其中，c(p,d)为路径的局部损失，

为路径的上一步损失，lr,min(p-r)为路径上一步损失的最小损失，由此可判定该点是否为角点，若被检测出的两角点相邻，则去掉lr(p,d)较大的角点，从而检测出所述第二次影像匹配集中影像对的角点；

对于影像角点集合中的每一个点，在影像中的相应搜索区域内寻找与之相匹配的角点，将得到的两个匹配点集合的交集称为初始匹配点集k1，在所述初始匹配点集k1中，对在影像对角点都互相集中的角点，在相应搜索区域内寻找匹配点，计算这个点与搜索区域内每个候选匹配点的相似度，选取与之相似度最大的候选匹配点为它的匹配点，得到角点的匹配点集合k2；

利用角点的匹配点集合k2，根据极限几何约束关系得到影像的极线对应关系，生成极限对应关系集k3，按灰度对k3内的极线进行分段，每条极线被分为若干灰度分段，生成的灰度分段集合为k4，利用动态规划算法建立灰度分段之间的对应关系，利用线性插值的方法在省对应的灰度分段之间建立各像素点之间的对应关系，从而实现影像间所有像素点的密集匹配，得到所述第三次影像匹配集。

可选地，所述执行三维重建，得到重构后的场景影像包括：

经过密集匹配后，利用所述第三次影像匹配集中所有像素点中存在的对应关系，计算出场景的景深，利用预设的3dmax软件对场景进行重构，恢复场景空间的三维几何信息，得到重构后的场景影像。

此外，为实现上述目的，本发明还提供一种影像匹配装置，所述装置包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的影像匹配程序，所述影像匹配程序被所述处理器执行时实现上述所述的影像匹配方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有影像匹配程序，所述影像匹配程序可被一个或者多个处理器执行，以实现如上所述的影像匹配方法的步骤。

本发明提出的影像匹配方法、装置及计算机可读存储介质根据航拍仪拍摄的场景影像，生成影像成像图，利用尺度不变特征变换法对影像成像图进行初次影像匹配，生成初次影像匹配集，基于所述初次影像匹配集，生成核线影像并计算所述核线影像之间的重叠度，完成第二次影像匹配，生成第二次影像匹配集，基于所述的第二次影像匹配集，建立影像间所有像素点的密集匹配，生成第三次影像匹配集，并执行三维重建，得到重构后的场景影像。本发明提升了影像匹配效率，能够对航拍下的密集场景的影像进行三维重建，从而能够更有效的帮助使用人员进行分析研究。

附图说明

图1为本发明一实施例提供的影像匹配方法的流程示意图；

图2为本发明一实施例提供的影像匹配装置的内部结构示意图；

图3为本发明一实施例提供的影像匹配装置中影像匹配程序的模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，所述“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。

进一步地，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

本发明提供一种影像匹配方法。参照图1所示，为本发明一实施例提供的影像匹配方法的流程示意图。该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。

在本实施例中，影像匹配方法包括：

s10、根据航拍仪拍摄的场景影像，生成影像成像图，利用尺度不变特征变换法对影像成像图进行初次影像匹配，生成初次影像匹配集。

由航拍仪器，如无人机、直升机等飞控系统拍摄的场景影像，影像数量多且视角宽广，特别是建筑物，数量多密集度大。所以，本发明首先将存在重叠的影像集恢复出各自的位置，重新构建出物体的成像图。

本发明较佳实施例根据航拍仪器拍摄需场景影像时所记录的低精度位置、姿态信息及测区的概略高度等参数，利用航拍下物体成像的模型公式将存在重叠的场景影像恢复出各自的位置，生成影像成像图。

本发明较佳实施例中，所述物体成像的模型公式如下：

sm＝kr[i-c]m，

其中，s为尺度系数；m为像点坐标，m为物点坐标(所述物点、像点分别是光学成像中的物方位置和像方位置)；k为航拍工具内的参数矩阵，由焦距、像主点坐标组成；r为旋转矩阵，可根据航拍工具的系统所记录的偏航(yaw)、俯仰(pitch)、侧滚(roll)，然后转换得到其近似值；c为投影中心位置向量，可直接由航拍工具的gps记录的经度(longitude)、纬度(latitude)、高(altitude)近似得到；i为3阶单位矩阵。

利用上述物体成像的模型公式可以得到n幅影像的成像图。

上述生成的n幅影像成像图，统称为影像集，将所述影像集转换为对应的无向图边集合e：gn＝(vn,en)，其中，vn称为顶点集，en称为边集(图是一种广泛应用的数据结构，图中的结点称为顶点，两个顶点之间的关系可用一个偶对来表示，称为边。如果图中代表边的偶对是有序的，那么称该图为有向图，如果代表边的偶对是无序的，则称其为无向图)。无向图边集合e中，en代表边的数量为ne，每条表代表一个影像对，则en代表ne个影像对，后续的影像匹配处理只需在这ne个影像对之间进行。若不考虑影像间关系，采用穷举遍历策略进行影像匹配，则总匹配数为通常n*(n-1)/2会远大于ne。因此，构建影像关系无向图的方法限定了影像匹配的范围，可以避免盲目的影像匹配，使总的影像匹配计算复杂度由o(n²)减少到o(n)，提高了匹配计算效率；同时又能有效排除非关联影像对的干扰，从根本上避免了无重叠影像产生的误匹配，提高匹配的准确率和重建的稳健性。

在无向图边集合e中，采用尺度不变特征变换(scale-invariantfeaturetransform，sift)算法进行影像匹配。在影像匹配中，若ii、ij两影像的匹配点较少，小于阈值n1，说明重叠较小或关联较弱，将(ii、ij)从集合e中剔除。若ii、ij两影像的匹配点数量大于阈值n1，则保留该成像图对，生成共n1e个影像对，产生初次影像匹配集e1。

s20、基于所述初次影像匹配集，生成核线影像并计算所述核线影像之间的重叠度，完成第二次影像匹配，生成第二次影像匹配集。

上述的s10只是过滤掉没有重复或重复度小的影像，对于具有一定重复的影像来说，本发明继续利用核线影像方法进行匹配过滤。

所述核线影像是在匹配的过程中，将搜索范围从二维平面的成像图变为一维直线的一种方法。具体来说，在密集的立体航拍中，拍摄基线与任一地面点构成的平面称为核面，核面与像面的交线称为核线。在立体像对上，同名像点一定位于同名核线上，而且同名核线对上的像点是一一对应的。因而，如果能够在立体像对上确定同名核线对，那么利用同名核线对的上述性质，就可以把二维影像的搜索和匹配转变成沿核线的搜索和匹配。核线影像消除了立体影像间的上下视差，缩小搜索范围，降低匹配计算量，提高匹配准确性，所以对于密集立体的影像匹配具有重要意义。

本发明较佳实施例揭露了一种核线影像制作和匹配方法，用于生成核线影像并计算所述核线影像之间的重叠度，该方法包括：(a)利用sift算法对所述影像对进行点特征提取，获取分布均匀的高精度同名点后，利用基于ransac策略进行基础矩阵估计，得到n1e个影像对的基础矩阵；(b)利用所述基础矩阵确定每组同名点对应的同名核线；(c)根据核线必相交于核点的原理，采用最小二乘法确定影像对的核点坐标，根据核点坐标生成影像间核线的快速映射，并沿核线方向采用双线性内插法进行核线重采样，完成核线影像制作并匹配重新生成共n2e个影像对，产生第二次影像匹配集。

基于基础矩阵的核线影像制作方法可以避免相对关系解算时的迭代计算以及赋初值等问题，且在航拍采用大角度视角的情况下，也可以有很好的解算精度。以下是上述步骤(c)即的具体步骤：

(1)确定核点坐标：

基于所述基础矩阵，构建旋转矩阵和投影矩阵，将所述旋转矩阵分为x、y、z轴，各为其中，的表达方式如下：

并得到投影矩阵

其中，为相机left的相机参数，为相机right的相机参数，t^left、t^right分别是相机left和相机right的相机参数在x、y、z轴的分量；

根据核线必交于核点原理，由投影矩阵的计算结果，采用最小二乘法确定影像的核点坐标(xp,yp)。

(2)执行核线映射：

映射的目的是为了在中心投影影像上直接进行核线影像纠正。映射的具体步骤是：根据共线条件方程推导出中心投影，在核线采样时，计算出相邻两条核线之间的夹角关系，完成中心投影影像上每条核线的确定；利用上述生成的基础矩阵，可以确定每个影像对所对应的核线，分别根据中每个核像的核点坐标确定该点的核线，完成同影像对之间的核线对应，得到的核线方程为：

其中，(xp,yp)是上述计算的核点坐标，(xbase,ybase)为中心投影影像的基准坐标，同理得到的核线方程。

(3)产生第二次影像匹配集：

以所述核线方程为基础，建立起每个影像对的核线映射之后，按照双线性内插法的重采样规则，生成核线影像并计算重叠度，将核线影像的重叠度小于阈值n2的影像对丢弃，生成共n2e个影像对，得到第二次影像匹配集e2。

上述生成的第二次影像匹配集e2虽然解决了大部分的立体匹配相似问题，达到了影像匹配的标准，但是对于战场监察、灾害情况搜救等这类密集的立体环境来说，还需要从二维影像恢复三维物体表面的几何结构，因此需进一步的处理，执行下述的s30。

s30、基于所述的第二次影像匹配集，建立影像间所有像素点的密集匹配，实现三维重建。

本发明较佳实施例采用密集匹配算法，在第二次影像匹配集e2的基础上，利用最小同值分割吸收核的角点检测算法分别提取的角点，形成角点的匹配点集合；结合对极几何约束、动态规划算法等方法建立起影像间所有像素点的密集匹配。具体步骤如下：

(一)检测第二次影像匹配集e2中影像的角点。

角点是影像的轮廓线上局部曲率变化最大的点，它含有影像中重要的信息，所以对于影像集e2中影像的细节匹配具有很大意义。本发明较佳实施例采用最小同值分割吸收核方法(smallestuni-valuesegmentassimilatingnucleus，susan)对影像角点进行检测：对输入影像进行高斯平滑；遍历影像中每个像素点，先利用sobel算子(它是一个离散的一阶差分算子，用来计算影像亮度函数的一阶梯度之近似值)判断该像素点是否为边缘点；若是边缘点，则进一步根据全局能量方程的损失函数最小化原理，判断角点的路径损失lr(p,d)是否最小化，判定原则如下：

其中c(p,d)为路径的局部损失，为路径的上一步损失，lr,min(p-r)为路径上一步损失的最小损失，由此可判定该点是否为角点，并去除冗余角点；进一步判断若被检测出的两角点相邻，则去掉lr(p,d)较大的角点。经过以上步骤，可以检测出第二次影像匹配集e2中影像对的角点。

(二)对影像对的角点进行自动匹配，得到匹配点集。

角点的自动匹配可以根据角点的异同有效区分出影像对之间的差异，是达到精准匹配的一个有效手段。角点自动匹配可分为这几步：①对于影像角点集合中的每一个点，在影像中的相应搜索区域内寻找与之相匹配的角点，相似的，对于影像角点集合中的每一个点，按同样的搜索方法在影像中寻找它们的对应匹配点，将这两个匹配点集合的交集称为初始匹配点集k1；②在所述初始匹配点集k1中，对在影像对角点都互相集中的角点，在相应搜索区域内寻找匹配点，计算这个点与搜索区域内每个候选匹配点的相似度，选取与之相似度最大的候选匹配点为它的匹配点。本发明较佳实施例中，所述相似度的计算方法采用梯度大小相似法：若一像素点的梯度大小为g，与之匹配的另一像素点的梯度大小近似服从正态分布，则两个像素的相似度lg为：

其中，d(x)为密度函数，k为密度系数。经过相似度的计算得到匹配点集k2。

(三)根据所述匹配点集k2，建立起影像间所有像素点的密集匹配。

本发明较佳实施例中，所述密集匹配包括：①对匹配点集k2根据极限几何约束关系得到影像的极线对应关系，得到极限对应关系集k3。所谓的极限几何约束关系就是指若l和l’是左右两幅影像中的两条对应极线，则左影像中极线l上的点p在右影像中的对应点一定在极线l’上。②由生成的极限对应关系集k3，按灰度对k3内的极线进行分段，每条极线被分为若干灰度分段，每段上的像素点的灰度值都相近。灰度分段的公式如下：

上述公式的物理意义是将灰度值在某一范围内的连续点分为一段。其中，i(xt,yt)为像素点(xt,yt)的灰度值；w为某一灰度分段上的像素点个数，即灰度分段的长度；t为某一阈值，取值越小，被划分为某一灰度分段上的像素点个数越少，灰度分段数就越多，经实验研究，t取3时匹配效果最好，生成的灰度分段集合为k4；③利用动态规划算法(是一种寻找最佳匹配路径的优化方法)建立灰度分段之间的对应关系，利用线性插值的方法在省对应的灰度分段之间建立各像素点之间的对应关系，从而实现影像间所有像素点的密集匹配，得到第三次影像匹配集e3。

经过密集匹配后，所述第三次影像匹配集e3中所有像素点都存在对应关系，因此可以计算出场景的景深，利用预设的3dmax软件对场景进行重构，恢复场景空间的三维几何信息，得到重构后的影像。

本发明还提供一种影像匹配装置。参照图2所示，为本发明一实施例提供的影像匹配装置的内部结构示意图。

在本实施例中，影像匹配装置1可以是pc(personalcomputer，个人电脑)，也可以是智能手机、平板电脑、便携计算机等终端设备。该影像匹配装置1至少包括存储器11、处理器12，通信总线13，以及网络接口14。

其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是影像匹配装置1的内部存储单元，例如该影像匹配装置1的硬盘。存储器11在另一些实施例中也可以是影像匹配装置1的外部存储设备，例如影像匹配装置1上配备的插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)等。进一步地，存储器11还可以既包括影像匹配装置1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于影像匹配装置1的应用软件及各类数据，例如影像匹配程序01的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。

处理器12在一些实施例中可以是一中央处理器(centralprocessingunit,cpu)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行影像匹配程序01等。

通信总线13用于实现这些组件之间的连接通信。

网络接口14可选的可以包括标准的有线接口、无线接口(如wi-fi接口)，通常用于在该装置1与其他电子设备之间建立通信连接。

可选地，该装置1还可以包括用户接口，用户接口可以包括显示器(display)、输入单元比如键盘(keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organiclight-emittingdiode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在影像匹配装置1中处理的信息以及用于显示可视化的用户界面。

图2仅示出了具有组件11-14以及影像匹配程序01的影像匹配装置1，本领域技术人员可以理解的是，图1示出的结构并不构成对影像匹配装置1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

在图2所示的装置1实施例中，存储器11中存储有影像匹配程序01；处理器12执行存储器11中存储的影像匹配程序01时实现如下步骤：

第一步、根据航拍仪拍摄的场景影像，生成影像成像图，利用尺度不变特征变换法对影像成像图进行初次影像匹配，生成初次影像匹配集。

由航拍仪器，如无人机、直升机等飞控系统拍摄的场景影像，影像数量多且视角宽广，特别是建筑物，数量多密集度大。所以，本发明首先将存在重叠的影像集恢复出各自的位置，重新构建出物体的成像图。

本发明较佳实施例根据航拍仪器拍摄需场景影像时所记录的低精度位置、姿态信息及测区的概略高度等参数，利用航拍下物体成像的模型公式将存在重叠的场景影像恢复出各自的位置，生成影像成像图。

本发明较佳实施例中，所述物体成像的模型公式如下：

sm＝kr[i-c]m，

其中，s为尺度系数；m为像点坐标，m为物点坐标(所述物点、像点分别是光学成像中的物方位置和像方位置)；k为航拍工具内的参数矩阵，由焦距、像主点坐标组成；r为旋转矩阵，可根据航拍工具的系统所记录的偏航(yaw)、俯仰(pitch)、侧滚(roll)，然后转换得到其近似值；c为投影中心位置向量，可直接由航拍工具的gps记录的经度(longitude)、纬度(latitude)、高(altitude)近似得到；i为3阶单位矩阵。

利用上述物体成像的模型公式可以得到n幅影像的成像图。

上述生成的n幅影像成像图，统称为影像集，将所述影像集转换为对应的无向图边集合e：gn＝(vn,en)，其中，vn称为顶点集，en称为边集(图是一种广泛应用的数据结构，图中的结点称为顶点，两个顶点之间的关系可用一个偶对来表示，称为边。如果图中代表边的偶对是有序的，那么称该图为有向图，如果代表边的偶对是无序的，则称其为无向图)。无向图边集合e中，en代表边的数量为ne，每条表代表一个影像对，则en代表ne个影像对，后续的影像匹配处理只需在这ne个影像对之间进行。若不考虑影像间关系，采用穷举遍历策略进行影像匹配，则总匹配数为通常n*(n-1)/2会远大于ne。因此，构建影像关系无向图的方法限定了影像匹配的范围，可以避免盲目的影像匹配，使总的影像匹配计算复杂度由o(n²)减少到o(n)，提高了匹配计算效率；同时又能有效排除非关联影像对的干扰，从根本上避免了无重叠影像产生的误匹配，提高匹配的准确率和重建的稳健性。

在无向图边集合e中，采用尺度不变特征变换(scale-invariantfeaturetransform，sift)算法进行影像匹配。在影像匹配中，若ii、ij两影像的匹配点较少，小于阈值n1，说明重叠较小或关联较弱，将(ii、ij)从集合e中剔除。若ii、ij两影像的匹配点数量大于阈值n1，则保留该成像图对，生成共n1e个影像对，产生初次影像匹配集e1。

第二步、基于所述初次影像匹配集，生成核线影像并计算所述核线影像之间的重叠度，完成第二次影像匹配，生成第二次影像匹配集。

上述的第一步只是过滤掉没有重复或重复度小的影像，对于具有一定重复的影像来说，本发明继续利用核线影像方法进行匹配过滤。

所述核线影像是在匹配的过程中，将搜索范围从二维平面的成像图变为一维直线的一种方法。具体来说，在密集的立体航拍中，拍摄基线与任一地面点构成的平面称为核面，核面与像面的交线称为核线。在立体像对上，同名像点一定位于同名核线上，而且同名核线对上的像点是一一对应的。因而，如果能够在立体像对上确定同名核线对，那么利用同名核线对的上述性质，就可以把二维影像的搜索和匹配转变成沿核线的搜索和匹配。核线影像消除了立体影像间的上下视差，缩小搜索范围，降低匹配计算量，提高匹配准确性，所以对于密集立体的影像匹配具有重要意义。

本发明较佳实施例揭露了一种核线影像制作和匹配方法，用于生成核线影像并计算所述核线影像之间的重叠度，该方法包括：(a)利用sift算法对所述影像对进行点特征提取，获取分布均匀的高精度同名点后，利用基于ransac策略进行基础矩阵估计，得到n1e个影像对的基础矩阵；(b)利用所述基础矩阵确定每组同名点对应的同名核线；(c)根据核线必相交于核点的原理，采用最小二乘法确定影像对的核点坐标，根据核点坐标生成影像间核线的快速映射，并沿核线方向采用双线性内插法进行核线重采样，完成核线影像制作并匹配重新生成共n2e个影像对，产生第二次影像匹配集。

基于基础矩阵的核线影像制作方法可以避免相对关系解算时的迭代计算以及赋初值等问题，且在航拍采用大角度视角的情况下，也可以有很好的解算精度。以下是上述步骤(c)即的具体步骤：

(1)确定核点坐标：

基于所述基础矩阵，构建旋转矩阵和投影矩阵，将所述旋转矩阵分为x、y、z轴，各为其中，的表达方式如下：

并得到投影矩阵

其中，为相机left的相机参数，为相机right的相机参数，t^left、t^right分别是相机left和相机right的相机参数在x、y、z轴的分量；

根据核线必交于核点原理，由投影矩阵的计算结果，采用最小二乘法确定影像的核点坐标(xp,yp)。

(2)执行核线映射：

映射的目的是为了在中心投影影像上直接进行核线影像纠正。映射的具体步骤是：根据共线条件方程推导出中心投影，在核线采样时，计算出相邻两条核线之间的夹角关系，完成中心投影影像上每条核线的确定；利用上述生成的基础矩阵，可以确定每个影像对所对应的核线，分别根据中每个核像的核点坐标确定该点的核线，完成同影像对之间的核线对应，得到的核线方程为：

其中，(xp,yp)是上述计算的核点坐标，(xbase,ybase)为中心投影影像的基准坐标，同理得到的核线方程。

(3)产生第二次影像匹配集：

以所述核线方程为基础，建立起每个影像对的核线映射之后，按照双线性内插法的重采样规则，生成核线影像并计算重叠度，将核线影像的重叠度小于阈值n2的影像对丢弃，生成共n2e个影像对，得到第二次影像匹配集e2。

上述生成的第二次影像匹配集e2虽然解决了大部分的立体匹配相似问题，达到了影像匹配的标准，但是对于战场监察、灾害情况搜救等这类密集的立体环境来说，还需要从二维影像恢复三维物体表面的几何结构，因此需进一步的处理，执行下述的第三步。

第三步、基于所述的第二次影像匹配集，建立影像间所有像素点的密集匹配，实现三维重建。

本发明较佳实施例采用密集匹配算法，在第二次影像匹配集e2的基础上，利用最小同值分割吸收核的角点检测算法分别提取的角点，形成角点的匹配点集合；结合对极几何约束、动态规划算法等方法建立起影像间所有像素点的密集匹配。具体步骤如下：

(一)检测第二次影像匹配集e2中影像的角点。

角点是影像的轮廓线上局部曲率变化最大的点，它含有影像中重要的信息，所以对于影像集e2中影像的细节匹配具有很大意义。本发明较佳实施例采用最小同值分割吸收核方法(smallestuni-valuesegmentassimilatingnucleus，susan)对影像角点进行检测：对输入影像进行高斯平滑；遍历影像中每个像素点，先利用sobel算子(它是一个离散的一阶差分算子，用来计算影像亮度函数的一阶梯度之近似值)判断该像素点是否为边缘点；若是边缘点，则进一步根据全局能量方程的损失函数最小化原理，判断角点的路径损失lr(p,d)是否最小化，判定原则如下：

其中c(p,d)为路径的局部损失，为路径的上一步损失，lr,min(p-r)为路径上一步损失的最小损失，由此可判定该点是否为角点，并去除冗余角点；进一步判断若被检测出的两角点相邻，则去掉lr(p,d)较大的角点。经过以上步骤，可以检测出第二次影像匹配集e2中影像对的角点。

(二)对影像对的角点进行自动匹配，得到匹配点集。

角点的自动匹配可以根据角点的异同有效区分出影像对之间的差异，是达到精准匹配的一个有效手段。角点自动匹配可分为这几步：①对于影像角点集合中的每一个点，在影像中的相应搜索区域内寻找与之相匹配的角点，相似的，对于影像角点集合中的每一个点，按同样的搜索方法在影像中寻找它们的对应匹配点，将这两个匹配点集合的交集称为初始匹配点集k1；②在所述初始匹配点集k1中，对在影像对角点都互相集中的角点，在相应搜索区域内寻找匹配点，计算这个点与搜索区域内每个候选匹配点的相似度，选取与之相似度最大的候选匹配点为它的匹配点。本发明较佳实施例中，所述相似度的计算方法采用梯度大小相似法：若一像素点的梯度大小为g，与之匹配的另一像素点的梯度大小近似服从正态分布，则两个像素的相似度lg为：

其中，d(x)为密度函数，k为密度系数。经过相似度的计算得到匹配点集k2。

(三)根据所述匹配点集k2，建立起影像间所有像素点的密集匹配。

本发明较佳实施例中，所述密集匹配包括：①对匹配点集k2根据极限几何约束关系得到影像的极线对应关系，得到极限对应关系集k3。所谓的极限几何约束关系就是指若l和l’是左右两幅影像中的两条对应极线，则左影像中极线l上的点p在右影像中的对应点一定在极线l’上。②由生成的极限对应关系集k3，按灰度对k3内的极线进行分段，每条极线被分为若干灰度分段，每段上的像素点的灰度值都相近。灰度分段的公式如下：

上述公式的物理意义是将灰度值在某一范围内的连续点分为一段。其中，i(xt,yt)为像素点(xt,yt)的灰度值；w为某一灰度分段上的像素点个数，即灰度分段的长度；t为某一阈值，取值越小，被划分为某一灰度分段上的像素点个数越少，灰度分段数就越多，经实验研究，t取3时匹配效果最好，生成的灰度分段集合为k4；③利用动态规划算法(是一种寻找最佳匹配路径的优化方法)建立灰度分段之间的对应关系，利用线性插值的方法在省对应的灰度分段之间建立各像素点之间的对应关系，从而实现影像间所有像素点的密集匹配，得到第三次影像匹配集e3。

经过密集匹配后，所述第三次影像匹配集e3中所有像素点都存在对应关系，因此可以计算出场景的景深，利用预设的3dmax软件对场景进行重构，恢复场景空间的三维几何信息，得到重构后的影像。

可选地，在其他实施例中，影像匹配程序还可以被分割为一个或者多个模块，一个或者多个模块被存储于存储器11中，并由一个或多个处理器(本实施例为处理器12)所执行以完成本发明，本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段，用于描述影像匹配程序在影像匹配装置中的执行过程。

例如，参照图3所示，为本发明影像匹配装置一实施例中的影像匹配程序的程序模块示意图，该实施例中，影像匹配程序可以被分割为初次匹配模块10、二次匹配模块20、三次匹配模块30以及重构模块40，示例性地：

所述初次匹配模块10用于：根据航拍仪拍摄的场景影像，生成影像成像图，利用尺度不变特征变换法对影像成像图进行初次影像匹配，生成初次影像匹配集。

所述二次匹配模块20用于：基于所述初次影像匹配集，生成核线影像并计算所述核线影像之间的重叠度，完成第二次影像匹配，生成第二次影像匹配集。

所述三次匹配模块30用于：基于所述的第二次影像匹配集，建立影像间所有像素点的密集匹配，生成第三次影像匹配集。

所述重构模块40用于：根据所述影像匹配集，执行三维重建，得到重构后的场景影像。

上述初次匹配模块10、二次匹配模块20、三次匹配模块30和重构模块40等程序模块被执行时所实现的功能或操作步骤与上述实施例大体相同，在此不再赘述。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有影像匹配程序，所述影像匹配程序可被一个或多个处理器执行，以实现如下操作：

根据航拍仪拍摄的场景影像，生成影像成像图，利用尺度不变特征变换法对影像成像图进行初次影像匹配，生成初次影像匹配集；

基于所述初次影像匹配集，生成核线影像并计算所述核线影像之间的重叠度，完成第二次影像匹配，生成第二次影像匹配集；

基于所述的第二次影像匹配集，建立影像间所有像素点的密集匹配，生成第三次影像匹配集，并执行三维重建，得到重构后的场景影像。

本发明计算机可读存储介质具体实施方式与上述影像匹配装置和方法各实施例基本相同，在此不作累述。

需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。