一种近景摄影测量的快速密集匹配法
【专利摘要】本发明涉及近景摄影测量的快速密集匹配法，包括：特征提取，对原始图像建立影像金字塔，对影像金字塔中的每一层影像计算HARRIS角点响应值，并确定特征点方向以生成特征点描述；稀疏匹配，针对特征点进行抽稀形成强特征点，对强特征点进行SIFT匹配；密集匹配，用SIFT匹配生成的一致点，采用在平面三角网上内插视差的方法求初始左右视差及左右影像初始匹配坐标，遍历左影像特征点在右影像上寻找匹配点，再遍历右影像特征点在左影像上寻找匹配点，匹配方法采用最小二乘模板匹配。采用本发明可以实现快速、自动、精确、完全的密集匹配。
【专利说明】一种近景摄影测量的快速密集匹配法
【技术领域】
[0001]本发明涉及一种近景摄影测量【技术领域】，特别是关于一种近景摄影测量的快速密集匹配法。
【背景技术】
[0002]近景摄影测量包括近景摄影和图像处理两个过程。影像的匹配是图像处理中的关键技术，所谓影像匹配，就是找到立体像对中的两张照片里的同名点。传统的近景摄影测量采用直接线性变换(Direct Linear Transformat1n,英文缩写为DLT)通过两张影像上的6个以上公共点的三维坐标，直接解求影像外方位元素初值，然后通过对极约束，在核线上进行一维影像匹配。该方法要求人工量测较多的像控点，而且外方位元素初值误差较大，匹配效果往往不理想。在匹配的自动化方面，有人提出用HARRIS角点检测算子提取特征点，再用最小二乘模板匹配进行同名点的匹配，但初始匹配对往往需要手动指定种子点，不能达到自动化。也有人采用SIFT匹配算法，但是SIFT算法提取的特征点往往不是自然的纹理特征点，而且在大影像匹配时速度很慢，匹配出来的点也达不到密集程度。
[0003]有鉴于此，任何设计一种影像匹配方法以快速自动地建立立体像对的密集匹配关系是业内人士亟需解决的问题。
【发明内容】
[0004]本发明目的在于提供一种近景摄影测量的快速密集匹配法，以快速自动地建立立体像对的密集匹配关系。
[0005]为达到上述优点，本发明提供一种近景摄影测量的快速密集匹配法，其中，包括以下步骤:
[0006]特征提取，对原始图像建立影像金字塔，对所述影像金字塔中的每一层影像计算HARRIS角点响应值，并确定特征点方向以生成特征点描述；
[0007]稀疏匹配，针对所述特征提取步骤中的特征点进行抽稀形成强特征点，对所述强特征点进行SIFT匹配；
[0008]密集匹配，用所述稀疏匹配步骤中SIFT匹配生成的一致点，采用在平面三角网上内插视差的方法求初始左右视差及左右影像初始匹配坐标，遍历左影像特征点在右影像上寻找匹配点，再遍历右影像特征点在左影像上寻找匹配点，匹配方法采用最小二乘模板匹配。
[0009]在本发明的一个实施例中，在所述特征提取步骤中生成影像金字塔过程中，在简单降采样的基础上加入高斯滤波，对于金字塔的每一级，采用不同的参数做高斯模糊。
[0010]在本发明的一个实施例中，在所述稀疏匹配步骤中SIFT匹配采用KD树，从左影像特征点出发，找寻右影像中的同名特征点，判断方法是特征描述向量欧氏距离最短，当次短距离和最短距离比值大于预先设定的第一阈值时，标记为匹配成功，则生成匹配对，根据生成的所述匹配对，进行RANSAC的一致性检验。
[0011]在本发明的一个实施例中，所述第一阈值为1.5。
[0012]在本发明的一个实施例中，所述进行RANSAC的一致性检验过程为，先任取8点通过8点法求解F距阵，再用其余点根据所述F矩阵计算点的对极线方程，判断所述其余点到对极线的距离是否小于第二阈值，同时进行计数，每验证通过一点，所述计数加1，当所述计数达到预设值时，认为整个RANSAC检验完成，如果没有达到所述预设值，则重新选取8点重复这个过程，如果遍历完所有情况还没达到所述预设值，则取通过的点数最多的一组作为最后结果。
[0013]在本发明的一个实施例中，所述第二阈值为3-5像素。
[0014]在本发明的一个实施例中，所述预设值为70% -100%中的任意一个值。
[0015]在本发明的一个实施例中，在所述密集匹配步骤具体为对左右影像进行最小二乘法模板匹配，计算其最佳匹配坐标，根据所述最佳匹配坐标判断是否达到一致性约束的满足度，如满足则匹配成功。
[0016]在本发明的一个实施例中，所述一致性的满足度为80% -100%。
[0017]在本发明的一个实施例中，在所述特征提取步骤前还包括影像分块步骤，先对近景摄影中的大影像进行分块形成若干个大小相等的方块。
[0018]综上所述，本发明具有如下有益效果:
[0019]1.特征提取时，先对大影像进行分块，显著减少内存分配，提高提取速度；
[0020]2.采用多尺度HARISS角点检测算子检测角点，使特征点具有自然纹理特征；
[0021]3.采用SIFT描述子对特征点进行描述，用欧氏距离最短方法判断匹配成功，实现自动初始匹配；
[0022]4.在稀疏匹配前对特征点进行抽稀，保留强特征点，在不影响匹配精度的前提下显著提高匹配速度；
[0023]5.通过8点法计算F矩阵，采用RANSAC方法作一致性检测，剔除粗差；
[0024]6.采用视差三角网获取右影像初始坐标，遍历左影像特征点在右影像上寻找匹配点，再遍历右影像特征点在左影像上寻找匹配点的方法，最大限度提高匹配数量；
[0025]7.整个匹配过程完全自动化，且能快速完成影像匹配，匹配点密集。
【专利附图】
【附图说明】
[0026]图1为本发明一个实施例中的步骤示意图。
[0027]图2为本发明一个实施例中影像金字塔的结构示意图。
[0028]图3步骤S2的流程示意图。
[0029]图4步骤S3的流程示意图。
【具体实施方式】
[0030]为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对本发明的【具体实施方式】、结构、特征及其功效，详细说明如后。
[0031]图1为本发明一个实施例中的步骤示意图。如图1所示，本发明的近景摄影测量的快速密集匹配法的具体步骤如下:
[0032]步骤SI，特征提取。对原始图像建立影像金字塔，对所述影像金字塔中的每一层影像计算HARRIS角点响应值，并确定特征点方向以生成特征点描述；由于近景摄影中的影像尺寸一般较大，如果在原尺寸上直接生成影像金字塔会占用过多的存储空间，故在进行步骤SI之前还可以包括步骤S4:影像分块，需要先对近景摄影中的大影像进行分块形成若干个大小相等的方块，这样可以显著减少内存分配，提高提取速度。优选的，可以将这些大影像分割成512*512大小的方块，但分割后的方块尺寸并不以此为限，也可以是其他尺寸。然后，对上面分割后形成的每一个方块进行降米样，每一个方块降米样后都会生成一系列大小不一的图像，这些图像由大到小，从下到上，构成塔状模型，及建立影像金字塔。如图2所示，为了让尺度体现其连续性，高斯金字塔在简单降采样的基础上加入高斯滤波。对于金字塔的每一级，采用不同的参数做高斯模糊，得到多张影像，每一张称为一层，多层构成一组。对生成的高斯金字塔中的每一层影像，计算HARRIS角点响应值，在一个预先设定的格网内取一个极值点作为特征点保留下来，例如，16*16像素。接下来，确定特征点方向。本实施例中，采用梯度直方图统计法来确定特征点方向，统计以特征点为原点，一定区域内的图像像素点对特征点方向生成所作出的供献，供献最大的为主方向。最后，生成特征点描述。即通过特征点周围图像区域分块，计算块内梯度直方图，生成例如4*4*8 = 128维特征向量。
[0033]步骤S2:稀疏匹配。如图3所示，首先，针对步骤SI生成的特征点，进行格网抽稀。因为步骤Si生成的特征点较多，故本发明采用在指定大小的格网内取一个特征极值点的方法，将特征点抽稀形成强特征点。然后，对上述形成的强特征点，进行SIFT匹配。匹配方法采用KD树，从左影像特征点出发，找寻右影像中的同名特征点，判断方法是特征描述向量欧氏距离最短。当次短距离和最短距离比值大于预先设定的第一阈值时，标记为匹配成功，则生成匹配对，此处预先设定的第一阈值一般为1.5。根据生成的匹配对，先任取8点通过8点法求解F距阵，然后对F矩阵进行RANSAC (RANdom SAmple Consensus,缩写为RANSAC)的一致性检验，具体为先任取8点通过8点法求解F距阵，再用其余点根据这个F矩阵计算点的对极线方程，判断点到对极线的距离是否小于第二阈值，本实施例中，第二阈值设为3-5像素，同时进行计数，每验证通过一点，这个计数加1，当这个计数达到预设值，即达到总点数的70-100%，例如80%时，认为整个RANSAC检验完成，如果没达到，则重新选取8点重复这个过程，如果遍历完所有情况还没达到80%，则取通过的点数最多的，，一组作为最后结果。
[0034]步骤S3，密集匹配。流程图如图4所示。用步骤S2中SIFT匹配生成的一致点，采用在平面三角网上内插视差的方法求初始左右视差及左右影像初始匹配坐标，遍历左影像特征点在右影像上寻找匹配点，再遍历右影像特征点在左影像上寻找匹配点。
[0035]具体为用步骤S2中的一致点,在左影像上构建Delaunay三角网，计算三角网每个顶点上的视差，生成一个视差格网。从步骤SI中生成的HARRIS角点出发，判断特征点落在哪一个视差三角形内，通过双线性内插方法计算其在右影像上的初始坐标位置，进一步以上述初始坐标位置为初值，对左右影像进行最小二乘法模板匹配，精确计算其最佳匹配坐标。当相关系数大于某设定值即一致性的满足度时，在右影像上计算该坐标到对极线的距离是否满足一致性约束，该设定值可以为80% -100%，本实施例中设定为90%，如满足，认为匹配成功。遍历左影像上的所有点，重复进行步骤S3的密集匹配。遍历右影像上的所有点，重复进行步骤S3的密集匹配。
[0036]综上所述，本发明具有如下有益效果:
[0037]1.特征提取时，先对大影像进行分块，显著减少内存分配，提高提取速度；
[0038]2.采用多尺度HARISS角点检测算子检测角点，使特征点具有自然纹理特征；
[0039]3.采用SIFT描述子对特征点进行描述，用欧氏距离最短方法判断匹配成功，实现自动初始匹配；
[0040]4.在稀疏匹配前对特征点进行抽稀，保留强特征点，在不影响匹配精度的前提下显著提高匹配速度；
[0041]5.通过8点法计算F矩阵，采用RANSAC方法作一致性检测，剔除粗差；
[0042]6.采用视差三角网获取右影像初始坐标，遍历左影像特征点在右影像上寻找匹配点，再遍历右影像特征点在左影像上寻找匹配点的方法，最大限度提高匹配数量；
[0043]7.整个匹配过程完全自动化，且能快速完成影像匹配，匹配点密集。
[0044]以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
【权利要求】
1.一种近景摄影测量的快速密集匹配法，其特征在于，包括以下步骤: 特征提取，对原始图像建立影像金字塔，对所述影像金字塔中的每一层影像计算HARRIS角点响应值，并确定特征点方向以生成特征点描述； 稀疏匹配，针对所述特征提取步骤中的特征点进行抽稀形成强特征点，对所述强特征点进行SIFT匹配；以及 密集匹配，用所述稀疏匹配步骤中SIFT匹配生成的一致点，采用在平面三角网上内插视差的方法求初始左右视差及左右影像初始匹配坐标，遍历左影像特征点在右影像上寻找匹配点，再遍历右影像特征点在左影像上寻找匹配点，匹配方法采用最小二乘模板匹配。
2.如权利要求1所述的近景摄影测量的快速密集匹配法，其特征在于:在所述特征提取步骤中生成影像金字塔过程中，在简单降采样的基础上加入高斯滤波，对于金字塔的每一级，采用不同的参数做高斯模糊。
3.如权利要求1所述的近景摄影测量的快速密集匹配法，其特征在于:在所述稀疏匹配步骤中SIFT匹配采用KD树，从左影像特征点出发，找寻右影像中的同名特征点，判断方法是特征描述向量欧氏距离最短，当次短距离和最短距离比值大于预先设定的第一阈值时，标记为匹配成功，则生成匹配对，根据生成的所述匹配对，进行RANSAC的一致性检验。
4.如权利要求3所述的近景摄影测量的快速密集匹配法，其特征在于:所述第一阈值为 1.5。
5.如权利要求3所述的近景摄影测量的快速密集匹配法，其特征在于:所述进行RANSAC的一致性检验的过程为，先任取8点通过8点法求解F距阵，再用其余点根据所述F矩阵计算点的对极线方程，判断所述其余点到对极线的距离是否小于第二阈值，同时进行计数，每验证通过一点，所述计数加1，当所述计数达到预设值时，认为整个RANSAC检验完成，如果没有达到所述预设值，则重新选取8点重复这个过程，如果遍历完所有情况还没达到所述预设值，则取通过的点数最多的一组作为最后结果。
6.如权利要求5所述的近景摄影测量的快速密集匹配法，其特征在于:所述第二阈值为3-5像素。
7.如权利要求3所述的近景摄影测量的快速密集匹配法，其特征在于:所述预设值为70% -100%中的任意一个值。
8.如权利要求1所述的近景摄影测量的快速密集匹配法，其特征在于:在所述密集匹配步骤具体为对左右影像进行最小二乘法模板匹配，计算其最佳匹配坐标，根据所述最佳匹配坐标判断是否达到一致性约束的满足度，如满足则匹配成功。
9.如权利要求8所述的近景摄影测量的快速密集匹配法，其特征在于:所述一致性的满足度为80% -100%。
10.如权利要求1至9任一项所述的近景摄影测量的快速密集匹配法，其特征在于:在所述特征提取步骤前还包括影像分块步骤，先对近景摄影中的大影像进行分块形成若干个大小相等的方块。
【文档编号】G06K9/62GK104134203SQ201410326451
【公开日】2014年11月5日 申请日期:2014年7月7日 优先权日:2014年7月7日
【发明者】邓德彦 申请人:上海珞琪软件有限公司