一种基于航空倾斜摄影影像的多区块空三调整合并方法与流程

1.本发明涉及数字摄影测量技术领域，尤其涉及一种基于航空倾斜摄影影像的多区块空三调整合并方法。


背景技术：

2.空中三角测量简称空三，是数字三维建模中的重要一环，影响三维建模的质量。随着无人机技术的飞速发展，无人机影像以其获取成本低、效率高、分辨率高等优点，越来越多的应用到地理信息源数据采集，利用无人机影像生成的实景三维模型数据也成为重要的地理信息数据之一。由于数据采集的成本降低与效率提高，采集的数据也变得越来越多，给三维建模人员带来了巨大的挑战。
3.现在，航空摄影数字三维建模项目中一个测区常常达到几万张乃至几十万张高分辨率影像的数据量，几十万张影像一次性空三对于现在的技术与硬件条件几乎不可能实现，且耗时巨大、成功率不高。
4.为了解决这样的问题，大部分数据处理的做法是将一个测区分成多个区块，每个区块可能包含几千张影像，分别进行空三，分区块后空三可以并行处理，且其中若有失败，其它空三结果仍可以利用，只需重新处理空三失败的区块，对于项目进度而言，成本代价较小。
5.但是，分区块后，为了保证三维模型的整体性，便衍生出了多区块空三合并的问题。为了使模型不出现错位、分层等现象，传统的做法是在测区内布控制点，区块之间通过控制点进行连接。但是，控制点需要人工去现场测量，增加了大量的人工成本和时间成本，且现场环境复杂，如遇深山、沙漠等地貌，则无法进行人工现场测量控制点。


技术实现要素：

6.本发明针对现有技术中存在的技术问题，提供一种基于航空倾斜摄影影像的多区块空三调整合并方法，利用区块接边区域影像的相似性，提取特征点，进行匹配，获取区块之间的连接点，将这些连接点作为控制点进行区块调整，在只有少量控制点或无控制点的情况下，大大减少了三维模型在接边区域出现的分层、错位等现象。
7.根据本发明的第一方面，提供了一种基于航空倾斜摄影影像的多区块空三调整合并方法，包括：
8.步骤1，将进行空中三角测量后的各个区块的坐标系转换为设置的基准坐标系，计算各个区块之间的重叠影像；
9.步骤2，基于两个区块之间的重叠影像，选择基准区块及其对应的待调整区块；对所述基准区块及其对应的所述待调整区块的重叠影像进行特征点提取与匹配后，得到两个区块之间的连接点；
10.步骤3，将所述连接点作为控制点进行区域网平差；
11.步骤4，对所有的区块进行空三合并。
12.在上述技术方案的基础上，本发明还可以作出如下改进。
13.可选的，所述步骤1中根据区块的连接点包围盒计算各个区块之间的重叠区域，得到任意两个区块之间的重叠影像。
14.可选的，所述步骤2中选择起始基准区块的过程包括：
15.统计任意两个区块之间的重叠影像数量，选择数量最大的两个区块中的一个作为起始基准区块，另一个作为其对应的待调整区块。
16.可选的，所述步骤2中，将得到所述连接点之后的区块作为已调整区块，选择当前基准区块及其对应的待调整区块的过程包括：
17.统计各个已调整区块与待调整区块两两之间的重叠影像数量，选择数量最大的两个区块中的已调整区块作为当前基准区块、待调整区块作为该当前基准区块对应的待调整区块。
18.可选的，所述步骤2中采用特征检测算法进行特征点提取后，采用基于hash编码的快速特征点匹配方法进行特征点匹配，获取所述重叠影像中的同名点对，将所述重叠影像中的同名点进行融合和跟踪到各个区块中，生成各个区块之间的连接点。
19.可选的，所述步骤2还包括：根据基本矩阵模型的ransac算法剔除异常同名点，所述剔除异常同名点的方法包括：
20.随机挑选满足设定数量要求的样本同名点对，基于所述样本同名点计算得到基本矩阵f；
21.将不满足的同名点进行剔除；x
l
,xr分别为样本同名点对在左片和右片上的齐次坐标；
22.重复选取样本同名点对直到满足预先设定的条件。
23.可选的，所述步骤2还包括：删除反投影误差大于设定阈值的所述连接点。
24.可选的，所述步骤3还包括：删除反投影误差大于设定阈值的所述连接点，将剩余的所述连接点作为所述控制点。
25.可选的，所述步骤3中基于所述控制点进行区域网平差，使反投影误差最小，包括：
26.物点、像点和投影中心三点的共线方程为：f(xi,yj)＝k(rx
′
+t)，其中
27.表示n个三维控制点中的第i个(x，y，z)；
28.表示m张影像中的第j张影像的内外参，包括：焦距f，主点坐标(x0，y0)，旋转矩阵r，平移矩阵t；
29.反投影误差最小的目标公式为：
[0030][0031]
可选的，所述步骤3中进行区域网平差后，返回所述步骤2选择下一个基准区块及其对应的待调整区块，直至不存在待调整区块时，执行所述步骤4对所有区块进行空三合
并。
[0032]
本发明提供的一种基于航空倾斜摄影影像的多区块空三调整合并方法，利用区块接边区域影像的相似性，提取特征点，进行匹配，获取区块之间的连接点，将这些连接点作为控制点进行区块调整，在只有少量控制点或无控制点的情况下，大大减少了三维模型在接边区域出现的分层、错位等现象；利用计算机自动提取分区接边区域的连接点，数量比人工刺点更多，分布更加均匀，空三调整后重建的模型出现分层、错位等现象的概率更小；只需要少量或不需要控制点，减少了人工打点的成本。
附图说明
[0033]
图1为本发明提供的一种基于航空倾斜摄影影像的多区块空三调整合并方法的实施例的流程图。
具体实施方式
[0034]
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
[0035]
图1为本发明提供的一种基于航空倾斜摄影影像的多区块空三调整合并方法的实施例的流程图，如图1所示，该调整合并方法包括：
[0036]
步骤1，将进行空中三角测量后的各个区块的坐标系转换为设置的基准坐标系，计算各个区块之间的重叠影像。
[0037]
每个区块进行空三后，区块之间可能出现坐标系不同、坐标系偏移不同的情况，此时，需要将所有的区块进行坐标系转换到统一的坐标系下，才能计算区块之间的重叠区域。
[0038]
具体实施中，该基准坐标系可以根据各个区块的坐标系的实际情况进行选择，例如选择坐标系相同的区块的数量最多的坐标系。也可以在读入每个区块的空三结果后，以第一个区块的坐标系作为基准坐标系，将其它区块统一转换到此基准坐标系下。
[0039]
步骤2，基于两个区块之间的重叠影像，选择基准区块及其对应的待调整区块；对基准区块及其对应的待调整区块的重叠影像进行特征点提取与匹配后，得到两个区块之间的连接点。
[0040]
步骤3，将连接点作为控制点进行区域网平差。
[0041]
步骤4，对所有的区块进行空三合并。
[0042]
考虑传统的大面积倾斜摄影测量空三处理中，倾斜摄影的多区块空三合并方法必须要有控制点，且控制点分布必须要符合要求。本发明提供的一种基于航空倾斜摄影影像的多区块空三调整合并方法，利用区块接边区域影像的相似性，提取特征点，进行匹配，获取区块之间的连接点，将这些连接点作为控制点进行区块调整，在只有少量控制点或无控制点的情况下，大大减少了三维模型在接边区域出现的分层、错位等现象。
[0043]
实施例1
[0044]
本发明提供的实施例1为本发明提供的一种基于航空倾斜摄影影像的多区块空三调整合并方法的实施例，结合图1可知，该调整合并方法的实施例包括：
[0045]
步骤1，将进行空中三角测量后的各个区块的坐标系转换为设置的基准坐标系，计算各个区块之间的重叠影像。
[0046]
在一种可能的实施例方式中，步骤1中根据区块的连接点包围盒计算各个区块之间的重叠区域，得到任意两个区块之间的重叠影像。
[0047]
步骤2，基于两个区块之间的重叠影像，选择基准区块及其对应的待调整区块；对基准区块及其对应的待调整区块的重叠影像进行特征点提取与匹配后，得到两个区块之间的连接点。
[0048]
在一种可能的实施例方式中，步骤2中选择起始基准区块的过程包括：
[0049]
统计任意两个区块之间的重叠影像数量，选择数量最大时的两个区块中的一个作为起始基准区块，另一个作为其对应的待调整区块。
[0050]
在一种可能的实施例方式中，步骤2中，将得到连接点之后的区块作为已调整区块，选择当前基准区块及其对应的待调整区块的过程包括：
[0051]
统计各个已调整区块与待调整区块两两之间的重叠影像数量，选择数量最大的两个区块中的已调整区块作为当前基准区块、待调整区块作为该当前基准区块对应的待调整区块。
[0052]
在一种可能的实施例方式中，步骤2中采用特征检测算法进行特征点提取后，采用基于hash编码的快速特征点匹配方法进行特征点匹配，获取重叠影像中的同名点对，将重叠影像中的同名点进行融合和跟踪到各个区块中，生成各个区块之间的连接点。
[0053]
例如采用sift(scale－invariant feature transform，尺度不变特征变换)或者有类似特征描述和匹配能力的图像处理算子进行特征点提取。
[0054]
sift是一种检测局部特征的算法，该算法匹配能力较强，能提取稳定的特征，可以处理两幅图像之间发生平移、旋转、仿射变换、视角变换、光照变换情况下的匹配问题，具备较为稳定的特征匹配能力，从而可以实现差异较大的两幅图像之间的特征的匹配。该方法的主要步骤包括提取关键点、定位关键点、确定特征方向及生成特征描述子。
[0055]
特征点提取之后，为了获取每个影像对的同名点对，需要对提取的特征点进行匹配。本发明专利采用了基于hash编码的快速特征点匹配方法。该方法基于哈希编码技术，对图像构建全局哈希特征，通过过滤无效图像关系来减少计算时间，极大的提高了大规模图像集合三维重建的匹配效率。该方法的基本步骤包括构建图像哈希特征、构建初始匹配图、挑选候选匹配对及哈希匹配。
[0056]
在一种可能的实施例方式中，步骤2还包括：根据基本矩阵模型的ransac算法剔除异常同名点，剔除异常同名点的方法包括：
[0057]
随机挑选满足设定数量要求的样本同名点对，基于样本同名点计算得到基本矩阵f。
[0058]
将不满足的同名点进行剔除；x
l
,xr分别为样本同名点对在左片和右片上的齐次坐标。
[0059]
重复选取样本同名点对直到满足预先设定的条件。
[0060]
对于获取的同名点对，由于错误匹配在所难免，本发明利用基于基本矩阵模型的ransac(random sample consensus，随机抽样一致)算法来剔除匹配结果中的异常同名点。该算法包括：首先，随机挑选出满足一定数量要求(至少需要7组同名点对)的样本同名点对，根据所挑选的样本同名点对计算出基本矩阵f。然后，利用同名点对满足
(x
l
,xr分别为同名点对在左片和右片上的齐次坐标)的关系，剔除异常同名点。最后，重复选取样本点对直到满足预先设定的条件，保留正确的同名点对。
[0061]
在一种可能的实施例方式中，步骤2还包括：删除反投影误差大于设定阈值的连接点。
[0062]
步骤3，将连接点作为控制点进行区域网平差。
[0063]
在一种可能的实施例方式中，步骤3还包括：删除反投影误差大于设定阈值的连接点，将剩余的连接点作为控制点。
[0064]
从基准区块中取出连接点，作为控制点加入到待调整区块当中，而这些连接点可能存在错误，为了使输入的控制点更加准确，设置阈值，将反投影误差大于该设置阈值的连接点删除。
[0065]
在一种可能的实施例方式中，步骤3中基于控制点进行区域网平差，使反投影误差最小，包括：
[0066]
区域网平差的理论基础是共线方程，共线方程是表达物点、像点和投影中心三点位于一条直线的数学关系式，控制点与影像内外参的共线方程为：f(xi,yj)＝k(rx
′
+t)，其中
[0067]
表示n个三维控制点中的第i个，即x，y，z。
[0068]
表示m张影像中的第j张影像的内外参，包括：焦距f，主点坐标(x0，y0)，旋转矩阵r，平移矩阵t。
[0069]
平差要解决反投影误差最小的问题，目标公式为：
[0070][0071]
i∈s
(j)
表示第i个控制点所涉及的影像集合。本发明基于共线方程，利用连接点与内参、外参，加入控制点信息，列方程解算调整之后的相机内参、外参及连接点的三维坐标。
[0072]
步骤3中进行区域网平差后，返回步骤2搜索下一个基准区块及其对应的待调整区块，直至不存在待调整区块时，计算调整后的内参、外参及连接点三维坐标，并更新待调整区块信息，执行步骤4对所有的区块进行空三合并。
[0073]
步骤4，对所有的区块进行空三合并。
[0074]
输出符合三维重建密集匹配的图像内外参格式，即可应用于后续的三维重建处理流程。
[0075]
本发明已在实际实验中得到充分验证，并在城市实景三维建模项目中得到应用。
[0076]
本发明实施例提供的一种基于航空倾斜摄影影像的多区块空三调整合并方法，利用区块接边区域影像的相似性，提取特征点，进行匹配，获取区块之间的连接点，将这些连接点作为控制点进行区块调整，在只有少量控制点或无控制点的情况下，大大减少了三维模型在接边区域出现的分层、错位等现象；利用计算机自动提取分区接边区域的连接点，数量比人工刺点更多，分布更加均匀，空三调整后重建的模型出现分层、错位等现象的概率更
小；只需要少量或不需要控制点，减少了人工打点的成本。
[0077]
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
[0078]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0079]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0080]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0081]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0082]
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
[0083]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。