基于双目视觉图像的三维地形重建方法、装置及存储介质

1.本发明涉及计算机视觉和图像处理技术领域，具体涉及一种基于双目视觉图像的三维地形重建方法、装置及存储介质。


背景技术：

2.计算机视觉是通过相机设备采集数字化的图像，再将数字图像送入计算机，用计算机代替大脑完成对图像内容的感知、理解与识别。计算机视觉在智能生产，航空航天以及医学建模等方面提供包括虚拟视觉仿真，视觉识别与三维重建等技术，其能够有效地提高生产效率和产品质量，降低运营成本和资源能源消耗。
3.传统的三维地形重建方法有红外重建法、激光重建法以及声纳重建法等，这些方法都或多或少存在着操作困难、过程繁琐、应用场景狭隘以及设备昂贵等缺点，在实际应用的过程中往往需要消耗大量的人力物力。


技术实现要素：

4.为了解决传统的三维地形重建方法操作困难、过程繁琐、应用场景狭隘、设备昂贵、需要消耗大量的人力物力的问题，本发明提供了一种基于双目视觉图像的三维地形重建方法、装置及存储介质。其仅使用两个摄像头模拟自然光下的人类视觉系统，首先拍摄地形图像并对其进行校正；然后使用改进的稀疏特征点提取及匹配算法以匹配双目地形图像的特征点；其次利用改进的视差图生成算法以获取目标地形的视差图；最后结合相机内外参数进行点云拼接以及点云颜色渲染即可完成地形的三维重建。
5.为了实现上述目的，本发明一种基于双目视觉图像的三维地形重建方法，包括以下步骤：
6.s1、对双目相机进行标定，得到所述双目相机的内外参数矩阵；
7.s2、利用所述双目相机拍摄待重建目标地形图像，得到左右两张目标地形图像；
8.s3、对所述左右两张目标地形图像依次进行校正、预处理及极线约束，得到极线约束的左右图像；
9.s4、利用surf算法对所述极线约束的左右图像进行特征点提取及匹配，得到匹配特征点；
10.s5、根据所述匹配特征点，利用sgbm算法计算所述极线约束的左右图像的视差，同时利用边缘检测方法以及形态学处理方法提取极线约束的左右图像的地形边缘特征，再将所述地形边缘特征作为约束条件，计算得到极线约束的左右图像的视差图；
11.s6、根据所述极线约束的左右图像的视差图，结合所述双目相机的内外参数矩阵计算得到三维地形图像各特征点的三维坐标信息，生成三维特征点云；
12.s7、将所述三维特征点云按照所述三维空间坐标信息在三维立体空间中进行排列，并提取左右两张目标地形图像中特征点的颜色信息，根据所述颜色信息对所述三维特征点云进行颜色渲染，得到重建的三维地形图像。
13.进一步地，步骤s3具体包括：
14.s31、根据所述双目相机的内外参数矩阵，对所述左右两张目标地形图像进行校正，得到校正后的左右图像；
15.s32、利用图像预处理方法对所述校正后的左右图像进行灰度变换、降噪以及增加信噪比处理，得到预处理的左右图像；
16.s33、根据对极几何原理在所述预处理的图像上绘制多束极线进行极线约束，得到极线约束的左右图像。
17.更进一步地，步骤s32具体包括：
18.s321、对所述校正后的左右图像进行灰度变换，得到灰度变换后的左右图像，所述灰度变换的具体公式为：
19.s＝clog(1+r)
20.其中，c为常数，r为原始图像灰度值，s为变换后的灰度值；
21.s322、对所述灰度变换后的左右图像进行直方图均衡化以增强信噪比，得到信噪比增强的左右图像；
22.s323、对所述信噪比增强的左右图像进行高斯滤波降噪，得到降噪后的左右图像，所述高斯滤波降噪的具体公式为：
[0023][0024]
其中，f表示进行高斯滤波操作，x表示任意连续的随机变量，μ为常数，σ为正态分布的标准偏差，称x服从参数为μ，σ(σ>0)的高斯分布。
[0025]
进一步地，步骤s4具体包括：
[0026]
s41、利用surf算法检测所述极线约束的左右图像中灰度值变化大于设定阈值的角点，并标记为特征点；
[0027]
s42、根据左图像上的特征点以及极线约束条件，在右图像上找到左图像上的特征点所对应的特征点，得到匹配特征点；
[0028]
s43、利用ransac算法筛除错误的匹配特征点，完成特征点提取及匹配。
[0029]
更进一步地，步骤s41具体包括：
[0030]
s411、构建hessian矩阵定位所述极线约束的左右图像中的特征点；
[0031]
所述hessian矩阵的行列式为：
[0032]
deth＝dxxdxy
‑
(0.9dxy)2[0033]
其中，dxx、dyy分别是hessian矩阵水平x、y方向的二阶偏导，dxy是hessian矩阵垂直方向的二阶偏导；
[0034]
s412、对所述特征点进行特征方向选择，得到特征点的主方向；
[0035]
s413、根据所述特征点和所述特征点的主方向构造surf特征点描述算子。
[0036]
进一步地，步骤s5具体包括：
[0037]
s51、利用边缘检测方法提取所述极线约束的左右图像的地形边缘特征，所述边缘检测方法的具体公式为：
[0038][0039]
其中a1、a2分别为所述极线约束的左右图像的边缘梯度值，θ表示实际目标地形的
边缘灰度值；
[0040]
s52、对所述极线约束的左右图像的采用膨胀运算，通过某一像素点周围灰度值最高的点代替该像素点，增强图像效果；对所述极线约束的左右图像采用腐蚀运算，通过某一像素点周围灰度值最低的点代替该像素点，删除一部分图像或图像特征，削弱图像效果；最后用膨胀运算结果减去腐蚀运算结果，完成形态学处理以加强物体的地形边缘特征；
[0041]
s53、将所述地形边缘特征作为约束条件，利用sgbm算法计算所述极线约束的左右图像的视差图，具体计算公式为：
[0042]
e(a)＝∑(b(m，a
m
)+∑x1i(|a
m
‑
a
n
|＝1)+∑x2i(|a
m
‑
a
n
|＞1))
[0043]
其中，a是任意某个特征点的视差值，e(a)是该视差值对应误差函数，m，n为图像中的任意一个特征点的邻域内的特征点，b(m，a
m
)是当前特征点的视差为a
m
时，这个特征点与其他邻域内特征点的差，x1是对应于m的邻域内的特征点中与m的视差值小于1的惩罚因子，x2是对应于m的邻域内的特征点中与m的视差值大于1的惩罚因子，当am与an为真实值时，i返回值为1，否则i返回值为0。
[0044]
此外，为了实现上述目的，本发明还提供了一种基于双目视觉图像的三维地形重建装置，包括以下模块：
[0045]
相机标定模块，用于对双目相机进行标定，得到所述双目相机的内外参数矩阵；
[0046]
图像采集模块，用于利用所述双目相机拍摄待重建目标地形图像，得到左右两张目标地形图像；
[0047]
图像处理模块，用于对所述左右两张目标地形图像依次进行校正、预处理及极线约束，得到极线约束的左右图像；
[0048]
提取及匹配模块，用于利用surf算法对所述极线约束的左右图像进行特征点提取及匹配，得到匹配特征点；
[0049]
视差计算模块，用于根据所述匹配特征点，利用sgbm算法计算所述极线约束的左右图像的视差，同时利用边缘检测方法以及形态学处理方法提取所述极线约束的左右图像的地形边缘特征，再将所述地形边缘特征作为约束条件，计算得到所述极线约束的左右图像的视差图；
[0050]
点云生成模块，用于根据所述极线约束的左右图像的视差图，结合所述双目相机的内外参数矩阵计算得到三维地形图像各特征点的三维坐标信息，生成三维特征点云；
[0051]
拼接渲染模块，用于将所述三维特征点云按照所述三维空间坐标信息在三维立体空间中进行排列，并提取所述左右两张目标地形图像中特征点的颜色信息，根据所述颜色信息对所述三维特征点云进行颜色渲染，得到重建的三维地形图像。
[0052]
此外，为了实现上述目的，本发明还提供了一种存储介质，所述存储介质上存储有三维地形重建程序，所述道三维地形重建程序被处理器执行时实现所述的三维地形重建方法的步骤。
[0053]
本发明的有益效果在于：
[0054]
本发明一种基于双目视觉的三维地形重建方法仅使用两个相机模拟人类视觉系统，获取目标地形的双目地形图像；然后使用改进的特征点提取及匹配算法(surf算法结合ransac算法)以匹配双目地形图像的特征点；其次利用改进的视差图生成算法(sgbm算法结合边缘检测方法以及形态学处理方法)结合匹配的特征点以获取目标地形的视差图；最后
结合相机内外参数进行点云拼接以及点云颜色渲染即可完成地形的三维重建。与现有三维重建方法相比，本发明提出的方法能在很大程度上提升三维地形重建精度，在实际中可广泛的应用在飞机视景仿真、航空测绘以及无人驾驶等领域，实用性较强。
附图说明
[0055]
下面将结合附图及实施例对本发明作进一步说明，附图中：
[0056]
图1是本发明基于双目视觉图像的三维地形重建方法流程图；
[0057]
图2是本发明搭建的模拟地形实验场景；
[0058]
图3是本发明相机采集的黑白棋盘图像；
[0059]
图4是本发明相机标定及校正结果；
[0060]
图5是本发明拍摄的目标地形图像；
[0061]
图5(a)是左图像，图5(b)是右图像；
[0062]
图6是本发明对目标地形图像进行预处理后的图像；
[0063]
图6(a)对应左图像，图6(b)对应右图像；
[0064]
图7是本发明对目标地形图像进行极线约束的结果；
[0065]
图7(a)对应左图像，图7(b)对应右图像；
[0066]
图8是本发明的特征点匹配结果；
[0067]
图9是本发明的特征点匹配正确率；
[0068]
图10是本发明生成的视差图；
[0069]
图11是本发明计算出的点云的三维空间坐标以及该点rgb颜色信息；
[0070]
图12是本发明重建的三维地形结果正视图；
[0071]
图13本发明重建的三维地形结果侧视图；
[0072]
图14是本发明基于双目视觉图像的三维地形重建装置结构图。
具体实施方式
[0073]
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
[0074]
参考图1，本实施例提供了一种基于双目视觉图像的三维地形重建方法，包括以下步骤：
[0075]
s1、利用双目相机拍摄标准黑白棋盘格图像，通过张正友平面标定法计算得到双目相机的内外参数矩阵(参考图2
‑
4)；
[0076]
s2、利用双目相机拍摄待重建目标地形图像，得到左右两张目标地形图像(参考图5)；
[0077]
s3、对所述左右两张目标地形图像依次进行校正、预处理及极线约束，得到极线约束的左右图像。
[0078]
在本实施例中，步骤s3具体包括：
[0079]
s31、根据所述双目相机的内外参数矩阵，对所述左右两张目标地形图像进行校正，得到校正后的左右图像(参考图4)；
[0080]
s32、利用图像预处理方法对所述校正后的左右图像进行灰度变换、降噪以及增加
信噪比处理，得到预处理的左右图像(参考图6)；
[0081]
步骤s32具体包括：
[0082]
s321、对所述校正后的左右图像进行灰度变换，得到灰度变换后的左右图像，所述灰度变换的具体公式为：
[0083]
s＝clog(1+r)
[0084]
其中，c为常数，r为原始图像灰度值，s为变换后的灰度值；
[0085]
s322、对所述灰度变换后的左右图像进行直方图均衡化以增强信噪比，得到信噪比增强的左右图像；
[0086]
s323、对所述信噪比增强的左右图像进行高斯滤波降噪，得到降噪后的左右图像，即得到预处理的左右图像，所述高斯滤波降噪的具体公式为：
[0087][0088]
其中，f表示进行高斯滤波操作，x表示任意连续的随机变量，μ为常数，σ为正态分布的标准偏差，称x服从参数为μ，σ(σ>0)的高斯分布。
[0089]
s33、根据对极几何原理在所述预处理的图像上绘制多束极线进行极线约束，得到极线约束的左右图像(参考图7)。
[0090]
s4、利用surf算法对所述极线约束的左右图像进行特征点提取及匹配，得到匹配特征点(参考图8和图9)。
[0091]
在本实施例中，步骤s4具体包括：
[0092]
s41、利用surf算法检测所述极线约束的左右图像中灰度值变化大于设定阈值的角点，并标记为特征点，本实施例中，设定阈值为0.7；
[0093]
s41具体包括：
[0094]
s411、构建hessian矩阵定位所述极线约束的左右图像中的特征点；
[0095]
所述hessian矩阵的行列式为：
[0096]
deth＝dxxdxy
‑
(0.9dxy)2[0097]
其中，dxx、dyy分别是hessian矩阵水平x、y方向的二阶偏导，dxy是hessian矩阵垂直方向的二阶偏导；
[0098]
s412、对所述特征点进行特征方向选择，得到特征点的主方向；
[0099]
s413、根据所述特征点和所述特征点的主方向构造surf特征点描述算子。
[0100]
s42、根据左图像上的特征点以及极线约束条件，在右图像上找到左图像上的特征点所对应的特征点，得到匹配特征点；
[0101]
s43、利用ransac算法筛除错误的匹配特征点，通过计算特征点到中心的平均距离以筛除匹配错误的特征点，从而完成特征点提取及匹配。
[0102]
s5、根据所述匹配特征点，利用sgbm算法计算所述极线约束的左右图像的视差，同时利用边缘检测方法以及形态学处理方法提取极线约束的左右图像的地形边缘特征，再将所述地形边缘特征作为约束条件，计算得到极线约束的左右图像的视差图(参考图10)。
[0103]
在本实施例中，步骤s5具体包括：
[0104]
s51、利用边缘检测方法提取极线约束的左右图像的地形边缘特征，所述边缘检测方法的具体公式为：
[0105][0106]
其中a1、a2分别为所述极线约束的左右图像的边缘梯度值，θ表示实际目标地形的边缘灰度值；
[0107]
s52、对所述极线约束的左右图像的采用膨胀运算，通过某一像素点周围灰度值最高的点代替该像素点，增强图像效果；对所述极线约束的左右图像采用腐蚀运算，通过某一像素点周围灰度值最低的点代替该像素点，删除一部分图像或图像特征，削弱图像效果；最后用膨胀运算结果减去腐蚀运算结果，完成形态学处理以加强物体的地形边缘特征；
[0108]
s53、将所述地形边缘特征作为约束条件，仅在地形图像边缘内进行检测计算，可排除其他无关因素的干扰，进而提升视差计算的精度。在计算出所有特征点的视差后，即可得到双目地形图像的视差图，利用sgbm算法计算所述极线约束的左右图像的视差图，具体计算公式为：
[0109]
ea)＝∑(b(m，a
m
)+∑x1i(|a
m
‑
a
n
|＝1)+∑x2i(|a
m
‑
a
n
|＞1))
[0110]
其中，a是任意某个特征点的视差值，e(a)是该视差值对应误差函数，m，n为图像中的任意一个特征点的邻域内的特征点，b(m，a
m
)是当前特征点的视差为a
m
时，这个特征点与其他邻域内特征点的差，x1是对应于m的邻域内的特征点中与m的视差值小于1的惩罚因子，x2是对应于m的邻域内的特征点中与m的视差值大于1的惩罚因子，当am与an为真实值时，i返回值为1，否则i返回值为0。
[0111]
s6、根据所述极线约束的左右图像的视差图，结合所述双目相机的内外参数矩阵计算得到三维地形图像各特征点的三维坐标信息，生成三维特征点云。
[0112]
s7、将所述三维特征点云按照所述三维空间坐标信息在三维立体空间中进行排列，并提取左右两张目标地形图像中特征点的颜色信息(参考图11)，根据所述颜色信息对所述三维特征点云进行颜色渲染，得到重建的三维地形图像(参考图12和图13)。
[0113]
作为可选地实施方式，本实施还提供了一种基于双目视觉图像的三维地形重建装置，用于实施上述的三维地形重建方法。
[0114]
参考图14，该装置包括以下模块：
[0115]
相机标定模块1，用于利用双目相机拍摄标准黑白棋盘格图像，通过张正友平面标定法计算得到双目相机的内外参数矩阵；
[0116]
图像采集模块2，用于利用双目相机拍摄待重建目标地形图像，得到左右两张目标地形图像；
[0117]
图像处理模块3，用于对所述左右两张目标地形图像依次进行校正、预处理及极线约束，得到极线约束的左右图像；
[0118]
提取及匹配模块4，用于利用surf算法对所述极线约束的左右图像进行特征点提取及匹配，得到匹配特征点；
[0119]
视差计算模块5，用于根据所述匹配特征点，利用sgbm算法计算所述极线约束的左右图像的视差，同时利用边缘检测方法以及形态学处理方法提取所述极线约束的左右图像的地形边缘特征，再将所述地形边缘特征作为约束条件，计算得到所述极线约束的左右图像的视差图；
[0120]
点云生成模块6，用于根据所述极线约束的左右图像的视差图，结合所述双目相机
的内外参数矩阵计算得到三维地形图像各特征点的三维坐标信息，生成三维特征点云；
[0121]
拼接渲染模块7，用于将所述三维特征点云按照所述三维空间坐标信息在三维立体空间中进行排列，并提取所述左右两张目标地形图像中特征点的颜色信息，根据所述颜色信息对所述三维特征点云进行颜色渲染，得到重建的三维地形图像。
[0122]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
[0123]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序，可将这些词语解释为标识。
[0124]
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。