一种基于折反射全景相机的多视图三维重建方法

1.本发明涉及一种基于折反射全景相机的多视图三维重建方法，属于三维重建技术领域。


背景技术：

2.在普通相机进行三维重建方面，面对纹理过少或者不清晰，特征点的数量就不够，求解得到的空间变换矩阵就不准确，甚至完全无法求出，严重的可能导致整个重建任务的失败，轻的也会导致重建结果的误差较大。折反射全景相机保证了特征点的充足，相邻全景图像之间也存在一定重叠区域，图像之间容易建立空间联系，拍摄时不用考虑拍摄位置和角度问题。实现少量全景图像就可以完成大面积的重建。
3.在大视场的相机方面，有研究人员做过相关的工作。ricoh theta
ⅴ
相机是由两个鱼眼相机拼接成的360
°
全景相机系统，在拼接全景图会占用额外的计算资源，在这方面折反射全景相机不用拼接成像显得更有优势。并且相对于大部分鱼眼相机，折反射全景相机的拥有更大的视场，而鱼眼相机想要再增加视场就需要花费更多的成本。因此将折反射全景相机用于大视场三维重建算法中非常必要。


技术实现要素：

4.本发明为了有效的解决弱纹理区域的三维重建完整度低的问题，提出一种基于折反射全景相机的多视图三维重建方法。
5.本发明采用的技术方案是：
6.一种基于折反射全景相机的多视图三维重建方法，其特征是，该方法包括如下步骤：
7.步骤一，采集全景相机序列图像并对全景图像进行预处理；利用折反射全景相机进行采集序列图像，对序列图像中的冗余信息进行掩膜；掩膜后剔除大量边缘错误的特征点，从而有利于提升重建精度；
8.步骤二，求取内参；利用matlab对全景相机进行标定，从而得到折反射全景相机的内参；
9.步骤三，求取相机间的旋转矩阵r和平移向量t；提取orb特征点及匹配，把全景图像序列与标定好的相机内参输入预处理模块对图像进行特征提取与匹配，把匹配好的特征点反投影到单位球，然后把反投影到单位球的特征向量输入位姿解算模块，通过球面对极几何进行初始化和通过pnp算法进行跟踪求解，最后输出图像间的旋转矩阵r和平移向量t；
10.步骤四，稠密点云重建及优化，多视图立体视觉算法进行稠密点云重建；对图像的像素点进行匹配，得到能满足重建需要的密集点云；
11.步骤五，进行点云深度信息融合；利用光度立体算法求解目标物的深度信息，并与已经求得的点云进行融合；改善弱纹理区域三维重建的完整度低的问题；
12.步骤六，使用meshlab进行网格贴图；显示三维效果。
13.本发明具有以下技术效果：
14.1、本发明提出一种折反射相机的三维重建方法，通过使用折反射全景相机进行图像采集，并使用多视图立体匹配算法进行三维重建，并融合光度立体算法，对弱纹理区域进行优化。全景相机凭借其成像更大，拍摄效率更高的优点，在很多场景拥有更好的前景。
15.2、本发明采用折反射相机改进的orb-slam2的初始化模块，实现了基于特征点法的折反射全景相机的三维重建算法。
16.3、本发明提出的融合光度立体算法的三维重建方式，提高了弱纹理区域的重建完整度。
17.这种基于折反射全景相机的多视图三维重建在工程中的应用和推广具有重要意义。
附图说明
18.图1是本发明一种基于折反射全景相机的多视图三维重建方法流程图。
19.图2是本发明所述的对极几何原理图。
具体实施方式
20.以下结合附图对本发明的技术方案作进一步详细叙述。
21.如图1所示，一种基于折反射全景相机的多视图三维重建方法，其特征是，该方法包括如下步骤：
22.步骤一，采集全景相机序列图像并对全景图像进行预处理。利用折反射全景相机进行采集序列图像，对序列图像中的冗余信息进行掩膜。掩膜后剔除大量边缘错误的特征点，从而有利于提升重建精度。
23.步骤二，求取内参。利用matlab对全景相机进行标定，从而得到折反射全景相机的内参。
24.步骤三，求取相机间的旋转矩阵r和平移向量t。提取orb特征点及匹配，把全景图像序列与标定好的相机内参输入预处理模块对图像进行特征提取与匹配，把匹配好的特征点反投影到单位球，然后把反投影到单位球的特征向量输入位姿解算模块，通过球面对极几何进行初始化和通过pnp算法进行跟踪求解，最后输出图像间的旋转矩阵r和平移向量t。
25.步骤三的具体求解细节如下：
26.(1)特征提取与匹配。
27.(2)球面对极几何进行初始化。根据球面对极几何求基础矩阵e，根据本质矩阵e来恢复折反射全景相机的初始位姿，在初始帧中随机抽样匹配点对，并用八点法计算单次采样的本质矩阵，经过多次ransac抽样，去除无效点，计算出最优的本质矩阵e。
28.如图2所示，空间点x对应到相机c1和c2的球面上的点分别为x1，x2。向量p1，p2分别为空间点x对应的两个特征点反投影的法向量。
29.为求取相机c1到相机c2的运动，假设他们的运动关系用旋转矩阵r和平移向量t来表示。设x点的空间位置为x＝[x,y,z]
t
，两个特征点对应到单位球面的两个法向量p1，p2与空间点x的对应关系为
[0030]
s1p1＝x(1)
[0031]
s2p2＝rx+t(2)
[0032]
当采用齐次坐标来表示空间点坐标时，式(1)、(2)具有尺度意义下的相等，可记作这时有
[0033]
p1；x(3)
[0034]
p2；rx+t(4)
[0035]
经化简得
[0036]
p
2t
t
∧
p2；p
2t
t
∧
rp1(5)
[0037]
式(5)中等式左侧为0，此时就得到了全景相机模型下的球面对极几何公式：
[0038]
p
2t
t
∧
rp1＝0(6)
[0039][0040]
在已知p1，p2的情况下可以求出e，然后根据e恢复出相机的位姿。
[0041]
(3)全景相机位姿求解及三角化。利用计算出的本质矩阵e，恢复出折反射全景相机的初始位姿，并把第一幅图像的相机坐标系作为世界坐标系，采用直接线性求解(directlineartransform,dlt)方法对待估计特征点对应的归一化向量进行三角化，恢复出对应的三维坐标。同时进行ba(bundleadjustment)优化。通过集束调整(bundleadjustment)对相机矩阵和点云模型进行优化。得到更准确的结果。
[0042]
步骤四，稠密点云重建及优化，多视图立体视觉算法进行稠密点云重建。对图像的像素点进行匹配，得到能满足重建需要的密集点云。
[0043]
步骤五，进行点云深度信息融合。利用光度立体算法求解目标物的深度信息，并与已经求得的点云进行融合。改善弱纹理区域三维重建的完整度低的问题。
[0044]
步骤六，使用meshlab进行网格贴图。显示三维效果。