本发明属于计算机视觉，具体涉及一种非局部多视图稠密三维重建方法。
背景技术：
1、和二维图像相比，三维点云具有以下优点：1)立体感更强，三维点云可以表达空间中物体的立体形状，而二维图像只能表达物体的投影形状，无法直接表达物体的立体形态。2)更丰富的信息，三维点云可以提供更多的信息，例如物体的几何形状、表面法向、颜色等信息，而二维图像只能提供物体表面的纹理和颜色信息。3)鲁棒性更强，即使在复杂的场景中，三维点云也能够提供精确的深度信息。因此，三维重建技术逐渐成为了计算机视觉应用领域内一个研究的关键问题。其中多视图三维重建技术通过一组二维图像及其相机参数即可获得物体的三维点云，因其成本较低、操作简单，逐步成为了三维重建技术的主流方法。目前，多视图稠密三维重建技术已被广泛应用于虚拟现实、自动驾驶、机器人感知等多个领域，同时也在国防工业领域内扮演着不可或缺的角色。
2、为了达到高精度的三维重建，目前多视图稠密三维重建技术可大致分为两种不同类型的方法，包括传统几何方法与基于深度学习的方法。基于学习的方法实现了深度网络来提取高级特征并进行预测。然而，其需要大量的训练，泛化能力仍需要进一步提高。传统几何方法也可以大致分为两类：基于平面扫频的方法和基于面片匹配的方法。其中基于面片匹配的方法是目前常用的传统几何方法，但是现实世界中的物体与场景经常会存在大量的无纹理区域，这些区域会进一步导致基于面片匹配的方法出现匹配歧义的问题，最终导致无纹理区域的重建效果差。因此该类方法仍有待进一步改进。
技术实现思路
1、为了克服现有技术的不足，本发明提供了一种基于层次先验挖掘的非局部多视图稠密三维重建方法，从输入图像集开始，首先使用基于非局部扩展棋盘格采样的基础多视图重建方法来获得初始假设。然后，将获得的假设下采样到最粗的尺度并生成先验模型。其次，又将先验模型上采样到当前规模，并利用它来协助假设预测。在不同尺度上操作后，本方法进一步使用几何一致性来优化结果。最后，这些假设将被融合为点云。本发明方法鲁棒性强，面对无纹理区域干扰的情况下仍能准确地恢复物体或场景的三维几何，具有很强的泛化能力且无需任何的训练步骤。
2、本发明解决其技术问题所采用的技术方案包括如下步骤：
3、步骤1：在输入的图像集中选定一幅图像作为参考图像，依据对参考图像稀疏重建的结果为其划分源图像集；并对参考图像进行随机初始化；
4、步骤2：将参考图像中的像素划分为红黑棋盘格，结合扩展式策略与非局部策略，依次将参考图像上的每一个像素设为中心像素，并将该像素周边8个区域中每个区域的像素作为候选假设解，随后根据候选假设的匹配代价选取每个区域的最优假设用于后续的更新；
5、步骤3：利用多视图匹配代价评估整合上一步中挑选出的最优假设在不同视图中的权重，多视图匹配代价最小的假设将用于更新中心像素；
6、步骤4：产生扰动假设与随机假设用于丰富解空间，多视图匹配代价最小的假设被选择为当前的假设；
7、步骤5：重复步骤2～步骤4，使当前的假设收敛；
8、步骤6：将当前所获得的假设下采样，在最低尺度上构建平面先验模型，并将先验模型上采样到图像原尺度；
9、步骤7：使用平面先验辅助的多视图匹配代价评估来更新假设；
10、步骤8：重复步骤6～步骤7，每次先验的构建上升一个尺度，直至恢复到图像的原本尺度；
11、步骤9：使用几何一致性优化的多视图匹配代价评估进一步消除误差；
12、步骤10：依次选取输入集合中的图像作为参考图像，生成假设；
13、步骤11：融合所有的假设，生成输出的点云。
14、进一步的，所述步骤1中随机初始化的具体过程包括：
15、步骤1-1：为参考图像中的每一个像素随机生成一个包含深度信息dx与法线信息nx的假设θx＝[dx,nx]；
16、步骤1-2：从每个源图像中通过单应矩阵为步骤1-1中随机生成的假设θx计算出匹配成本；
17、步骤1-3：平均前4个最小的成本得到初始多视图匹配成本。
18、进一步的，所述步骤2具体为：
19、步骤2-1：将中心像素周边的8个采样区域被划分为4个长条形区域和4个折线形区域；每个折线形区域从8个样本像素开始，每个长条形区域从5个样本像素开始；
20、步骤2-2：扩展式策略；
21、步骤2-2-1：根据随机初始化或前一次迭代的多视图匹配成本在每个区域选择最佳假设，并定义候选假设集θ＝{θi|i＝1...8}；随机初始化中的初始成本用于第一次迭代，后续迭代使用前一次迭代中计算的成本；
22、步骤2-2-2：计算候选集中的假设相对于不同源图像的匹配成本，并将其嵌入成本矩阵m中：
23、
24、其中n代表输入图像的数目，mi,j代表由第j个视图计算的第i个区域采样点的匹配成本；
25、步骤2-2-3：基于矩阵m，在每一行实施一个投票方案，以确定当前采样区域是否需要扩展；定义两个代价阈值：
26、1)一个好的代价阈值定义为：
27、
28、其中titer代表假设传播的迭代次数，text代表扩展式策略执行的次数；
29、2)一个差的代价阈值定义为1.2；
30、对于一个区域，应该至少存在1个代价小于好的匹配阈值，以及最多2个大于坏的匹配阈值；当上述条件得到满足时，当前采样区域的扩展将被停止，否则，该区域应该进行扩展操作，每次扩展都会使该区域的采样点数量增加一倍；
31、步骤2-3：非局部策略：采样时候直接移除采样中心像素周围半径为4的采样点。
32、进一步的，所述步骤3中的多视图匹配代价评估定义为：
33、
34、其中，wj是第j个视图的权重；
35、具有最小多视图匹配代价的假设将被选为当前采样中心像素的最佳估计。
36、进一步的，所述步骤4具体包括：
37、步骤4-1：生成两个额外的假设，其中一个是扰动当前假设所得到的另一个是随机产生的假设
38、步骤4-2：两个新的假设随机排列，并与当前的假设相结合，形成一个由七个假设组成的集合：
39、
40、步骤4-3：采样中心像素的最终估计为步骤4-2集合中具有最小成本的假设。
41、进一步的，所述步骤6中的构建平面先验模型具体包括：
42、步骤6-1：收集多视图匹配代价小于0.1的可靠假设并将其放入一个集合中；
43、步骤6-2：使用德劳内三角化与knn为参考图像中非步骤6-1集合中的像素点找到邻近的3个可靠假设；
44、步骤6-3：将3个可靠假设投影至参考坐标系下并组成矩阵a以获得平面先验参数zopt：
45、
46、其中z*是一个单位长度变量；
47、步骤6-4：最终先验模型都由当前参考图像的深度范围来进一步过滤，当先验模型的深度小于参考图像最小深度或大于参考图像最大深度，则将该像素的先验模型认定为不可靠。
48、进一步的，所述步骤7中的平面先验辅助的多视图匹配代价评估具体为：
49、定义平面先验辅助的多视图匹配代价为：
50、
51、其中λd为深度差的带宽，λn为法线差的带宽，di为当前假设的深度值，dp为先验模型的深度值，ni为当前假设的法向量，np为先验模型的法向量；
52、具有最小平面先验辅助的多视图匹配代价的假设被选为当前中心像素的最佳估计。
53、进一步的，所述步骤9中的几何一致性优化的多视图匹配代价评估具体为：
54、定义几何一致性优化的多视图匹配代价为：
55、
56、其中δej(θi)为当前假设的重投影误差；
57、具有最小几何一致性优化的多视图匹配代价的假设被选为当前中心像素的最佳估计。
58、进一步的，所述步骤11中具体包括：
59、步骤11-1：每个像素的假设被投射到相邻的图像中，以产生相应的匹配；
60、步骤11-2：一致的匹配被定义为同时满足以下约束：相对深度误差小于0.01，法线之间的角度小于10°，重投影误差小于2像素；
61、步骤11-3：如果存在至少2个源图像，其对应的匹配满足步骤11-2中的所有约束，这些假设被投射到世界坐标中，并被平均到一个三维点。
62、本发明的有益效果如下：
63、1、本发明方法鲁棒性强，面对无纹理区域干扰的情况下仍能准确地恢复物体或场景的三维几何。
64、2、本发明方法具有很强的泛化能力且无需任何的训练步骤。