一种三维分层重构方法、系统、电子设备及介质

本发明涉及计算机视觉领域，特别是涉及一种三维分层重构方法、系统、电子设备及介质。

背景技术：

1、分层重构技术是利用不同角度的二维图像来恢复三维物体，它是研究多视图几何的重要问题之一。hartley(r.i.hartley，"lines and points in three views and thetrifocal tensor,"international journal of computer vision，vol.22，no.2，pp.125-140，mar 1997.)提出了利用未标定的图像序列来进行射影重构的理论基础。这种方法填补了三维重构的空白，但是并没有利用这些图像序列进行标定，所以并不能完成后续的仿射和度量重构。为了能够恢复度量重构，标定摄像机内参数为重要的一环。jiang(z.t.jiangand s.c.liu，"the self-calibration of varying internal camera parameters basedon image of dual absolute quadric transformation,"in international symposiumon information and automation(isia 2010)，guangzhou,peoples r china,2010,vol.86,pp.452-+,2011.)提出了估计绝对对偶二次曲面来实现自标定，在计算过程中需要强制绝对二次曲面的矩阵是半正定的，但是在真实场景中存在有噪声，所以很难满足半正定这个条件；habed(a.habed and b.boufama,"camera self-calibration frombivariate polynomials derived from kruppa's equations,"pattern recognition,vol.41,no.8,pp.2484-2492,2008.)提出了利用解kruppa方程来实现自标定，但是该方法本质上是一个非线性问题，其优化求解不仅计算量大而且鲁棒性不强。基于上述原因，zhang(z.y.zhang,"a flexible new technique for camera calibration,"ieeetransactions on pattern analysis and machine intelligence,vol.22,no.11,pp.1330-1334,nov 2000.)利用棋盘格完成相机标定，其主要思想是通过点对应来求出单应矩阵，从而利用单应矩阵与绝对二次曲线的像的约束得到摄像机内参数矩阵。研究表明zhang的方法具有很好的优势，尤其是获取径向畸变与切向畸变。

2、要想实现三维分层重构，除了要对摄像机标定外，还包含了多视图的特征检测和三维重构方法这两个部分。多视图的特征包含特征点、特征线或者特征区域。其中特征点研究的最多，而特征线和特征区域来进行三维重构的工作，在很多时候会被当作后一个优化问题。对于视频序列中的数据，单纯的将含有几何特征的图像序列进行三维度量重构已经不能满足当下的需求，文献(a.k.ingale and j.d.udayan，"real-time 3dreconstruction techniques applied in dynamic scenes:a systematic literaturereview,"computer science review，vol.39，feb 2021.)则是能够传输实时的三维度量重构。三维重构主要分为四大类：文献(a.saglam,h.b.makineci,n.a.baykan,k.baykan.boundary constrained voxel segmentation for 3d point clouds usinglocal geometric differences.expert systems with applications,157(2020),article 113439)基于体素、基于深度图、基于点云数据、基于网格等。基于点云的三维重构被诸多学者研究，其研究类别主要为两大类。

3、第一类是利用精密仪器(básaca-preciadol.c.,sergiyenko o.y.,rodríguez-quinonez.c.et al.optical 3d laser measurement system for navigation ofautonomous mobile robot opt.lasers eng.,54(2014),pp.159-169.)(如激光探测仪等)直接测量目标物体表面点的三维坐标。这类成本昂贵且应用场合受限；另一类是从摄像机的成像模型(z.zhao and y.weng,recovering euclidean structure from principal-axes paralleled conics:applications to camera calibration.journal of theoptical society of america a,vol.31,no.6,pp.1186-93)出发，仅通过目标物体的图像信息便可以计算物体的三维结构，这类方法对设备依赖较少，而且应用广泛。三维重构最常用的方法是运动恢复结构(sfm)如文献：(o.ozyesil,v.voroninski,r.basri,anda.singer,"a survey of structure from motion,"acta numerica,vol.26,pp.305-364,2017.)，这类研究中重点考虑了度量三维重构，并未进行分层三维重构。文献(x.t.chen,y.li,j.h.fan,and r.wang,"rgam:a novel network architecture for 3d point cloudsemantic segmentation in indoor scenes,"information sciences,vol.571,pp.87-103,sep 2021.)利用深度学习进行三维重构，其结果要依据模型的好坏，但是这种方法并不能得到分层三维重构的结果，且鲁棒性不强。

技术实现思路

1、本发明的目的是提供一种三维分层重构方法、系统、电子设备及介质，能够减小度量误差，提高鲁棒性。

2、为实现上述目的，本发明提供了如下方案：

3、一种三维分层重构方法，所述方法包括：

4、获取包含几何特征的图像数据；所述几何特征包括：平行性和正交性两项中至少一项；

5、提取所述图像数据中的特征点并进行特征点匹配，得到匹配点对；

6、采用八点算法根据所述匹配点对，确定射影重构；

7、采用霍夫变换提取所述图像数据中的直线，得到提取图像数据；

8、判断所述提取图像数据是否存在平行直线束；

9、若是，则根据所述匹配点对和所述平行直线束，将所述射影重构转化至仿射重构；

10、判断所述提取图像数据是否存在正交直线束；

11、若是，则利用交比不变性，根据线性约束条件确定内参数据；

12、根据所述内参数据，将所述仿射重构恢复至度量重构。

13、可选地，所述方法还包括：

14、采用光束平差法，对所述度量重构的参数数据进行优化调整，得到优化后的参数数据；所述参数数据包括：所述内参数据和外参数据；

15、根据优化后的参数数据和所述度量重构，确定优化后的度量重构。

16、可选地，采用八点算法根据所述匹配点对，确定射影重构，具体包括：

17、采用八点算法根据所述匹配点对，确定基本矩阵；

18、根据所述基本矩阵基于奇异值分解，确定摄像机矩阵对；

19、根据所述摄像机矩阵对以及采用三角形法确定的空间点，得到射影重构。

20、可选地，所述外参数据的确定方法，包括：

21、根据所述基本矩阵和所述内参数据，确定本质矩阵；

22、采用奇异值分解法，根据所述本质矩阵确定所述外参数据。

23、可选地，提取所述图像数据中的特征点并进行特征点匹配，得到匹配点对，具体包括：

24、根据所述图像数据中的像素亮度进行特征提取，得到特征点；

25、根据所述特征点的相似距离进行特征点匹配，得到匹配点对。

26、可选地，采用orb特征提取器提取所述图像数据中的特征点并进行特征点匹配，得到匹配点对。

27、一种三维分层重构系统，所述系统包括：

28、图像数据获取模块，用于获取包含几何特征的图像数据；所述几何特征包括：平行性和正交性两项中至少一项；

29、匹配模块，用于提取所述图像数据中的特征点并进行特征点匹配，得到匹配点对；

30、射影重构模块，用于采用八点算法根据所述匹配点对，确定射影重构；

31、提取模块，用于采用霍夫变换提取所述图像数据中的直线，得到提取图像数据；

32、第一判断模块，用于判断所述提取图像数据是否存在平行直线束；

33、转化模块，用于在第一判断模块的判断结果为是时，则根据所述匹配点对和所述平行直线束，将所述射影重构转化至仿射重构；

34、第二判断模块，用于判断所述提取图像数据是否存在正交直线束；

35、确定模块，用于在第二判断模块的判断结构为是时，则利用交比不变性，根据线性约束条件确定内参数据；

36、恢复模块，用于根据所述内参数据，将所述仿射重构恢复至度量重构。

37、一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行上述所述的三维分层重构方法。

38、一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的三维分层重构方法。

39、根据本发明提供的具体实施例，本发明公开了以下技术效果：

40、本发明提供了一种三维分层重构方法、系统、电子设备及介质，通过获取包含几何特征的图像数据；提取图像数据中的特征点并进行特征点匹配，得到匹配点对；采用八点算法根据匹配点对，确定射影重构；采用霍夫变换提取图像数据中的直线，得到提取图像数据；判断提取图像数据是否存在平行直线束；若是，则根据匹配点对和平行直线束，将射影重构转化至仿射重构；判断提取图像数据是否存在正交直线束；若是，则利用交比不变性，根据线性约束条件确定内参数据；根据内参数据，将仿射重构恢复至度量重构；本发明利用射影变换、仿射变换和度量变换之间的代数与图片序列中场景所存在的几何关系，提出对场景物体进行三维分层重构的方法；由图像序列或视频流中的几何特性，分别给仿射重构、度量重构提供相应的几何约束如平行性，正交性等，进而通过点云的方式来得到分层重构的结果；因此本发明能够减小度量误差，提高鲁棒性。