基于标记点三角特征聚类的三维扫描重建方法及系统

本发明属于计算机视觉的三维重建领域，尤其涉及一种基于标记点三角特征聚类的三维扫描重建方法及系统。

背景技术：

1、传统的三维重建方法通常需要依靠稳定全局点或者是稠密点云表面信息通过同名点或者同名区域配准的方法实现三维重建，然而这些方法并不能达到三维重建的实时性，稳定性，精确性，并且传统方法需要高性能计算机和工业相机加持，导致开发和使用成本很高，为此，标记点三角特征聚类的三维重建方法应运而生。该技术可在任何物体表面通过贴置非编码标志点，双目相机在扫描时并可以实时重建。

2、随着计算机视觉、智能驾驶和虚拟现实技术的不断发展，实时准确的三维重建技术已成为计算机视觉和虚拟现实等领域的关键性能指标，是大幅提高人工智能的必由之路。目前，市场上已有一些实时三维扫描重建的技术方案，但这些方案还不够完善，其低成本，重建实时性，重建精度能仍有待进一步提高。

技术实现思路

1、本发明主要目的在于提供一种高效实时准确的基于标记点三角特征聚类的三维扫描重建方法及系统。

2、本发明所采用的技术方案是：

3、提供一种基于标记点三角特征聚类的三维扫描重建方法，包括以下步骤：

4、s1、输入每一帧双目相机扫描目标物体的图像，提取左右图像中预先贴在目标物体上的标记点圆心，并计算标记点像素坐标；

5、s2、通过极线约束方法将左右标记点予以匹配，之后进行三角测量，计算出匹配点在空间上的三维坐标，获得每帧的目标标记点集；

6、s3、通过最近邻法计算每一帧目标标记点集中各点的法向信息，并将各点通过法线投影到二维坐标平面内；

7、s4、将投影得到的各点进行平面三角化，得到各点之间的拓扑结构关系，并进行连接；

8、s5、将拓扑结构中夹角不满足预设阈值范围的点剔除，返回到步骤s4将剩余点重新计算，直到满足预设阈值条件，得到每帧标记点的拓扑结构中的三角形；

9、s6、将每一帧中每个三角形进行边角计算并与其上一帧中的三角形进行匹配，保留匹配后的对应点，作为目标物体的全局控制点；

10、s7、根据对应点计算两帧之间的位姿关系，形成旋转平移矩阵；

11、s8、根据全局控制点、旋转平移矩阵以及通过结构扫描仪扫描的数据进行目标物体的三维重建。

12、接上述技术方案，步骤s1具体为：输入左右双目相机针对目标物体采集的图像，用canny算子计算并获取图像中的标记点的边缘信息，将图像二值化，并计算边缘信息连通域，把连通域像素符合阈值范围的保存并将坐标置1，不符合区块连通域的坐标置0，得到标记点的圆边缘，根据每个圆的边缘像素坐标信息计算得到圆心。

13、接上述技术方案，步骤s2具体为：在获取左右标记点后，左相机图像上的标记点根据点间极线约束并限制x和y轴的距离信息，将右相机中符合距离限制要求的标记点与左标记点匹配，将所有左相机坐标转到右相机坐标系上；

14、匹配完成后，计算匹配点间在水平方向上的像素坐标差，作为视差值，然后根据三角形相似性原则，得到视差与深度之间的关系，通过该关系计算深度，进而得到每个匹配点对应实际单标记点在世界空间坐标系的信息。

15、接上述技术方案，步骤s3中，各点法向信息的计算方法为，通过最近邻搜索并根据最近的五点计算各点的法向信息。

16、接上述技术方案，步骤s4具体为：

17、将投影得到的各点通过空间区域增长法进行平面三角化，将每个三角形的三点信息进行聚类并保存，对于每个三角形，其外接圆的圆心和半径通过三角形的顶点坐标计算得出；

18、当存在第四个点处在某三角形的外接圆半径范围以内，则该第四点位不符合三角聚类边缘条件，重新聚类计算，直至任意三点连接的三角形的外接圆内不存在第四点；

19、记录符合结构特性的三角聚类的拓扑结构关系，并将该拓扑结构关系用于下一步的阈值判断。

20、接上述技术方案，步骤s5中，如果新添加的点与初始三角形的边界相交，则进行边界检查，删除初始三角形的其中一部分，并连接新点到初始三角形的边界点，以确保新三角形在边界内，并从剩余的目标标记点集中选择一个点，找到其所在的三角形，将该点插入到该三角形中，形成新的三角形。

21、接上述技术方案，步骤s6具体为：

22、计算每帧中各个三角形的边长和角度，将前后两帧中三角形的边长和角度进行匹配，匹配成功的三角形的点作为同名点保存。

23、本发明还提供一种基于标记点三角特征聚类的三维扫描重建系统，包括：

24、标记点提取模块，用于输入每一帧双目相机扫描目标物体的图像，提取左右图像中预先贴在目标物体上的标记点圆心，并计算标记点像素坐标；

25、目标标记点集构建模块，用于通过极线约束方法将左右标记点予以匹配，之后进行三角测量，计算出匹配点在空间上的三维坐标，获得每帧的目标标记点集；

26、投影模块，用于通过最近邻法计算每一帧目标标记点集中各点的法向信息，并将各点通过法线投影到二维坐标平面内；

27、拓扑结构构建模块，用于将投影得到的各点进行平面三角化，得到各点之间的拓扑结构关系，并进行连接；

28、标记点剔除模块，用于将拓扑结构中夹角不满足预设阈值范围的点剔除，返回到标记点剔除模块将剩余点重新计算，直到满足预设阈值条件，得到每帧标记点的拓扑结构中的三角形；

29、标记点匹配模块，用于将每一帧中每个三角形进行边角计算并与其上一帧中的三角形进行匹配，保留匹配后的对应点，作为目标物体的全局控制点；

30、邻帧位姿关系获取模块，用于根据对应点计算两帧之间的位姿关系，形成旋转平移矩阵；

31、三维重建模块，用于根据全局控制点、旋转平移矩阵以及通过结构扫描仪扫描的数据进行目标物体的三维重建。

32、本发明还提供一种计算机存储介质，其内存储有可被处理器执行的计算机程序，该计算机程序执行上述技术方案所述的基于标记点三角特征聚类的三维扫描重建方法。

33、本发明产生的有益效果是：本发明提供了根据标记点的三角聚类原则配准的方法，实现双目相机结合结构扫描仪（如：激光，雷达结构扫描仪）在不同视角下目标物体上标记点的配准，从而达到目标结构的三维重建。因为该方法配准点通常只需要几十个甚至几个标记点用于配准，这使得后续算法的时空复杂度非常低，能够很好地实现双目扫描重建的实时性，且三角聚类的方法完全满足标记点的空间不变原则，使得获取的最终同名点相当精准，不仅解决了传统算法的错误配准，也很好地降低了在后续基于标记点的拼接算法中存在的误差，因此该方法在实时性、稳定性及高精准上都有很好表现。

技术特征：

1.一种基于标记点三角特征聚类的三维扫描重建方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于标记点三角特征聚类的三维扫描重建方法，其特征在于，步骤s1具体为：输入左右双目相机针对目标物体采集的图像，用canny算子计算并获取图像中的标记点的边缘信息，将图像二值化，并计算边缘信息连通域，把连通域像素符合阈值范围的保存并将坐标置1，不符合区块连通域的坐标置0，得到标记点的圆边缘，根据每个圆的边缘像素坐标信息计算得到圆心。

3.根据权利要求1所述的基于标记点三角特征聚类的三维扫描重建方法，其特征在于，步骤s2具体为：在获取左右标记点后，左相机图像上的标记点根据点间极线约束并限制x和y轴的距离信息，将右相机中符合距离限制要求的标记点与左标记点匹配，将所有左相机坐标转到右相机坐标系上；

4.根据权利要求1所述的基于标记点三角特征聚类的三维扫描重建方法，其特征在于，步骤s3中，各点法向信息的计算方法为，通过最近邻搜索并根据最近的五点计算各点的法向信息。

5.根据权利要求1所述的基于标记点三角特征聚类的三维扫描重建方法，其特征在于，步骤s4具体为：

6.根据权利要求5所述的基于标记点三角特征聚类的三维扫描重建方法，其特征在于，步骤s5中，如果新添加的点与初始三角形的边界相交，则进行边界检查，删除初始三角形的其中一部分，并连接新点到初始三角形的边界点，以确保新三角形在边界内，并从剩余的目标标记点集中选择一个点，找到其所在的三角形，将该点插入到该三角形中，形成新的三角形。

7.根据权利要求1所述的基于标记点三角特征聚类的三维扫描重建方法，其特征在于，步骤s6具体为：

8.一种基于标记点三角特征聚类的三维扫描重建系统，其特征在于，包括：

9.一种计算机存储介质，其特征在于，其内存储有可被处理器执行的计算机程序，该计算机程序执行权利要求1-7中任一项所述的基于标记点三角特征聚类的三维扫描重建方法。

技术总结
本发明公开了一种基于标记点三角特征聚类配准的三维扫描重建方法,主要包括在双目相机获取扫描物体图片上提取标记点并匹配，对匹配得到的标记点做三角测量，得到点的局部空间坐标信息，根据点空间结构关系的不变性，将多种不变性特征再进行匹配得所有标记点作为全局控制点，结合结构扫描仪的扫描数据进行物体的三维重建。本发明提供了一种稳定、高效、准确、自动化的实时的三维扫描重建的方法，适用于市面上大多相机采集速度，在虚拟现实购物、商品智能识别结帐和路面缺陷检测等三维重建领域有着广泛的应用前景。

技术研发人员：洪汉玉,徐洋,叶亮
受保护的技术使用者：武汉工程大学
技术研发日：
技术公布日：2024/1/15