一种基于双目结构光系统的点云拼接方法及相关产品与流程

本申请涉及计算机视觉，尤其涉及点云处理，可应用于双目结构光系统的点云处理场景。更具体地，本申请公开了一种基于双目结构光系统的点云拼接方法及相关产品。

背景技术：

1、结构光深度相机，其原理是发射结构光图案化光束到被测物表面，通过结构光解码和三角测量原理得到被测物的表面三维信息，从而结构光深度相机具有非接触、测量稳定等优点。根据结构光深度相机的图像采集模块数目，一般可分为单目和双目结构光系统，相比于单目结构光，双目结构光从两个视角采集图像，仅能重建双目公共区域内的三维点，其重建点云数量少于单目结构光。

2、在相关技术中，为了获得更完整的点云，通常将双目结构光系统分成两个单目结构光系统，即两个图像采集模组分别与投影模组(或称为结构光投射模组)组成单目结构光系统，并通过拼接两幅单目结构光点云，保证点云完整性。然而，单目结构光点云的精度相对较差，若仅将两幅单目结构光点云直接进行拼接融合入，则难以保证最终拼接得到的全局点云的位置精度和形状精度。

3、值得注意的是，在此部分中描述的技术不一定是之前已经设想到或采用的技术。除非另有指明，否则不应假定此部分中描述的任何技术仅因其包括在此部分中就被认为为现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

技术实现思路

1、本申请提供了一种基于双目结构光系统的点云拼接方法及相关产品，至少能够解决相关技术中针对双目结构光系统所提供的点云拼接方式难以保证全局点云的位置精度和形状精度的问题。

2、本申请第一方面提供了一种基于双目结构光系统的点云拼接方法，包括：获取第一结构光图像和第二结构光图像，其中第一结构光图像和第二结构光图像由双目结构光系统向被测对象投影参考结构光图案并采集经被测对象反射回的光束生成；对第一结构光图像和第二结构光图像进行解码得到第一码值图像和第二码值图像，基于第一码值图像和第二码值图像引导第一结构光图像和第二结构光图像进行立体匹配，得到任一结构光图像中像素点在另一结构光图像中匹配的像素点；利用第一结构光图像和第二结构光图像的匹配像素点进行点云重建，得到双目点云；基于第一码值图像、第二码值图像及参考结构光图案对应的预设码值图像，引导第一结构光图像与第二结构光图像分别与参考结构光图案进行匹配，并基于匹配结果获取第一单目点云及第二单目点云；将第一单目点云、第二单目点云与双目点云进行拼接，得到全局点云。

3、本申请第二方面提供了一种基于双目结构光系统的点云拼接装置，包括：图像获取模块，用于获取第一结构光图像和第二结构光图像，其中第一结构光图像和第二结构光图像由双目结构光系统向被测对象投影参考结构光图案并采集经被测对象反射回的光束生成；立体匹配模块，用于对第一结构光图像和第二结构光图像进行解码得到第一码值图像和第二码值图像，基于第一码值图像和第二码值图像引导第一结构光图像和第二结构光图像进行立体匹配，得到任一结构光图像中像素点在另一结构光图像中匹配的像素点；第一点云重建模块，用于利用第一结构光图像和第二结构光图像的匹配像素点进行点云重建，得到双目点云；第二点云重建模块，用于基于参考结构光图案对应的预设码值图像、第一码值图像及第二码值图像，引导第一结构光图像与第二结构光图像分别与参考结构光图案进行匹配，并基于匹配结果获取第一单目点云及第二单目点云；点云拼接模块，用于将第一单目点云、第二单目点云与双目点云进行拼接，得到全局点云。

4、本申请第三方面提供了一种双目结构光系统，包括：投影模组，用于向被测对象发射结构光图案化光束；第一图像采集模组和第二图像采集模组，用于采集经被测对象反射回的结构光图案化光束并分别生成第一结构光图像和第二结构光图像；处理器，用于根据本申请第一方面提供的所述基于双目结构光系统的点云拼接方法对所述第一结构光图像和所述第二结构光图像进行处理，得到被测对象的全局点云。

5、本申请第四方面提供了一种计算机可读存储介质，用于实现本申请第一方面提供的所述基于双目结构光系统的点云拼接方法的步骤。

6、本申请通过获取双目结构光系统向被测对象投影参考结构光图案并采集反射回的光束生成两帧结构光图像；对两帧结构光图像进行解码得到码值图像并基于码值图像引导两帧结构光图像进行立体匹配，得到任一结构光图像中像素点在另一结构光图像中对应的像素点；利用两帧结构光图像的匹配像素点的像素坐标进行点云重建得到双目点云，基于参考结构光图案对应的预设码值图像及两帧结构光图像对应的码值图像引导两帧结构光图像分别与参考结构光图案进行匹配，并基于匹配结果获取两帧单目点云；拼接两帧单目点云与双目点云得到全局点云。通过本申请方案将单目点云与双目立体重建得到的双目点云进行拼接，在保证了点云完整度的同时，提高了最终得到的全局点云的位置精度和形状精度。

7、应当理解，本部分所描述的内容并非旨在标识本申请的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种基于双目结构光系统的点云拼接方法，其特征在于，所述方法包括：

2.根据权利要求1所述的点云拼接方法，其特征在于，所述参考结构光图案为相移算法与格雷码融合的条纹编码图案，所述对所述第一结构光图像和第二结构光图像进行解码得到第一码值图像和第二码值图像，包括：

3.根据权利要求1所述的点云拼接方法，其特征在于，所述利用所述第一码值图像和所述第二码值图像引导所述第一结构光图像和所述第二结构光图像进行立体匹配得到任一结构光图像中像素点在另一结构光图像中匹配的像素点，包括：

4.根据权利要求1所述的点云拼接方法，其特征在于，所述基于第一码值图像、所述第二码值图像及参考结构光图案对应的预设码值图像，引导第一结构光图像与第二结构光图像分别与参考结构光图案进行匹配，并基于匹配结果获取第一单目点云及第二单目点云，包括：

5.根据权利要求4所述的点云拼接方法，其特征在于，所述双目结构光系统包括投影模组、第一图像采集模组及第二图像采集模组，得到所述预先标定的三目标定内外参的步骤，包括：

6.根据权利要求5所述的点云拼接方法，其特征在于，所述对双目结构光系统的投影模组进行标定得到投影模组内外参，包括：

7.根据权利要求1所述的点云拼接方法，其特征在于，所述将第一单目点云、第二单目点云与双目点云进行拼接，得到全局点云，包括：

8.根据权利要求7所述的点云拼接方法，其特征在于，所述双目点云中各点包括各点在所述第一结构光图像和所述第二结构光图像中任一图像的整像素坐标，另一图像的亚像素坐标；其中，所述确定第一单目点云与双目点云的第一对应点集合，以及确定第二单目点云与双目点云的第二对应点集合，包括：

9.一种双目结构光系统，其特征在于，包括：

10.一种计算机可读存储介质，其特征在于，用于实现如权利要求1至8中任意一项所述的基于双目结构光系统的点云拼接方法的步骤。

技术总结
本申请提供一种基于双目结构光系统的点云拼接方法，方法包括：获取双目结构光系统向被测对象投影参考结构光图案并采集反射回的光束生成两帧结构光图像；对两帧结构光图像进行解码得到码值图像并基于码值图像引导两帧结构光图像进行立体匹配，得到任一结构光图像中像素点在另一结构光图像中对应的像素点；利用两帧结构光图像的匹配像素点的像素坐标进行点云重建得到双目点云，基于参考结构光图案对应的预设码值图像及两帧结构光图像对应的码值图像引导两帧结构光图像分别与参考结构光图案进行匹配，并基于匹配结果获取两帧单目点云；拼接两帧单目点云与双目点云得到全局点云。通过本申请方案的实施，提高了全局点云的位置精度和形状精度。

技术研发人员：张铭凯,师少光,龚冰冰,刘庆龙
受保护的技术使用者：奥比中光科技集团股份有限公司
技术研发日：
技术公布日：2024/2/1