一种基于双参考平面的单目结构光立体匹配方法与流程

本发明涉及图像处理领域，具体地，涉及一种基于双参考平面的单目结构光立体匹配方法。

背景技术：

1、各类智能机器人正越来越多的应用于工业与生活领域。各类智能机器人因其无接触、更安全的性能而大量应用于各种领域。在智能机器人，尤其是行动机器人实现其功能时，需要对外界进行准确的识别。

2、常见的相机有单目rgb相机、线结构光、单目结构光等，其中基于3d视觉的方案能够较好解决众多场景下目标物体的识别难题。

3、在结构光相机的标定过程中，常常采用竖直的棋盘格进行标定，以用于对机器人拍摄的图像进行标定。但机器人在工作中，常会遇到与竖直的棋盘格差距较大的情况，比如水平的地面，侧面的墙壁等，尤其是这些与标定时存在较大角度差异的物体占据结构光相机视野中较大面积时，其校正效果往往不尽如人意，往往导致单目结构光中的匹配算法表现不佳，出现许多错误匹配或者无法匹配区域。更进一步，不佳的匹配效果导致深度数据缺失或者错误，这对于机器人基于立体视觉信息的避障或者导航来说是不利的。而现有技术对于这种较大角度差异的校正尚无较好的方案。

技术实现思路

1、为此，本发明通过对已知的竖直平面的标定结果，计算得到虚拟参考平面的标定方案，从而通过双参考平面对于图像进行更好地标定，解决了大角度物体占比较大时导致的单目结构光区配效果不佳的问题，进而提升了机器人在避障和导航中的表现。

2、第一方面，本发明提供一种基于双参考平面的单目结构光立体匹配方法，其特征在于，包括如下步骤：

3、步骤s1:根据竖直参考平面的标定信息和相机内参，求得每个散斑点的空间坐标其中，所述竖直参考平面的标定信息包括散斑点的图像坐标和参考面距离zref；

4、步骤s2：根据每个散斑点的所述空间坐标激光器与相机的位置关系(tx,ty,tz)和第一平面(a,b,c,d),求出每个散斑点在第二平面的投影坐标其中，所述第一平面和所述第二平面的法线与相机的光轴均垂直；

5、步骤s3：将第二平面的散斑点重投影回图像坐标系下得到虚拟参考平面的标定信息；其中，所述虚拟参考平面的标定信息包括散斑点的图像坐标和参考点距离

6、步骤s4：根据所述竖直参考平面的标定信息和所述虚拟参考平面的标定信息对拍摄的图像进行校正。

7、可选地，所述的一种基于双参考平面的单目结构光立体匹配方法，其特征在于，所述步骤s3和步骤s4之间还包括：

8、步骤s5：根据所述竖直参考平面和所述虚拟参考平面的坐标对，求解两个平面之间的单应矩阵，进而求解虚拟参考平面图像上任意点坐标与竖直参考平面的对应关系。

9、可选地，所述的一种基于双参考平面的单目结构光立体匹配方法，其特征在于，在所述步骤s1中：

10、

11、可选地，所述的一种基于双参考平面的单目结构光立体匹配方法，其特征在于，在所述步骤s2中：第一平面(a,b,c,d)根据所述散斑点的畸变方向选择中的一个；

12、

13、其中，

14、可选地，所述的一种基于双参考平面的单目结构光立体匹配方法，其特征在于，在所述步骤s3中：

15、

16、可选地，所述的一种基于双参考平面的单目结构光立体匹配方法，其特征在于，所述步骤s4包括：

17、步骤s41:根据所述竖直参考平面的标定信息和所述虚拟参考平面的标定信息分别对拍摄的图像进行校正，分别得到第一校正图像和第二校正图像；

18、步骤s42:将所述第一校正图像和所述第二校正图像进行比对，获得相似度高的所有像素点；

19、步骤s43：去除所述相似度高的所有像素点中的离散点，得到分隔线；

20、步骤s44：根据所述散斑点的畸变方向，确定图像的正方向和负方向，提取所述第一校正图像中所述分隔线正方向侧的部分和所述第二校正图像中所述分隔线负方向侧的部分，再将两者拼接，得到第三校正图像。

21、可选地，所述的一种基于双参考平面的单目结构光立体匹配方法，其特征在于，所述步骤s4包括：

22、步骤s41:根据所述竖直参考平面的标定信息和所述虚拟参考平面的标定信息分别对拍摄的图像进行校正，分别得到第一校正图像和第二校正图像；

23、步骤s42:将所述第一校正图像和所述第二校正图像进行比对，获得相似度高的所有像素点；

24、步骤s43：去除所述相似度高的所有像素点中的离散点，得到分隔线；

25、步骤s45：对所述第一校正图像和所述第二校正图像中所述分隔线同一侧的部分进行对比，得到校正效果较好的图像，并对相应部分进行提取；

26、步骤s46：对所述分隔线另一侧的部分，提取所述第一校正图像和所述第二校正图像中未提取的图像中对应的部分，并与步骤s45中提取的部分进行合并，得到第三校正图像。

27、可选地，所述的一种基于双参考平面的单目结构光立体匹配方法，其特征在于，在步骤s4中，根据所述竖直参考平面和所述虚拟参考平面的信息对拍摄的图像进行校正。

28、第二方面，本发明提供一种扫地机器人，其特征在于，包括：机器人本体、结构光相机以及处理器；所述结构光相机设置在所述机器人本体的侧面上；

29、所述结构光相机包括光投射器和光接收器；

30、所述光投射器，用于向目标场景投射点阵结构光；

31、所述光接收器，用于接收所述目标场景中任意物体反射后的所述点阵结构光，并生成采集图像；

32、所述处理器，用于执行上述任意一项所述基于双参考平面的单目结构光立体匹配方法的步骤。

33、第三方面，一种智能机器人，其特征在于，包括：机器人本体、结构光相机以及处理器；所述结构光相机设置在所述机器人本体的侧面上；

34、所述结构光相机包括光投射器和光接收器；

35、所述光投射器，用于向目标场景投射点阵结构光；

36、所述光接收器，用于接收所述目标场景中任意物体反射后的所述点阵结构光，并生成采集图像；

37、所述处理器，用于当所述结构光相机前方出现较大面积的物体时，执行上述任意一项所述基于双参考平面的单目结构光立体匹配方法的步骤。

38、与现有技术相比，本发明具有如下的有益效果：

39、本发明以竖直参考平面和相机内参的参数进行处理，均利用现在系统中的已知参数，无需对相机进行重新标定与额外工作，就可以得到双参考平面的参数，大大减少了前期标定的工作量与匹配计算量，有利于本发明的推广应用。

40、本发明通过数据的转换与处理得到虚拟参考平面的参数，相比于在水平面进行拍摄标定的方案，不仅节省了拍摄的工作量，也省去了虚拟参考平面与竖直参考平面匹配的环节，使得每个散斑都可以高效地获得在两个参考平面上的对应点，大大节省了计算量，降低了对硬件的要求，提升了响应速度。

41、本发明通过竖直参考平面和虚拟参考平面两个维度的对图像进行处理，对图像的处理更加精细，校正的效果更好，尤其对于机器人等拍摄到大角度物体时具有非常好的效果，提升了机器人的识别质量。

42、本发明通过双参考平面进行两次匹配，从而可得到两次匹配结果，这时通过融合策略优化冗余的匹配结果，进而优化匹配结果。这解决机器人拍摄到大角度物体时，匹配效果不佳，三维重建数据不完整和错误的问题。