基于机器视觉的双目立体匹配方法与流程

本发明涉及图像数据处理，具体涉及一种基于机器视觉的双目立体匹配方法。

背景技术：

1、双目立体视觉是机器视觉研究领域的一个重要支流，它在智能监控、农业监测、工件测量、三维重建等领域有着广泛的应用前景，具有重要的实用价值。双目立体视觉是利用位置不相同的两相机从左右角度同时对目标物体进行图像采集，基于视差原理计算图像每个像素的深度值恢复出物体的三维几何信息，重建物体轮廓及周边环境。

2、相关技术中，基于双目立体匹配（semi-global block matching，sgbm）算法实现对所采集到的图像进行双目立体匹配处理，sgbm算法中包含代价计算步骤，该步骤通常使用立体匹配census算法进行计算，census算法通过设置固定的阈值进行代价计算，在工业勘探中，双目工业相机经常工作在环境较为复杂的场景中，如隧道、管道等黑暗场景和扬沙等模糊场景中，场景变化多样，仅使用单一阈值无法有效满足复杂多变的场景，也即是说，相关技术中使用sgbm算法进行双目立体匹配处理无法适用于更为复杂多变的场景中，匹配效果较差，匹配可靠性不足。

技术实现思路

1、为了解决双目立体匹配处理无法适用于更为复杂多变的场景，匹配效果较差，匹配可靠性不足的技术问题，本发明提供一种基于机器视觉的双目立体匹配方法，所采用的技术方案具体如下：

2、本发明提出了一种基于机器视觉的双目立体匹配方法，方法包括：

3、获取同时刻双目工业相机拍摄得到的第一灰度图像和第二灰度图像，从所述第一灰度图像中任选某一待测像素点，以所述第二灰度图像中所述待测像素点相同位置的像素点为中心，预设视差范围内的像素点作为匹配像素点；

4、根据所述待测像素点周围预设第一窗口大小的区域和任一匹配像素点周围预设第一窗口大小的区域内像素点的灰度值，确定所述待测像素点与匹配像素点的第一差异系数；根据所述待测像素点周围预设第二窗口大小的区域和任一匹配像素点周围预设第二窗口大小的区域中连通域的分布，确定第二差异系数；

5、根据所述第一差异系数和所述第二差异系数确定总差异系数，根据所述总差异系数确定所述待测像素点最匹配的匹配像素点为目标像素点，根据所述第一灰度图像中所有待测像素点与对应目标像素点的总差异系数的数值分布，确定阈值影响系数；

6、根据所述阈值影响系数和预设阈值，确定目标阈值，根据所述目标阈值对所述第一灰度图像和所述第二灰度图像进行立体匹配计算处理，得到匹配结果。

7、进一步地，所述根据所述待测像素点周围预设第一窗口大小的区域和任一匹配像素点周围预设第一窗口大小的区域内像素点的灰度值，确定所述待测像素点与匹配像素点的第一差异系数，包括：

8、以所述待测像素点为中心，预设第一窗口大小的区域作为第一待测区域；

9、以所述匹配像素点为中心，预设第一窗口大小的区域作为第一匹配区域；

10、确定第一待测区域和第一匹配区域中对应位置像素点的灰度值差值绝对值作为灰度值差异；

11、计算所有位置的灰度值差异的和值归一化值作为所述待测像素点与匹配像素点的第一差异系数。

12、进一步地，所述根据所述待测像素点周围预设第二窗口大小的区域和任一匹配像素点周围预设第二窗口大小的区域中连通域的分布，确定第二差异系数，包括：

13、以所述待测像素点为中心，预设第二窗口大小的区域作为第二待测区域，根据预设分割方式，将所述第二待测区域划分为至少两个的待测方向区域；

14、以所述匹配像素点为中心，预设第二窗口大小的区域作为第二匹配区域，根据所述预设分割方式，将所述第二匹配区域划分为至少两个的匹配方向区域；

15、确定任一所述待测方向区域和所有所述匹配方向区域中连通域数量的差值绝对值的和值作为所述待测方向区域的连通域差异；

16、计算所有所述待测方向区域的连通域差异的和值归一化值作为所述待测像素点的第二差异系数。

17、进一步地，所述第一差异系数和总差异系数呈正相关关系，所述第二差异系数和总差异系数呈正相关关系。

18、进一步地，所述根据所述总差异系数确定所述待测像素点最匹配的匹配像素点为目标像素点，包括：

19、选择所述总差异系数最小的匹配像素点作为目标像素点。

20、进一步地，所述根据所述第一灰度图像中所有待测像素点与对应目标像素点的总差异系数的数值分布，确定阈值影响系数，包括：

21、基于dbscan算法对所述总差异系数的数值进行聚类，得到至少一个聚类集合，计算每个聚类集合中总差异系数的方差的和值作为差异影响因子；

22、对所述差异影响因子进行反比例的归一化处理得到相似程度；

23、计算所述相似程度和预设相似程度阈值的差值，得到相似程度差值；

24、根据所述相似程度差值确定所述阈值影响系数，其中，所述相似程度差值和所述阈值影响系数呈负相关关系。

25、进一步地，所述根据所述阈值影响系数和预设阈值，确定目标阈值，包括：

26、计算所述阈值影响系数和预设阈值的乘积作为目标阈值。

27、进一步地，所述根据所述目标阈值对所述第一灰度图像和所述第二灰度图像进行立体匹配计算处理，得到匹配结果，包括：

28、将所述目标阈值代入至census算法中，并将census算法输出的相似度代替sgbm算法中代价计算步骤，基于所述sgbm算法对所述第一灰度图像和所述第二灰度图像进行立体匹配计算处理，生成匹配结果。

29、本发明具有如下有益效果：

30、本发明通过将第一灰度图像中待测像素点在第二灰度图像相对应视差范围内的像素点作为匹配像素点，从而降低全局搜索导致的计算量，提升处理效率，通过灰度值变化确定第一差异系数，通过连通域分布确定第二差异系数，由于是基于灰度值变化和连通域差异，能够提升对图像中像素点灰度变化的灵敏性，有效适用于复杂多变的场景中，提升场景适用性，且由于结合灰度变化和连通域变化，使得总差异系数具有更优的表现效果，准确性更高，从而在根据总差异系数确定目标像素点时，提升目标像素点的匹配性与可靠性，而后，对所有待测像素点与对应目标像素点的总差异系数的数值分布进行分析，提升阈值影响系数准确性，根据第一灰度图像和第二灰度图像中像素点的分布特点自适应调整目标阈值，使得在根据目标阈值对第一灰度图像和第二灰度图像进行立体匹配计算处理时，能够基于自适应的目标阈值提升立体匹配计算处理的稳定性与可靠性，综上，本发明通过第一灰度图像和第二灰度图像中像素点的分布特点自适应调整目标阈值，从而使得双目立体匹配处理能够适用于更为复杂多变的场景中，提升双目立体匹配处理的匹配效果，增强双目立体匹配处理的匹配可靠性。

技术特征：

1.一种基于机器视觉的双目立体匹配方法，其特征在于，所述方法包括：

2.如权利要求1所述的一种基于机器视觉的双目立体匹配方法，其特征在于，所述根据所述待测像素点周围预设第一窗口大小的区域和任一匹配像素点周围预设第一窗口大小的区域内像素点的灰度值，确定所述待测像素点与匹配像素点的第一差异系数，包括：

3.如权利要求1所述的一种基于机器视觉的双目立体匹配方法，其特征在于，所述根据所述待测像素点周围预设第二窗口大小的区域和任一匹配像素点周围预设第二窗口大小的区域中连通域的分布，确定第二差异系数，包括：

4.如权利要求1所述的一种基于机器视觉的双目立体匹配方法，其特征在于，所述第一差异系数和总差异系数呈正相关关系，所述第二差异系数和总差异系数呈正相关关系。

5.如权利要求1所述的一种基于机器视觉的双目立体匹配方法，其特征在于，所述根据所述总差异系数确定所述待测像素点最匹配的匹配像素点为目标像素点，包括：

6.如权利要求1所述的一种基于机器视觉的双目立体匹配方法，其特征在于，所述根据所述第一灰度图像中所有待测像素点与对应目标像素点的总差异系数的数值分布，确定阈值影响系数，包括：

7.如权利要求1所述的一种基于机器视觉的双目立体匹配方法，其特征在于，所述根据所述阈值影响系数和预设阈值，确定目标阈值，包括：

8.如权利要求1所述的一种基于机器视觉的双目立体匹配方法，其特征在于，所述根据所述目标阈值对所述第一灰度图像和所述第二灰度图像进行立体匹配计算处理，得到匹配结果，包括：

技术总结
本发明涉及图像数据处理技术领域，具体涉及一种基于机器视觉的双目立体匹配方法。该方法包括：获取第一灰度图像和第二灰度图像，从第一灰度图像中确定待测像素点，从第二灰度图像中确定匹配像素点；根据待测像素点周围区域和任一匹配像素点周围区域内像素点的灰度值和连通域的分布，确定总差异系数，根据总差异系数确定目标像素点，根据所有待测像素点与对应目标像素点的总差异系数的数值分布，确定阈值影响系数；根据阈值影响系数和预设阈值，确定目标阈值，根据目标阈值对第一灰度图像和第二灰度图像进行立体匹配计算处理，得到匹配结果。综上，本发明能够提升双目立体匹配处理的场景适用范围，增强匹配效果，提升匹配可靠性。

技术研发人员：王凯,何浩星,华磊,李延通
受保护的技术使用者：山东省青东智能科技有限公司
技术研发日：
技术公布日：2024/1/13