相交棱的检测方法、设备、系统、存储介质及程序产品与流程

本发明涉及图像处理，尤其涉及一种相交棱的检测方法、设备、系统、存储介质及程序产品。

背景技术：

1、三维重建是指根据单视图或多视图的图像重建三维信息的过程，已被广泛应用于无人驾驶、医疗机器人以及虚拟现实等领域。

2、在工业领域，通常需要检测两个物体表面的相交棱，以基于相交棱做后续的处理操作。示例性的，在焊接领域，常常需要将两个工件进行焊接以得到一个焊接后的工件，当在焊接时需要获取焊缝的位置，以准确焊接，或者，在焊接后需要获取焊缝位置，以检查焊缝是否符合焊接要求。因此，如何准确获取相交棱的位置是急需解决的技术问题。

技术实现思路

1、本发明提供一种相交棱的检测方法、设备、系统、存储介质及程序产品，用于准确确定相交棱的位置。

2、第一方面，本发明提供一种相交棱的检测方法，所述相交棱为两个夹角小于180°的物体表面的相交棱，应用于3d相机，所述3d相机包括光机和相机；所述相交棱的检测方法包括：

3、获取所述光机向待测物投影的多个方向的条纹图像，以及所述相机拍摄所述待测物得到的拍摄图像；其中，各条纹图像中条纹的方向不同；所述待测物包括所述相交棱；

4、对于所述相机的靶面上的任一目标像素点，根据多个方向中的至少部分方向的条纹图像和所述拍摄图像，确定该条纹图像对应的相位线，其中，该条纹图像对应的相位线为所述光机的靶面上与所述目标像素点相匹配的、且与该条纹图像中条纹的方向平行的直线；

5、根据各个目标像素点对应的相位线，确定所述待测物的点云数据；

6、根据所述待测物的点云数据，确定所述相交棱。

7、可选的，根据各个目标像素点对应的相位线，确定所述待测物的点云数据，包括：

8、针对每一目标像素点，根据多个方向中的至少部分方向的条纹图像对应的、与所述目标像素点匹配的相位线，确定所述目标像素点是否有效像素点；所述有效像素点对应于所述待测物上不受多重反射影响的位置点；

9、对各个所述有效像素点进行三维重建，得到所述待测物的点云数据。

10、可选的，根据多个方向中的至少部分方向的条纹图像对应的、与所述目标像素点匹配的相位线，确定所述目标像素点是否有效像素点，包括：

11、确定所述光机的靶面上所述目标像素点对应的极线；

12、根据所述极线与至少两个方向的条纹图像对应的相位线的相交信息，确定所述目标像素点是否为有效像素点；

13、其中，所述至少两个方向的条纹图像为所述多个方向的条纹图像中的任意两个方向的条纹图像。

14、可选的，根据所述极线与至少两个方向的条纹图像对应的相位线的相交信息，确定所述目标像素点是否为有效像素点，包括：

15、根据所述目标像素点对应的第一相位线和所述目标像素点对应的第二相位线的交点以及所述极线，确定所述目标像素点是否为有效像素点；

16、其中，所述第一相位线和第二相位线为所述至少两个方向的条纹图像对应的相位线中的任意两个相位线。

17、可选的，根据所述目标像素点对应的第一相位线和所述目标像素点对应的第二相位线的交点以及所述极线，确定所述目标像素点是否为有效像素点，包括：

18、确定所述交点到所述极线的垂直距离；

19、根据所述垂直距离与阈值确定所述目标像素点是否为有效像素点；其中，当所述垂直距离小于所述阈值时，所述目标像素点为所述有效像素点。

20、可选的，所述方法还包括：

21、接收用户输入的、在光机的靶面上允许的像素误差个数；

22、将所述像素误差个数在重建平面上对应的变化距离确定为所述阈值；所述重建平面为与所述光机的靶面平行且距离所述光机的靶面为预设距离的平面。

23、可选的，根据所述极线与至少两个方向的条纹图像对应的相位线的相交信息，确定所述目标像素点是否为有效像素点，包括：

24、确定所述至少两个方向的条纹图像对应的相位线与所述极线相交形成的多边形；

25、根据所述多边形的基础数据，确定所述目标像素点是否为有效像素点；

26、所述至少两个条纹图像中每一条纹图像的条纹方向与所述极线均不平行。

27、可选的，所述基础数据包括所述多边形的重心到所述多边形各边的距离；或者，所述多边形的重心到所述多边形各边的加权距离；

28、当所述多边形为三角形时，所述基础数据还包括所述三角形的面积。

29、可选的，根据所述多边形的基础数据，确定所述目标像素点是否为有效像素点，包括：

30、将所述基础数据与差距阈值进行比较，确定所述目标像素点是否为有效像素点；

31、其中，当所述基础数据包括两个方向的条纹图像对应的相位线和所述极线所形成的三角形的面积时，所述差距阈值为标准三角形的面积；标准三角形为当三角形的最短边与对应顶点的距离为允许最大偏差值时形成的三角形；所述允许最大偏差值为直线位置重复性测试标准差的倍数值；

32、当所述基础数据包括所述多边形的重心到所述多边形各边的距离时，所述差距阈值由多边形每条边对应的允许最大偏差值确定；

33、当所述基础数据包括所述多边形的重心到所述多边形各边的加权距离时，所述差距阈值为多边形的边数。

34、可选的，对各个所述有效像素点进行三维重建，包括：

35、针对每一有效像素点，将所述有效像素点对应的第一相位线或所述第二相位线与所述极线的交点确定为重建点；

36、根据所述有效像素点和所述有效像素点对应的重建点确定所述有效像素点对应的三维空间点。

37、可选的，对各个所述有效像素点进行三维重建，包括：

38、针对每一有效像素点，将所述有效像素点对应的多边形的重心确定为重建点；

39、根据所述有效像素点和所述有效像素点对应的重建点确定所述有效像素点对应的三维空间点。

40、可选的，所述待测物为工件，所述相交棱为对所述工件进行焊接时的焊缝。

41、第二方面，本发明提供一种电子设备，包括：至少一个处理器和存储器；

42、所述存储器存储计算机执行指令；

43、所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如第一方面任一项所述的方法。

44、第三方面，本发明提供一种相交棱的检测系统，所述系统包括3d相机和第二方面所述的电子设备；

45、所述3d相机包括光机和相机，所述光机用于向待测物投影的多个方向的条纹图像，所述相机用于拍摄所述待测物得到的拍摄图像；

46、所述电子设备用于执行如第一方面任一项所述的方法。

47、第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如第一方面任一项所述的方法。

48、第五方面，本发明提供一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如第一方面任一项所述的方法。

49、本发明提供的一种相交棱的检测方法、设备、系统、存储介质及程序产品，应用于3d相机，所述3d相机包括光机和相机；所述相交棱的检测方法包括：获取所述光机向待测物投影的多个方向的条纹图像，以及所述相机拍摄所述待测物得到的拍摄图像；其中，各条纹图像中条纹的方向不同；所述待测物包括所述相交棱；对于所述相机的靶面上的任一目标像素点，根据各个方向的条纹图像和所述拍摄图像，确定该条纹图像对应的相位线，其中，该条纹图像对应的相位线为所述光机的靶面上与所述目标像素点相匹配的、且与该条纹图像中条纹的方向平行的直线；根据各个目标像素点对应的相位线，确定所述待测物的点云数据；根据所述待测物的点云数据，确定所述相交棱，由于相交棱的位置不受多重反射影响，通过投射多个方向的条纹图像确定多条相位线，根据多条相位线的位置关系可以确定未受多重反射影响的像素点，从而准确确定相交棱。