车身漆面缺陷动态检测方法、装置、系统及设备与流程

本技术涉及计算机，特别是涉及一种车身漆面缺陷动态检测方法、装置、系统、计算机设备、存储介质和计算机程序产品。

背景技术：

1、涂装是汽车生产过程中的一个重要环节，车身涂装表面起到保护车身防止腐蚀的作用，可以提高美观和辨识度。在汽车涂装的不可避免会产生一些缺陷瑕疵如凹坑、颗粒等，缺陷的存在严重影响了产品的美观、性能和使用寿命，因此需要及时检测出生产过程中产生的缺陷进行修复。传统生产线仍主要采用人工目视的方法进行缺陷的检测和修复，存在检测效率低、漏检率高的问题。

2、随着技术的进步，目前逐步开始有一些产商开始了汽车漆面在线检测设备的研制，这些检测设备通常需要车身保持相对静止、暂停汽车生产线进行数据的采集，检测时间较长，难以满足日益加速的生产节拍，而且随着车型的改变系统配置通常需要较大更改适配。

3、所以目前急需一种动态且准确的车身漆面缺陷检测方案。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种动态且准确的车身漆面缺陷动态检测方法、装置、系统、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面，本技术提供了一种车身漆面缺陷动态检测方法。所述方法包括：

3、获取固定支架图像采集组件采集的第一车身图像、以及机械臂手持方式图像采集组件采集的第二车身图像；

4、识别所述第一车身图像中的第一车身漆面缺陷结果、和所述第二车身图像中的第二车身漆面缺陷结果；

5、对所述固定支架图像采集组件中相机以及所述机械臂手持方式图像采集组件中相机进行联合标定，得到相机联合标定结果；

6、基于所述相机联合标定结果，将所述第一车身漆面缺陷结果和所述第二车身漆面缺陷结果映射至车身三维坐标系中，得到车身漆面缺陷检测结果。

7、在其中一个实施例中，所述基于所述相机联合标定结果，将所述第一车身漆面缺陷结果和所述第二车身漆面缺陷结果映射至车身三维坐标系中，得到车身漆面缺陷检测结果包括：

8、基于所述相机联合标定结果，将所述第一车身漆面缺陷结果映射至车身三维坐标系中；

9、对所述机械臂手持方式图像采集组件中相机进行手眼标定；

10、基于手眼标定结果以及所述相机联合标定结果，将所述第二车身漆面缺陷结果映射至车身三维坐标系中；

11、归集映射于所述车身三维坐标系中缺陷位置，得到车身漆面缺陷检测结果。

12、在其中一个实施例中，所述对所述固定支架图像采集组件中相机以及所述机械臂手持方式图像采集组件中相机进行联合标定，得到相机联合标定结果包括：

13、获取所述固定支架图像采集组件中相机以及所述机械臂手持方式图像采集组件中相机采集标准样车身的标定数据，所述标准样车身上分布设置有标定板，每个所述标定板对应唯一id；

14、基于所述标定数据对所述固定支架图像采集组件中相机以及所述机械臂手持方式图像采集组件中相机进行联合标定，得到相机联合标定结果。

15、在其中一个实施例中，所述基于所述标定数据对所述固定支架图像采集组件中相机以及所述机械臂手持方式图像采集组件中相机进行联合标定，得到相机联合标定结果包括：

16、采用标定特征点检测算法提取所述标定数据中角点特征坐标和对应id；

17、基于相同id遍历所述角点特征坐标，生成不同相机的特征点匹配对；

18、基于多视角稀疏重建算法、且根据所述角点特征坐标以及所述特征点匹配对，生成本质矩阵；

19、根据所述本质矩阵以及pnp算法求解每个相机的旋转矩阵r和平移向量；

20、根据所述每个相机的旋转矩阵r和平移向量，恢复所有相机位姿；

21、基于恢复后的所有相机位姿，采用三角化和光束平差法，得到优化后的相机内外参结果。

22、在其中一个实施例中，所述基于所述相机联合标定结果，将所述第一车身漆面缺陷结果和所述第二车身漆面缺陷结果映射至车身三维坐标系中，得到车身漆面缺陷检测结果包括：

23、基于所述相机联合标定结果、所述第一车身漆面缺陷结果和所述第二车身漆面缺陷结果，建立参考坐标系中缺陷到相机光心的反射光线；

24、通过实时仿真计算所述反射光线与车身三维模型数据的交点，得到实时仿真计算结果；

25、根据所述实时仿真计算结果，将第一车身漆面缺陷和所述第二车身漆面缺陷由图像中的像素坐标映射到车身三维坐标系，得到车身漆面缺陷检测结果。

26、在其中一个实施例中，所述基于所述相机联合标定结果，将所述第一车身漆面缺陷结果和所述第二车身漆面缺陷结果映射至车身三维坐标系中，得到车身漆面缺陷检测结果；

27、基于所述相机联合标定结果，将所述第一车身漆面缺陷结果和所述第二车身漆面缺陷结果映射至车身三维坐标系中，得到初始车身漆面缺陷检测结果；

28、识别所述初始车身漆面缺陷检测结果中缺陷之间间距小于预设误差容许值的重复缺陷点；

29、剔除所述初始车身漆面缺陷检测结果中重复缺陷点，得到车身漆面缺陷检测结果。

30、第二方面，本技术还提供了一种车身漆面缺陷动态检测装置。所述装置包括：

31、图像获取模块，用于获取固定支架图像采集组件采集的第一车身图像、以及机械臂手持方式图像采集组件采集的第二车身图像；

32、识别模块，用于识别所述第一车身图像中的第一车身漆面缺陷结果、和所述第二车身图像中的第二车身漆面缺陷结果；

33、标定模块，用于对所述固定支架图像采集组件中相机以及所述机械臂手持方式图像采集组件中相机进行联合标定，得到相机联合标定结果；

34、检测模块，用于基于所述相机联合标定结果，将所述第一车身漆面缺陷结果和所述第二车身漆面缺陷结果映射至车身三维坐标系中，得到车身漆面缺陷检测结果。

35、第三方面，本技术还提供了一种车身漆面缺陷动态检测系统，包括固定支架图像采集组件、机械臂手持方式图像采集组件以及处理计算单元；

36、所述固定支架图像采集组件采集得到第一车身图像、并发送所述第一车身图像至所述处理计算单元；所述机械臂手持方式图像采集组件采集得到第二车身图像、并发送所述第二车身图像至所述处理计算单元，所述处理计算单元采用如上述的方法进行车身漆面缺陷动态检测。

37、第四方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

38、获取固定支架图像采集组件采集的第一车身图像、以及机械臂手持方式图像采集组件采集的第二车身图像；

39、识别所述第一车身图像中的第一车身漆面缺陷结果、和所述第二车身图像中的第二车身漆面缺陷结果；

40、对所述固定支架图像采集组件中相机以及所述机械臂手持方式图像采集组件中相机进行联合标定，得到相机联合标定结果；

41、基于所述相机联合标定结果，将所述第一车身漆面缺陷结果和所述第二车身漆面缺陷结果映射至车身三维坐标系中，得到车身漆面缺陷检测结果。

42、第五方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

43、获取固定支架图像采集组件采集的第一车身图像、以及机械臂手持方式图像采集组件采集的第二车身图像；

44、识别所述第一车身图像中的第一车身漆面缺陷结果、和所述第二车身图像中的第二车身漆面缺陷结果；

45、对所述固定支架图像采集组件中相机以及所述机械臂手持方式图像采集组件中相机进行联合标定，得到相机联合标定结果；

46、基于所述相机联合标定结果，将所述第一车身漆面缺陷结果和所述第二车身漆面缺陷结果映射至车身三维坐标系中，得到车身漆面缺陷检测结果。

47、第六方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

48、获取固定支架图像采集组件采集的第一车身图像、以及机械臂手持方式图像采集组件采集的第二车身图像；

49、识别所述第一车身图像中的第一车身漆面缺陷结果、和所述第二车身图像中的第二车身漆面缺陷结果；

50、对所述固定支架图像采集组件中相机以及所述机械臂手持方式图像采集组件中相机进行联合标定，得到相机联合标定结果；

51、基于所述相机联合标定结果，将所述第一车身漆面缺陷结果和所述第二车身漆面缺陷结果映射至车身三维坐标系中，得到车身漆面缺陷检测结果。

52、上述车身漆面缺陷动态检测方法、装置、计算机设备、存储介质和计算机程序产品，获取固定支架图像采集组件采集的第一车身图像、以及机械臂手持方式图像采集组件采集的第二车身图像；识别第一车身图像中的第一车身漆面缺陷结果、和第二车身图像中的第二车身漆面缺陷结果；对固定支架图像采集组件中相机以及机械臂手持方式图像采集组件中相机进行联合标定，得到相机联合标定结果；基于相机联合标定结果，将第一车身漆面缺陷结果和第二车身漆面缺陷结果映射至车身三维坐标系中，得到车身漆面缺陷检测结果。整个过程中，兼容固定支架和机械臂手持方式的漆面缺陷检测，无需车身保持相对静止即可实现动态且准确的车身漆面缺陷检测。