基于事件相机的工件缺陷检测方法及装置与流程

本发明涉及计算机视觉，尤其涉及一种基于事件相机的工件缺陷检测方法及装置。

背景技术：

1、随着工业的发展与进步，智能制造相关技术也得到了高速发展。在工业制造中工件的缺陷不仅影响产品美观，而且会对其使用性能带来负面影响，因此工件缺陷检测是控制产品质量的重要一环。

2、现有的工件缺陷检测通常采用基于传统的机器视觉方案，该种方案使用传统相机作为成像设备，以采集工件的单帧图像，实现工件的缺陷检测。而传统相机采用的ccd(charge coupled device)或cmos(complementary metal-oxide-semiconductor，互补金属氧化物半导体)传感器对成像条件要求苛刻，而实际工业生产中的成像环境复杂，且光照干扰也具有不确定性。因此，难以捕捉到工件的缺陷并对其准确定位。

技术实现思路

1、本发明提供一种基于事件相机的工件缺陷检测方法及装置，用以解决现有技术中使用传统相机作为成像设备，以采集工件的单帧图像，实现工件的缺陷检测，难以捕捉到工件的缺陷并对其准确定位的缺陷，实现对工件进行高效精准地缺陷检测。

2、本发明提供一种基于事件相机的工件缺陷检测方法，包括：

3、基于事件相机，采集当前周期内目标工件的表面对应的事件数据流，根据所述事件数据流，获取所述目标工件的表面图像序列；

4、将所述表面图像序列输入至缺陷检测模型中，得到所述目标工件的初始缺陷位置信息、缺陷类型和所述初始缺陷位置信息对应的缺陷特征图；

5、将所述缺陷特征图输入至缺陷区域修正模型中，得到所述目标工件的最终缺陷位置信息；

6、根据所述缺陷类型和所述最终缺陷位置信息，获取所述目标工件的缺陷检测结果；

7、其中，所述缺陷检测模型是基于样本工件的表面图像序列、所述样本工件的缺陷位置标签和缺陷类型标签进行训练得到的；所述缺陷区域修正模型是基于所述缺陷检测模型得到的所述样本工件的初始缺陷位置信息对应的缺陷特征图，以及所述样本工件的缺陷位置标签进行训练得到的。

8、根据本发明提供的一种基于事件相机的工件缺陷检测方法，所述缺陷检测模型包括骨干网络、特征金字塔和输出模块；

9、所述将所述表面图像序列输入至缺陷检测模型中，得到所述目标工件的初始缺陷位置信息、缺陷类型和所述初始缺陷位置信息对应的缺陷特征图，包括：

10、将所述目标工件的表面图像序列输入至所述骨干网络中，得到所述目标工件的多分辨率特征矩阵；

11、将所述多分辨率特征矩阵输入至所述特征金字塔，得到所述目标工件的特征图；

12、将所述特征图输入至所述输出模块，得到所述目标工件的初始缺陷位置信息和缺陷类型；

13、根据所述目标工件的初始缺陷位置信息，在所述特征图中获取所述目标工件的初始缺陷位置信息对应的缺陷特征图。

14、根据本发明提供的一种基于事件相机的工件缺陷检测方法，所述骨干网络包括第一特征提取模块、第二特征提取模块、第三特征提取模块和第四特征提取模块；

15、所述将所述目标工件的表面图像序列输入至所述骨干网络中，得到所述目标工件的多分辨率特征矩阵，包括：

16、将所述目标工件的表面图像序列输入至所述第一特征提取模块，得到第一特征矩阵，将所述第一特征矩阵输入至所述第二特征提取模块，得到第二特征矩阵，将所述第二特征矩阵输入至所述第三特征提取模块，得到第三特征矩阵，将所述第三特征矩阵输入至所述第四特征提取模块，得到第四特征矩阵；

17、根据所述第二特征矩阵、所述第三特征矩阵和所述第四特征矩阵，获取所述多分辨率特征矩阵。

18、根据本发明提供的一种基于事件相机的工件缺陷检测方法，所述特征金字塔包括第一上采样模块和第二上采样模块；

19、所述将所述多分辨率特征矩阵输入至所述特征金字塔，得到所述目标工件的特征图，包括：

20、将所述第四特征矩阵输入至所述第一上采样模块，得到第五特征矩阵；

21、将所述第五特征矩阵和所述第三特征矩阵进行融合，得到第六特征矩阵；

22、将所述第六特征矩阵输入至所述第二上采样模块，得到第七特征矩阵；

23、将所述第七特征矩阵和所述第二特征矩阵进行融合，得到所述目标工件的特征图。

24、根据本发明提供的一种基于事件相机的工件缺陷检测方法，所述根据所述事件数据流，获取所述目标工件的表面图像序列，包括：

25、根据所述事件数据流中每一事件数据的事件时间戳，确定所述每一事件数据所属的图像帧；

26、根据每一图像帧内的每一事件数据的事件灰度值和事件坐标，获取所述每一图像帧对应的表面图像；

27、根据多个不同图像帧对应的表面图像，获取所述目标工件的表面图像序列。

28、根据本发明提供的一种基于事件相机的工件缺陷检测方法，所述根据多个不同图像帧对应的表面图像，获取所述目标工件的表面图像序列，包括：

29、在每一图像帧对应的表面图像中获取所述目标工件的位置信息；

30、根据所述目标工件的位置信息，在每一图像帧对应的表面图像中裁剪出所述目标工件的局部表面图像；

31、根据多个不同图像帧对应的所述局部表面图像，生成所述目标工件的表面图像序列。

32、根据本发明提供的一种基于事件相机的工件缺陷检测方法，所述缺陷检测模型的损失函数包括缺陷类型分类任务对应的分类损失函数和缺陷位置预测任务对应的回归损失函数；

33、所述分类损失函数是基于交叉熵损失函数构建的，所述回归损失函数是基于分段平滑损失函数构建的。

34、本发明还提供一种基于事件相机的工件缺陷检测装置，包括：

35、采集模块，用于基于事件相机，采集当前周期内目标工件的表面对应的事件数据流，根据所述事件数据流，获取所述目标工件的表面图像序列；

36、第一检测模块，用于将所述表面图像序列输入至缺陷检测模型中，得到所述目标工件的初始缺陷位置信息、缺陷类型和所述初始缺陷位置信息对应的缺陷特征图；

37、修正模块，用于将所述缺陷特征图输入至缺陷区域修正模型中，得到所述目标工件的最终缺陷位置信息；

38、第二检测模块，用于根据所述缺陷类型和所述最终缺陷位置信息，获取所述目标工件的缺陷检测结果；

39、其中，所述缺陷检测模型是基于样本工件的表面图像序列、所述样本工件的缺陷位置标签和缺陷类型标签进行训练得到的；所述缺陷区域修正模型是基于所述缺陷检测模型得到的所述样本工件的初始缺陷位置信息对应的缺陷特征图，以及所述样本工件的缺陷位置标签进行训练得到的。

40、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于事件相机的工件缺陷检测方法。

41、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于事件相机的工件缺陷检测方法。

42、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于事件相机的工件缺陷检测方法。

43、本发明提供的基于事件相机的工件缺陷检测方法及装置，通过利用事件相机所具备的数据冗余小和抗光干扰能力强的特点，可以有效地提取到工件表面受环境光干扰的细微缺陷事件数据流，并对事件数据流进行处理，可获取连续多帧的表面图像序列作为缺陷检测模型的输入信息，以便缺陷检测模型根据连续帧的表面图像序列中的上下文信息，滤除掉随机噪声，输出精准地初始缺陷位置信息、缺陷类型和初始缺陷位置信息对应的缺陷特征图，并将初始缺陷位置信息对应的缺陷特征图输入缺陷区域修正模型，以进一步提高缺陷位置信息的检测精度，进而实现精准捕捉工件的缺陷信息以及准确定位工件的缺陷位置。