缺陷检测方法、系统、电子设备和计算机可读存储介质与流程

1.本技术涉及机器视觉技术领域，特别是涉及一种缺陷检测方法、系统、电子设备和计算机可读存储介质。


背景技术：

2.产品的生产过程中，由于受到环境、设备等多个方面的影响，产品表面会产生划痕、赃物等缺陷，产品表面的缺陷严重影响了产品的质量，现有技术中人工目检的方式准确率较低且效率较低，利用智能模型对图像数据进行分析的方式效率较高，但是图像数据通常是利用固定位置的摄像装置进行采集，但是受到复杂环境的影响，基于单一视场的图像数据进行缺陷检测的准确率也较低。有鉴于此，如何提高缺陷检测的准确率成为亟待解决的问题。


技术实现要素：

3.本技术主要解决的技术问题是提供一种缺陷检测方法、系统、电子设备和计算机可读存储介质，能够提高缺陷检测的准确率。
4.为解决上述技术问题，本技术第一方面提供一种缺陷检测方法，包括：获得包含待测面的图像组；其中，所述图像组包括第一图像和第二图像，所述第一图像和所述第二图像均分别包括高亮度区域和低亮度区域，所述图像组中所述第一图像的所述高亮度区域和所述第二图像的所述高亮度区域拼接成的区域包括所述待测面；对所述图像组中所述第一图像和所述第二图像进行待测面的缺陷检测，获得所述待测面对应的缺陷预检区域。
5.为解决上述技术问题，本技术第二方面提供一种缺陷检测系统，包括：光源、摄像装置和处理器，其中，光源用于向待测面的部分区域打光；摄像装置用于在所述光源对所述待测面的部分区域进行打光时，采集所述待侧面的图像；处理器与所述摄像装置耦接，用于接收所述摄像装置所采集的图像，并执行上述第一方面所述的方法。
6.为解决上述技术问题，本技术第三方面提供一种电子设备，该电子设备包括：相互耦接的存储器和处理器，其中，所述存储器存储有程序数据，所述处理器调用所述程序数据以执行上述第一方面或上述第二方面所述的方法。
7.为解决上述技术问题，本技术第四方面提供一种计算机可读存储介质，其上存储有程序数据，所述程序数据被处理器执行时实现上述第一方面或上述第二方面所述的方法。
8.上述方案，获取包含待测面的图像组，其中，图像组包括第一图像和第二图像，且第一图像和第二图像均分别包括高亮度区域和低亮度区域，且同组内的第一图像的高亮度区域和第二图像的高亮度区域拼接成的区域包括待测面，也就是说获得的同组内的第一图像和第二图像均包括高亮度区域和低亮度区域，且同组内的第一图像和第二图像的高亮度区域拼接起来的区域大于或等于待测面对应的区域，从而降低强光照条件下使待测面产生强反射造成缺陷处成像不清晰的概率，对图像组中第一图像和第二图像进行待测面的缺陷
检测获得待测面对应的缺陷预检区域，进而从缺陷预检区域中获得更准确的缺陷结果，提高缺陷检测的准确率。
附图说明
9.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
10.图1是本技术缺陷检测方法一实施方式的流程示意图；
11.图2是本技术第一图像和第二图像对应的一实施方式的应用场景示意图；
12.图3是本技术缺陷检测方法另一实施方式的流程示意图；
13.图4是本技术检测模块对应的一实施方式的结构示意图；
14.图5是本技术缺陷检测系统一实施方式的结构示意图；
15.图6是本技术电子设备一实施方式的结构示意图；
16.图7是本技术计算机可读存储介质一实施方式的结构示意图。
具体实施方式
17.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
18.本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
19.请参阅图1，图1是本技术缺陷检测方法一实施方式的流程示意图，该方法包括：
20.s101：获得包含待测面的图像组，其中，图像组包括第一图像和第二图像，第一图像和第二图像均分别包括高亮度区域和低亮度区域，图像组中第一图像的高亮度区域和第二图像的高亮度区域拼接成的区域包括待测面。
21.具体地，待测面经过光源在不同时刻从不同角度进行打光，进而获得摄像装置采集的待测面对应的图像组，且图像组包括第一图像和第二图像。其中，偶数个光源按组设置，每组中包括两个光源且对称设置于待测面的两侧，光源在打光时，同组设置的光源分别对待测面上的部分区域进行打光，摄像装置在光源打光时采集图像数据。其中，待测面为待测物体的其中一个表面。
22.进一步地，请参阅图2，图2是本技术第一图像和第二图像对应的一实施方式的应用场景示意图，将同组内第一个光源打光时采集到的图像定义为第一图像如图2中a所示，将同组内第二个光源打光时采集到的图像定义为第二图像如图2中b所示，其中，高亮度区域为待测面被光源打光的区域曝光后在图像数据上形成的区域，低亮度区域为图像数据上高亮度区域之外的其他区域。
23.进一步地，图像组中第一图像的高亮度区域和第二图像的高亮度区域拼接成的区域包括待测面，也就是说图像组中第一图像的高亮度区域和第二图像的高亮度区域所拼接成的图像完全包括待测面对应的同尺寸的图像，因此，图像组对应的光源在打光时对待测面的部分区域进行打光，且同组内光源打光的区域完全覆盖待测面，从而降低强光照条件下使待测面产生强反射造成缺陷处成像不清晰的概率。
24.在一应用场景中，摄像装置对着待测物体的待测面安装，偶数个光源按组分配，且每组中的两个光源对称设置于待测物体的两侧，并与待测物品成预设角度(例如：30度、45度或60度等)，光源依次亮起对待测面进行打光，同时摄像装置在光源打光时，按顺序在不同时刻采集待测面对应的图像数据，图像数据按光源的分组方式分成图像组。
25.s102：对图像组中第一图像和第二图像进行待测面的缺陷检测，获得待测面对应的缺陷预检区域。
26.具体地，利用检测算法或检测模块对图像组中第一图像和第二图像进行待测面的缺陷检测，得到待测面对应的缺陷预检区域。其中，缺陷预检区域为待测面上包括缺陷的检测框。
27.在一应用方式中，利用检测模型对对图像组中第一图像和第二图像进行待测面的缺陷检测，检测模型的训练过程包括：获得第一图像和第二图像，对第一图像和第二图像进行预处理并在图像上标记缺陷的位置，获得训练图像数据，将训练图像数据输入检测模型输出预测图像数据，基于预测图像数据上标定的缺陷预检区域与训练图像数据的位置偏差，对检测模型的参数进行优化，直至满足收敛条件获得训练后的检测模型。
28.在一具体应用场景中，检测模型为双流卷积网络模型，包括第一图像对应的第一图像通道和第二图像对应的第二图像通道，在获得训练后的检测模型后，将待测面对应的第一图像输入第一图像通道，将第二图像输入第二图像通道从而获得检测模型输出的待测面对应的缺陷预检区域。
29.进一步地，在缺陷预检区域内对缺陷进行定量分析，获得缺陷对应的缺陷检测结果，其中，缺陷包括但不限于待测物体表面的划痕和附着物以及待测物体表面不满足质量要求的区域。
30.在一应用场景中，待测物体为摄像装置，待测面为摄像装置的镜头，缺陷为摄像镜头上的附着物，在获得待测面对应的缺陷预检区域后，对缺陷预检区域进行定量分析，从而获得缺陷也即附着物的实际长度和实际面积。
31.上述方案，获取包含待测面的图像组，其中，图像组包括第一图像和第二图像，且第一图像和第二图像均分别包括高亮度区域和低亮度区域，且同组内的第一图像的高亮度区域和第二图像的高亮度区域拼接成的区域包括待测面，也就是说获得的同组内的第一图像和第二图像均包括高亮度区域和低亮度区域，且同组内的第一图像和第二图像的高亮度区域拼接起来的区域大于或等于待测面对应的区域，从而降低强光照条件下使待测面产生强反射造成缺陷处成像不清晰的概率，对图像组中第一图像和第二图像进行待测面的缺陷检测获得待测面对应的缺陷预检区域，进而从缺陷预检区域中获得更准确的缺陷结果，提高缺陷检测的准确率。
32.请参阅图3，图3是本技术缺陷检测方法另一实施方式的流程示意图，该方法包括：
33.s301：获得包含待测面的图像组，其中，图像组包括第一图像和第二图像，第一图
像和第二图像均分别包括高亮度区域和低亮度区域，图像组中第一图像的高亮度区域和第二图像的高亮度区域拼接成的区域包括待测面。
34.具体地，第一图像和第二图像基于不同角度的打光在不同时刻采集，第一图像和第二图像包括第一中轴线，位于第一中轴线一侧的区域为高亮度区域，位于第一中轴线另一侧的区域为低亮度区域。其中，在光源对待测面打光时，高亮度区域对应着中轴线一侧有光源照射的部分采集的图形，低亮度区域对应着中轴线另一侧没有光源照射的部分采集的图像，对于同组的第一图像和第二图像而言，高亮度区域和低亮度区域在两次照射时以中轴线为界光源照射的位置相反，从而摄像装置采集的第一图像和第二图像的在不同时刻进行曝光，同组内的第一图像的高亮度区域和第二图像的高亮度区域拼接的区域包括待测面，第一图像上包括高亮度区域对应的明场图像和低亮度区域对应的暗场图像，第二图像上也包括高亮度区域对应的明场图像和低亮度区域对应的暗场图像，其中，从而降低由于单一的明场图像或者暗场图像包含的缺陷特征信息不准确造成检测错的概率，提高缺陷检测的准确率。
35.s302：将图像组中的第一图像和第二图像分别输入检测模型获得图像组对应的融合特征，并基于融合特征确定待测面对应的缺陷预检区域。
36.具体地，融合特征是基于第一图像的第一特征和第二图像的第二特征得到的，检测模型基于多个历史图像组进行训练获得。其中，历史图像组包括第一图像和第二图像。
37.进一步地，检测模型至少包括第一图像通道和第二图像通道，检测模型基于多组第一图像和第二图像经过预先训练获得，训练后的检测模型用于标定待测面对应的缺陷预检区域。
38.在一应用方式中，请参阅图4，图4是本技术检测模块对应的一实施方式的结构示意图，检测模型对应的训练过程包括：获得第一图像和第二图像，对图像数据进行数据清洗和数据增强，建立图像数据样本集，在图像数据样本集上标注缺陷的位置，将第一图像输入第一图像通道，将第二图像输入第二图像通道，将两个通道的输出特征输入融合模块后融合特征，在预检框定位模块中基于融合特征在图像数据上标定出缺陷预检区域，基于预测图像数据上标定的缺陷预检区域与训练图像数据的位置偏差，采用梯度下降的策略和adam的优化函数持续训练优化模型结果，直至满足收敛条件获得训练后的检测模型。通过对双通道的检测模型进行训练，以使训练后的检测模型能够将第一图像和第二图像的特征进行融合，并基于融合特征来获得更准确的缺陷预检区域。
39.在一应用场景中，获得一个图像组，将图像组中的第一图像和第二图像分别输入检测模型获得图像组对应的融合特征的步骤，包括：基于第一图像通道对图像组中的第一图像进行特征提取，得到第一特征；以及基于第二图像通道对图像组中的第二图像进行特征提取，得到第二特征；将第一特征和第二特征融合，获得图像组对应的融合特征。
40.具体地，将同组内的第一图像输入检测模型的第一图像通道，将同组内的第二图像输入检测模型的第二图像通道，获得第一图像对应的第一特征以及第二图像对应的第二特征，从而将同一待测面对应的高亮度区域相反的两张图像对应的特征融合起来，获得融合特征以充分表达待测面的特征信息。
41.在一具体应用场景中，将同组内的第一图像输入第一图像通道第二图像输入第二图像通道，将经过第一图像通道的第一图像与经过第二图像通道的第二图像融合，获得融
合图像以及融合图像上对应的融合特征，在融合图像上基于融合特征标定出待测面上的缺陷预检区域。可以理解的是，当待测面上包括多处缺陷时，将标定出对应数量的多处缺陷预检区域。
42.在另一应用场景中，图像组包括多个，将图像组中的第一图像和第二图像分别输入检测模型获得图像组对应的融合特征，并基于融合特征确定待测面对应的缺陷预检区域的步骤，包括：将多个图像组中各个图像组的第一图像和第二图像分别输入检测模型获得各个图像组对应的融合特征，并基于获得的各个融合特征确定待测面对应的缺陷预检子区域；将获得的各个缺陷预检子区域并集后的区域，确定为待测面对应的缺陷预检区域。
43.具体地，将每个图像组中的第一图像和第二图像基于上一应用场景中的方式获取每个图像组对应的融合特征，在每个图像组对应的融合特征上标定出每个图像组对应的缺陷预检子区域，进而将每个图像组对应的缺陷预检子区域求并集，从而获得待测面对应的更加精确和完善的缺陷预检区域，降低因单个图像组中缺陷处成像不清晰造成检测结果不准确的概率。
44.s303：将缺陷预检区域的边界外扩，获得缺陷定量区域。
45.具体地，基于缺陷预检区域的像素坐标对缺陷预检区域的边界进行拓展，获得扩大后的缺陷定量区域。
46.在一应用方式中，缺陷预检区域对应为一个矩形框，获取缺陷预检区域的边界对应的像素坐标，在缺陷预检区域的边界对应的像素坐标的基础上增加预设像素坐标值，从而将缺陷预检区域的边界进行拓展，获得扩大后的缺陷定量区域，以便将缺陷的边缘全部包括在缺陷定量区域中。其中，预设像素坐标值可以是5-10个像素坐标单位中的任一数值。
47.s304：对缺陷定量区域进行阈值分割，获得缺陷定量区域中的缺陷定位区域。
48.具体地，将缺陷定量区域进行自适应阈值分割，得到缺陷处对应的像素级定位标记为缺陷定位区域。其中，自适应阈值分割算法包括但不限于最大类间方差法和二值化算法。
49.在一应用方式中，对缺陷定量区域进行阈值分割，从缺陷定量区域中分离出缺陷定位区域和缺陷定位区域之外的背景区域；对缺陷定位区域和背景区域进行区分，且仅保留缺陷定位区域的像素。
50.具体地，利用自适应阈值分割算法对缺陷定量区域进行分割，从缺陷定量区域中划分出缺陷对应的缺陷定位区域和缺陷定位区域之外的背景区域，将缺陷定位区域和背景区域区分开，仅保留缺陷定位区域的像素，从而提高对缺陷定位像素进行定量分析的准确性。
51.在一具体应用场景中，利用最大类间方差法对缺陷定量区域进行阈值分割，获得缺陷定位区域和背景区域，将背景区域的像素消除从而只保留缺陷定位区域的像素。
52.s305：从缺陷定位区域中确定缺陷定位区域所对应的缺陷面积和缺陷长度。
53.具体地，将缺陷定位区域中的像素映射到实际尺寸从而获得缺陷定位区域对应的缺陷面积和缺陷长度，实现对缺陷定位区域的定量分析。
54.在一应用方式中，获取缺陷定位区域内像素的第一数量，将第一数量映射至实际尺寸确定缺陷定位区域所对应的缺陷面积；对缺陷定位区域进行骨架提取，获得由单像素排列的缺陷骨架，获取缺陷骨架内像素的第二数量，将第二数量映射至实际尺寸确定缺陷
定位区域所对应的缺陷长度。
55.具体地，统计缺陷定位区域内像素的第一数量得到缺陷定位区域内像素的数量，将像素尺寸映射到实际尺寸获得缺陷定位区域所对应的缺陷面积。
56.进一步地，先对缺陷定位区域进行骨架提取得到缺陷骨架，采用骨架提取的方法将缺陷定位区域变成单像素排列的骨架，也就是将缺陷定位区域的短边内的像素以单像素排列，从而获得缺陷定位区域的长边，统计缺陷骨架内像素的第二数量，将像素尺寸映射到实际尺寸获得缺陷定位区域所对应的缺陷长度，通过像素映射至实际尺寸的方法可以实现对缺陷定位区域的量化，简单准确地获得缺陷定位区域对应的实际参数。
57.可选地，响应于缺陷面积和/或缺陷长度超过对应的阈值，输出待测面对应的缺陷定位区域和报警信号，或者，响应于缺陷面积和缺陷长度均未超过对应的阈值，输出待测面对应的合格信号。
58.在一应用场景中，利用k3m算法提取缺陷定位区域内长边对应的缺陷骨架，进而获取缺陷骨架对应的像素的第二数量，然后将第二数量个像素长度映射至实际尺寸，从而获得缺陷的实际参数。
59.在本实例中，获得的同组内的第一图像和第二图像均包括高亮度区域和低亮度区域，降低了强光照条件下使待测面产生强反射造成缺陷处成像不清晰的概率，将至少一组包括高亮度区域和低亮度区域的第一图像和第二图像输入检测模型，获得待测面对应的缺陷预检区域，并将缺陷预检区域的边界外扩获得缺陷定量区域以提高检测精度，对缺陷定量区域进行阈值分割，得到缺陷定位区域并在缺陷定位区域内通过骨架提取得到缺陷骨架，统计缺陷骨架内的像素数量以及缺陷定位区域内所有像素的数量并分别映射至实际尺寸，得到缺陷长度和缺陷面积。
60.请参阅图5，图5是本技术缺陷检测系统一实施方式的结构示意图，该缺陷检测系统50包括：光源500、摄像装置502和处理器504，其中，光源500用于向待测面的部分区域打光。摄像装置502用于在光源500对待测面的部分区域进行打光时，采集待侧面的图像。处理器504与摄像装置502耦接用于接收摄像装置502所采集的图像，并执行上述任一实施例中的方法。
61.具体地，光源500按组设置且每组内光源500为偶数个，每组内的光源500在不同时刻对待测面的部分区域打光，从而摄像装置502在对应打光的时候对待测面进行拍摄，实现对待测面分时曝光，并且同组内对应的第一图像和第二图像上，第一图像和第二图像均分别包括高亮度区域和低亮度区域，图像组中第一图像的高亮度区域和第二图像的高亮度区域拼接成的区域包括待测面。处理器504与摄像装置502耦接，在接收到包含待测面的至少一组第一图像和第二图像后，完成上述任一实施例中所述的方法。
62.上述方案，光源500向待测面的部分区域打光，进而摄像装置502在光源500对待测面的部分区域进行打光时拍摄图像数据，处理器504从摄像装置502处获取包含待测面的第一图像和第二图像，第一图像和第二图像按组设置，其中，第一图像和第二图像均分别包括高亮度区域和低亮度区域，图像组中第一图像的高亮度区域和第二图像的高亮度区域拼接成的区域包括待测面，也就是说获得的同组内的第一图像和第二图像均包括高亮度区域和低亮度区域，从而降低强光照条件下使待测面产生强反射造成缺陷处成像不清晰的概率，将至少一组包括高亮度区域和低亮度区域的第一图像和第二图像输入检测模型，获得待测
面对应的缺陷预检区域，进而从缺陷预检区域中获得更准确的缺陷结果，提高缺陷检测的准确率。
63.可选地，偶数个光源500按组设置，每组中包括两个光源500且对称设置于待测面的两侧，缺陷检测系统50还包括控制器(图未示)，用于控制所有组中的光源500按顺序依次点亮对待测面的部分区域进行打光，并在打光时控制摄像装置502依次采集待测面的图像数据。其中，图像数据按光源500的分组方式分成图像组，图像组包括第一图像和第二图像，第一图像和第二图像均分别包括高亮度区域和低亮度区域，图像组中第一图像的高亮度区域和第二图像的高亮度区域拼接成的区域包括待测面。
64.在一应用场景中，偶数个光源500按组设置，每组中包括两个光源500，且每组中的两个光源500以待测面所在平面的中轴线对称设置，控制器发送控制指令给光源500和摄像装置502，以使所有组中的光源500按顺序依次点亮对待测面上的部分区域进行打光，并在打光时控制摄像装置502依次采集待测面的图像数据，从而同组的中两个光源500分别打光时摄像装置502所采集的图像分别为第一图像和第二图像，因此第一图像和第二图像在不同时刻由摄像装置502感光面曝光后采集获得，一组图像数据中均包括高亮度区域和低亮度区域，且一组图像数据中高亮度区域覆盖整个待测面，从而在能够获得完整的待测面的前提下降低强光照条件下使待测面产生强反射造成缺陷处成像不清晰的概率。
65.可选地，摄像装置502上感光面的中心正对待测面的中心，每组中两个光源500的中心分别与待测面的中心之间对应有两条连线，每组对应的两条连线分别与待测面所在平面之间的夹角相等。其中，摄像装置502设置在感光面的正上方，感光面的中心正对待测面的中心从而便于将待测面拍摄到图像数据的中心区域，每组中两个光源500的中心分别与待测面的中心之间对应有两条连线，两条连线与待测面所在的平面之间的夹角相等，以使同组的光源500之间呈对称状态，进而使得采集到的同组内的第一图像和第二图像包括第一中轴线，位于第一中轴线一侧的区域为高亮度区域，位于第一中轴线另一侧的区域为低亮度区域，图像数据按光源500的分组方式分成至少一组第一图像和第二图像，第一图像和第二图像均分别包括高亮度区域和低亮度区域，且同组内的第一图像的高亮度区域和第二图像的高亮度区域共同组成的区域与待测面重合。
66.在一具体应用场景中，摄像装置502为电荷耦合器件相机(charge coupled device，ccd相机)，摄像装置502正对待测面，每组内两个光源500共两组，每组内的光源500依次对待测面打光，摄像装置502采集图像数据以获得两组第一图像和第二图像，其中，第一图像和第二图像包括第一中轴线，一组内的第一图像的第一中轴线与另一组内的第一图像的第一中轴线垂直，从而获得不同角度的高亮度区域和低亮度区域的第一图像和第二图像，进而处理器504对图像数据进行分析以获得更准确的缺陷检测结果。
67.请参阅图6，图6是本技术电子设备一实施方式的结构示意图，该电子设备60包括相互耦接的存储器601和处理器602，其中，存储器601存储有程序数据(图未示)，处理器602调用程序数据以实现上述任一实施例中的缺陷检测方法，相关内容的说明请参见上述方法实施例的详细描述，在此不再赘叙。
68.请参阅图7，图7是本技术计算机可读存储介质一实施方式的结构示意图，该计算机可读存储介质70存储有程序数据700，该程序数据700被处理器执行时实现上述任一实施例中的缺陷检测方法，相关内容的说明请参见上述方法实施例的详细描述，在此不再赘叙。
69.需要说明的是，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
70.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
71.集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本技术各个实施方式方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
72.以上所述仅为本技术的实施方式，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。