一种缺陷检测方法、装置、计算机设备和存储介质与流程

1.本技术涉及计算机技术领域，具体涉及一种缺陷检测方法、装置、计算机设备和存储介质。


背景技术：

2.工业缺陷检测是指对生产制造过程中的工业元器件进行质量检测，当元器件生产出来后一般需要通过工业缺陷检测，从而提高元器件的质量。例如，用户识别(subscriber identity module，sim)卡作为手机中一种较为通用的零件，在大规模生成中容易产生各类缺陷，传统方式通过大量投入质检人员，利用人眼观察的方式将有缺陷的零件挑出，这种方法不仅消耗大量人力，而且受质检人员水平影响较大，会降低缺陷检测的质量。


技术实现要素：

3.本技术实施例提出了一种缺陷检测方法、装置、计算机设备和存储介质，可以降低缺陷工业元器件的漏检率和过杀率，从而提高对工业元器件进行缺陷检测的质量。
4.本技术实施例提供了一种缺陷检测方法，包括：
5.获取电子元器件的至少一个元器件图像和所述元器件图像对应的拍摄角度信息；
6.对所述元器件图像进行缺陷区域检测，得到所述元器件图像中的至少一个缺陷区域；
7.对所述缺陷区域进行缺陷信息识别，得到所述元器件图像中缺陷区域对应的缺陷信息；
8.结合所述元器件图像对应的拍摄角度信息，对所述电子元器件的至少一个元器件图像对应的缺陷信息在多个不同维度进行信息过滤处理，得到所述电子元器件的过滤后缺陷信息；
9.根据所述过滤后缺陷信息对所述电子元器件进行判别，得到所述电子元器件的缺陷检测结果。
10.相应的，本技术实施例还提供了一种缺陷检测装置，包括：
11.获取单元，用于获取电子元器件的至少一个元器件图像和所述元器件图像对应的拍摄角度信息；
12.缺陷区域检测单元，用于对所述元器件图像进行缺陷区域检测，得到所述元器件图像中的至少一个缺陷区域；
13.识别单元，用于对所述缺陷区域进行缺陷信息识别，得到所述元器件图像中缺陷区域对应的缺陷信息；
14.信息过滤单元，用于结合所述元器件图像对应的拍摄角度信息，对所述电子元器件的至少一个元器件图像对应的缺陷信息在多个不同维度进行信息过滤处理，得到所述电子元器件的过滤后缺陷信息；
15.判别单元，用于根据所述过滤后缺陷信息对所述电子元器件进行判别，得到所述
电子元器件的缺陷检测结果。
16.在一实施例中，所述信息过滤单元，可以包括：
17.第一信息过滤子单元，用于结合所述元器件图像对应的拍摄角度信息，对所述元器件图像的缺陷信息在角度维度进行信息过滤，得到第一过滤后缺陷信息；
18.第二信息过滤子单元，用于对所述第一过滤后缺陷信息在置信度维度进行信息过滤，得到第二过滤后缺陷信息；
19.第三信息过滤子单元，用于对所述第二过滤后缺陷信息在等级维度进行信息过滤，得到第三过滤后缺陷信息；
20.第四信息过滤子单元，用于对所述第三过滤后缺陷信息在面积维度进行信息过滤，得到所述电子元器件的过滤后缺陷信息。
21.在一实施例中，所述第一信息过滤子单元，可以包括：
22.信息识别模块，用于对所述元器件图像的拍摄角度信息进行识别，得到所述元器件图像在拍摄角度下对应的缺陷类型范围信息；
23.第一过滤模块，用于对所述元器件图像的缺陷信息中不符合所述缺陷类型范围信息的缺陷类型进行过滤，得到所述第一过滤后缺陷信息。
24.在一实施例中，所述第二信息过滤子单元，可以包括：
25.第一阈值确定单元，用于确定第一过滤后缺陷信息中缺陷类型对应的置信度阈值；
26.第一比较模块，用于将所述第一过滤后缺陷信息的缺陷类别对应的置信度参数和置信度阈值进行比较，得到比较结果；
27.第二过滤模块，用于根据所述比较结果将所述第一过滤后缺陷信息中不符合所述预设置信度阈值的缺陷类别进行过滤，得到所述第二过滤后缺陷信息。
28.在一实施例中，所述第三信息过滤子单元，可以包括：
29.第二阈值确定单元，用于确定所述第二过滤后缺陷信息中缺陷类型对应的缺陷等级阈值；
30.第二比较模块，用于将所述第二过滤后缺陷信息中缺陷类型对应的缺陷等级和所述缺陷等级阈值进行比较，得到比较结果；
31.第三过滤模块，用于根据所述比较结果将所述第二过滤后缺陷信息中缺陷等级不符合所述缺陷等级阈值的缺陷类型进行过滤，得到所述第三过滤后缺陷信息。
32.在一实施例中，所述第四信息过滤子单元，可以包括：
33.第三阈值确定单元，用于确定所述第三过滤后缺陷信息中缺陷类型对应的缺陷面积阈值；
34.第三比较模块，用于将所述第三过滤后缺陷信息中缺陷类型对应的缺陷区域面积信息和所述缺陷面积阈值进行比较，得到比较结果；
35.第四过滤模块，用于根据所述比较结果将所述第三过滤后缺陷信息中缺陷区域面积信息不符合所述缺陷面积阈值的缺陷类型进行过滤，得到所述过滤后缺陷信息。
36.在一实施例中，所述缺陷区域检测单元，可以包括：
37.高分辨率采样子单元，用于对所述元器件图像进行高分辨率采样，得到元器件图像对应的高分辨率采样信息；
38.多尺度特征提取子单元，用于对所述高分辨率采样信息进行多尺度特征提取，得到所述元器件图像的多尺度特征；
39.缺陷区域检测子单元，用于对所述元器件图像的多尺度特征进行缺陷区域检测，得到所述元器件图像中至少一个缺陷区域。
40.在一实施例中，所述识别单元，可以包括：
41.类型识别子单元，用于对所述缺陷区域进行类型识别，得到所述缺陷区域对应的缺陷类型；
42.缺陷等级识别子单元，用于基于所述缺陷类型，对所述缺陷区域进行缺陷等级识别，得到所述缺陷区域的缺陷类型对应的缺陷等级；
43.整合子单元，用于将所述缺陷区域以及所述缺陷区域对应的缺陷类型和所述缺陷等级进行整合，得到所述元器件图像中缺陷区域对应的缺陷信息。
44.在一实施例中，所述类型识别子单元，可以包括：
45.筛选模块，用于根据预设筛选比例，在所述缺陷区域中筛选出筛选后缺陷区域；
46.降采样模块，用于对所述筛选后缺陷区域进行降采样处理，得到降采样后区域；
47.类型识别模块，用于对所述降采样区域进行类型识别，得到所述降采样区域对应的缺陷类型。
48.在一实施例中，所述缺陷检测装置还可以包括：
49.信息获取模块，用于获取待训练缺陷检测模型和携带标注信息的元器件图像样本；
50.缺陷检测模块，用于利用所述待训练缺陷检测模型对所述元器件图像样本进行缺陷预测，得到所述元器件图像样本对应的预测缺陷信息；
51.清洗模块，用于根据所述元器件图像样本的标注信息，对所述元器件图像样本对应的预测缺陷信息进行清洗，得到清洗后预测缺陷信息；
52.调整模块，用于利用所述清洗后预测缺陷信息对所述待训练缺陷检测模型进行调整，得到所述缺陷检测模型。
53.本技术实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述一方面的各种可选方式中提供的方法。
54.相应的，本技术实施例还提供一种存储介质，所述存储介质存储有指令，所述指令被处理器执行时实现本技术实施例任一提供的缺陷检测方法。
55.本技术实施例可以获取电子元器件的至少一个元器件图像和元器件图像对应的拍摄角度信息；对元器件图像进行缺陷区域检测，得到元器件图像中的至少一个缺陷区域；对缺陷区域进行缺陷信息识别，得到元器件图像中缺陷区域对应的缺陷信息；结合元器件图像对应的拍摄角度信息，对电子元器件的至少一个元器件图像对应的缺陷信息在多个不同维度进行信息过滤处理，得到电子元器件的过滤后缺陷信息；根据过滤后缺陷信息对电子元器件进行判别，得到电子元器件的缺陷检测结果。通过本技术实施例，可以有效地降低缺陷检测的过杀率和漏检率，提高缺陷检测的质量。
附图说明
56.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
57.图1是本技术实施例提供的缺陷检测方法的场景示意图；
58.图2是本技术实施例提供的缺陷检测方法的流程示意图；
59.图3是本技术实施例提供的缺陷检测方法的又一场景示意图；
60.图4是本技术实施例提供的缺陷检测方法的又一场景示意图；
61.图5是本技术实施例提供的缺陷检测方法的又一流程示意图；
62.图6是本技术实施例提供的缺陷检测方法的又一流程示意图；
63.图7是本技术实施例提供的缺陷检测装置的结构示意图；
64.图8是本技术实施例提供的计算机设备的结构示意图。
具体实施方式
65.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，然而，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
66.本技术实施例提出了一种缺陷检测方法，该缺陷检测方法可以由缺陷检测装置执行，该缺陷检测装置可以集成在计算机设备中。其中，该计算机设备可以包括终端以及服务器等中的至少一个。即，本技术实施例提出的缺陷检测方法即可以由终端执行，还可以由服务器执行，还可以由能够进行互相通信的终端和服务器共同执行。
67.其中，终端可以包括但不限于智能手机、平板电脑、笔记本电脑、个人电脑(personal computer，pc)、智能家电、可穿戴电子设备、vr/ar设备、车载终端、智能语音交互设备等等。
68.服务器可以为多个异构系统之间的互通服务器或者后台服务器，还可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、以及大数据和人工智能平台等基础云计算服务的云服务器等等。
69.需要说明的是，本技术实施例可应用于各种场景，包括但不限于云技术、人工智能、工业检测等。
70.在一实施例中，如图1所述，缺陷检测装置可以集成在终端或服务器等计算机设备上，以实施本技术实施例提出的缺陷检测方法。具体地，计算机设备可以获取电子元器件的至少一个元器件图像和所述元器件图像对应的拍摄角度信息；对元器件图像进行缺陷区域检测，得到元器件图像中的至少一个缺陷区域；对缺陷区域进行缺陷信息识别，得到元器件图像中缺陷区域对应的缺陷信息；结合元器件图像对应的拍摄角度信息，对电子元器件的至少一个元器件图像对应的缺陷信息在多个不同维度进行信息过滤处理，得到电子元器件的过滤后缺陷信息；根据过滤后缺陷信息对电子元器件进行判别，得到电子元器件的缺陷
检测结果。
71.以下分别进行详细说明，需要说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。
72.本技术实施例将从缺陷检测装置的角度进行描述，该缺陷检测装置可以集成在计算机设备中，该计算机设备可以是服务器，也可以是终端等设备。
73.如图2所述，提供了一种缺陷检测方法，具体流程包括：
74.101、获取电子元器件的至少一个元器件图像和元器件图像对应的拍摄角度信息。
75.其中，元器件可以包括电子元件和机器、仪器的组成部分。例如，电子元器件可以包括用户识别(subscriber identity module，sim)卡、电阻、电容、电感、电位器、电子管、继电器、集成电路、各类电路，等等。
76.其中，元器件图像可以包括记录了电子元器件外观或内部结构等的图像。
77.在一实施例中，为了提高缺陷检测的准确性，可以从多个不同的角度对电子元器件进行拍摄，得到至少一个元器件图像。例如，可以分别从正面、反面和侧面对电子元器件进行拍摄，得到多个元器件图像。
78.例如，如图3所示，当电子元器件是sim卡时，可以分别从正面、反面和侧面对sim卡进行拍摄，得到多个元器件图像。
79.在一实施例中，拍摄角度信息可以用于说明是从哪个角度拍摄电子元器件的。例如，拍摄角度信息可以用于说明是从正面对sim卡进行拍摄的。又例如，拍摄角度信息可以用于说明是从侧面对sim卡进行拍摄的，等等。
80.在一实施例中，本技术实施例设计了从多个角度来拍摄电子元器件，每个角度都称为一个特定的点位，通过不同点位图片上缺陷的联合检测，最终确认出电子元器件是存在缺陷的电子元器件，还是没有存在缺陷的电子元器件。
81.在一实施例中，存在缺陷的电子元器件可以指在质检那个不符合要求的电子元器件。
82.例如，电子元器件的缺陷可以包括九类，分别是崩点、刮伤、麻点、亮线、白蒙、电镀、异色、溢胶和起级，等等。
83.其中白蒙，起级属于电子元器件的整体型缺陷，电镀，异色和溢胶属于面积型缺陷，亮线属于直线型缺陷，剩余的崩点，刮伤，麻点属于点状缺陷。
84.102、对元器件图像进行缺陷区域检测，得到元器件图像中的至少一个缺陷区域。
85.在一实施例中，在获取到电子元器件的至少一个元器件图像之后，可以对至少一个元器件图像进行区域检测，得到元器件图像的至少一个缺陷区域。
86.例如，获取到9张元器件图像，可以对这9张元器件图像进行区域检测，得到每个元器件图像对应的缺陷区域。
87.在一实施例中，为了可以准确地对电子元器件进行缺陷检测，缺陷检测装置对元器件图像进行缺陷检测时，会将元器件可能存在缺陷的区域都检测出来，从而避免遗漏缺陷的情况出现。
88.因此，缺陷区域可以包括从元器件图像中检测出的可能包括缺陷的区域。例如，缺陷区域中可能包含了元器件图像的缺陷，也有可能不包含元器件图像的缺陷。例如，从元器件图像中检测出了20个缺陷区域，其中，这20个缺陷区域中有3个是包含了元器件图像的缺
陷，有17个不包含元器件图像的区域。
89.在一实施例中，当电子元器件中存在多个缺陷时，由于缺陷的面积可能不同，所以每个缺陷对应的缺陷区域的大小可能也会不同。例如，元器件图像对应的缺陷区域中，有的缺陷区域是20维*20维大小的，而有的缺陷区域是14维*14维大小的。此外，在缺陷区域检测的过程中，还可能存在多个缺陷区域都包含了电子元器件中的同一个缺陷，只是缺陷区域覆盖的范围不一样。此时，也会出现缺陷区域大小不同的情况。
90.在一实施例中，有多种方法可以对元器件图像进行缺陷区域检测，得到元器件图像中的至少一个缺陷区域。
91.在一实施例中，可以利用缺陷检测模型对元器件图像进行缺陷区域检测，得到元器件图像中的至少一个缺陷区域。
92.其中，缺陷检测模型是一个人工智能模型。
93.其中，人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
94.人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
95.其中，机器学习(machine learning,ml)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
96.例如，该缺陷检测模型可以是卷积神经网络(convolutional neural networks,cnn)、反卷积神经网络(de-convolutional networks,dn)、深度神经网络(deep neural networks，dnn)、深度卷积逆向图网络(deep convolutional inverse graphics networks,dcign)、基于区域的卷积网络(region-based convolutional networks，rcnn)、基于区域的快速卷积网络(faster region-based convolutional networks，faster rcnn)、双向编解码(bidirectional encoder representations from transformers，bert)模型、特征金字塔网络(feature pyramid networks，fpn)和高分辨率网络(hr-net)等等中的至少一种。
97.在一实施例中，缺陷检测模型可以包括特征提取器、缺陷区域检测器、缺陷检测头和等级分类检测头。
98.其中，特征提取器和缺陷区域检测器可以用于对元器件图像进行缺陷区域检测，得到元器件图像中的至少一个缺陷区域。
99.其中，缺陷检测头和等级分类头可以用于对缺陷区域进行缺陷信息识别，得到元
器件图像中缺陷区域对应的缺陷信息。
100.在一实施例中，特征提取器、缺陷区域检测器、缺陷检测头和等级分类检测头都可以是人工智能模型。
101.例如，特征提取器中可以包括骨干网络和多尺度特征提取网络。其中，该骨干网络可以是hr-net网络，等等。该多尺度特征提取网络可以是fpn网络，等等。
102.例如，缺陷区域检测器可以是卷积网络。例如，候选检测框可以是cnn网络或dnn网络，等等。
103.例如，缺陷检测头可以是卷积网络。例如，缺陷检测头可以是cnn网络或dnn网络，等等。
104.例如，等级分类检测头可以是分类器。例如，等级分类检测头可以是多分类器或二分类器，等等。
105.在一实施例中，可以利用缺陷检测模型中的特征提取器和缺陷区域检测器对元器件图像进行缺陷区域检测，得到元器件图像中的至少一个缺陷区域。
106.在一实施例中，为了降低缺陷检测的漏检率，在对元器件图像进行缺陷区域检测时，会尽可能多地检测出缺陷区域，避免遗漏了电子元器件中的缺陷。为了尽可能多地检测出缺陷区域，可以采用高分辨率处理的方式对元器件图像进行缺陷区域采样，得到元器件图像的至少一个缺陷区域。
107.具体的，步骤“对元器件图像进行缺陷区域检测，得到元器件图像中的至少一个缺陷区域”，可以包括：
108.对元器件图像进行高分辨率采样，得到元器件图像对应的高分辨率采样信息；
109.对高分辨率采样信息进行多尺度特征提取，得到元器件图像的多尺度特征；
110.对元器件图像的多尺度特征进行缺陷区域检测，得到元器件图像中至少一个缺陷区域。
111.在一实施例中，常规的缺陷区域检测方法是采用从小到大的分辨率进行采样，或者先上采样再上采样进行恢复，这可能会导致信息的缺失。而为了尽可能多地检测出缺陷区域，从而降低缺陷检测的漏检率，本技术在对元器件图像进行采样时，会保证高分辨率，维持一个多分辨率对元器件图像进行并行采样，同时在并行中交换不同分辨率的信息，使得特征在语义上更加丰富，在空间上更加精准。
112.具体的，步骤“对元器件图像进行高分辨率采样，得到元器件图像对应的高分辨率采样信息”，可以包括：
113.对元器件图像进行多分辨率并行卷积，得到元器件图像对应的多个卷积信息；
114.对元器件图像的多个卷积信息进行多分辨率融合，得到元器件图像的融合卷积信息；
115.对融合卷积信息进行降采样处理，得到高分辨率采样信息。
116.在一实施例中，可以对元器件图像进行多分辨率并行卷积，得到元器件图像对应的多个卷积信息。例如，可以利用多个不同的高维卷积核对元器件图像进行并行卷积，得到元器件图像的多个卷积信息。其中，在对元器件图像进行多分辨率并行卷积时，可以利用高维卷积核对元器件图像的卷积信息继续进行采样，以形成多个采样支路。
117.在一实施例中，可以对元器件图像的多个卷积信息进行多分辨率融合，得到元器
件图像的融合卷积信息。例如，在多分辨率并行卷积的过程中形成了多个采样支路，可以将每个采样支路中形成的卷积信息进行交叉融合，得到元器件图像的融合卷积信息。其中，交叉融合的方式可以有多种。例如，可以通过加权后进行相加实现交叉融合。又例如，可以直接进行相加实现交叉融合。
118.在一实施例中，可以对融合卷积信息进行降采样，得到高分辨率采样信息。通过对融合卷积信息进行降采样，可以在上面步骤形成的丰富信息进行信息压缩，以得到元器件图像的高分辨率采样信息。由于高分辨率采样信息是通过改分辨率采样得到的，所以高分辨率采样信息中包含了元器件图像丰富的信息，有助于缺陷区域的检出。
119.在一实施例中，为了尽可能多地检测出缺陷区域，在可以对高分辨率采样信息进行多尺度特征提取，得到元器件图像的多尺度特征，从而可以进一步地挖掘出元器件图像中更多的信息。
120.其中，对高分辨率采样信息进行多尺度特征提取可以指通过不同的尺度对稿分辨率采样信息进行特征提取，得到元器件图像的多尺度特征。元器件图像的多尺度特征可以从多个不同的尺度描述元器件图像的特征。例如，有的特征用于描述图像的纹理特征，有的特征用于描述图像的语义特征，等等。
121.具体的，步骤“对高分辨率采样信息进行多尺度特征提取，得到元器件图像的多尺度特征”，可以包括：
122.对高分辨率采样信息进行信息扩展，得到多个扩展后采样信息；
123.利用多头注意力机制分别对扩展后采样信息进行特征提取，得到每个扩展后采样信息对应的特征信息；
124.将每个扩展后采样信息对应的特征信息进行融合，得到元器件图像的多尺度特征信息。
125.在一实施例中，可以对高分辨率采样信息进行信息扩展，得到多个扩展后采样信息。例如，该高分辨率采样信息可以是125维*125维的矩阵，然后，可以将高分辨率采样信息扩展成多个维度不同的矩阵，得到扩展后采样信息。例如，可以将高分辨率采样信息扩充成120维*120维的矩阵、84维*84维的矩阵和64维*64维的矩阵，等等。
126.然后，可以利用多头注意力机制分别对扩展后采样信息进行特征提取，得到每个扩展后采样信息对应的特征信息。其中，多头注意力机制(multi-head-attention)是利用多个查询，来平行地计算从输入信息中选取多个信息。每个注意力关注输入信息的不同部分。
127.例如，可以将高分辨率采样信息扩展成4个扩展后采样信息。然后，可以利用基于不同尺度生成的多头注意力机制分别这4个扩展后采样信息进行特征提取，得到每个扩展后采样信息对应的特征信息。
128.然后，可以将每个扩展后采样信息对应的特征信息进行融合，得到元器件图像的多尺度特征信息。例如，可以将每个扩展后采样信息进行拼接，得到元器件图像的多尺度特征信息。
129.然后，可以对元器件图像的多尺度特征进行缺陷区域检测，得到元器件图像中至少一个缺陷区域。其中，由于多尺度特征可以说明元器件图像的纹理特征、语义特征和光线特征，等等，所以通过元器件图像的多尺度特征可以尽可能多地检测出元器件图像中的缺
陷区域。
130.在一实施例中，通过步骤102，可以检测出电子元器件的每张元器件图像中的缺陷区域。例如，拍摄了电子元器件的9张元器件图像。通过步骤102，可以检测出这9张元器件图像中的缺陷区域。
131.103、对缺陷区域进行缺陷信息识别，得到元器件图像中缺陷区域对应的缺陷信息。
132.在一实施例中，可以对电子元器件的每张元器件图像中的缺陷区域进行信息识别，得到元器件图像中缺陷区域对应的缺陷信息。
133.其中，缺陷信息可以包括多元器件图像中的缺陷进行描述的信息。例如，缺陷信息可以包括缺陷类型、缺陷等级和缺陷面积。
134.其中，缺陷类型可以说明电子元器件的缺陷是崩点还是刮伤，等等。
135.其中，缺陷等级可以指缺陷类型对应的严重程度。例如，缺陷等级可以包括4级，其中，第一级是严重程度最低的，第四级可以是严重程度最高的。
136.其中，缺陷面积可以指缺陷的大小。例如，该缺陷面积可以是缺陷区域的面积。
137.通过缺陷信息，可以知道缺陷区域包括了哪些缺陷，缺陷的严重程度和缺陷的大小。
138.在一实施例中，有多种方式可以对缺陷区域进行缺陷信息识别，得到元器件图像中缺陷区域对应的缺陷信息。
139.在一实施例中，可以利用缺陷检测模型对缺陷区域进行缺陷信息识别，得到元器件图像中缺陷区域对应的缺陷信息。例如，可以利用缺陷检测模型中的缺陷检测头和等级分类检测头对缺陷区域进行缺陷信息识别，得到元器件图像中缺陷区域对应的缺陷信息。例如，假设缺陷检测头是cnn网络，可以利用cnn网络对缺陷区域进行识别，得到缺陷区域对应的缺陷类型。此外，还可以利用等级分类头对缺陷区域进行识别，得到缺陷区域中缺陷类型对应的缺陷等级。然后，可以将缺陷等级和缺陷类型进行整合，得到缺陷区域对应的缺陷信息。
140.在一实施例中，在利用缺陷检测模型对元器件图像进行缺陷区域检测之前，需要对待训练缺陷检测模型进行训练，以得到符合性能的缺陷检测模型。
141.具体的，在步骤“利用缺陷检测模型对元器件图像进行缺陷区域检测，得到元器件图像中的至少一个缺陷区域”之前，本技术实施例提出的方法还可以包括：
142.获取待训练缺陷检测模型和携带标注信息的元器件图像样本；
143.利用待训练缺陷检测模型对元器件图像样本进行缺陷预测，得到元器件图像样本对应的预测缺陷信息；
144.根据元器件图像样本的标注信息，对元器件图像样本对应的预测缺陷信息进行清洗，得到清洗后预测缺陷信息；
145.利用清洗后预测缺陷信息对待训练缺陷检测模型进行调整，得到缺陷检测模型。
146.其中，待训练缺陷检测模型可以包括未经过训练，或者未达到要求仍需要继续训练的模型。
147.其中，元器件图像样本可以包括对待训练缺陷检测模型进行训练时用到的训练数据。该元器件图像样本可以是多个电子元器件通过不同角度拍摄得到的图像。
148.其中，标注信息可以用于说明元器件图像样本中电子元器件的缺陷。例如，元器件图像的标注效果可以如图4所示，其中，bd-qx-s4可以指元器件图像的标注信息。其中，bd可以指元器件图像中，电子元器件的缺陷是崩点。电子元器件的其他缺陷的标注可以表示为：崩点(bd)，刮伤(gs)，麻点(md)，亮线(lx)，白蒙(bm)，电镀(dd)，异色(ys)，溢胶(yj)，起级(qj)。qx可以指元器件图像的成像是清晰的。除了qx以外，标注还可以包括mh(模糊)和kbq(看不清)。s4可以指崩点的缺陷等级是严重。除了s4，缺陷等级还可以包括s1-s3，其中，s1可以指缺陷等级最低，即缺陷不严重。
149.在一实施例中，可以利用待训练缺陷检测模型对元器件图像样本进行缺陷预测，得到元器件图像样本对应的预测缺陷信息。其中，利用待训练缺陷检测模型对元器件图像样本进行缺陷预测的过程可以参考步骤102和步骤103，此处不再重复阐述。在大量的数据上通过模型可以得到初始的预测结果，由于模型能力不够，此时这些预测结果需要进行清洗。把错误的标注进行修正，并且补充漏掉的标注。然后，可以在清洗完的数据上，重新训练模型。通过不断地重复，可以使得模型的检测能力可以不断地提升，从而得到性能符合要求的缺陷检测模型。
150.在一实施例中，本技术实施例可以采用分级检测的方式，从元器件图像中检测出缺陷信息。其中，分级检测的方式可以指从粗到细的检测方式。例如，首先粗略地定位出元器件图像中具有缺陷的区域，即得到元器件图像中的至少一个缺陷区域。然后，进一步地，从缺陷区域中识别出电子元器件的缺陷类型。在识别出缺陷类型的前提下，可以更进一步地识别出电子元器件的缺陷类型对应的缺陷等级。然后，将识别得到的缺陷区域、缺陷区域对应的缺陷类型以及缺陷等级进行整合，得到电子元器件的缺陷信息。
151.具体的，步骤“对缺陷区域进行缺陷信息识别，得到元器件图像中缺陷区域对应的缺陷信息”，可以包括：
152.对缺陷区域进行类型识别，得到缺陷区域对应的缺陷类型；
153.基于缺陷类型，对缺陷区域进行缺陷等级识别，得到缺陷区域的缺陷类型对应的缺陷等级；
154.将缺陷区域以及缺陷区域对应的缺陷类型和缺陷等级进行整合，得到元器件图像中缺陷区域对应的缺陷信息。
155.在一实施例中，为了降低漏检率，会将元器件可能存在缺陷的区域都检测出来，从而避免遗漏缺陷的情况出现。因此，通过步骤102检测出来的缺陷区域中可能会检测出大量实际上不包括缺陷的区域，或者只包括缺陷的一小部分的区域。为了降低过杀率，需要对缺陷区域进行筛选，从而平衡不包括缺陷的缺陷区域的数量，提高缺陷检测的准确率。例如，一般情况下，通过步骤102可以检测出多个缺陷区域。这些缺陷区域中包括大量的不包含缺陷的缺陷区域，以及少量的包含缺陷的缺陷区域。例如，检测出了10个缺陷区域，其中有8个是不包含缺陷的缺陷区域，有2个是包含缺陷的缺陷区域。为了平衡不包含缺陷的缺陷区域数量，提高缺陷检测的准确度，可以对筛选区域进行筛选。
156.具体的，步骤“对缺陷区域进行类型识别，得到缺陷区域对应的缺陷类型”，可以包括：
157.根据预设筛选比例，在缺陷区域中筛选出筛选后缺陷区域；
158.对筛选后缺陷区域进行降采样处理，得到降采样后区域；
159.对降采样区域进行类型识别，得到降采样区域对应的缺陷类型。
160.在一实施例中，可以根据预设筛选比例，在缺陷区域中筛选出筛选后缺陷区域。其中，筛选后缺陷区域可以指需要进行缺陷信息识别的区域。其中，由于缺陷区域中包括包含缺陷的缺陷区域以及不包含缺陷的缺陷区域，则预设筛选比例可以用于说明筛选后缺陷区域中包含缺陷的缺陷区域以及不包含缺陷的缺陷区域之间的比例。例如，假设预设筛选比例为1:3，则筛选出来的筛选后缺陷区域中，包含缺陷的缺陷区域和不包含缺陷的缺陷区域之间的比例为1:3。
161.在一实施例中，当电子元器件中存在多个缺陷时，由于缺陷的面积可能不同，所以每个缺陷对应的缺陷区域的大小可能也会不同。例如，元器件图像对应的缺陷区域中，有的缺陷区域是20维*20维大小的，而有的缺陷区域是14维*14维大小的。为了便于筛选后缺陷区域中包含的缺陷类型，可以对筛选后缺陷区域进行降采样处理，使得缺陷区域被降采样为维度相同的降采样后区域，便于缺陷类型的识别。
162.然后，可以对降采样区域进行类型识别，得到降采样区域对应的缺陷类型。例如，可以利用cnn等人工智能技术对降采样区域进行类型识别，得到降采样区域对应的缺陷类型。
163.在一实施例中，在得到缺陷区域对应的缺陷类型之后，可以基于缺陷类型对缺陷区域进行缺陷等级识别，得到缺陷区域的缺陷类型对应的缺陷等级。
164.例如，可以基于缺陷类型，对降采样区域进行缺陷等级识别，得到缺陷区域的缺陷类型对应的缺陷等级。例如，可以利用分类器对降采样区域进行等级识别，得到缺陷区域的缺陷类型对应的缺陷等级。
165.在一实施例中，可以将缺陷区域以及缺陷区域对应的缺陷类型和缺陷等级进行整合，得到元器件图像中缺陷区域对应的缺陷信息。例如，可以将缺陷区域的面积、缺陷区域对应的缺陷类型和缺陷等级按照预设格式进行整合，得到元器件图像中缺陷区域对应的缺陷信息。例如，预设格式可以为[缺陷区域标识，缺陷区域面积，缺陷类型，缺陷等级]，然后，可以按照预设格式将缺陷区域的面积、缺陷区域对应的缺陷类型和缺陷等级进行整合。例如，整合后的缺陷信息可以为[001,12*12，bd,s4]，等等。
[0166]
其中，该缺陷区域可以是经过筛选过后的筛选后缺陷区域。例如，在步骤103中，不会识别出步骤102中得到的所有的缺陷区域的缺陷信息，而是只会对筛选后缺陷区域进行识别，得到筛选后缺陷区域对应的缺陷信息。
[0167]
在一实施例中，该缺陷信息可以是一个多维向量，该缺陷信息中包括每个筛选后缺陷区域对应的缺陷信息。例如，有7个筛选后缺陷区域，缺陷信息中可以包括该7个筛选后缺陷区域相关的信息。
[0168]
104、结合元器件图像对应的拍摄角度信息，对电子元器件的至少一个元器件图像对应的缺陷信息在多个不同维度进行信息过滤处理，得到电子元器件的过滤后缺陷信息。
[0169]
在一实施例中，由于对一个电子元器件从多个角度进行拍摄，最终需要联合多个元器件图像的结果进行综合判断，判断该电子元器件是存在缺陷的元器件还是不存在缺陷的元器件。而通过步骤102和步骤103，可以将电子元器件中所有的缺陷都检测出来，无论是轻微的缺陷还是不确定的缺陷，目标是尽可能地多检测出缺陷，从而保证很低的漏检率。其中，漏检率可以指通过自动化缺陷检测后，未检出的缺陷电子元器件占已检测的电子元器
件数量的百分比。
[0170]
而在保证很低的漏检率的同时，还需要保证很低的过杀率，从而使得缺陷检测的整个过程都是高质量的。其中，过杀率可以指通过自动化缺陷检测后，检测的缺陷电子元器件中，实际是无缺陷电子元器件的数量占总体已检测电子元器件数量的百分比。
[0171]
在一实施例中，在检测出元器件图像的缺陷信息的过程中，有可能会伴随着错检的情况。例如，电子元器件的某个地方不是缺陷，但是被检测成了缺陷。又例如，电子元器件的某个地方虽然存在缺陷，但是缺陷的严重程度很低，可以忽略不算，此时便可以将这些缺陷忽略掉，等等。因此，在得到元器件图像的缺陷信息之后，可以结合元器件图像对应的拍摄角度信息，对电子元器件的至少一个元器件图像对应的缺陷信息在多个不同维度进行信息过滤处理。通过对缺陷信息在多个不同维度进行信息过滤处理，可以降低错检的情况，从而降低过杀率。
[0172]
在一实施例中，从多个不同维度对缺陷信息进行信息过滤可以指从多个不同的方面对缺陷信息进行过滤。例如，该多个维度可以包括角度维度、置信度维度、等级维度和面积维度，等等。其中，不同的维度都可以采用不同的方法和不同的衡量指标对缺陷信息进行衡量，从而判断是否需要将缺陷信息进行过滤。
[0173]
在一实施例中，当该多个维度可以包括角度维度、置信度维度、等级维度和面积维度时，步骤“结合元器件图像对应的拍摄角度信息，对电子元器件的至少一个元器件图像对应的缺陷信息在多个不同维度进行信息过滤处理，得到电子元器件的过滤后缺陷信息”，可以包括：
[0174]
结合元器件图像对应的拍摄角度信息，对元器件图像的缺陷信息在角度维度进行信息过滤，得到第一过滤后缺陷信息；
[0175]
对第一过滤后缺陷信息在置信度维度进行信息过滤，得到第二过滤后缺陷信息；
[0176]
对第二过滤后缺陷信息在等级维度进行信息过滤，得到第三过滤后缺陷信息；
[0177]
对第三过滤后缺陷信息在面积维度进行信息过滤，得到电子元器件的过滤后缺陷信息。
[0178]
在一实施例中，由于角度拍摄的特殊性，因此，对于在特定角度下拍摄得到的元器件图像而言，某些缺陷理论上是不会在该角度下的元器件图像中出现的。例如，假设电子元器件是sim卡，对于正面拍摄到的元器件图像，有些缺陷是不可能出现在该正面拍摄到的元器件图像上的。因此，可以结合元器件图像对应的拍摄角度信息，对元器件图像的缺陷信息在角度维度进行信息过滤，得到第一过滤后缺陷信息。
[0179]
具体的，步骤“结合元器件图像对应的拍摄角度信息，对元器件图像的缺陷信息在角度维度进行信息过滤，得到第一过滤后缺陷信息”，可以包括：
[0180]
对元器件图像的拍摄角度信息进行识别，得到元器件图像在拍摄角度下对应的缺陷类型范围信息；
[0181]
对元器件图像的缺陷信息中不符合缺陷类型范围信息的缺陷类型进行过滤，得到第一过滤后缺陷信息。
[0182]
在一实施例中，可以对元器件图像的拍摄角度信息进行识别，得到元器件图像在拍摄角度下对应的缺陷类型范围信息。其中，缺陷类型范围信息可以说明在拍摄角度信息下，元器件图像中会出现的缺陷类型。例如，当元器件图像的拍摄角度信息是正面时，缺陷
类型范围信息可以包括崩点、刮伤、麻点和亮线。即对于正面拍摄到的元器件图像，该元器件图像中会出现的缺陷类型理论上仅包括崩点、刮伤、麻点和亮线。
[0183]
在一实施例中，可以对元器件图像的缺陷信息中不符合缺陷类型范围信息的缺陷类型进行过滤，得到第一过滤后缺陷信息。例如，可以将缺陷信息中每个缺陷区域对应的缺陷类型和缺陷类型范围信息进行匹配。当缺陷区域的缺陷类型不是缺陷类型范围信息中的缺陷类型时，可以将该缺陷区域及其对应的信息进行过滤。
[0184]
在一实施例中，为了提高缺陷检测的准确性，可以对第一过滤后缺陷信息在置信度维度进行信息过滤，得到第二过滤后缺陷信息。其中，对第一过滤后缺陷信息在置信度维度进行信息过滤可以指根据缺陷类型的置信度，对第一过滤后缺陷信息进行信息过滤，得到第二过滤后缺陷信息。
[0185]
其中，置信度，也可以成为可靠性，是指被预测对象的可信度。例如，缺陷类型的置信度可以指被预测出来的缺陷类型的可信度有多高。例如，若缺陷区域的缺陷类型的置信度为99％，则可以说明该缺陷类型的可信度很高，可以认为该缺陷区域中确实存在缺陷。又例如，若缺陷区域的缺陷类型为40％，则可以说明缺陷类型的可信度较低，可以认为该缺陷类型中是不存在缺陷的，或者存在的是其他类型的缺陷，此时，便可以将该缺陷区域的缺陷类型过滤掉，避免影响对电子元器件的缺陷检测结果。
[0186]
具体的，步骤“对第一过滤后缺陷信息在置信度维度进行信息过滤，得到第二过滤后缺陷信息”，可以包括：
[0187]
确定第一过滤后缺陷信息中缺陷类型对应的置信度阈值；
[0188]
将所述第一过滤后缺陷信息的缺陷类别对应的置信度参数和置信度阈值进行比较，得到比较结果；
[0189]
根据所述比较结果将所述第一过滤后缺陷信息中不符合所述预设置信度阈值的缺陷类别进行过滤，得到所述第二过滤后缺陷信息。
[0190]
其中，置信度参数可以用于说明缺陷区域的缺陷类型对应的置信度。置信度参数可以通过步骤103生成。步骤103中，对缺陷区域进行类型识别时，会生成缺陷区域中对于每种缺陷类型的置信度参数，然后选择置信度参数最高的缺陷类型作为缺陷区域对应的缺陷类型。
[0191]
在一实施例中，由于电子元器件可能包括多种缺陷类型，所以，每种缺陷类型对应的置信度阈值都可能会不同。因此，可以确定第一过滤后缺陷信息中缺陷类型对应的置信度阈值。例如，对于缺陷类型崩点，其对应的置信度阈值可以是97％。又例如，对于缺陷类型麻点，其对应的置信度阈值可以是98％，等等。
[0192]
例如，可以将第一过滤后缺陷信息中每个缺陷区域的缺陷类别对应的置信度参数和置信度阈值进行比较。若缺陷区域的缺陷类别对应的置信度数值大于置信度阈值，则不会将该缺陷区域的信息进行过滤。若缺陷区域的缺陷类型对应的置信度参数小于置信度阈值，则会将该缺陷区域进行过滤，得到第二过滤后缺陷信息。
[0193]
在一实施例中，为了衡量缺陷的严重程度，本技术实施例还为每种缺陷类型都设置了缺陷等级。例如，缺陷等级可以包括缺陷等级1至缺陷等级4，其中，缺陷等级1可以表示缺陷的严重程度很低，而缺陷等级4可以表示缺陷的严重程度很高。其中，当某些缺陷的缺陷等级较低时，可以将该缺陷忽略不计。因此，可以对第二过滤后缺陷信息在等级维度进行
信息过滤，得到第三过滤后缺陷信息。其中，对第二过滤后缺陷信息在等级维度进行信息过滤，可以指对第二过滤后缺陷信息中缺陷类型的缺陷等级进行过滤，得到第三过滤后缺陷信息。
[0194]
具体的，步骤“对第二过滤后缺陷信息在等级维度进行信息过滤，得到第三过滤后缺陷信息”，可以包括：
[0195]
确定第二过滤后缺陷信息中缺陷类型对应的缺陷等级阈值；
[0196]
将第二过滤后缺陷信息中缺陷类型对应的缺陷等级和所述缺陷等级阈值进行比较，得到比较结果；
[0197]
根据所述比较结果将所述第二过滤后缺陷信息中缺陷等级不符合所述缺陷等级阈值的缺陷类型进行过滤，得到所述第三过滤后缺陷信息。
[0198]
例如，可以将第二过滤后缺陷信息中每个区域类型的缺陷类型对应的缺陷等级和缺陷阈值进行比较。若缺陷区域的缺陷等级小于该缺陷等级阈值，可以说明该缺陷区域的缺陷并不严重，可以忽略不计，因此可以将该缺陷区域对应的信息进行过滤。而当该缺陷区域的缺陷等级大于或等于缺陷等级阈值时，可以说明该缺陷区域的缺陷严重程度较高，不可以忽略不计。
[0199]
在一实施例中，当电子元器件上一些缺陷的缺陷面积并不大时，也可以将该这些缺陷忽略不计。例如，对于缺陷类型异色，若缺陷面积小于一定的阈值，代表缺陷面积不够大，缺陷不明显，该缺陷可以忽略不计，因此可以进行过滤。
[0200]
因此，可以对第三过滤后缺陷信息在面积维度进行信息过滤，得到电子元器件的过滤后缺陷信息。具体的，步骤“对第三过滤后缺陷信息在面积维度进行信息过滤，得到电子元器件的过滤后缺陷信息”，可以包括：
[0201]
确定第三过滤后缺陷信息中缺陷类型对应的缺陷面积阈值；
[0202]
将第三过滤后缺陷信息中缺陷类型对应的缺陷区域面积信息和缺陷面积阈值进行比较，得到比较结果；
[0203]
根据比较结果将第三过滤后缺陷信息中缺陷区域面积信息不符合缺陷面积阈值的缺陷类型进行过滤，得到过滤后缺陷信息。
[0204]
其中，缺陷区域面积信息可以用于缺陷区域对应的面积大小。缺陷区域的缺陷区域面积信息可以通过步骤102生成。步骤102中，对元器件图像进行缺陷区域检测时，会生成缺陷区域对应的缺陷区域面积信息。
[0205]
例如，可以将缺陷类型对应的缺陷区域面积信息和缺陷面积阈值进行比较。当缺陷区域面积信息小于缺陷面积阈值时，可以将该缺陷区域过滤掉。而当缺陷区域面积信息大于或等于面积阈值时，则保留该缺陷区域及其对应的信息。
[0206]
在一实施例中，通过对电子元器件的每个元器件图像进行信息过滤，可以得到电子元器件的每个元器件图像对应的过滤后缺陷信息。然后，可以根据电子元器件的每个元器件图像对应的过滤后缺陷信息，对电子元器件进行判别，得到电子元器件的缺陷检测结果。
[0207]
在一实施例中，通过层层过滤，最终大量降低不正确的缺陷数量，从而降低过杀率，减少人工从机器检测出的缺陷中进行复判的工作量。
[0208]
105、根据过滤后缺陷信息对电子元器件进行判别，得到电子元器件的缺陷检测结
果。
[0209]
在一实施例中，可以结合每个元器件图像的过滤后缺陷信息对电子元器件进行判别，得到电子元器件的缺陷检测结果。例如，可以将每个元器件图像的过滤后剩下的缺陷区域、缺陷区域对应的缺陷类型和缺陷类型对应的等级进行整合，得到电子元器件是否存在缺陷的缺陷检测结果。例如，有一些电子元器件图像可能检测出相同缺陷区域，可以将重复的缺陷区域进行过滤，只保留一个。其中，若电子元器件存在缺陷，缺陷区域在哪里，缺陷区域对应的缺陷类型以及缺陷类型对应的缺陷等级是什么。
[0210]
本技术实施例提出了一种缺陷检测方法，该缺陷检测方法包括：获取电子元器件的至少一个元器件图像和所述元器件图像对应的拍摄角度信息；对元器件图像进行缺陷区域检测，得到元器件图像中的至少一个缺陷区域；对缺陷区域进行缺陷信息识别，得到元器件图像中缺陷区域对应的缺陷信息；结合元器件图像对应的拍摄角度信息，对电子元器件的至少一个元器件图像对应的缺陷信息在多个不同维度进行信息过滤处理，得到电子元器件的过滤后缺陷信息；根据过滤后缺陷信息对所述电子元器件进行判别，得到电子元器件的缺陷检测结果。本技术实施例中，首先粗略地定位出元器件图像中具有缺陷的区域，即得到元器件图像中的至少一个缺陷区域。然后，进一步地，从缺陷区域中识别出电子元器件的缺陷类型。在识别出缺陷类型的前提下，可以更进一步地识别出电子元器件的缺陷类型对应的缺陷等级。通过这种分级检测的方式，可以尽可能多地检测出元器件图像中的缺陷，从而降低缺陷检测的漏检率。此外，在检测出元器件图像中缺陷区域对应的缺陷信息之后，还会对缺陷信息在多个不同维度进行信息过滤处理。通过层层过滤，最终大量降低不正确的缺陷数量，从而降低过杀率，减少人工从机器检测出的缺陷中进行复判的工作量。因此，通过本技术实施例，可以有效地降低缺陷检测的过杀率和漏检率，提高缺陷检测的质量。
[0211]
根据上面实施例所描述的方法，以下将举例作进一步详细说明。
[0212]
本技术实施例将以缺陷检测方法集成在计算机设备上为例来介绍本技术实施例方法。
[0213]
在一实施例中，如图5所示，一种缺陷检测方法，具体流程如下：
[0214]
201、计算机设备获取电子元器件的至少一个元器件图像和元器件图像对应的拍摄角度信息。
[0215]
假设，该电子元器件是sim卡托。sim卡托作为手机中一种较为通用的零件，在大规模生成中容易产生各类缺陷，传统方式通过大量投入质检人员，利用人眼观察的方式将有缺陷的零件挑出，这种方法不仅消耗大量人力，而且受质检人员水平影响较大。通过本技术实施例，可以实现自动化地对sim卡托进行缺陷检测。
[0216]
例如，可以从正面、反面和侧面对sim卡进行拍摄，得到多个元器件图像。
[0217]
202、计算机设备对元器件图像进行缺陷区域检测，得到元器件图像中的至少一个缺陷区域。
[0218]
例如，如图6所示，可以利用缺陷检测模型的特征提取器和缺陷区域检测器可以用于对元器件图像进行缺陷区域检测，得到元器件图像中的至少一个缺陷区域。
[0219]
例如，特征提取器中可以包括骨干网络和多尺度特征提取网络。其中，该骨干网络可以是hr-net网络，等等。该多尺度特征提取网络可以是fpn网络，等等。
[0220]
例如，缺陷区域检测器可以是卷积网络。例如，候选检测框可以是cnn网络或dnn网
络，等等。
[0221]
例如，可以将元器件图像输入特征提取器中的骨干网络和多尺度特征提取器，可以获得元器件图像的多尺度特征，这些多尺度特征有些描述图像的纹理特征，有些描述图像的语义特征。然后，可以利用候选检测器通过元器件图像的多尺度特征检测出缺陷区域。
[0222]
203、计算机设备对缺陷区域进行缺陷信息识别，得到元器件图像中缺陷区域对应的缺陷信息。
[0223]
例如，如图6所示，计算机设备可以利用缺陷识别模型中的缺陷检测头对缺陷区域进行类型识别，得到缺陷区域对应的缺陷类型。然后，可以利用等级分类头对缺陷区域进行缺陷等级识别，得到缺陷区域的缺陷类型对应的缺陷等级。
[0224]
204、计算机设备结合元器件图像对应的拍摄角度信息，对电子元器件的至少一个元器件图像对应的缺陷信息在多个不同维度进行信息过滤处理，得到电子元器件的过滤后缺陷信息。
[0225]
例如，如图6所示，可以从角度维度、置信度维度、等级维度和面积维度对sim卡的至少一个元器件图像对应的缺陷信息在多个不同维度进行信息过滤处理，得到sim卡的过滤后缺陷信息。
[0226]
其中，对于角度维度，有些缺陷不可能出现在某些角度拍摄到的元器件图像上。因此，可以通过判断元器件图片的id，得到元器件图片对应的拍摄角度，在该拍摄角度中出现的缺陷可以对缺陷信息进行过滤。
[0227]
其中，对于置信度维度，每种缺陷可以设定不同的置信度阈值，低于置信度阈值的缺陷代表置信度较低，可能只是长得类似缺陷的纹理，可以进行过滤。
[0228]
其中，对于等级维度，可以为每种缺陷类型都设定缺陷等级阈值。例如，属于缺陷等级阈值为th_h，低于th_h代表缺陷等级低，并不是严重的缺陷，可以进行过滤。
[0229]
其中，对于面积维度，对于一些面积性缺陷，例如异色，若缺陷面积小于一定阈值，代表缺陷面积不够大，不明显，可以进行过滤。
[0230]
通过层层过滤，最终大量降低不正确的缺陷数量，从而降低过杀率，减少人工从机器检测出的缺陷中进行复判的工作量。
[0231]
205、计算机设备根据过滤后缺陷信息对电子元器件进行判别，得到电子元器件的缺陷检测结果。
[0232]
例如，计算机设备可以根据过滤后缺陷信息对sim卡进行判别，得到sim卡的缺陷检测结果。然后，计算机设备可以输出sim卡的缺陷检测结果。例如，计算机设备可以输出sim卡是否存在缺陷。若存在缺陷，缺陷区域在哪里，缺陷区域对应的缺陷类型以及缺陷类型对应的缺陷等级是什么。
[0233]
本技术实施例中，计算机设备可以获取电子元器件的至少一个元器件图像和所述元器件图像对应的拍摄角度信息；计算机设备可以对元器件图像进行缺陷区域检测，得到元器件图像中的至少一个缺陷区域；计算机设备对缺陷区域进行缺陷信息识别，得到元器件图像中缺陷区域对应的缺陷信息；计算机设备结合元器件图像对应的拍摄角度信息，对电子元器件的至少一个元器件图像对应的缺陷信息在多个不同维度进行信息过滤处理，得到电子元器件的过滤后缺陷信息；计算机设备根据过滤后缺陷信息对所述电子元器件进行判别，得到电子元器件的缺陷检测结果。本技术实施例中，首先粗略地定位出元器件图像中
具有缺陷的区域，即得到元器件图像中的至少一个缺陷区域。通过本技术实施例，可以有效地降低缺陷检测的过杀率和漏检率，提高缺陷检测的质量。
[0234]
为了更好地实施本技术实施例提供的缺陷检测方法，在一实施例中还提供了一种缺陷检测装置，该缺陷检测装置可以集成于计算机设备中。其中名词的含义与上述缺陷检测方法中相同，具体实现细节可以参考方法实施例中的说明。
[0235]
在一实施例中，提供了一种缺陷检测装置，该缺陷检测装置具体可以集成在计算机设备中，如图7所示，该缺陷检测装置包括：获取单元301、缺陷区域检测单元302、识别单元303、信息过滤单元304和判别单元305，具体如下：
[0236]
获取单元301，用于获取电子元器件的至少一个元器件图像和所述元器件图像对应的拍摄角度信息；
[0237]
缺陷区域检测单元302，用于对所述元器件图像进行缺陷区域检测，得到所述元器件图像中的至少一个缺陷区域；
[0238]
识别单元303，用于对所述缺陷区域进行缺陷信息识别，得到所述元器件图像中缺陷区域对应的缺陷信息；
[0239]
信息过滤单元304，用于结合所述元器件图像对应的拍摄角度信息，对所述电子元器件的至少一个元器件图像对应的缺陷信息在多个不同维度进行信息过滤处理，得到所述电子元器件的过滤后缺陷信息；
[0240]
判别单元305，用于根据所述过滤后缺陷信息对所述电子元器件进行判别，得到所述电子元器件的缺陷检测结果。
[0241]
在一实施例中，所述信息过滤单元304，可以包括：
[0242]
第一信息过滤子单元，用于结合所述元器件图像对应的拍摄角度信息，对所述元器件图像的缺陷信息在角度维度进行信息过滤，得到第一过滤后缺陷信息；
[0243]
第二信息过滤子单元，用于对所述第一过滤后缺陷信息在置信度维度进行信息过滤，得到第二过滤后缺陷信息；
[0244]
第三信息过滤子单元，用于对所述第二过滤后缺陷信息在等级维度进行信息过滤，得到第三过滤后缺陷信息；
[0245]
第四信息过滤子单元，用于对所述第三过滤后缺陷信息在面积维度进行信息过滤，得到所述电子元器件的过滤后缺陷信息。
[0246]
在一实施例中，所述第一信息过滤子单元，可以包括：
[0247]
信息识别模块，用于对所述元器件图像的拍摄角度信息进行识别，得到所述元器件图像在拍摄角度下对应的缺陷类型范围信息；
[0248]
第一过滤模块，用于对所述元器件图像的缺陷信息中不符合所述缺陷类型范围信息的缺陷类型进行过滤，得到所述第一过滤后缺陷信息。
[0249]
在一实施例中，所述第二信息过滤子单元，可以包括：
[0250]
第一阈值确定单元，用于确定第一过滤后缺陷信息中缺陷类型对应的置信度阈值；
[0251]
第一比较模块，用于将所述第一过滤后缺陷信息的缺陷类别对应的置信度参数和置信度阈值进行比较，得到比较结果；
[0252]
第二过滤模块，用于根据所述比较结果将所述第一过滤后缺陷信息中不符合所述
预设置信度阈值的缺陷类别进行过滤，得到所述第二过滤后缺陷信息。
[0253]
在一实施例中，所述第三信息过滤子单元，可以包括：
[0254]
第二阈值确定单元，用于确定所述第二过滤后缺陷信息中缺陷类型对应的缺陷等级阈值；
[0255]
第二比较模块，用于将所述第二过滤后缺陷信息中缺陷类型对应的缺陷等级和所述缺陷等级阈值进行比较，得到比较结果；
[0256]
第三过滤模块，用于根据所述比较结果将所述第二过滤后缺陷信息中缺陷等级不符合所述缺陷等级阈值的缺陷类型进行过滤，得到所述第三过滤后缺陷信息。
[0257]
在一实施例中，所述第四信息过滤子单元，可以包括：
[0258]
第三阈值确定单元，用于确定所述第三过滤后缺陷信息中缺陷类型对应的缺陷面积阈值；
[0259]
第三比较模块，用于将所述第三过滤后缺陷信息中缺陷类型对应的缺陷区域面积信息和所述缺陷面积阈值进行比较，得到比较结果；
[0260]
第四过滤模块，用于根据所述比较结果将所述第三过滤后缺陷信息中缺陷区域面积信息不符合所述缺陷面积阈值的缺陷类型进行过滤，得到所述过滤后缺陷信息。
[0261]
在一实施例中，所述缺陷区域检测单元302，可以包括：
[0262]
高分辨率采样子单元，用于对所述元器件图像进行高分辨率采样，得到元器件图像对应的高分辨率采样信息；
[0263]
多尺度特征提取子单元，用于对所述高分辨率采样信息进行多尺度特征提取，得到所述元器件图像的多尺度特征；
[0264]
缺陷区域检测子单元，用于对所述元器件图像的多尺度特征进行缺陷区域检测，得到所述元器件图像中至少一个缺陷区域。
[0265]
在一实施例中，所述识别单元303，可以包括：
[0266]
类型识别子单元，用于对所述缺陷区域进行类型识别，得到所述缺陷区域对应的缺陷类型；
[0267]
缺陷等级识别子单元，用于基于所述缺陷类型，对所述缺陷区域进行缺陷等级识别，得到所述缺陷区域的缺陷类型对应的缺陷等级；
[0268]
整合子单元，用于将所述缺陷区域以及所述缺陷区域对应的缺陷类型和所述缺陷等级进行整合，得到所述元器件图像中缺陷区域对应的缺陷信息。
[0269]
在一实施例中，所述类型识别子单元，可以包括：
[0270]
筛选模块，用于根据预设筛选比例，在所述缺陷区域中筛选出筛选后缺陷区域；
[0271]
降采样模块，用于对所述筛选后缺陷区域进行降采样处理，得到降采样后区域；
[0272]
类型识别模块，用于对所述降采样区域进行类型识别，得到所述降采样区域对应的缺陷类型。
[0273]
在一实施例中，所述缺陷检测装置还可以包括：
[0274]
信息获取模块，用于获取待训练缺陷检测模型和携带标注信息的元器件图像样本；
[0275]
缺陷检测模块，用于利用所述待训练缺陷检测模型对所述元器件图像样本进行缺陷预测，得到所述元器件图像样本对应的预测缺陷信息；
[0276]
清洗模块，用于根据所述元器件图像样本的标注信息，对所述元器件图像样本对应的预测缺陷信息进行清洗，得到清洗后预测缺陷信息；
[0277]
调整模块，用于利用所述清洗后预测缺陷信息对所述待训练缺陷检测模型进行调整，得到所述缺陷检测模型。
[0278]
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
[0279]
通过上述的缺陷检测装置可以提高对元器件进行缺陷检测的准确度。
[0280]
本技术实施例还提供一种计算机设备，该计算机设备可以包括终端或服务器，比如，计算机设备可以作为缺陷检测终端，该终端可以为手机、平板电脑等等；又比如计算机设备可以为服务器，如缺陷检测服务器等。如图8所示，其示出了本技术实施例所涉及的终端的结构示意图，具体来讲：
[0281]
该计算机设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图8中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
[0282]
处理器401是该计算机设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行计算机设备的各种功能和处理数据。可选的，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户页面和应用程序等，调制解调处理器主要处理无线通讯。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。
[0283]
存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。
[0284]
计算机设备还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
[0285]
该计算机设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
[0286]
尽管未示出，计算机设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，计算机设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程
序，从而实现各种功能，如下：
[0287]
获取电子元器件的至少一个元器件图像和所述元器件图像对应的拍摄角度信息；
[0288]
对所述元器件图像进行缺陷区域检测，得到所述元器件图像中的至少一个缺陷区域；
[0289]
对所述缺陷区域进行缺陷信息识别，得到所述元器件图像中缺陷区域对应的缺陷信息；
[0290]
结合所述元器件图像对应的拍摄角度信息，对所述电子元器件的至少一个元器件图像对应的缺陷信息在多个不同维度进行信息过滤处理，得到所述电子元器件的过滤后缺陷信息；
[0291]
根据所述过滤后缺陷信息对所述电子元器件进行判别，得到所述电子元器件的缺陷检测结果。
[0292]
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
[0293]
根据本技术的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中各种可选实现方式中提供的方法。
[0294]
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过计算机程序来完成，或通过计算机程序控制相关的硬件来完成，该计算机程序可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
[0295]
为此，本技术实施例还提供一种存储介质，其中存储有计算机程序，该计算机程序能够被处理器进行加载，以执行本技术实施例所提供的任一种缺陷检测方法中的步骤。例如，该计算机程序可以执行如下步骤：
[0296]
获取电子元器件的至少一个元器件图像和所述元器件图像对应的拍摄角度信息；
[0297]
对所述元器件图像进行缺陷区域检测，得到所述元器件图像中的至少一个缺陷区域；
[0298]
对所述缺陷区域进行缺陷信息识别，得到所述元器件图像中缺陷区域对应的缺陷信息；
[0299]
结合所述元器件图像对应的拍摄角度信息，对所述电子元器件的至少一个元器件图像对应的缺陷信息在多个不同维度进行信息过滤处理，得到所述电子元器件的过滤后缺陷信息；
[0300]
根据所述过滤后缺陷信息对所述电子元器件进行判别，得到所述电子元器件的缺陷检测结果。
[0301]
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
[0302]
由于该存储介质中所存储的计算机程序，可以执行本技术实施例所提供的任一种缺陷检测方法中的步骤，因此，可以实现本技术实施例所提供的任一种缺陷检测方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
[0303]
以上对本技术实施例所提供的一种缺陷检测方法、装置、计算机设备和存储介质进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的技术人员，
依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。