一种元器件外观缺陷的检测方法及系统与流程

1.本技术涉及元器件外观检测设备技术领域，尤其涉及一种元器件外观缺陷的检测方法及系统。


背景技术：

2.随着元器件送检任务的逐年增加，送检器件的外观及质量也出现了良莠不齐的情况，例如器件外观存在打磨痕迹、翻新痕迹、引线断裂、引脚弯曲变形以及封装壳体缺陷等情况，批质量不一致包括标识内容、标识方式、标记信息、表面颜色不一致等缺陷，导致这些缺陷产生的原因有些是器件在封装过程中因工艺控制不严格导致的，还有些是假冒伪劣器件，还有些是在包装、运输过程中导致器件受损而造成的。目前，对于元器件的外观缺陷识别还处于依靠人工的阶段，检测结果的准确性依赖于人的经验及主观因素，而人的经验及主观因素会导致漏判，造成检测结果的准确性较差，检测耗费的时间很长。


技术实现要素：

3.有鉴于此，本技术的目的在于提出一种元器件外观缺陷的检测方法及系统。
4.基于上述目的，本技术提供了一种元器件外观缺陷的检测方法，包括：
5.获取待检测元器件的表面图像数据；
6.对所述表面图像数据进行预处理，得到目标图像数据；
7.将所述目标图像数据输入图像检测模型中，对所述待检测元器件进行定位，输出元器件前景图像；
8.将所述元器件前景图像输入预训练过的图像检测模型中，输出带有缺陷检测结果的结果图像数据；其中，所述缺陷检测结果包括所述待检测元器件的缺陷类型信息、缺陷位置信息和/或缺陷数量信息。
9.进一步地，所述将所述元器件前景图像输入预训练过的图像检测模型中，输出带有缺陷检测结果的结果图像数据，包括：
10.将所述元器件前景图像进行网格划分，并获取每个网格的预测框，得到带有预测框的预测图像数据；
11.将所述带有预测框的预测图像数据输入所述图像检测模型中，输出所述结果图像数据。
12.进一步地，所述图像检测模型为基于yolov4网络构建的图像检测模型。
13.进一步地，所述获取待检测元器件的表面图像数据包括：
14.获取所述待检测元器件的原始表面图像；
15.将所述原始表面图像的图像信号转化为数据信号；
16.将所述数据信号存储为所述表面图像数据。
17.进一步地，所述对所述表面图像数据进行预处理，得到目标图像数据，包括：对所述表面图像数据依次进行去噪、灰度化、顶帽变换得到所述目标图像数据和背景图像数据。
等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
34.参考图1，本技术提供了一种元器件外观缺陷的检测方法，包括：
35.步骤s101、获取待检测元器件的表面图像数据。
36.具体的，所述获取待检测元器件的表面图像数据包括如下步骤：
37.步骤一、获取所述待检测元器件的原始表面图像。
38.具体的，在实际检测时，首先将待检测元器件放入图像采集区域，利用光电传感器感应图像采集区域是否有待测元器件，并判断所述待测元器件表面的中心位置是否与所述相机镜头的位置对应。当确定所述图像采集区域有待检测元器件，并且所述待检测元器件表面的中心位置与图像采集设备的位置对应时，使用图像采集设备获取所述待检测元器件的原始表面图像。本实施例中，所述图像采集设备包括相机、与相机匹配的镜头和图像采集卡。
39.使用相机采集所述待检测元器件的原始表面图像，通过相机将待测元器件的光学信号图像被相机中的光学传感器转换为电信号，即图像信号。
40.使用相机采集原始表面图像时，相机的选型非常重要。在进行工业相机的选型时，需要考虑以下几个方面：
41.①
分辨率：指相机每次采集图像的像素点数，分辨率越高，采集到的像素点数越多，成像质量越高。相机分辨率的确定需要依据待测元器件的幅宽、最小检测精度以及设备运行速度等多方面综合测算，分辨率过低会导致无法达到检测要求，分辨率过高则会影响检测算法的速度。因此根据实际检测要求，本实施例中，选用相机的分辨率为2048
×
2pixels。
42.②
芯片类型：工业相机依据芯片类型可分为两类，即ccd相机和cmos相机。ccd相机在灵敏度、分辨率、噪声控制等各方面均优于cmos相机，而cmos相机则具有低成本、低功耗、以及高整合度的特点。综合考虑检测时的速度和精度要求，相较而言，ccd相机的成像质量更高且更灵敏。本实施例中，选用ccd相机。
43.③
输出色彩：工业相机有单色(黑白)相机和彩色相机两种。本实施例中，对元器件外观缺陷检测时需要考虑其颜色，因此采用彩色相机。
44.综上，根据检测要求，本实施例中，选用dalsa的spyder color系列、型号为sc-34-02k80的彩色线性ccd相机。
45.与相机配套的光学镜头也是获取图像的过程中不可或缺的一部分，其主要作用是将成像目标投影到图像传感器的光敏面上，决定了图像的清晰程度。镜头的好坏将直接影响成像质量的优劣，甚至会影响检测结果的准确性。因此，光学镜头的选型也非常重要，在进行光学镜头的选型时，需要考虑以下几个方面：
46.①
焦距：指从透镜中心到光聚集之焦点的距离，是镜头的重要参数之一，它决定像与实际物体之间的比例。一般来说，镜头焦距越大，得到的像就越大。镜头焦距的确定需要依据检测精度、相机像元尺寸以及相机和目标之间的物距等多方面数据的综合测算。
47.②
视场角：镜头的视场角决定了被拍摄区域范围的大小，它与光学镜头的焦距有关，一般焦距越长，视场角越小。
48.③
光圈：光圈是镜头上的通光孔径，通过调节光孔直径控制镜头进光量，决定镜头的明暗。光圈除了对镜头成像亮度有直接关系以外，它本身和图像对比度、分辨率、景深都有密切关系。在调整镜头光圈的时候要综合考虑它对整个图像的影响。
49.④
接口：指镜头连接相机的接口方式。在选择时，需注意镜头接口类型必须和相机接口类型相符。
50.本实施例中，选用schneider的f接口镜头，型号为xenon-emerald2.8/28-s。
51.进一步地的，获取所述待测元器件的原始表面图像时需要有合适的光源和照明条件。
52.具体的，好的光源与照明方式在获取图像的过程中起着非常重要的作用，并不是简单的照亮物体而已。光源与照明方案的配合应尽可能地突出待检测元器件的特征量,在元器件需要检测的部分与那些不需要检测的部分之间应尽可能地产生明显的区别，增加对比度，同时还应保证足够的整体亮度，元器件位置的变化不应该影响成像的质量。照明系统中最主要的是光源选型。
53.led光源在光效、亮度和使用寿命上要全面优于其它类型的光源，led光源发热小，长时间工作时稳定性好。其中，白色led光源颜色更纯净，没有偏黄或偏蓝的现象。
54.合理的照明方式可以突出待检测元器件的特征，降低后续图像处理的复杂度。照明方式按照入射光的方向性、光源与相机的相对位置、光源与被测元器件的相对位置可分为：漫射与直射照明、正面与背面照明、明场与暗场照明。本方法中采用正面打光的方式，目的是为了让元器件表面的字符与元器件封装的材料对比更强烈，这样从采集的原始表面图像中更容易分辨出元器件的外观区域。因此，本实施例中，使用低角度条形的白色led光源对待测元器件进行正面打光，以提供合适的条件供后续对元器件的表面进行图像采集。
55.步骤二、将所述原始表面图像的图像信号转化为数据信号。
56.具体的，待相机获取到待测元器件的原始表面图像后，将所述原始表面图像的图像信号转化为数据信号。本实施例中，利用图像采集卡将所述原始表面图像的图像信号转化为数据信号。
57.图像采集卡是图像采集单元和图像处理单元的接口，又称图像捕捉卡，是相机和处理器连接的桥梁。在对采集到的图像进行传送的过程中，通用传输接口无法实现图像信号的高速度传输，因此需要用到图像采集卡，其功能是将相机输出的图像信号转换为数字信号采集并传输至处理器中。
58.在进行图像采集卡的选型时，需要从两方面进行考虑，一是能够提供和电脑连接的高速传输接口，二是需要结合相机类型及功能选择合适的图像采集卡，保证该图像采集卡能与相机协调工作。本实施例中，选用与dalsa线阵ccd相机相匹配的xtium cl mx4图像采集卡。所述图像采集卡采用camera link接口，带宽速度超过1.7gb/s，同时支持pcie gen1.0插槽，传输速率可达850mb/s。
59.步骤三、将所述数据信号存储为所述表面图像数据。
60.具体的，待所述图像采集卡将相机输出的图像信号转换为数字信号后，将所述数字信号传输至处理器中，处理器将所述数字信号存储为所述表面图像数据，以数字信号形式存储的表面图像数据方便后续进行检测分析。本实施例中，所述处理器为电脑。
61.步骤s102、对所述表面图像数据进行预处理，得到目标图像数据。
62.具体的，所述对所述表面图像数据进行预处理，得到目标图像数据，包括：对所述表面图像数据依次进行去噪、灰度化、顶帽变换，得到所述目标图像数据和背景图像数据。
63.在采集元器件的表面图像数据的过程中，由于受到设备自身因素、周围环境及拍摄光照度的影响，采集到的表面图像数据一般含有噪声附在表面图像数据的背景区域和目标区域上，因此对表面图像数据进行去噪处理可以减少表面图像数据的噪声，还原表面图像数据的真实信息。本实施例中，采取中值滤波的方式对表面图像数据进行去噪，中值滤波的去噪方式不会破坏图像细节，也不会模糊图像，在滤除噪声的同时还能保护表面图像数据的边缘。
64.在对所述表面图像数据进行去噪处理后，还需对表面图像数据进行灰度化处理。图像的灰度化是指把原本有彩色的图像利用计算机转换为只有黑白两色的图。转化过程中，将三原色分量的亮度按照权重进行叠加，并用它们的加和结果表示得到的表面图像数据的明亮程度，即灰度值。
65.顶帽变换可以解决由于光照不均匀造成的待测元器件管脚细节缺失的问题。顶帽变换是原始图像与自身开运算后的效果作差，可以分割出结构元素不相匹配的部分，尤其对于增强阴影的细节处的效果很好。因此，本实施例中利用顶帽变换操作来校正由于光照不均匀出现的细节缺失，经过顶帽变换后能有效的提取出所述表面图像数据的暗背景中较亮的部分。
66.步骤s103、将所述目标图像数据输入图像检测模型中，对所述待检测元器件进行定位，输出元器件前景图像。
67.步骤s104、将所述元器件前景图像输入预训练过的图像检测模型中，输出带有缺陷检测结果的结果图像数据；其中，所述缺陷检测结果包括所述待检测元器件的缺陷类型信息、缺陷数量信息和/或缺陷位置信息。
68.具体的，所述图像检测模型为基于yolov4网络构建的图像检测模型，是一种用于缺陷检测的深度学习网络模型。
69.在进行实际检测之前，需要对所述图像检测模型进行预训练。将一部分有缺陷元器件的所述目标图像数据和一部分无缺陷元器件的所述目标图像数据作为样本集，输入到所述图像检测模型中，对其进行预训练。预训练完成之后，可利用该图像检测模型对待测元器件的表面缺陷进行检测。
70.所述yolov4网络主要由三个主要组件组成：骨干网络、颈部网络和头部网络。所述骨干网络为在不同图像细粒度上聚合并形成图像特征的卷积神经网络。所述颈部网络为一系列混合和组合图像特征的网络层，并将图像特征传递到预测层。所述头部网络对图像特征进行预测，生成边界框并预测类别。
71.所述骨架网络主要包括：cspdarknet53、mish激活函数、卷积正则化块dropblock。yolov4网络中使用了cspdarknet53作为基准网络，利用mish激活函数代替原始的relu激活函数，并在该模块中增加了dropblock块来进一步提升模型的泛化能力。
72.所述颈部网络采用spp模块、fpn+pan结构。颈部网络通常位于基准网络和头网络的中间位置，利用它可以进一步提升特征的多样性及鲁棒性。yolov4利用spp模块来融合不同尺度大小的特征图；利用自顶向下的fpn特征金字塔与自底向上的pan特征金字塔来提升网络的特征提取能力。其中，spp代表空间金字塔池化，由卷积拼接成，可以固定的输入特征
向量的大小，其最大池化的卷积核大小分别为{1
×
1,5
×
5,9
×
9,13
×
13}；fpn代表自顶向下的特征金字塔，pan代表的是自底向上的特征金字塔，有了pan的加持，yolov4在yolov3的基础上提高了对小目标检测的精度。
73.所述头部网络的锚框机制与yolov3网络相同，主要改进的是训练时的损失函数ciou_loss，以及预测框筛选的diou_nms(nms，非极大值抑制算法)。头部网络用来完成目标检测结果的输出。针对不同的检测算法，输出端的分支个数不尽相同，通常包含一个分类分支和一个回归分支。yolov4利用ciou_loss来代替原始的损失函数，并利用diou_nms来代替传统的算法操作，从而进一步提升模型的检测精度。
74.损失函数ciou_loss考虑了边框的重叠面积、中心点距离和长宽比的尺度信息，这样预测框就会更加的符合真实框。使用ciou_loss损失函数对初始目标检测模型进行优化，得到最优目标检测模型，ciou损失函数的公式为：
75.lciou＝1-ciou
76.式中，lciou为ciou损失函数；ciou为回归损失值。
77.进一步地，所述将所述元器件前景图像输入预训练过的图像检测模型中，输出带有缺陷检测结果的结果图像数据，包括：
78.步骤一、将所述元器件前景图像进行网格划分，并获取每个网格的预测框，得到带有预测框的预测图像数据；
79.步骤二、将所述带有预测框的预测图像数据输入所述图像检测模型中，输出所述结果图像数据。
80.具体的，首先将元器件前景图像进行网格划分，相当于把整张图片分割成不同的网格，每个网格对应原图上的一块区域，然后在每个网格中预测是否有待检测的元器件以及元器件表面受否有预设的缺陷类别。
81.本实施例中，首先，将所述目标图像数据划分为s
×
s个网格，每个网格负责预测中心落入该网格的目标，并计算出与该网格对应的3个预测框，得到带有预测框的预测图像数据。其中，每个预测框对应5+c个值，c表示预设的数据集中的类别(本实施例中，预设的缺陷的类别总数为7种，分别为划痕缺陷、孔洞缺陷、缺损缺陷、脏污缺陷、引脚缺陷、标识定位缺陷和/或无缺陷)，5代表所述预测框的中心点的坐标(横坐标，纵坐标)、预测框的宽高尺寸(宽，高)和置信度等5个参数信息。
82.然后，将所述带有预测框的预测图像数据输入所述图像检测模型中，因为有s
×
s个网格，所以所述图像检测模型最终的输出层一共含有的数据个数为s
×s×3×
(5+c)个。
83.依据下述公式计算每个所述预测框的置信度，所述预测框的置信度的计算如下：
84.置信度＝p(object)
×
iou，其中，p(object)表示是否含有待检测元器件，若预测框内包含待检测的元器件，则p(object)＝1，否则p(object)＝0；iou(交并比，intersection over union)为预测框与待检测的元器件真实区域的交集面积(以像素为单位，用真实区域的像素面积归一化到[0，1]区间)。
[0085]
最后，输出带有缺陷检测结果的结果图像数据。
[0086]
具体的，依据每个所述预测框的置信度以及预设置信度阈值，将置信度小于所述预设置信度阈值的预测框滤掉，仅保留置信度大于所述预设置信度阈值的预测框。将大于预设置信度阈值的这些预测框的对应的所述5+c个值经分析计算后，形成缺陷检测结果，并
输出带有缺陷检测结果的结果图像数据。
[0087]
其中，所述缺陷检测结果包括所述待检测元器件的缺陷类型信息、缺陷数量信息和/或缺陷位置信息。所述缺陷类型信息包括：划痕缺陷、孔洞缺陷、缺损缺陷、脏污缺陷、引脚缺陷、标识定位缺陷和/或无缺陷。所述缺陷数量信息包括：每种缺陷类型对应的数量。所述缺陷位置信息包括：缺陷的中心点坐标、缺陷的路径矢量信息等。
[0088]
例如，对某一待检测的元器件按照本技术所述的元器件外观缺陷的检测方法进行检测，最终输出的结果图像数据显示待检测元器件的缺陷检测结果为：孔洞缺陷(即缺陷类型信息)，3(即缺陷数量信息)，[(1、2)、(5、6)、(7、9)](即缺陷位置信息)。检测结果可以清晰的显示出待检测元器件的缺陷类型、缺陷数量等信息，可以避免因人的经验及主观因素导致的漏判或错判现象的发生。
[0089]
本技术提供的元器件外观缺陷的检测方法，通过图像检测模型对元器件的外观缺陷进行检测，并且可以得到带有缺陷检测结果的结果图像数据。不仅可以对缺陷类型进行判断，还可以给出缺陷的位置信息，检测精度高、检测时间短、智能化程度高，可以避免因人的经验及主观因素导致的漏判或错判现象的发生。可针对不同封装类型的元器件进行外观缺陷识别，在工程应用中能够方便快捷的达到试验要求和目的，同时能够对外观缺陷识别过程的检测准确性、试验样品完好性、抓取图片清晰度等提供保障；另外，相较于于依靠人的肉眼和放大镜进行缺陷判断的效率更高，准确性更好。
[0090]
需要说明的是，本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本技术实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。
[0091]
需要说明的是，上述对本技术的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0092]
基于同一发明构思，与上述任意实施例方法相对应的，本技术还提供了一种元器件外观缺陷的检测系统。
[0093]
参考图2，所述元器件外观缺陷的检测系统，包括：
[0094]
图像采集单元201，被配置为获取待检测元器件的表面图像数据；
[0095]
图像处理单元202，被配置为对所述表面图像进行预处理，得到目标图像数据；
[0096]
图像定位单元203，被配置为将所述目标图像数据输入图像检测模型中，对所述待检测元器件进行定位，输出元器件前景图像；
[0097]
图像检测单元204，被配置为将所述元器件前景图像输入预训练好的图像检测模型中，输出带有缺陷检测结果的结果图像数据；其中，所述缺陷检测结果包括所述待检测元器件的缺陷数量信息、缺陷类型信息、缺陷位置信息。
[0098]
具体的，图像采集单元包括相机和图像采集卡，所述相机被配置为获取所述待检测元器件的原始表面图像；所述图像采集卡被配置为将所述原始表面图像的图像信号转化为数据信号，并将所述数据信号传输至所述图像处理单元。
[0099]
在一些实施例中，所述元器件外观缺陷的检测系统还包括感应单元，所述感应单
元被配置为感应图像采集区域是否有待测元器件，并判断所述待测元器件表面的中心位置是否与所述相机镜头的位置对应。
[0100]
具体的，所述感应单元包括光电传感器，所述光电传感器可以感应图像采集区域是否有待测元器件，并判断所述待测元器件表面的中心位置是否与所述相机镜头的位置对应。通过设置感应单元，使得感应单元可以实时监测图像采集区域是否有待测元器件，提高检测效率，避免相机做无用功。
[0101]
在一些实施例中，所述元器件外观缺陷的检测系统还包括进料单元，所述进料单元被配置为放置多个所述待测元器件，并将所述待测元器件逐个放入所述图像采集区域进行图像采集。
[0102]
具体的，所述进料单元可以为转动进料盘，在所述进料盘上放置多个待测元器件，随着转动进料盘的移动，可以将转动进料盘上的待测元器件逐个放入所述图像采集区域进行图像采集。转动进料的方式可以提高本系统的检测速度及检测效率。
[0103]
在一些实施例中，参考图3，本技术提供了一种元器件外观缺陷的检测系统，其执行过程如下：
[0104]
第一步：启动检测系统，调整好光源角度及亮度，打开ccd相机，图像采集单元准备就绪；
[0105]
第二步：利用感应单元中的光电传感器判断图像采集区域是否有待测产品，并且判断所述待测元器件表面的中心位置是否与所述相机镜头的位置对应。如果所述图像采集区域有待测产品，并且所述待测元器件表面的中心位置与所述相机镜头的位置对应，则相机开始拍照，获取所述待检测元器件的原始表面图像；
[0106]
第三步：将所述原始表面图像传送至图像采集卡，图像采集卡将将所述原始表面图像的图像信号转化为数据信号，并将所述数据信号传输至所述图像处理单元；
[0107]
第四步：将所述目标图像数据输入预训练好的图像检测模型中，输出带有缺陷检测结果的最终图像数据；其中，所述缺陷检测结果包括所述待检测元器件的缺陷数量
[0108]
第五步：根据所述缺陷检测结果判断产品合格与否，若缺陷检测而结果为无缺陷，则判断产品合格；若缺陷检测结果为除无缺陷外的其他缺陷类型，则判断产品不合格，即存在外观缺陷，标记产品缺陷并对缺陷类型进行辨识，同时发出警报提醒操作人员检查。
[0109]
为了描述的方便，描述以上系统时以功能分为各种单元分别描述。当然，在实施本技术时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
[0110]
上述实施例的装置用于实现前述任一实施例中相应的元器件外观缺陷的检测方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
[0111]
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本技术的范围(包括权利要求)被限于这些例子；在本技术的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本技术实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
[0112]
本技术实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本技术实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本技术的保护范围之内。