基于深度学习的缺陷检测方法、装置、设备和存储介质与流程

1.本技术涉及检测技术领域，特别涉及一种基于深度学习的缺陷检测方法、装置、计算机设备和存储介质。


背景技术：

2.晶体管发明并大量生产之后，各式固态半导体组件如二极管、晶体管等大量使用，取代了真空管在电路中的功能与角色。到了20世纪中后期半导体制造技术进步，使得集成电路成为可能。相对于手工组装电路使用个别的分立电子组件，集成电路可以把很大数量的微晶体管集成到一个小芯片，是一个巨大的进步。集成电路的规模生产能力，可靠性，电路设计的模块化方法确保了快速采用标准化集成电路代替了设计使用离散晶体管。目前光学检测技术已经广泛应用于工业缺陷检测领域，传统算法检测会存在较大概率的误检和漏检。


技术实现要素：

3.针对现有技术不足，本技术提出一种基于深度学习的缺陷检测方法、装置、设备和存储介质，旨在解决传统算法检测会存在较大概率的误检和漏检的问题。
4.本技术提出的技术方案是：
5.一种基于深度学习的缺陷检测方法，所述方法包括：
6.获取芯片的待测图像；
7.识别深度学习模型的学习阶段，所述学习阶段包括第一学习阶段和第二学习阶段；
8.若所述深度学习模型是处于第一学习阶段，则通过第一算法检测所述待测图像的缺陷类型及缺陷位置，得到第一检测结果；
9.通过深度学习模型检测所述待测图像的缺陷类型及缺陷位置，得到第二检测结果；
10.对所述第一检测结果和所述第二检测结果智能加权，得到最终的检测结果。
11.进一步地，在所述识别深度学习模型的学习阶段，所述学习阶段包括第一学习阶段和第二学习阶段的步骤之后，包括：
12.若所述深度学习模型是处于第二学习阶段，则通过深度学习模型检测所述待测图像的缺陷类型及缺陷位置，得到最终的检测结果。
13.进一步地，在所述通过第一算法检测所述待测图像的缺陷类型及缺陷位置，得到第一检测结果的步骤中，包括：
14.对所述待测图像进行平滑降噪处理，得到第一待测图像；
15.基于ncc模板匹配算法对所述第一待测图像中的芯片位置进行定位及分割单个芯片，得到第二待测图像；
16.基于差影算法提取所述第二待测图像中芯片的缺陷类型及缺陷位置，得到第一检
测结果。
17.进一步地，在所述识别深度学习模型的学习阶段的步骤之前，包括：
18.对深度学习模型进行训练。
19.进一步地，在所述对深度学习模型进行训练的步骤中，包括：
20.拍摄不同光照条件的芯片图像，得到亮场和暗场的第一图像；
21.对所述第一图像进行平滑降噪处理，得到第二图像；
22.基于ncc模板匹配算法对所述第二图像中的芯片位置进行定位及分割单个芯片，得到第三图像；
23.基于差影算法提取所述第三图像中芯片的缺陷类型及缺陷位置，得到第四图像；
24.通过人工对所述第四图像中芯片的缺陷类型及缺陷位置进行确认及补充，生成原始缺陷数据集；
25.将所述原始缺陷数据集生成扩充缺陷数据集；
26.将所述原始缺陷数据集和所述扩充缺陷数据集输入深度学习模型进行训练。
27.进一步地，在所述将所述原始缺陷数据集和所述扩充缺陷数据集输入深度学习模型进行训练的步骤之后，包括：
28.统计及记录所述深度学习模型的训练准确率；
29.若所述深度学习模型的训练准确率大于第一阈值，则判定所述深度学习模型处于第二学习阶段；
30.若所述深度学习模型的训练准确率小于或者等于第一阈值，则判定所述深度学习模型处于第一学习阶段。
31.进一步地，在所述基于差影算法提取所述第三图像中芯片的缺陷类型及缺陷位置，得到第四图像的步骤之后，在所述通过人工对所述第四图像中芯片的缺陷类型及缺陷位置进行确认及补充，生成原始缺陷数据集的步骤之前，包括：
32.采用otsu算法对所述第四图像进行图像分割；
33.采用图像形态学方法对分割后的第四图像进行处理。
34.本技术还提供一种芯片缺陷检测装置，其特征在于，所述装置包括：
35.获取模块，用于获取芯片的待测图像；
36.识别模块，用于识别深度学习模型的学习阶段，所述学习阶段包括第一学习阶段和第二学习阶段；
37.第一检测模块，用于若所述深度学习模型是处于第一学习阶段，则通过第一算法检测所述待测图像的缺陷类型及缺陷位置，得到第一检测结果；
38.第二检测模块，用于通过深度学习模型检测所述待测图像的缺陷类型及缺陷位置，得到第二检测结果；
39.加权模块，用于对所述第一检测结果和所述第二检测结果智能加权，得到最终的检测结果。
40.本技术还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的方法的步骤。
41.本技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
42.根据上述的技术方案，本技术有益效果：在深度学习模型的学习阶段是第一学习阶段，那么通过分别通过第一算法检测和深度学习模型检测待测图像，得到第一检测结果和第二检测结果，之后对第一检测结果和第二检测结果智能加权，得出最终的检测结果,解决传统算法检测会存在较大概率的误检和漏检的问题。
附图说明
43.图1是应用本技术实施例提供的基于深度学习的缺陷检测方法的流程图；
44.图2是应用本技术实施例提供的基于深度学习的缺陷检测装置的功能模块图；
45.图3是应用本技术实施例提供的计算机设备的结构示意框图。
具体实施方式
46.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
47.如图1所示，本技术实施例提出一种基于深度学习的缺陷检测方法，所述方法包括：
48.步骤s101、获取芯片的待测图像。
49.对芯片进行拍摄，得到待测图像，或者，通过接收拍摄设备发送过来的芯片的图像，得到待测图像。
50.步骤s102、识别深度学习模型的学习阶段，所述学习阶段包括第一学习阶段和第二学习阶段。
51.将深度学习模型的学习阶段分为第一学习阶段和第二学习阶段，在本实施例中，根据深度学习模型的训练量来区别学习阶段，其中第一学习阶段所需要的训练量是少于第二学习阶段所需要的训练量。
52.步骤s103、若所述深度学习模型是处于第一学习阶段，则通过第一算法检测所述待测图像的缺陷类型及缺陷位置，得到第一检测结果。
53.通过识别深度学习模型的训练量来判断深度学习模型的学习阶段，如果深度学习模型是处于第一学习阶段，那么说明深度学习模型还不够成熟，先通过第一算法检测待测图像，得到第一检测结果。
54.在本实施例中，第一算法为常规的缺陷检测算法。
55.步骤s104、通过深度学习模型检测所述待测图像的缺陷类型及缺陷位置，得到第二检测结果。
56.深度学习模型检测待测图像，得到第二检测结果。
57.利用深度学习分类器将芯片判定为好品或者坏品。由于分类模型的网络层数较低，预测速度较快，所以首先对芯片进行分类，如果判定为好品则直接进行下一步，如果判定为坏品，则将分割出来的待检芯片图像送入深度学习训练好的yolo目标检测模型中，得到神经网络预测的芯片缺陷类型以及缺陷位置。
58.利用缺陷类型和缺陷位置对深度学习预测的缺陷结果进行筛选，剔除掉芯片die面以外位置的脏污、划痕缺陷，剔除掉与芯片边缘不相交的崩边崩角缺陷，剔除掉置信度小
于限定值的缺陷。
59.步骤s105、对所述第一检测结果和所述第二检测结果智能加权，得到最终的检测结果。
60.在得到第一检测结果和第二检测结果之后，对两个检测结果进行智能加权，输出最终的检测结果。
61.在本实施例中，深度学习模型的训练量越大，深度学习模型对待测图像的检测结果所占的权重越大。
62.经过一段时间的深度学习模型迭代，模型的精度和泛化能力逐步提高，传统算法的判定权重会逐步降低，从而完全被深度学习取代。同时，芯片缺陷的漏检和误检率也会逐渐将为0，最终无需人工复判，降低人工成本。
63.综上所述，在深度学习模型的学习阶段是第一学习阶段，那么通过分别通过第一算法检测和深度学习模型检测待测图像，得到第一检测结果和第二检测结果，之后对第一检测结果和第二检测结果智能加权，得出最终的检测结果,解决传统算法检测会存在较大概率的误检和漏检的问题。
64.在本实施例中，在步骤s102之后，包括：
65.若所述深度学习模型是处于第二学习阶段，则通过深度学习模型检测所述待测图像的缺陷类型及缺陷位置，得到最终的检测结果。
66.如果深度学习模型是处于第二学习阶段，那么说明深度学习模型够成熟，不需要第一算法检测，从而完全被深度学习模型取代。同时，芯片缺陷的漏检和误检率也会逐渐趋近于0。
67.在一些实施例中，在步骤s103中，包括：
68.对所述待测图像进行平滑降噪处理，得到第一待测图像；
69.基于ncc模板匹配算法对所述第一待测图像中的芯片位置进行定位及分割单个芯片，得到第二待测图像；
70.基于差影算法提取所述第二待测图像中芯片的缺陷类型及缺陷位置，得到第一检测结果。
71.采用中值滤波、均值滤波等形态学算法对待测图像进行平滑降噪处理，得到第一待测图像，再采用ncc模板匹配算法进行定位和分割，得到第二待测图像，之后再采用差影算法配准第二待测图像与标准图像之间在检测区域内的差异，从而得到芯片的缺陷类型及缺陷位置。
72.对所述待测图像进行平滑降噪处理，得到第一待测图像；先后使用中值滤波、均值滤波等形态学算法对图像进行平滑降噪处理。中值滤波是一种非线性平滑滤波器，其原理是将某像素窗口中周围灰度的中间值替换该位置灰度，从而消除掉灰度变化较大的噪声，可以有效去除椒盐噪声，且保留图像细节信息，有利于提高图像的定位精度。均值滤波是一种线性平滑滤波器，其原理是将某像素窗口中周围灰度的平均值替换该位置灰度，从而平滑掉图像中的加性噪声，有利于降低误检率。
73.基于ncc模板匹配算法对所述第一待测图像中的芯片位置进行定位及分割单个芯片，得到第二待测图像；ncc算法原理是计算两幅图灰度信息的相关性，可以有效降低光照变化对匹配结果的影响。ncc计算结果越接近1，相关性越高，具体为：
[0074][0075]
在本实施例中，在步骤s102之前，包括：
[0076]
对深度学习模型进行训练。
[0077]
具体地，深度学习模型至少进行了一次第一预设训练量的训练。
[0078]
在本实施例中，在所述对深度学习模型进行训练的步骤中，包括：
[0079]
拍摄不同光照条件的芯片图像，得到亮场和暗场的第一图像；
[0080]
对所述第一图像进行平滑降噪处理，得到第二图像；
[0081]
基于ncc模板匹配算法对所述第二图像中的芯片位置进行定位及分割单个芯片，得到第三图像；
[0082]
基于差影算法提取所述第三图像中芯片的缺陷类型及缺陷位置，得到第四图像；
[0083]
通过人工对所述第四图像中芯片的缺陷类型及缺陷位置进行确认及补充，生成原始缺陷数据集；
[0084]
将所述原始缺陷数据集生成扩充缺陷数据集；
[0085]
将所述原始缺陷数据集和所述扩充缺陷数据集输入深度学习模型进行训练。
[0086]
利用不同角度的led光源照射芯片表面，并利用1200万像素的高分辨率工业相机拍摄不同光照下的芯片图像，从而获取到芯片的亮场和暗场图像，得到第一图像。采用中值滤波、均值滤波等形态学算法对第一图像进行平滑降噪处理，得到第二图像，再采用ncc模板匹配算法进行定位和分割，得到第三图像，之后再采用差影算法配准第二待测图像与标准图像之间在检测区域内的差异，从而得到芯片的缺陷类型及缺陷位置，得到第四图像；通过人工对传统算法检测的缺陷进行确认，以及补充缺陷标签，从而生成原始缺陷数据集；基于原始缺陷数据集通过生成对抗网络、图像融合等技术获得扩充缺陷数据集。扩充数据集的目的是解决现场缺陷类型较少，训练样本不够的难题。
[0087]
将所述原始缺陷数据集和所述扩充缺陷数据集输入深度学习模型进行训练。分别利用分类器训练出只需要用来区分好品和坏品的ai分类模型，以及利用yolov4网络训练yolo目标检测模型，对坏品的缺陷类型及位置进行精确的预测和定位。
[0088]
在一些实施例中，在所述将所述原始缺陷数据集和所述扩充缺陷数据集输入深度学习模型进行训练的步骤之后，包括：
[0089]
统计及记录所述深度学习模型的训练准确率；
[0090]
若所述深度学习模型的训练准确率大于第一阈值，则判定所述深度学习模型处于第二学习阶段；
[0091]
若所述深度学习模型的训练准确率小于或者等于第一阈值，则判定所述深度学习模型处于第一学习阶段。
[0092]
以深度学习模型的训练准确率区别第一学习阶段和第二学习阶段。其中，深度学习模型每一次训练均需要大于第二预设训练量。
[0093]
在一些实施例中，在所述基于差影算法提取所述第三图像中芯片的缺陷类型及缺
陷位置，得到第四图像的步骤之后，在所述通过人工对所述第四图像中芯片的缺陷类型及缺陷位置进行确认及补充，生成原始缺陷数据集的步骤之前，包括：
[0094]
采用otsu算法对所述第四图像进行图像分割；
[0095]
采用图像形态学方法对分割后的第四图像进行处理。
[0096]
在差影后的图像中会出现一些虚假缺陷。为了消除虚假缺陷，将otsu算法应用于差影后的图像分割，并采用图像形态学的方法对分割后的图像进行处理，最后获得缺陷图像。
[0097]
采用otsu算法对所述第四图像进行图像分割，剔除掉差影后图像中的一些虚假缺陷；采用图像特征筛选的方法进行缺陷分类，对提取到的缺陷图像进行连通性分析并计算单个缺陷的长、宽、面积特征，其中缺陷面积大于脏污设定值的判定为脏污，缺陷长宽满足划痕设定值的判定为划痕，缺陷位置位于芯片边缘的判定为崩边，缺陷位置位于芯片四个角的判定为崩角。
[0098]
如图2所示，本技术实施例提出一种基于深度学习的缺陷检测装置1，装置1包括获取模块11、识别模块12、第一检测模块13、第二检测模块14和加权模块15。
[0099]
获取模块11，用于获取芯片的待测图像。
[0100]
对芯片进行拍摄，得到待测图像，或者，通过接收拍摄设备发送过来的芯片的图像，得到待测图像。
[0101]
识别模块12，用于识别深度学习模型的学习阶段，所述学习阶段包括第一学习阶段和第二学习阶段。
[0102]
将深度学习模型的学习阶段分为第一学习阶段和第二学习阶段，在本实施例中，根据深度学习模型的训练量来区别学习阶段，其中第一学习阶段所需要的训练量是少于第二学习阶段所需要的训练量。
[0103]
第一检测模块13，用于若所述深度学习模型是处于第一学习阶段，则通过第一算法检测所述待测图像的缺陷类型及缺陷位置，得到第一检测结果。
[0104]
通过识别深度学习模型的训练量来判断深度学习模型的学习阶段，如果深度学习模型是处于第一学习阶段，那么说明深度学习模型还不够成熟，先通过第一算法检测待测图像，得到第一检测结果。
[0105]
在本实施例中，第一算法为常规的缺陷检测算法。
[0106]
第二检测模块14，用于通过深度学习模型检测所述待测图像的缺陷类型及缺陷位置，得到第二检测结果。
[0107]
深度学习模型检测待测图像，得到第二检测结果。
[0108]
利用深度学习分类器将芯片判定为好品或者坏品。由于分类模型的网络层数较低，预测速度较快，所以首先对芯片进行分类，如果判定为好品则直接进行下一步，如果判定为坏品，则将分割出来的待检芯片图像送入深度学习训练好的yolo目标检测模型中，得到神经网络预测的芯片缺陷类型以及缺陷位置。
[0109]
利用缺陷类型和缺陷位置对深度学习预测的缺陷结果进行筛选，剔除掉芯片die面以外位置的脏污、划痕缺陷，剔除掉与芯片边缘不相交的崩边崩角缺陷，剔除掉置信度小于限定值的缺陷。
[0110]
加权模块15，用于对所述第一检测结果和所述第二检测结果智能加权，得到最终
的检测结果。
[0111]
在得到第一检测结果和第二检测结果之后，对两个检测结果进行智能加权，输出最终的检测结果。
[0112]
在本实施例中，深度学习模型的训练量越大，深度学习模型对待测图像的检测结果所占的权重越大。
[0113]
经过一段时间的深度学习模型迭代，模型的精度和泛化能力逐步提高，传统算法的判定权重会逐步降低，从而完全被深度学习取代。同时，芯片缺陷的漏检和误检率也会逐渐将为0，最终无需人工复判，降低人工成本。
[0114]
综上所述，在深度学习模型的学习阶段是第一学习阶段，那么通过分别通过第一算法检测和深度学习模型检测待测图像，得到第一检测结果和第二检测结果，之后对第一检测结果和第二检测结果智能加权，得出最终的检测结果,解决传统算法检测会存在较大概率的误检和漏检的问题。
[0115]
在本实施例中，装置1包括：
[0116]
第三检测模块，用于若所述深度学习模型是处于第二学习阶段，则通过深度学习模型检测所述待测图像的缺陷类型及缺陷位置，得到最终的检测结果。
[0117]
如果深度学习模型是处于第二学习阶段，那么说明深度学习模型够成熟，不需要第一算法检测，从而完全被深度学习模型取代。同时，芯片缺陷的漏检和误检率也会逐渐趋近于0。
[0118]
在一些实施例中，第一检测模块13包括：
[0119]
第一子降噪模块，用于对所述待测图像进行平滑降噪处理，得到第一待测图像；
[0120]
第一子分割模块，用于基于ncc模板匹配算法对所述第一待测图像中的芯片位置进行定位及分割单个芯片，得到第二待测图像；
[0121]
第一子提取模块，用于基于差影算法提取所述第二待测图像中芯片的缺陷类型及缺陷位置，得到第一检测结果。
[0122]
采用中值滤波、均值滤波等形态学算法对待测图像进行平滑降噪处理，得到第一待测图像，再采用ncc模板匹配算法进行定位和分割，得到第二待测图像，之后再采用差影算法配准第二待测图像与标准图像之间在检测区域内的差异，从而得到芯片的缺陷类型及缺陷位置。
[0123]
对所述待测图像进行平滑降噪处理，得到第一待测图像；先后使用中值滤波、均值滤波等形态学算法对图像进行平滑降噪处理。中值滤波是一种非线性平滑滤波器，其原理是将某像素窗口中周围灰度的中间值替换该位置灰度，从而消除掉灰度变化较大的噪声，可以有效去除椒盐噪声，且保留图像细节信息，有利于提高图像的定位精度。均值滤波是一种线性平滑滤波器，其原理是将某像素窗口中周围灰度的平均值替换该位置灰度，从而平滑掉图像中的加性噪声，有利于降低误检率。
[0124]
基于ncc模板匹配算法对所述第一待测图像中的芯片位置进行定位及分割单个芯片，得到第二待测图像；ncc算法原理是计算两幅图灰度信息的相关性，可以有效降低光照变化对匹配结果的影响。ncc计算结果越接近1，相关性越高，具体为：
[0125][0126]
在本实施例中，装置1包括：
[0127]
训练模块，用于对深度学习模型进行训练。
[0128]
具体地，深度学习模型至少进行了一次第一预设训练量的训练。
[0129]
在本实施例中，所述训练模块包括：
[0130]
第一子拍摄模块，用于拍摄不同光照条件的芯片图像，得到亮场和暗场的第一图像；
[0131]
第二子降噪模块，用于对所述第一图像进行平滑降噪处理，得到第二图像；
[0132]
第二子分割模块，用于基于ncc模板匹配算法对所述第二图像中的芯片位置进行定位及分割单个芯片，得到第三图像；
[0133]
第二子提取模块，用于基于差影算法提取所述第三图像中芯片的缺陷类型及缺陷位置，得到第四图像；
[0134]
第一子生成模块，用于通过人工对所述第四图像中芯片的缺陷类型及缺陷位置进行确认及补充，生成原始缺陷数据集；
[0135]
第二子生成模块，用于将所述原始缺陷数据集生成扩充缺陷数据集；
[0136]
第一子训练模块，用于将所述原始缺陷数据集和所述扩充缺陷数据集输入深度学习模型进行训练。
[0137]
利用不同角度的led光源照射芯片表面，并利用1200万像素的高分辨率工业相机拍摄不同光照下的芯片图像，从而获取到芯片的亮场和暗场图像，得到第一图像。采用中值滤波、均值滤波等形态学算法对第一图像进行平滑降噪处理，得到第二图像，再采用ncc模板匹配算法进行定位和分割，得到第三图像，之后再采用差影算法配准第二待测图像与标准图像之间在检测区域内的差异，从而得到芯片的缺陷类型及缺陷位置，得到第四图像；通过人工对传统算法检测的缺陷进行确认，以及补充缺陷标签，从而生成原始缺陷数据集；基于原始缺陷数据集通过生成对抗网络、图像融合等技术获得扩充缺陷数据集。扩充数据集的目的是解决现场缺陷类型较少，训练样本不够的难题。
[0138]
将所述原始缺陷数据集和所述扩充缺陷数据集输入深度学习模型进行训练。分别利用分类器训练出只需要用来区分好品和坏品的ai分类模型，以及利用yolov4网络训练yolo目标检测模型，对坏品的缺陷类型及位置进行精确的预测和定位。
[0139]
在一些实施例中，装置1包括：
[0140]
统计模块，用于统计及记录所述深度学习模型的训练准确率；
[0141]
第一判断模块，用于若所述深度学习模型的训练准确率大于第一阈值，则判定所述深度学习模型处于第二学习阶段；
[0142]
第一判断模块，用于若所述深度学习模型的训练准确率小于或者等于第一阈值，则判定所述深度学习模型处于第一学习阶段。
[0143]
以深度学习模型的训练准确率区别第一学习阶段和第二学习阶段。其中，深度学
习模型每一次训练均需要大于第二预设训练量。
[0144]
在一些实施例中，装置1包括：
[0145]
第一处理图像模块，用于采用otsu算法对所述第四图像进行图像分割；
[0146]
第二处理图像模块，用于采用图像形态学方法对分割后的第四图像进行处理。
[0147]
在差影后的图像中会出现一些虚假缺陷。为了消除虚假缺陷，将otsu算法应用于差影后的图像分割，并采用图像形态学的方法对分割后的图像进行处理，最后获得缺陷图像。
[0148]
采用otsu算法对所述第四图像进行图像分割，剔除掉差影后图像中的一些虚假缺陷；采用图像特征筛选的方法进行缺陷分类，对提取到的缺陷图像进行连通性分析并计算单个缺陷的长、宽、面积特征，其中缺陷面积大于脏污设定值的判定为脏污，缺陷长宽满足划痕设定值的判定为划痕，缺陷位置位于芯片边缘的判定为崩边，缺陷位置位于芯片四个角的判定为崩角。
[0149]
如图3所示，本技术实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储基于深度学习的缺陷检测方法的模型等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于深度学习的缺陷检测方法。
[0150]
上述处理器执行上述基于深度学习的缺陷检测方法的步骤：获取芯片的待测图像；
[0151]
识别深度学习模型的学习阶段，所述学习阶段包括第一学习阶段和第二学习阶段；
[0152]
若所述深度学习模型是处于第一学习阶段，则通过第一算法检测所述待测图像的缺陷类型及缺陷位置，得到第一检测结果；
[0153]
通过深度学习模型检测所述待测图像的缺陷类型及缺陷位置，得到第二检测结果；
[0154]
对所述第一检测结果和所述第二检测结果智能加权，得到最终的检测结果。
[0155]
在一个实施例中，在所述识别深度学习模型的学习阶段，所述学习阶段包括第一学习阶段和第二学习阶段的步骤之后，包括：
[0156]
若所述深度学习模型是处于第二学习阶段，则通过深度学习模型检测所述待测图像的缺陷类型及缺陷位置，得到最终的检测结果。
[0157]
在一个实施例中，在所述通过第一算法检测所述待测图像的缺陷类型及缺陷位置，得到第一检测结果的步骤中，包括：
[0158]
对所述待测图像进行平滑降噪处理，得到第一待测图像；
[0159]
基于ncc模板匹配算法对所述第一待测图像中的芯片位置进行定位及分割单个芯片，得到第二待测图像；
[0160]
基于差影算法提取所述第二待测图像中芯片的缺陷类型及缺陷位置，得到第一检
测结果。
[0161]
在一个实施例中，在所述识别深度学习模型的学习阶段的步骤之前，包括：
[0162]
对深度学习模型进行训练。
[0163]
在一个实施例中，在所述对深度学习模型进行训练的步骤中，包括：
[0164]
拍摄不同光照条件的芯片图像，得到亮场和暗场的第一图像；
[0165]
对所述第一图像进行平滑降噪处理，得到第二图像；
[0166]
基于ncc模板匹配算法对所述第二图像中的芯片位置进行定位及分割单个芯片，得到第三图像；
[0167]
基于差影算法提取所述第三图像中芯片的缺陷类型及缺陷位置，得到第四图像；
[0168]
通过人工对所述第四图像中芯片的缺陷类型及缺陷位置进行确认及补充，生成原始缺陷数据集；
[0169]
将所述原始缺陷数据集生成扩充缺陷数据集；
[0170]
将所述原始缺陷数据集和所述扩充缺陷数据集输入深度学习模型进行训练。
[0171]
在一个实施例中，在所述将所述原始缺陷数据集和所述扩充缺陷数据集输入深度学习模型进行训练的步骤之后，包括：
[0172]
统计及记录所述深度学习模型的训练准确率；
[0173]
若所述深度学习模型的训练准确率大于第一阈值，则判定所述深度学习模型处于第二学习阶段；
[0174]
若所述深度学习模型的训练准确率小于或者等于第一阈值，则判定所述深度学习模型处于第一学习阶段。
[0175]
在一个实施例中，在所述基于差影算法提取所述第三图像中芯片的缺陷类型及缺陷位置，得到第四图像的步骤之后，在所述通过人工对所述第四图像中芯片的缺陷类型及缺陷位置进行确认及补充，生成原始缺陷数据集的步骤之前，包括：
[0176]
采用otsu算法对所述第四图像进行图像分割；
[0177]
采用图像形态学方法对分割后的第四图像进行处理。
[0178]
本领域技术人员可以理解，图3中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定。
[0179]
本技术一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种基于深度学习的缺陷检测方法，具体为：获取芯片的待测图像；
[0180]
识别深度学习模型的学习阶段，所述学习阶段包括第一学习阶段和第二学习阶段；
[0181]
若所述深度学习模型是处于第一学习阶段，则通过第一算法检测所述待测图像的缺陷类型及缺陷位置，得到第一检测结果；
[0182]
通过深度学习模型检测所述待测图像的缺陷类型及缺陷位置，得到第二检测结果；
[0183]
对所述第一检测结果和所述第二检测结果智能加权，得到最终的检测结果。
[0184]
在一个实施例中，在所述识别深度学习模型的学习阶段，所述学习阶段包括第一学习阶段和第二学习阶段的步骤之后，包括：
[0185]
若所述深度学习模型是处于第二学习阶段，则通过深度学习模型检测所述待测图像的缺陷类型及缺陷位置，得到最终的检测结果。
[0186]
在一个实施例中，在所述通过第一算法检测所述待测图像的缺陷类型及缺陷位置，得到第一检测结果的步骤中，包括：
[0187]
对所述待测图像进行平滑降噪处理，得到第一待测图像；
[0188]
基于ncc模板匹配算法对所述第一待测图像中的芯片位置进行定位及分割单个芯片，得到第二待测图像；
[0189]
基于差影算法提取所述第二待测图像中芯片的缺陷类型及缺陷位置，得到第一检测结果。
[0190]
在一个实施例中，在所述识别深度学习模型的学习阶段的步骤之前，包括：
[0191]
对深度学习模型进行训练。
[0192]
在一个实施例中，在所述对深度学习模型进行训练的步骤中，包括：
[0193]
拍摄不同光照条件的芯片图像，得到亮场和暗场的第一图像；
[0194]
对所述第一图像进行平滑降噪处理，得到第二图像；
[0195]
基于ncc模板匹配算法对所述第二图像中的芯片位置进行定位及分割单个芯片，得到第三图像；
[0196]
基于差影算法提取所述第三图像中芯片的缺陷类型及缺陷位置，得到第四图像；
[0197]
通过人工对所述第四图像中芯片的缺陷类型及缺陷位置进行确认及补充，生成原始缺陷数据集；
[0198]
将所述原始缺陷数据集生成扩充缺陷数据集；
[0199]
将所述原始缺陷数据集和所述扩充缺陷数据集输入深度学习模型进行训练。
[0200]
在一个实施例中，在所述将所述原始缺陷数据集和所述扩充缺陷数据集输入深度学习模型进行训练的步骤之后，包括：
[0201]
统计及记录所述深度学习模型的训练准确率；
[0202]
若所述深度学习模型的训练准确率大于第一阈值，则判定所述深度学习模型处于第二学习阶段；
[0203]
若所述深度学习模型的训练准确率小于或者等于第一阈值，则判定所述深度学习模型处于第一学习阶段。
[0204]
在一个实施例中，在所述基于差影算法提取所述第三图像中芯片的缺陷类型及缺陷位置，得到第四图像的步骤之后，在所述通过人工对所述第四图像中芯片的缺陷类型及缺陷位置进行确认及补充，生成原始缺陷数据集的步骤之前，包括：
[0205]
采用otsu算法对所述第四图像进行图像分割；
[0206]
采用图像形态学方法对分割后的第四图像进行处理。
[0207]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括
随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双速据率sdram(ssrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0208]
以上所述仅为本技术的较佳实施例而已，并不用以限制本技术，凡在本技术的精神和原则之内所作的任何修改、等同替换和改进等，均应包括在本技术的保护范围之内。