一种基于数据融合的深度学习芯片封装缺陷识别算法的制作方法

一种基于数据融合的深度学习芯片封装缺陷识别算法
1.技术领域
2.本发明涉及计算机视觉图像识别领域，尤其涉及一种基于数据融合的深度学习芯片封装缺陷识别算法。
3.

背景技术：

4.集成电路产业是国民经济和社会发展的战略性、基础性和先导性产业，其技术水平和发展规模是衡量一个国家产业竞争力和综合国力的重要标志。在半导体芯片制造过程中，芯片外观缺陷需要高速高精度的检测。芯片外观缺陷有多种，包括了芯片定位、极性、方向、引脚共面度、引脚间距和面积、切筋不良、字符识别、表面划痕、气泡、残胶、断裂等二十多种缺陷。面对多种类缺陷检测，传统检测方法存在芯片封装缺陷图像分类准确率低、相似缺陷误判率高问题。
5.因此，有必要提供一种基于数据融合的深度学习芯片封装缺陷识别算法解决上述技术问题。
6.

技术实现要素：

7.本发明提供一种基于数据融合的深度学习芯片封装缺陷识别算法，解决了目前传统深度学习芯片封装缺陷图像分类准确率低、相似缺陷误判率高的问题。
8.为解决上述技术问题，本发明提供的基于数据融合的深度学习芯片封装缺陷识别算法，包括以下步骤：s1：获取芯片封装缺陷的2d彩色图像、3d深度图像（2d图像和3d图像分辨率相同，并一一对应），将获取的2d彩色图像整合为一彩色图像数据集k1，将获取的3d深度图像整合为一深度图像数据集k2，把彩色图像数据集k1、深度图像数据集k2都缩放至100*100大小；s2：数据集k1、k2的每一张彩色图像、深度图像按照如下操作，得到新的数据集k3；s21：将彩色图像转成灰度图，得到灰度图p1；s22：将彩色图像进行傅里叶变换转成频谱图，得到频谱图p2；s23：提取将彩色图像的边缘轮廓图，得到边缘轮廓图p3；s24：提取彩色图像的梯度图，得到梯度图p4：s25：对彩色图像提取rgb三个通道的数据，得到rgb三个单通道图片p5，p6，p7；s26：提取深度图像的边缘轮廓图，得到深度图像的边缘轮廓图p8；s27：对深度图像进行傅里叶变换转成频谱图，得到深度图像频谱图p9；s28：将p1-p9把张图片合成一张9通道的100*100的图片；s3：将新数据集k3划分为训练集k4和测试集k5；s4：训练过程：将s3得到的9通道的训练集k4图片输入到深度卷积网络中训练；
s5：测试过程：将s3得到的9通道的测试集k5图片输入到s4训练好的深度卷积网络，得到分类结果。
9.优选的，所述s2中提取灰度图的二值图采用的方法是大津二值化算法。
10.优选的，所述s2中提取梯度图方法采用sobel算子。
11.优选的，所述s2中提取图片的边缘轮廓图采用canny算子。
12.优选的，所述s4中，所述深度卷积网络结构为：第1层为输入层，输入9通道100*100的图片；第2层为卷积层，卷积核个数为32，卷积核大小为3*3；第3层为最大值池化层，核大小为2*2；第4层为卷积层，卷积核个数为32，卷积核大小为3*3；第5层为最大值池化层，核大小为2*2；第6层为卷积层，卷积核个数为32，卷积核大小为3*3；第7层为最大值池化层，核大小为2*2；第8、9层为全连接层，分别为150个和84个神经节点；第10层为输出层，输出节点为n。
13.与相关技术相比较，本发明提供的基于数据融合的深度学习芯片封装缺陷识别算法具有如下有益效果：本发明提供一种基于数据融合的深度学习芯片封装缺陷识别算法，相比目前的芯片封装缺陷识别技术，本发明方法对不同种类的相似缺陷图片具备较强的区分能力；采用2d、3d数据融合处理，提高芯片封装缺陷分类准确率，本发明主要通提取2d、3d图像的灰度图、轮廓图等9个通道图片融合，再将融合后的数据进行训练，因为加入了3d的相关信息，提高网络的细节提取能力，对不同种类的相似缺陷图片具备较好的区分能力。
14.附图说明
15.图1为本发明提供的基于数据融合的深度学习芯片封装缺陷识别算法的流程示意图；图2为本发明提供的基于数据融合的深度学习芯片封装缺陷识别算法的神经网络结构示意图。
16.具体实施方式
17.下面结合附图和实施方式对本发明作进一步说明。
18.请结合参阅图1、图2，其中，图1为本发明提供的基于数据融合的深度学习芯片封装缺陷识别算法的流程示意图；图2为本发明提供的基于数据融合的深度学习芯片封装缺陷识别算法的神经网络结构示意图。基于数据融合的深度学习芯片封装缺陷识别算法，包括以下步骤：s1：获取芯片封装缺陷的2d彩色图像、3d深度图像（2d图像和3d图像分辨率相同，并一一对应），将获取的2d彩色图像整合为一彩色图像数据集k1，将获取的3d深度图像整合为一深度图像数据集k2，把彩色图像数据集k1、深度图像数据集k2都缩放至100*100大小，一共有5类缺陷图片（分别是擦痕、划痕、孔洞、缺损、异物）；s2：数据集k1、k2的每一张彩色图像、深度图像按照如下操作，得到新的数据集k3；s21：将彩色图像转成灰度图，得到灰度图p1；
s22：将彩色图像进行傅里叶变换转成频谱图，得到频谱图p2；s23：提取将彩色图像的边缘轮廓图，得到边缘轮廓图p3；s24：提取彩色图像的梯度图，得到梯度图p4：s25：对彩色图像提取rgb三个通道的数据，得到rgb三个单通道图片p5，p6，p7；s26：提取深度图像的边缘轮廓图，得到深度图像的边缘轮廓图p8；s27：对深度图像进行傅里叶变换转成频谱图，得到深度图像频谱图p9；s28：将p1-p9把张图片合成一张9通道的100*100的图片；s3：将新数据集k3划分为训练集k4和测试集k5；s4：训练过程：将s3得到的9通道的训练集k4图片输入到深度卷积网络中训练；s5：测试过程：将s3得到的9通道的测试集k5图片输入到s4训练好的深度卷积网络，得到分类结果。
19.所述s2中提取灰度图的二值图采用的方法是大津二值化算法。
20.所述s2中提取梯度图方法采用sobel算子。
21.所述s2中提取图片的边缘轮廓图采用canny算子。
22.所述s4中，所述深度卷积网络结构为：第1层为输入层，输入9通道100*100的图片；第2层为卷积层，卷积核个数为32，卷积核大小为3*3；第3层为最大值池化层，核大小为2*2；第4层为卷积层，卷积核个数为32，卷积核大小为3*3；第5层为最大值池化层，核大小为2*2；第6层为卷积层，卷积核个数为32，卷积核大小为3*3；第7层为最大值池化层，核大小为2*2；第8、9层为全连接层，分别为150个和84个神经节点；第10层为输出层，输出节点为n（假设图像类别为n）。
23.本文方法与主流深度学习算法alexnet、vgg16方法进行测试对比，其中除了统计全部qfn芯片缺陷图像分类准确率，重点统计擦痕和划痕两种相似缺陷图片的分类准确率。表1三种方法测试结果对比：方法缺陷识别准确率擦痕和划痕分类准确率本发明方法99.37%98.76%alexnet96.79%92.70%vgg1697.62%96.55%由上表1可以看出，本发明方法整体缺陷识别准确率高于目前主流深度学习方法alexnet、vgg16，尤其在不同种类相似缺陷图片擦痕和划痕的分类准确率远高于alexnet、vgg16方法。
24.以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。