一种基于CNN的高密度微led芯片视觉检测方法与流程

本发明涉及芯片测试以及人工智能神经网络领域，具体涉及一种基于cnn的高密度微led芯片的检测方法。

背景技术：

人工神经网络是仿照生物神经网络工作的计算模型。由于其本质是一种并行结构，人工神经网络被广泛应用以提高执行速度。

随着集成工艺的发展，硅片上以高密度集成越来越多芯片样本，芯片之间间隔越来越小，所以在检测芯片时遇到很大的挑战。为了解决这个问题，许多检测方法被提出来以提高检测的效果，但速度慢，消耗时间多。因此在降低检测时间的基础上提高检测的准确率是有意义的。

技术实现要素：

为了解决现有技术中的不足，本发明提供了一种基于cnn的高密度微led芯片视觉检测方法，降低芯片检测时间，提高检测的准确率。

为了实现上述目标，本发明采用如下技术方案：一种基于cnn的高密度微led芯片视觉检测方法，包括步骤：

步骤一：将微led芯片二值化，将芯片转化成黑白图像，其中硅片为黑色、微led芯片样本为白色；

步骤二：根据连通域分割方法，以行和列方式将芯片划分为若干个区域，每个区域包含一个微led芯片样本，区域数量取决于微led芯片内所设计的样本数量；

步骤三：将划分的区域作为卷积神经网络的输入，采用不同结构的卷积层对每个区域提取相关特征，采用2×2大小的池化滤波器实现池化降低样本图像的维度，获得特征图；

步骤四：将提取到的特征图采用卷积神经网络全连接层和softmax函数实现芯片好坏检测，卷积神经网络输出层的神经元数量设置为2代表好和坏两种结果，通过softmax函数计算每个神经元的输出概率判断样本的质量，其中识别为好样本输出为[10]、识别为坏样本输出为[01]。

步骤一中，设定的全局阈值t，将微led硅片转化为黑白图像，所有比阈值亮或者等于阈值的像素点转化为白色，而所有比阈值暗的像素点转换为黑色，满足i(x1,y1)≥t>i(x2,y2)，其中，i(x1,y1)属于微led芯片样本区域的像素点像素，i(x2,y2)属于微led芯片样本区域外的像素点像素。

步骤二中，连通域是指图像中具有相同像素值的相邻像素点组成的区域，每个白色模块是一个连通域，不同模块之间是不同的连通域，从而划分成多个区域，满足公式区域数量n表示硅片中微led芯片排列的行数，ni表示每一行中样本的数量，i为自然数。

步骤三中，尺寸为m×m的新卷积特征图conv(xi,kij)(m,n)或池化特征图aver_pool(m,n)在(m,n)像素点所获得的值分别由以下公式确定：

xi表示上一个网络层第i个图像，kij表示用来计算第j个输出特征图与第i个输入图像卷积大小为k×k的卷积核，f()为卷积神经网络激活函数，s表示池化步长，m、n是整数满足1≤m,n≤m，w、h表示卷积核中第w行、第h列的位置满足0≤w,h≤k-1，p、q为池化滤波器中第p行、第q列的位置。

步骤四中，通过采用卷积神经网络全连接层全连接方式将样本特征传输给输出层，softmax函数由下面公式所定义，根据softmax函数计算出的最高概率结果取决于样本的检测结果

式中，fsoftmax为每个神经元被识别为输出结果的概率，xi为输出层第i个神经元的输出概率；xj为输出层第j个神经元的输出概率；n＝2为输出层的神经元数量，代表芯片检测为好或坏两种结果。

卷积神经网络在计算中采用参数共享策略，同一层的所有神经元都是用一组参数，多个神经元可以同时计算，加快了网络的检测速度。

使用多个卷积神经网络同时检测划分后的芯片样本，提高了微led芯片检测速度。

使用卷积神经网络有效提高芯片检测的准确率。

本发明达到的有益效果：本发明将卷积神经网络应用于微led芯片检测，将芯片划分成若干个图像块，每个图像块包含一个芯片样本。图像块传输给卷积神经网络，采用卷积神经网络卷积层和池化层实现特征提取，采用全连接和softmax函数实现芯片分类，多个卷积神经网络同时检测有效提高芯片检测速度。检测结果证明，使用卷积神经网络实现芯片检测降低了检测时间的同时，有效提高了检测的准确率。

附图说明

图1是微led芯片二值化后得到的图像效果；

图2是微led芯片分割结果；

图3是微led芯片检测流程图。

图4是微led芯片检测使用的卷积神经网络模型。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

一种基于cnn的高密度微led芯片视觉检测方法，包括以下步骤：

步骤一：将微led芯片二值化，将芯片转化成黑白图像，其中硅片为黑色、微led芯片样本为白色。

根据设定的全局阈值t，将微led芯片转化为黑白图像，所有比阈值亮的像素点转化为白色，而所有比阈值暗的像素点转换为黑色。硅片图像像素点的像素值满足以下公式：

i(x1,y1)≥t>i(x2,y2)

(x1,y1)表示比阈值亮的像素点，(x2,y2)表示比阈值暗的像素点。如图1所示，微led芯片区域的所有像素点都转换为白色，而芯片之间的间隔区域的所有像素点都转换为黑色。

步骤二：根据连通域分割方法，以行和列方式将芯片划分为若干个区域，每个区域包含一个微led芯片样本，区域数量取决于微led芯片内所设计的样本数量。

连通域是指图像中具有相同像素值的相邻像素点组成的区域，从第一个白色像素点i(x,y)，寻找周围相邻的像素，如果满足i(x,y)≤i(x,y)相邻，则这两个像素都属于同一个连通域。此时i(x,y)新的像素值为：

i(x,y)＝min{i(x,y)相邻}

如果i(x,y)所有相邻点的像素值都小于i(x,y)的像素值时，连通域中断，一个新的连通域被形成。如图1所示，每个白色块的样本是一个连通域，不同样本之间是不同的连通域。

根据连通域的划分，将微led芯片进行分割，每个连通域被分割成一个模块如图2所示。分割的区域数量由以下公式计算：

n表示芯片中样本排列成多少行；ni表示每一行中样本的数量。

步骤三：将划分的区域作为卷积神经网络的输入，采用不同结构的卷积层对每个区域提取相关特征，采用2×2大小的池化滤波器实现池化降低样本图像的维度，获得特征图。

如图3所示，分割后的样本图像采用卷积神经网络的卷积和池化算法实现特征提取和图像降维功能，从而得出多个包含不同特点的特征图。图4给出本发明针对微led芯片的尺寸所使用的卷积神经网络模型的结构。从图中可看出，尺寸为m×m的新卷积特征图conv(xi,kij)(m,n)在(m,n)像素点所获得的值分别由以下公式确定：

xi表示上一个网络层第i个图像，kij表示用来计算第j个输出特征图与第i个输入图像卷积大小为k×k的卷积核，f()为卷积神经网络激活函数，m、n是整数满足1≤m,n≤m，w、h表示卷积核中第w行、第h列的位置满足0≤w,h≤k-1，i为输入图像的大小，s为卷积滑动步长，p为填充值。而尺寸为m×m的新池化特征图aver_pool(m,n)在(m,n)像素点所获得的值分别由以下公式确定：

m、n是整数满足1≤m,n≤m，p、q为池化滤波器中第p行、第q列的位置，l表示池化滤波器大小为l×l，s表示池化步长。

步骤四：将提取到的特征图采用卷积神经网络全连接层和softmax函数实现芯片好坏检测，卷积神经网络输出层的神经元数量设置为2代表好和坏两种结果，通过softmax函数计算每个神经元的输出概率判断样本的质量，其中识别为好样本输出为[10]、识别为坏样本输出为[01]。

通过全连接方式将样本特征传输给输出层，softmax函数由以下公式所定义，根据softmax函数计算出的最高概率结果取决于样本的检测结果。

fsoftmax为每个神经元被识别为输出结果的概率，xi为输出层第i个神经元的输出概率，xj为输出层第j个神经元的输出概率，n＝2为输出层的神经元数量，代表芯片检测为好或坏两种结果。

因为卷积神经网络在计算中采用参数共享策略，多个神经元可以同时计算，同时如图3所示，多个卷积神经网络同时实现检测划分后的芯片样本，因此基于卷积神经网络的微led芯片检测算法相比其他的检测方法来说，其加快了芯片检测速度。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。