一种基于视觉图像的晶圆表面缺陷分区域检测方法与流程

本发明涉及半导体缺陷检测与图像处理技术领域，尤其涉及一种基于视觉图像的晶圆表面缺陷分区域检测方法。

背景技术：

晶片是指由单晶硅切割成的薄片，晶片是一种半成品，其进行深加工即可得到可用于实际生产的芯片，主要用来生产集成电路。中国是现今最大的半导体消耗国约占全球半导体的45％，其中仅15％为我国自主生产，预计到2020年占比约增涨至55％，未来十年国家计划投资达数千亿美元用于半导体生产。同时芯片的自给也对国家的发展起到战略的作用，尤其是在近期美国对我国的晶片技术封锁，对芯片相关的产品有着更为迫切的需求。现今，晶片缺损检测主要分为4种形式：纯人工检测；人工与图像结合检测；模板匹配以及机器学习检测，在中国主要以人工的形式进行缺损检测。所以开发设计出准确快速的晶片检测算法意义重大，其中的核心技术就是图像识别判断算法。人工判断由于主观因素的影响容易出现错检情况，同时效率不高1小时仅能检测0.5万片左右，且不能长时间的工作。其中模板匹配方法包含了缺陷区域面积阈值匹配；目标图像灰度直方图匹配；目标图像彩色直方图匹配；直方图相关匹配法；直方图卡方匹配法；直方图相交匹配法以及直方图bhattacharyya距离匹配法等。方图匹配广泛应用于图像的匹配，其中匹配的主要特征是图片不同灰度值像素点的个数。该算法的主要特点是检测的方法简答易于实现，但是可能会出现匹配结果精度很高但是两幅图片的相差很大的情况。计算周长与面积是应用最为广泛和成熟的方法，计算周长的原理是将晶圆的轮廓线连接起来，与设定的阈值进行比较，若测量的轮廓线长度位于规定的范围内则晶圆完好。这两种算法判断精度有了明显的提高较直方图统计，能满足一般精度的要是，但是若晶圆出现微小的崩边情况其检测的精度往往很低。由于晶片缺损的情况多达19种，模板匹配的准确率往往很低，但基于机器学习的方法已经在缺陷多达60种的布匹检测等领域中得到了很好的应用，但是若要对缺陷种类如此多的晶圆缺陷进行精确的检测需要大量的训练集样本，通常是不切实际的。在准确率上机器学习方法要远优于模板匹配，结合自动化在效率上高于人工处理。理论上基于人工智能识别的缺陷检测方法每小时检测量可达2-5万片左右，同时设备可以24小时全工况的运行，识别的效率可大大提升。结合现有方法的优点和缺点，本文设计了能满足该类型晶圆微小缺陷的晶圆表面缺陷检测的新型算法。

本专利研究的晶片尺寸为1mm-5mm，主要用于制造稳压与镇流芯片，通常晶片约有20％-30％的次品率。其中晶片的缺陷种类约有15种，分别对应于晶片的三个不同区域，由于晶片的缺陷可能出现在三个区域的任何位置同时区域的大小也是随机的，我们对这三个区域分开研究，检测出每个区域的缺陷即可对晶圆实现检测与分类。

技术实现要素：

发明的目的在于提供一种基于视觉图像的晶圆表面缺陷分区域检测方法，以解决现有技术在晶圆多种类缺陷检测时的准确率低的问题，同时为任何相似的缺陷和工况检测提供了一种指导性的检测方法。

一种基于视觉图像的晶圆表面缺陷分区域检测方法，包括：

基于微距定焦镜头持续曝光与全局扫描方式得到矩形晶圆原始彩色图像，晶圆为白色背景；

根据晶圆缺陷种类的特点将晶圆原彩色图像分割成3个研究区域，即外轮廓区、氧化膜区、晶粒区；所述外轮廓区的缺陷检测分为粗检与精检；

所述外轮廓粗检步骤：晶圆原彩色图像的去背景操作，先采用中值滤波去除掉孤立的干扰点，再遍历背景的所有像素记录rgb灰度值中最小的点对应的灰度值，根据对应的灰度值设置线性变换系数；

将rgb彩色晶圆图像转换为灰度图像，然后进行二值化得到二值图，并进行最外层轮廓提取，同时计算最外层轮廓包围的面积，若在设定的阈值范围内则进行精检；

所述精检的方法为基于粗检中的二值图像确定晶圆的倾斜角度与图像中晶圆的几何中心，绕着图像中晶圆的几何中心旋转使得晶圆的竖直边与图像的底边垂直，进行轮廓提取同时再提取水平与竖直边缘，并计算水平与竖直边的长度同时与阈值作比较，小于阈值则外轮廓没有缺陷；

进行氧化膜缺陷的检测，基于氧化膜所包围的轮廓线周长，对于粗检得到的二值图像进行全局轮廓提取，依据没有外轮廓缺陷晶圆的四个角点，基于角点的坐标对全局轮廓图像进行切割，得到仅有氧化膜轮廓线为最外层轮廓的图像，对该轮廓图像求最外层轮廓包围周长并与阈值比较即可判断氧化膜缺陷；

进行晶粒区的缺陷检测，对于粗检得到的二值图像进行全局轮廓提取，依据没有外轮廓缺陷晶圆的四个角点，基于角点的坐标对全局轮廓图像进行切割，得到仅含有晶粒区特征的轮廓线图像，对图像求全局外层轮廓包围周长并与阈值比较即可判断是否与晶粒区缺陷。

本发明对三个研究区域的缺陷类型进行单独的检测研究，进而达到检测的目的。对于外轮廓区检测，主要对应的缺陷类型有崩边与崩角，采用的方法是基于两步筛选的方式，即一通过最外层轮廓包围的面积与标准阈值作比较进行初检，若检测的晶圆有缺陷则直接判断有缺陷。若检测的晶圆没有缺陷则进行第二步精检，精检可以检测微小的崩边与崩角缺陷，相对于面积的方式具有较高的精度，可以满足实际的生产需求。

第二步基于晶圆四条边对应的标准直线长度来判断，若晶圆的一边中间出现缺陷则缺陷的部位将会把一完整的直线分割开来，若一角缺失则对应的线总长度会小于阈值。要获取准确的测量结果边长是重要的前提，同时不能有大的偏差。

进一步的，所述的氧化膜缺陷的检测中，基于角点的坐标对全局轮廓图像进行切割，即左上角的点a横纵坐标+15；左下角的点b横坐标+15，纵坐标-15；右上角的点c横坐标-15，纵坐标+15；右下角的点d横坐标-15，纵坐标-15，值可以根据批次的不同可以调整；在晶粒区的缺陷检测中，基于角点的坐标对全局轮廓图像进行切割方法为左上角的点a横纵坐标+75；左下角的点b横坐标+75，纵坐标-75；右上角的点c横坐标-75，纵坐标+75；右下角的点d横坐标-75，纵坐标-75，值可以根据批次的不同可以调整。

进一步的，彩色背景进行中值滤波，中值滤波后遍历所有像素找到3通道中灰度值最小的值pixel(x,y)；pixel(x,y)与255求商得到一对比度增强系数如公式(2)所示，基于图像处理中的线性处理变换公式g(x,y)＝αf(x,y)+β做全局处理，具体如公式(1)所示，

ibgr(i,j)＝(fb(i,j),fg(i,j),fr(i,j))(4)

其中fb(i,j)、fg(i,j)、fr(i,j)分别表示原始图像中对应的像素值蓝色、绿色、红色通道灰度值；fb(i,j)、fg(i,j)、fr(i,j)分别表示处理后的图像中对应的像素值蓝色、绿色、红色通道灰度值；表示对比度增强系数。

进一步的，所述外轮廓缺陷检测粗检中，外轮廓提取是基于梯度，采用canny边缘检测算子，二维空间的canny使用的一阶梯度算子

对于二维连续数据若有函数f(x,y)，可以分别求得x，y方向上的偏导数gx、gy：

梯度的大小和方向可表示为：

梯度的大小和方向计算可简化表示为：

m(x,y)≈|gx|+|gy|(9)

方向为：

轮廓提取是基于梯度，在晶圆的外轮廓边缘存在大量的高频区域，若采用sobel、robert算子则会出现宽度大于一个像素点的边缘，不利于高精度计算。此处采用的是具有非极大值抑制的canny边缘检测算子，canny检测的边缘只有一个像素点的宽度，便于计算判断。

进一步的，外轮廓缺陷检测精检中，旋转的中心是图像中晶圆的中心而非图像的中心；基于形态学操作提取晶圆的水平与竖直边缘，水平边的结构元素为水平结构，竖直边的结构元素为竖直结构；分别对提取出来的每条独立直线段求解长度，并与标准阈值比较；若得到的水平边与竖直边对应的长度小于固定的阈值则说明外轮廓去完好没有缺陷的存在。

进一步的，任意角度图像垂直化的实现步骤包括：

根据任意输入图像可以计算出晶片的顶边a1，得到a1边上等距分布的11个点的坐标分别为b1,b2,b3,b4,b5,b6,b7,b8,b9,b10,b11，根据以上的点拟合出对应边的直线方程，根据方程得出a1边对应直线的倾斜角α1∈[0,90)，同理可求出其他三边a2，a3，a4对应边的直线方程分别为la2，la3andla4，

la1＝fitting(b1,b2,b3,b4,b5,b6,b7,b7,b8,b9,b10,b11)(11)

根据la1，la3与la4，la2，la3与la4直线方程，分别求出它们的交点坐标x，y值，从小到大排序标记为点a,b,c,d，根据点a和点c的坐标求出晶片的旋转几何中心点坐标记为o1，几何中心点的x，y坐标的求解方式为：

xo1＝(yc-ya)/2+ya(13)

yo1＝(xc-xa)/2+xa(14)

令按逆时针旋转为正方向，顺时针方向旋转为负方向，则旋转方向可确定为，

(1)0°≤α1≤45°

angleofrotation＝-α1(15)

(2)45°＜α1＜90°

angleofrotation＝(90-α1)。(16)

进一步的，所述缺陷的检测步骤，只有在外轮廓区没有缺陷条件下才进行氧化膜区缺陷的检测，只有在氧化膜区没有缺陷条件下才进行晶粒区的缺陷检测；只有当粗检合格的条件下才进行精检。

进一步的，所述的外轮廓缺陷检测粗检中二值化处理采用固定阈值二值化，所述中值滤波采用长度为3宽度为1的结构元素进行中值滤波。

进一步的，所述的所述外轮廓缺陷检测粗检中，外轮廓提取的轮廓信息包括最外轮廓、氧化膜轮廓和晶粒区缺陷特征的轮廓，所述氧化膜轮廓可直接用于氧化膜区缺陷的检测，所述晶粒区缺陷的轮廓可直接用于晶粒区缺陷的检测。

固定阈值可以保证提取的精度，因为背景像素点的灰度值已经全为255不会对提取产生影响。采用长度为3宽度为1的结构元素进行中值滤波，消除二值图像中的孤立点干扰。

进一步的，所述的rgb彩色晶圆图像转换为灰度图像转换的方式为3通道平均取值，即i(x,y)＝1/3*r(x,y)+1/3*g(x,y)+1/3*b(x,y)。

本发明中外轮廓区可以检测的缺陷有崩边、崩角缺陷；氧化膜区可以检测的缺陷有氧化膜缺失、氧化膜跨区域、氧化膜锯齿；晶粒区可以检测的缺陷有污渍、红墨水、晶粒缺失、划痕、区域大面积的氧化膜缺陷、以及纹理缺陷；本发明实现了不需要训练样本集，特别适用于晶圆生产的初期与小批量特定类型的晶圆的表面缺陷检测，效率较人工显著提高，对特定类型检测有着重要的指导意义。

附图说明

图1晶圆分析区域的划分；

图2去背景效果图；

图3二值化的晶圆表面图；

图4轮廓的提取效果；

图5旋转原理图；

图6旋转效果图；

图7最外层轮廓对应直线的提取；

图8氧化膜区轮廓线的分割；

图9晶粒区轮廓线的分割。

具体实施方式

下面结合说明书附图对本发明的技术方案作进一步说明。

1电脑硬件与软件配置：采用winsows764位系统，处理器为amdfx-8350,内存ddr312g，硬盘ssd850，显卡蓝宝石r9390。图像分析处理软件是基于visualstudio15为平台，图像处理的库是opencv版本为3.4.4。摄像头为大恒图像，全局曝光模式，环形led灯光源。

2根据晶圆表面图像的结构特性将晶圆表面图像划分成三个区域，每个区域有对应种类的缺陷类型，分别包含了外轮廓区、氧化膜区、晶粒区。对三个区域的缺陷类型进行单独的研究分析，进而达到检测的目的。分割的主要依据是相同晶圆尺寸的四个角点与各区域之间的图像坐标系之间的对应关系。晶圆分析区域的划分形式如图1所示。

3外轮廓区检测

主要对应的缺陷类型有崩边与崩角，采用的方法是基于两步筛选的方式，即一通过最外层轮廓包围的面积与标准阈值作比较进行初检，若检测的晶圆有缺陷则直接判断有缺陷。若检测的晶圆没有缺陷则进行第二步精检，精检可以检测微小的崩边与崩角缺陷，相对于面积的方式具有较高的精度，可以满足实际的生产需求。第二步基于晶圆四条边对应的标准直线长度来判断，若晶圆的一边中间出现缺陷则缺陷的部位将会把一完整的直线分割开来，若一角缺失则对应的线总长度会小于阈值。但要获取准确的边长是重要的前提，同时不能有大的偏差。

第一步外轮廓区初检的实施步骤：

处理的方式为，首先采用保边算法即中值滤波算法去除掉离散的椒盐噪声，防止因为孤立点取值时让晶圆的图像整体偏亮。遍历所有背景的像素点，找到彩色图像3通道中其灰度值对应的最小值点，并记录其具体的灰度值。该值与255求商得到一对比度增强系数，基于图像处理中的线性处理变换公式g(x,y)＝αf(x,y)+β做全局处理，即可将背景所有点的像素值变换为255，图像整体的对比度会有一定的提升。去背景的原理是，在不模糊晶圆轮廓信息的前提下去除背景噪声的目的。拍摄晶圆图像时采用的是白色背景即bgr＝(255,255,255)，当有噪声的干扰时会使其中一个或多个通道的值小于255，因此找到背景像素中通道灰度的最小值pixel(x,y)，基于此最小值来确定我们的增强系数，如公式1所示。对整幅图像的像素点进行操作如公式2，进而达到去除背景噪声的目的。效果如图2所示。

ibgr(i,j)＝(fb(i,j),fg(i,j),fr(i,j))(4)

其中fb(i,j)、fg(i,j)、fr(i,j)分别表示原始图像中对应的像素值蓝色、绿色、红色通道灰度值；fb(i,j)、fg(i,j)、fr(i,j)分别表示处理后的图像中对应的像素值蓝色、绿色、红色通道灰度值；表示对比度增强系数；ibgr(i,j)代表对应像素点的灰度值。

晶圆彩色图像灰度化，可以采用平局值法与不同系数法，将彩色图像转化为灰度图文中采用平局值的方式即i(x,y)＝1/3*r(x,y)+1/3*g(x,y)+1/3*b(x,y)。

二值化处理：二值化的方式采用固定阈值二值化，固定阈值可以保证提取的精度，因为背景像素点的灰度值已经全为255不会对提取产生影响。对应的实现代码threshold(pic6,pic7,220,255,cv_thresh_binary)；

二值图像滤波处理：采用长度为3宽度为1的结构元素进行中值滤波，消除孤立点的干扰。对应的实现代码medianblur(pic7,pic8,3)，处理后的效果如图3

二值图像轮廓提取：轮廓提取是基于梯度，在晶圆的外轮廓边缘存在大量的高频区域，若采用sobel、robert算子则会出现宽度大于一个像素点的边缘，不利于计算法的精度。此处采用的是具有非极大值抑制的canny边缘检测算子，canny检测的边缘只有一个像素点的宽度，便于计算判断。因为初检只用计算最外层的轮廓即可。二维空间的canny使用的一阶梯度算子

对于二维连续数据若有函数f(x,y)，可以分别求得x，y方向上的偏导数gx、gy：

梯度的大小和方向可表示为：

梯度的大小和方向计算可简化表示为：

m(x,y)≈|gx|+|gy|(9)

方向为：

对应的实现代码canny(pic8,pic9,100,255,3)，轮廓的提取效果如图4。

对最外层轮廓图像的包围的面积求解：基于opencv中的求解面积函数contourarea，得到最外层轮廓所包围的面积，并与标准的阈值进行比较判断。

第二步外轮廓区精检的实施步骤：对第一步得到的二值图像进行旋转处理，图像的旋转中心位于图像中晶圆的几何中心，旋转中心的确定基于图像中晶圆所包围的最小轮廓矩行所对应的中心。旋转后的晶圆在图像中的竖直边垂直于图像底边，旋转多出来的空穴填上相应的灰度值为255。

任意角度图像垂直化的实现：根据任意输入图像可以计算出晶片的顶边即图中的a1边，可以得到a1边上等距分布的11个点的坐标分别为b1,b2,b3,b4,b5,b6,b7,b8,b9,b10,b11，根据以上的点拟合出对应边的直线方程，根据方程得出a1边对应直线的倾斜角α1∈[0,90)，同理可求出a2，a3，a4对应边的直线方程分别为la2，la3andla4，旋转原理结合图5说明。

la1＝fitting(b1,b2,b3,b4,b5,b6,b7,b7,b8,b9,b10,b11)(11)

根据la1，la3与la4，la2，la3与la4直线方程，分别求出它们的交点坐标x，y值，从小到大排序标记为点a,b,c,d，根据点a和点c的坐标求出晶片的旋转几何中心点坐标记为o1，几何中心点的x，y坐标的求解方式为：

xo1＝(yc-ya)/2+ya(13)

yo1＝(xc-xa)/2+xa(14)

令按逆时针旋转为正方向，顺时针方向旋转为负方向，则旋转方向可确定为，如图5所示：

(1)0°≤α1≤45°

angleofrotation＝-α1(15)

(2)45°＜α1＜90°

angleofrotation＝(90-α1)(16)

旋转多出来的空穴填上相应的灰度值255，旋转效果图如图6。

基于形态学操作提取晶圆的水平与竖直边缘，水平边的结构元素为水平结构，长度为cols/2单一像素宽度；竖直边的结构元素为竖直结构，长度为rows/2单一像素宽度。提取的效果图如图7所示。

分别对提取出来的每条独立直线段求解长度，并与标准阈值比较。若得到的水平边与竖直边的有效边总数为4，且对应的长度误差小于固定的阈值则说明外轮廓去完好没有缺陷的存在。

4氧化膜区缺陷的检测：氧化膜区的检测是基于在外轮廓检测完好的前提下，若外轮廓检测有缺陷则不用进行氧化膜区域的检测。因此在进行氧化膜的检测时，对应的晶圆图像是没有崩边或是崩角缺陷的，四个角点是存在的。在晶圆的加工过程中，氧化膜隔离区通常都伴有锯齿，小范围的锯齿是不影响晶圆性能的，但出现连续大范围的锯齿不仅不利于检测同时对晶圆的性能也会产生影响。对于同一批次的晶圆氧化膜所包围的周长是相对固定的，因此本专利采用氧化膜轮廓包围长度作为判断的依据。

对于外轮廓区第一次初检，获得的二值图像可直接被用于氧化膜区缺陷的检测。首先基于全局canny轮廓检测提取晶圆的所有轮廓信息，对应的轮廓信息包含三部分：最外轮廓、氧化膜轮廓、晶粒区缺陷特征的轮廓。若晶粒区没有缺陷则对应的晶粒区就不会存在轮廓。

提取氧化膜区域轮廓的方式：对于晶圆的二值图像求其最外层轮廓findcontours(pic9,contours21,hierarchy21,retr_external,chain_approx_none,point())，根据最外层轮廓所在图像中的坐标位置关系对晶圆的全局轮廓进行裁剪。

由最外层轮廓对应的四个角点分别做代数运算，即左上角的点a横纵坐标+15；左下角的点b横坐标+15，纵坐标-15；右上角的点c横坐标-15，纵坐标+15；右下角的点d横坐标-15，纵坐标-15。由于外轮廓的检测完好，因此氧化膜缺陷中依据的四个角点的坐标是存在的。

根据四个角点的坐标对全局轮廓图像进行裁剪。即可得到仅包含氧化膜区与晶粒区特征的轮廓图像，如图8所示。

对该图像求解最外层轮廓包围的曲线长度，使用的opencv函数为arclength。此处的最外层轮廓对应的是氧化膜的轮廓。

该长度与设定的阈值比较判断即可对氧化膜区的缺陷进行检测。

5晶粒区缺陷的检测：

晶粒区的检测基于在外轮廓区与氧化膜区检测完好的前提下，若氧化膜区检测有缺陷则不进行晶粒区域的检测。因此在进行晶粒区域的检测时，对应的晶圆图像是没有崩边或是崩角缺陷的，四个角点是存在的。对于晶粒区缺陷的检测，当晶粒区特征所包围的周长超过设定的阈值0，则对应的晶粒区存在的缺陷。

对于外轮廓区第一次初检，获得的二值图像可直接被于晶粒区缺陷的检测。首先基于全局canny轮廓检测提取晶圆的所有轮廓信息，对应的轮廓信息包含三部分：最外轮廓、氧化膜轮廓、晶粒区缺陷特征的轮廓。

提取晶粒区特征轮廓的方式：对于晶圆的二值图像求其最外层轮廓findcontours(pic9,contours21,hierarchy21,retr_external,chain_approx_none,point())，根据最外层轮廓所在图像中的坐标位置关系对晶圆的全局轮廓进行裁剪。由最外层轮廓对应的四个角点分别做代数运算，即左上角的点a横纵坐标+75；左下角的点b横坐标+75，纵坐标-75；右上角的点c横坐标-75，纵坐标+75；右下角的点d横坐标-75，纵坐标-75。由于外轮廓的检测完好，因此氧化膜缺陷中依据的四个角点的坐标是存在的。

根据四个角点的坐标对全局轮廓图像进行裁剪。即可得到仅包含晶粒区特征的轮廓图像，如图9所示，若晶粒区完好则没有特征。

对该图像求解全局轮廓所包围的曲线长度，使用opencv函数为arclength，此处的全局轮廓对应的是晶粒区存在缺陷特征的轮廓。该长度与设定的阈值比较判断即可知道晶粒区是否与缺陷。