一种基于WaferDet网络的晶圆缺陷检测方法与流程

本发明涉及半导体缺陷检测与图像处理
技术领域：
，尤其涉及一种基于waferdet网络的晶圆缺陷检测方法。
背景技术：
：随着芯片在国家高科技产业发展中起着越来越关键作用，晶圆作为其原料也是至关重要的。但目前由于我国晶圆的制造技术跟国外先进厂商差距大，相关合作企业反馈，在晶圆的生产过程中，存在较多具有划痕、腐蚀、缺边、断裂缺陷的不合格晶圆。如果这些带有缺陷的晶圆在上游生产厂家没有被检测出来，下游用户产品的质量将很难得到保障，晶圆的生产企业的信誉与形象也会受到很大程度的损害。因此，探索具备高性能、高效率的晶圆外观缺陷检测方法成为众多科研单位的研究目标。纵观国内外晶圆外观缺陷检测的相关技术研究可大体分为三类。首先是传统的人工肉眼检测方法。它的技术含量低，其检测效果完全依赖检验员技术水平，并且人工肉眼存在疲劳现象，这会导致误检率升高；其次是基于激光测量的检测方法。其主要原理是采用x光检查机中产生的x射线照射晶圆表面来穿透晶圆后成像，这使得晶圆的内部结构断裂情况清晰显示。但该方法设备造价昂贵，且需要专人维护；最后是基于机器视觉的检测方法。该检测方法具有速度快、精度高、灵活性高、非接触性等优点。东北大学、上海宝钢集团公司、武汉科技大学等科研院所研究了采用机器视觉方法识别冷轧钢板表面缺陷的检测系统；重庆大学对高温连铸坯表面缺陷进行了研究。在包装印刷领域，美国cognex建立了一整套缺陷检测系统，同时还可以检测电子产品，食品饮料；jlivision公司基于机器视觉的缺陷检测系统适用于玻璃、塑料、钢、包装品；在国内。文献《基于深度学习的食用油灌装质量检测系统》提出了一种基于fastrcnn神经网络对食用油罐进行质量检测的方法，其检出率均在99%以上，检测速度在100ms以下，取得了不错的效果；文献《基于机器视觉的透明塑料件缺陷检测》基于fasterrcnn神经网络对透明塑料件进行缺陷检测，准确率85%，召回率90%，检测速度101ms。但是在晶圆外观缺陷检测领域，由于生产厂商对于晶圆数据的保密举措，使得晶圆外观缺陷检测缺乏具有代表性的数据集，导致相关的深度学习算法在该领域的研究和应用很有限。技术实现要素：本发明的目的在于提供一种基于waferdet网络的晶圆缺陷检测方法，实现了晶圆缺陷自动检测，且相比较于传统方法，提高晶圆缺陷检测效率与检测精度。具体技术方案如下：一种应用于晶圆缺陷检测的waferdet网络方法，该方法步骤包括：(1)输入已标注晶圆缺陷图像数据（图像数据大小应为640*640，晶圆外观采集设备如图1所示）；(2)将整张晶圆缺陷图像输入efficientnet特征提取网络（efficientnet特征提取网络结构如图3左侧所示），进行特征提取；(3)在efficientnetp3、p4、p5、p6、p7层特征下采样，用采样的特征图构建双向特征金字塔，对特征进行融合；(4)对特征金字塔各输出层用rpn在生成建议窗口，确定感兴趣区域，每张图片生成1000个建议窗口；(5)通过roipooling层使每个roi生成固定尺寸的晶圆特征图谱；(6)利用softmaxloss(晶圆缺陷分类损失函数)和smoothl1loss(晶圆缺陷边框回归损失函数)对网络进行训练；(7)用训练好的网络模型检测未标注的晶圆图片，检测其是否具有缺陷、缺陷类型以及位置。所述方法步骤(3)(4)(5)是基于传统fpn的改进或变种：并借鉴panet的思想，创建自底向上路径的增强；去掉只有一个输入的节点，将被删除节点输入节点的信息直接传输给被删除节点的输出节点；引入resnet残差模块的跳链接思想，将浅层网络的特征传递到深层；所述方法的sgd的动量参数为0.9，权值衰减参数为4e-5；训练双向rpn时，对每张输入图像，抽取256个作为训练集，其中正例overlap(iou)>0.35，负例overlap<0.001，且正例占比不超过20%；在训练resnet-101时，设置rpn提供1000个roi，从中随机选取256个作为训练集,其中正例overlap(iou)>0.3，负例overlap<0.001，且正例占比不超过5%，设置学习率lr=0.00005。附图说明图1a是fpn结构图；图1b是双向fpn结构图；图2是waferdet晶圆缺陷检测网络框架示意图；图3是waferdet检测结果图。具体实施方式下面结合说明书附图对本发明的技术方案作进一步说明。1、实验的软件与硬件环境电脑硬件与软件配置，采用ubuntu64位系统，处理器为i78700k，内存24g，显卡1070ti。软件环境为pytorch1.0以及imgaug数据增强库。2、晶圆的图像采集采用了2600万hdmi工业相机进行图像采集，其中，使用了90-270v宽电压可调光源对晶圆进行打光。通过微距定焦镜头全局扫描得到矩形晶圆原始彩色图像。摄像头的感光芯片尺寸大小为2/3″(8.8mm*6.6mm)，每个像素点之间的距离精度可达3.6um，对于lmm*lmm的晶片实现50um的检测精度，完全可满足实际生产缺陷检测的精度要求。采集设备详细配置为：2600万hdmi工业相机、qjy-508镜、qjy-508镜头支架、90-270v宽电压相机电源、90-270v宽电压可调光源、相机测量软件光盘和校正尺。3、晶圆外观缺陷的检测方法选择采用深度学习的方法来检测晶圆的外观缺陷。对于晶圆缺陷图像的理解主要有三个层次：分类、检测、分割。对于晶圆外观缺陷检测任务，需要检测出的外观缺陷主要有玻璃凹陷、晶片崩边、焊接面有玻璃、晶粒破裂、边角料和表面残留氧化膜。若将此视为一个分类任务，由于缺陷类型较多，各类型之间背景干扰较大，笼统的训练分类器，识别效果将无法保证。本申请最终目标是剔除缺陷晶圆，也不需要对晶圆缺陷进行像素级的分割。因此，为检测出晶圆缺陷的种类与位置，采用边界框标记缺陷是最好的方案。4、waferdet晶圆外观缺陷检测算法实现首先，采用efficientnet作为基础网络来提取晶圆外观缺陷特征。efficientnet由google采用架构搜索技术发现，其在特征提取的精度和效率上取得了很好的表现。在imagenet图像数据集上，efficientnet-b7超越了之前最好的gpipe模型的精度，并且参数量少了88%、速度快了6.1倍。相比于广泛使用的resnet-50网络，efficientnets-b4在相近的flops下将top-1精度从76.3%提高到了82.6%。除了imagenet数据集，efficientnets在其他数据集上表现也很好，在广泛应用的8个数据集中，有5个实现了最先进的精度，并且比现有的卷积网络的参数量减少了95%。然后，将提取的特征输入双向特征金字塔网络，其由原始特征金字塔网络改进而成。传统fpn如图1a所示，顶层特征采用两倍加权的线性方式与低一层特征进行融合，但是，panet研究发现，低级别的特征有助于大量数据的识别。但从底层结构到最顶层的特征，越来越难以访问准确地定位信息。因此，本发明借鉴panet的思想，创建了自底向上路径增强，如图1b所示。另外，为了减少计算量，我们去掉了只有一个输入的节点，构建了如图1b所示的自顶向下传播方式，同时引入resnet残差模块的跳连接思想，将浅层特征传递给深层，进行学习。最终构建了如图1b所示的双向fpn结构。最后，采用rpn网络在提取的特征图谱上生成感兴趣区域，其中，一个分类层识别感兴趣区域的缺陷类别，一个回归层直接在特征图谱上确定缺陷标记框位置。将改进后的整体网络命名为“waferdet”，其网络结构示意图如图2所示。算法具体步骤为：(1)输入已标注晶圆缺陷图像数据；(2)将整张晶圆缺陷图像输入efficientnet特征提取网络，进行特征提取；(3)在efficientnetp3、p4、p5、p6、p7层特征下采样，用采样的特征图构建双向特征金字塔，对特征进行融合；(4)对特征金字塔各输出层用rpn在生成建议窗口，确定感兴趣区域，每张图片生成1000个建议窗口；(5)通过roipooling层使每个roi生成固定尺寸的晶圆特征图谱；(6)利用softmaxloss(晶圆缺陷分类损失函数)和smoothl1loss(晶圆缺陷边框回归损失函数)对网络进行训练；(7)用训练好的网络模型检测未标注的晶圆图片，检测其是否具有缺陷、缺陷类型以及位置。5、waferdet晶圆外观缺陷检测算法训练以640x640大小图片作为输入，通过sgd方法进行训练，动量设置为0.9，权值衰减设置为4e-5。在训练双向rpn时,对每张输入图像,从中随机抽取256个作为训练集,其中正例overlap(iou)>0.35,负例overlap<0.001,且正例占比不超过20%。分类器采用softmax损失函数。在训练efficientnet时,控制双向rpn提供roi数量为1000个,从中随机选取256个作为训练集,其中正例overlap(iou)>0.3,负例overlap<0.001,且正例占比不超过5%,设置学习率lr=0.005。分类器采用softmax函数;而边界回归采用smoothl1loss函数。6、测试结果与分析训练好的waferdet在1070tigpu计算模式下每张图平均耗时87ms，参数量为50m。得到缺陷检测结果如表1所示：表1waferdet检测结果统计表数量正确错误有缺陷（正类）228246无缺陷（负类）75635精确率fp=2282/(2282+46)=98.0%召回率fr=2282/（2282+35)=98.5%f1score=2/(l/p+l/r)=98.25%其中检测结果ｍap=0.835。部分检测结果如图3所示。由上述计算分析可知，waferdet网络在只有50m模型参数的情况下，取得了平均精度98%的检测精确度，同时模型推理速度达到87ms/张。7.算法对比分析为了证明本算法在速度与精度上较现今主流的检测算法具有更好的性能，将本算法与fasterrcnn,fpn两个主流检测算法进行对比。用上述训练waferdet相同的数据集训练好fasterrcnn与fpn两个检测算法，用上述测试waferdet的测试集对fasterrcnn与fpn算法进行测试，测试结果如下：训练好的fasterrcnn检测模型1070tigpu计算模式下每张图平均耗时210ms，参数量为135m。。得到缺陷检测结果如表2所示：表2fasterrcnn检测结果统计数量正确错误有缺陷（正类）2090180无缺陷（负类）785145计算得：精确率fp=2090/(2090+180)=92.1%召回率fr=2090/（2090+145)=93.5%f1score=2/(l/p+l/r)=92.8%其中检测结果ｍap=0.78。训练好的fpn检测模型1070tigpu计算模式下每张图平均耗时248ms，参数量为187m。得到缺陷检测结果如表3所示：表3fpn检测结果统计表数量正确错误有缺陷（正类）2162110无缺陷（负类）822105计算得：精确率fp=2162/(2162+110)=95.2%召回率fr=2162/（2162+105)=95.4%f1score=2/(l/p+l/r)=95.3%其中检测结果ｍap=0.82。对比分析可知，上述三种算法在计算精度和推理速度上，本文的waferdet算法都优于fasterrcnn与fpn两种检测算法。尤其是本文waferdet算法在同等条件下参数量只有50ｍ，却取得了最高的0.835的map。相比现今目标检测使用两种主流算法fasterrcnn与fpn表现了较大的优势。当前第1页12