一种基于神经网络架构搜索的晶圆缺陷检测方法与流程

本发明属于缺陷检测，更为具体地讲，涉及一种基于神经网络架构搜索的晶圆缺陷检测方法。

背景技术：

1、近年来，半导体产业的重要性日益增加，半导体制造包括四个过程，即生产、测试、组装和最终测试。在晶片测试阶段，将对晶片上每个管芯的功能进行测试，并将检测结果绘制为晶片图。晶片测试部分对半导体晶片制造系统(swfs)至关重要，因为晶片图可用于缺陷模式识别(dpr)，便于检查生产中的问题并提高后续产品的良品率。

2、在摩尔定律的指导下，晶片图上的管芯密度随着晶片制造技术的发展而大大增加。当晶片上的管芯变得致密时，更可能观察到单个晶片图上出现多个缺陷图案。图1显示了一些具有混合类型缺陷模式的示例图像，从左到右(a)～(d)分别为：单一缺陷类、双混合缺陷类、三混合缺陷类与四混合缺陷类。由于缺陷图案复杂多样，混合型的晶圆缺陷检测明显更困难。

3、由于实际工作条件的复杂性，一些深度学习方法被设计得更加复杂。此外，设计神经网络架构需要大量的专业知识和实验，是一个耗时耗力的过程。幸运的是，神经网络架构搜索(nas)作为一种自动化机器学习(automl)方法正在迅速发展，可以通过候选操作和数据集自动找到最合适的神经网络架构。nas通常由三个基本元素定义：搜索空间、搜索策略和性能评估。在搜索空间中定义搜索操作和多样化的搜索策略可以帮助找到具有更高复杂性和更好性能的网络架构。高效的搜索空间还有助于提高搜索效率和优化搜索策略。

4、然而，尽管深度学习方法和注意力机制在许多领域得到广泛应用，但在晶圆缺陷检测领域仍然存在挑战：

5、(1)传统的深度学习方法主要用于识别单一类型的晶圆缺陷。然而，在现实世界的工业生产过程中，晶圆往往同时存在多种类型的缺陷。由于缺陷模式的复杂性和多样性，这种混合型缺陷模式识别明显更加困难。

6、(2)晶圆缺陷检测领域使用的传统深度学习方法需要人工构建神经网络架构，需要大量的专业知识和实验，费时费力。随着nas方法的出现，网络架构的设计逐渐自动化。然而,虽然nas方法发展迅速，但尚未有效应用于晶圆dpr领域并取得良好性能。

技术实现思路

1、本发明的目的在于克服现有技术的不足，提供一种基于神经网络架构搜索的晶圆缺陷检测方法，通过神经网络架构搜索方式对晶圆缺陷进行检测，从而提高晶圆缺陷检测性能。

2、为实现上述发明目的，本发明提出了一种基于神经网络架构搜索的晶圆缺陷检测方法，其特征在于，包括以下步骤：

3、(1)、获取晶圆缺陷数据集；

4、采集包含m种不同缺陷条件下的多张晶圆图片，然后利用生成对抗网络gan生成不同缺陷条件下的晶圆图片，其中，第i种缺陷下的第j张晶圆图片记为xij，i＝1,2,…,m，j＝1,2,…,n，n为第i种缺陷下晶圆图片的数量；

5、为每种缺陷条件下的晶圆图片打上对应缺陷类型的故障标签fi；

6、将不同缺陷条件下的所有的晶圆图片及对应故障标签组成晶圆缺陷数据集；

7、(2)、搭建基于双重注意力机制的神经网络架构搜索网络da-darts；

8、(2.1)、搭建双重注意力模块dam；

9、双重注意力模块dam包含通道注意力模块ca与空间注意力模块sa；其中，ca包括最大池化层maxpool、平均池化层avgpool、两层卷积层的神经网络和一个sigmoid激活函数；sa包括大池化层maxpool、平均池化层avgpool、卷积层和一个sigmoid激活函数；

10、设dam的输入特征图的长、宽、通道数为：h×w×c，首先输入特征图被输入至ca，分别经过基于特征图宽度和高度的maxpool和avgpool，得到两个1×1×c的特征图；接着，再将它们分别送入一个两层卷积层的神经网络，每一层卷积层均采用激活函数leaky relu，卷积核大小均为1×1，这个两层的神经网络是共享的；而后，将两层神经网络输出的特征进行加和操作，再经过sigmoid激活操作，得到ca的输出特征图；随后，将ca的输出特征图和输入特征图做乘法操作，生成sa需要的输入特征；在sa中，输入特征图输入至基于通道的maxpool和avgpool，得到两个h×w×1的特征图，再将这两个特征图做通道拼接；然后经过一个卷积核大小为7×7的卷积操作，降维为1个通道，即h×w×1，再经过sigmoid生成sa的输出特征图，最后将该特征图和sa的输入特征图做乘法，得到dam的输出特征图；

11、(2.2)、将dam加入传统的可微架构搜索网络darts，得到da-darts网络架构；

12、设置da-darts的连接操作方式，包括：最大池化操作、平均池化操作、卷积核大小的3×3的卷积操作、卷积核大小的5×5的卷积操作、卷积核大小的5×5的可分离卷积操作、卷积核大小的5×5的空洞卷积操作、跳过连接操作以及dam操作；

13、对每一个连接操作分配初始权重op；

14、传统的可微架构搜索网络darts由多个结构相同的空间单元ck级联而成，在每个空间单元ck中又包含四个节点，每个节点与其前面的所有节点连接，连接方式为设置的连接操作中的任意一种；

15、(3)、训练da-darts网络架构；

16、(3.1)、设置最大迭代次数为epoch，初始化当前迭代次数epoch＝1；给定期望的模型训练误差为τ；

17、(3.2)、在第epoch次迭代中，从晶圆缺陷数据集抽取m张晶圆图片记为然后将作为da-darts网络的单批次输入，其对应的故障标签作为网络的期望输出；

18、(3.3)、当晶圆图片输入网络后，会作为第一个空间单元c1与第二个空间单元c2的输入，从第三个空间单元c3开始，后续空间单元的输入为前两个空间单元的输出；

19、具体讲，空间单元c1与c2会先经过一个卷积操作将图片转换为特征图，随后，将特征图输入至存在连接的两节点之间，特征图会通过所有设定的连接操作进行处理，然后按照设定的初始权重op对结果进行加权求和；空间单元c3及其之后的空间单元会直接将先前两空间单元的输出特征图作为输入，其处理过程与空间单元c1和空间单元c2相同，并以此类推，最后通过最后一个空间单元预测出对应缺陷类型的故障标签；

20、(3.4)、根据期望输出故障标签和预测故障标签计算交叉熵损失值loss，然后判断当前迭代次数epoch＝epoch或者loss＜τ，若满足，则停止迭代训练，得到训练好的da-darts网络架构；否则，将交叉熵损失值loss通过反向传播算法更新da-darts的连接操作权重op，然后进行下一轮训练；

21、(4)、da-darts网络重训练；

22、加载训练完成的da-darts网络架构，然后重新输入晶圆缺陷数据集中的晶圆图片及对应故障标签，并按照步骤(3)中da-darts网络架构的训练方式进行重新训练，从而得到用于晶圆缺陷检测的da-darts网络；

23、(5)、晶圆图片的缺陷检测；

24、采集未知缺陷种类的晶圆图片，然后输入至步骤(4)中重训练后的da-darts网络，从而判断出晶圆图片对应的缺陷类别。

25、本发明的发明目的是这样实现的：

26、本发明基于神经网络架构搜索的晶圆缺陷检测方法，先通过一个卷积操作将输入晶圆转换为特征图，并将其作为第一个空间单元与第二个空间单元的输入；在空间单元中，每个节点与其前面的节点由设定的连接方式连接，将输入特征图按照所有设定的连接方式进行处理，并按照设置的初始权重进行加权求和。然后利用交叉熵损失函数对权重进行更新，以得到实现晶圆缺陷任务的最优网络架构；最后,利用输出的最优网络进行网络的重训练，得到用于晶圆缺陷检测任务的模型，以提高晶圆缺陷检测性能。

27、同时，本发明基于神经网络架构搜索的晶圆缺陷检测方法还具有以下有益效果：

28、(1)、本发明提出了一个名为da-darts的网络，它在现有darts算法的基础上有效地提高了混合型晶圆缺陷模式识别的准确性。

29、(2)、本发明通过结合注意机制、增加搜索空间的多样性和增强搜索架构的复杂性优化了原始darts算法的搜索空间。

30、(3)、da-darts已在mixedwm38数据集上进行了广泛测试，实验结果表明我们提出的方法在所有性能指标上均优于比较算法，并且通过消融实验表明，本发明所提dam提高了darts算法各方面的性能。