本发明涉及半导体制造领域,尤其涉及一种晶圆图缺陷的多目标检测方法。
背景技术:
1、在半导体的制造过程中,识别晶圆图的缺陷是一个重要的环节,特别是当晶圆上同时存在多个缺陷图案时,会增加缺陷检测的难度。
2、在现有方案中,一般会采用卷积神经网络算法来对晶圆图上的缺陷进行多目标检测,然而传统的卷积神经网络随着网络层深度增加,输出的特征包含的更多是图像的全局语义信息,小目标的细节特征会被丢失,会遗漏掉面积较小的缺陷图案。同时,普通卷积操作对图像的大小和形状不敏感,在多目标检测中无法有效捕捉目标实例的形态特征,进而难以实现预期的识别效果。
技术实现思路
1、本说明书一个或多个实施例描述了一种晶圆图缺陷的多目标检测方法,在特征提取阶段使用普通卷积层、可变卷积层、空洞卷积层和转置卷积层的组合,以得到高分辨率的特征图,然后将高分辨率的特征图送入特征检测模型中,得到对于晶圆上多个缺陷的缺陷检测结果。
2、本说明书提供了一种晶圆图缺陷的多目标检测方法,包括:
3、获取目标晶圆图,所述目标晶圆图中包含若干缺陷;
4、将所述目标晶圆图输入到第一特征提取模块中,得到第一特征图,其中,所述第一特征提取模块包含普通卷积层和可变卷积层;
5、将所述第一特征图输入到第二特征提取模块中,得到第二特征图,其中,所述第二特征提取模块包含普通卷积层和可变卷积层;
6、将所述第二特征图输入到第三特征提取模块中,得到第三特征图,其中,所述第三特征提取模块包含空洞卷积层;
7、将所述第二特征图和第三特征图在通道维度进行拼接后,输入到第一特征重建模块中,得到第四特征图,其中,所述第一特征重建模块包含转置卷积层;
8、将所述第一特征图和第四特征图在通道维度进行拼接后,输入到第二特征重建模块中,得到第五特征图,其中,所述第二特征重建模块包含转置卷积层;
9、将所述第五特征图输入到特征检测模型中,得到对于所述目标晶圆图中若干缺陷的缺陷检测结果。
10、在一种可能的实施方式中,所述特征检测模型为transformer模型。
11、在一种可能的实施方式中,将所述第五特征图输入到特征检测模型中,得到对于所述目标晶圆图中若干缺陷的缺陷检测结果,包括:
12、将所述第五特征图转换为嵌入矩阵,所述嵌入矩阵的任一行对应所述第五特征图中一个通道的特征图数据;
13、根据所述嵌入矩阵计算位置编码,将所述嵌入矩阵和所述位置编码相加后,输入到transformer模型中,得到所述目标晶圆图中若干缺陷的缺陷检测结果。
14、在一种可能的实施方式中,所述第一特征提取模块按照数据流动的顺序依次包括:第一普通卷积层、第二普通卷积层、第一可变卷积层、第三普通卷积层、第二可变卷积层;将所述晶圆图数据中的目标晶圆图输入到第一特征提取模块中,得到第一特征图,包括:
15、令所述目标晶圆图依次通过第一普通卷积层、第二普通卷积层、第一可变卷积层、第三普通卷积层、第二可变卷积层,得到第一特征图,其中,后一个卷积层的输入为前一个卷积层的输出。
16、在一种可能的实施方式中,所述第二特征提取模块按照数据流动的顺序依次包括:第四普通卷积层、第三可变卷积层;将所述第一特征图输入到第二特征提取模块中,得到第二特征图,包括:
17、令所述第一特征图依次通过第四普通卷积层、第三可变卷积层,得到第二特征图,其中,所述第三可变卷积层的输入为第四普通卷积层的输出。
18、在一种可能的实施方式中,所述第三特征提取模块按照数据流动的顺序依次包括第一空洞卷积层至第六空洞卷积层;将所述第二特征图输入到第三特征提取模块中,得到第三特征图,包括:
19、令所述第二特征图依次通过第一空洞卷积层至第六空洞卷积层,得到第一临时特征图至第六临时特征图,其中,后一个卷积层的输入为前一个卷积层的输出;
20、将所述第一临时特征图至第六临时特征图对应位置的数据求和,得到第三特征图。
21、在一种可能的实施方式中,所述第一特征重建模块按照数据流动的顺序依次包括第一转置卷积层、第二转置卷积层;将所述第二特征图和第三特征图在通道维度进行拼接后,输入到第一特征重建模块中,得到第四特征图,包括:
22、将所述第二特征图和第三特征图在通道维度进行拼接后,依次通过第一转置卷积层、第二转置卷积层,得到第四特征图,其中,所述第二转置卷积层的输入为第一转置卷积层的输出。
23、在一种可能的实施方式中,所述第二特征重建模块按照数据流动的顺序依次包括第三转置卷积层、第四转置卷积层;将所述第一特征图和第四特征图在通道维度进行拼接后,输入到第二特征重建模块中,得到第五特征图,包括:
24、将所述第一特征图和第四特征图在通道维度进行拼接后,依次通过第三转置卷积层、第四转置卷积层,得到第五特征图,其中,所述第四转置卷积层的输入为第三转置卷积层的输出。
25、在一种可能的实施方式中,所述第一特征提取模块、第二特征提取模块、第三特征提取模块、第一特征重建模块、第二特征重建模块、特征检测模型通过样本晶圆图训练得到,所述样本晶圆图数据中包含样本晶圆图和对应的样本缺陷类型;所述训练包括:
26、将所述样本晶圆图输入到第一特征提取模块中,得到第一样本特征图;
27、将所述第一样本特征图输入到第二特征提取模块中,得到第二样本特征图;
28、将所述第二样本特征图输入到第三特征提取模块中,得到第三样本特征图;
29、将所述第二样本特征图和第三样本特征图在通道维度进行拼接后,输入到第一特征重建模块中,得到第四样本特征图;
30、将所述第一样本特征图和第四样本特征图在通道维度进行拼接后,输入到第二特征重建模块中,得到第五样本特征图;
31、将所述第五样本特征图输入到特征检测模型中,得到对于所述样本晶圆图中若干缺陷的样本缺陷检测结果;
32、通过最小化所述样本缺陷检测结果与所述样本缺陷类型的误差,调整所述第一特征提取模块、第二特征提取模块、第三特征提取模块、第一特征重建模块、第二特征重建模块、特征检测模型中的参数的值。
33、在一种可能的实施方式中,所述误差根据交叉熵损失函数计算得到。
34、本说明书一个或多个实施例描述了一种晶圆图缺陷的多目标检测方法,在特征提取阶段使用普通卷积层、可变卷积层、空洞卷积层和转置卷积层的组合,可变卷积层能够学习缺陷图案的形状,空洞卷积层能够增大卷积操作感受野,在特征重建路径时使用转置卷积层以增加特征分辨率,同时将每层的可变卷积的输出和转置卷积的输出通过跳跃连接在通道维度拼接,实现特征融合。通过综合使用四种卷积层,以得到高分辨率的特征图,然后将高分辨率的特征图送入特征检测模型中,得到对于晶圆上多个缺陷的缺陷检测结果。
1.一种晶圆图缺陷的多目标检测方法,包括:
2.根据权利要求1所述的方法,其特征在于,所述特征检测模型为transformer模型。
3.根据权利要求2所述的方法,其特征在于,将所述第五特征图输入到特征检测模型中,得到对于所述目标晶圆图中若干缺陷的缺陷检测结果,包括:
4.根据权利要求1所述的方法,其特征在于,所述第一特征提取模块按照数据流动的顺序依次包括:第一普通卷积层、第二普通卷积层、第一可变卷积层、第三普通卷积层、第二可变卷积层;将所述晶圆图数据中的目标晶圆图输入到第一特征提取模块中,得到第一特征图,包括:
5.根据权利要求1所述的方法,其特征在于,所述第二特征提取模块按照数据流动的顺序依次包括:第四普通卷积层、第三可变卷积层;将所述第一特征图输入到第二特征提取模块中,得到第二特征图,包括:
6.根据权利要求1所述的方法,其特征在于,所述第三特征提取模块按照数据流动的顺序依次包括第一空洞卷积层至第六空洞卷积层;将所述第二特征图输入到第三特征提取模块中,得到第三特征图,包括:
7.根据权利要求1所述的方法,其特征在于,所述第一特征重建模块按照数据流动的顺序依次包括第一转置卷积层、第二转置卷积层;将所述第二特征图和第三特征图在通道维度进行拼接后,输入到第一特征重建模块中,得到第四特征图,包括:
8.根据权利要求1所述的方法,其特征在于,所述第二特征重建模块按照数据流动的顺序依次包括第三转置卷积层、第四转置卷积层;将所述第一特征图和第四特征图在通道维度进行拼接后,输入到第二特征重建模块中,得到第五特征图,包括:
9.根据权利要求1所述的方法,其特征在于,所述第一特征提取模块、第二特征提取模块、第三特征提取模块、第一特征重建模块、第二特征重建模块、特征检测模型通过样本晶圆图训练得到,所述样本晶圆图数据中包含样本晶圆图和对应的样本缺陷类型;所述训练包括:
10.根据权利要求9所述的方法,其特征在于,所述误差根据交叉熵损失函数计算得到。