用于图像识别的方法、装置、设备、存储介质和程序产品与流程

本公开的实施例主要涉及芯片设计制造工具领域。更具体地，本公开的实施例涉及用于图像识别的方法、装置、设备、计算机可读存储介质以及计算机程序产品。

背景技术：

1、芯片设计制造工具，例如电子设计自动化(electronic design automation，eda)软件，被广泛应用于芯片的设计和制造过程。例如，利用芯片设计制造工具，可以方便地进行芯片的设计过程，例如架构设计和寄存器传输级(register-transfer level,rtl)代码设计、逻辑综合(synthesis)、可测性设计(design for test,dft)、物理实现(physicaldevelopment)以及签核(signoff)等。

2、另一方面，利用芯片设计制造工具可以高效地进行芯片的制造过程，例如用于自动化地识别半导体制造过程中晶圆表面可能出现的缺陷。在一些示例中，自动缺陷分类(automatic defect classification，adc)系统可以利用人工智能模型来快速定位晶圆表面的缺陷类别，以用于相应地调整工艺参数和步骤，从而提高生产效率。然而，由于晶圆制造工艺的变化以及机台状态的不稳定，新的、未知的缺陷会不断地出现并且难以被识别。因此，期望一种图像识别模型的方案，能够在预测图像类别的同时准确地识别未知类别的图像，从而提高图像识别的效率。

技术实现思路

1、本公开的实施例提供了一种用于图像识别的方案。

2、在本公开的第一方面，提供了用于图像识别的方法。该方法包括基于图像的第一特征表示，确定所述图像的预测类别，所述预测类别选自多个候选的已知类别；基于所述预测类别，确定在用于开集识别的特征空间中所述图像的第二特征表示与针对所述预测类别的中心向量之间的距离；以及基于所述距离，确定所述图像的类别，所述类别选自包括所述预测类别和未知类别的组。以此方式，基于预测类别和用于开集识别的特征空间中的距离，可以在预测图像的类别的同时进行开集识别，从而提高图像识别的效率。

3、在第一方面的一些实施例中，基于所述距离，确定所述图像的类别包括：若所述距离大于阈值，确定所述图像的类别是所述未知类别，或者若所述距离小于所述阈值，确定所述图像的类别是所述预测类别。在第一方面的一些实施例中，方法还包括基于被标注为所述预测类别的多个标注图像的多个特征表示在用于开集识别的所述特征空间中的分布，确定所述中心向量。在第一方面的一些实施例中，方法还包括：基于所述第一特征表示在用于开集识别的所述特征空间中的投影，确定所述第二特征表示。以此方式，通过基于标注图像确定中心向量，可以构建约束闭集样本的特征空间，使得可以基于该特征空间中图像的特征表示与中心向量的距离来进行开集识别。

4、在第一方面的一些实施例中，所述图像包括晶圆缺陷图像，并且所述已知类别包括晶圆的缺陷类别。以此方式，本公开的图像识别方案可以用于晶圆缺陷识别，从而在确定晶圆图像的缺陷类别的同时可以准确地确定该图像是否属于未知类别，进而提高芯片的生产效率。

5、在本公开的第二方面，提供了训练用于图像识别的模型的方法。该方法包括基于图像的第一特征表示，利用模型确定图像的预测类别，该预测类别选自多个候选的已知类别。方法还包括基于图像的标签类别或伪标签类别，利用模型确定在用于开集识别的特征空间中图像的第二特征表示与针对标签类别或伪标签类别的中心向量之间的距离。方法还包括基于图像的预测类别、标签类别或伪标签类别以及距离，训练模型。

6、以此方式，可以高效地训练模型，以利用经训练的模型在确定图像的预测类别的同时对图像进行开集识别。在一些实施例中，在芯片设计制造工具领域，本公开的图像识别方案可以高效地执行晶圆缺陷识别，以提高芯片的生产效率。

7、在第二方面的一些实施例中，基于所述图像的标签类别或伪标签类别，利用所述模型确定在用于开集识别的特征空间中所述图像的第二特征表示与中心向量之间的距离包括：基于被标注为所述标签类别或伪标签类别的多个标注图像的多个特征表示在所述特征空间中的分布，确定针对所述标签类别或伪标签类别的所述中心向量。

8、在第二方面的一些实施例中，训练所述模型包括：基于所述图像的所述预测类别以及所述标签类别或伪标签类别，确定分类损失；基于所述距离，确定开集损失；通过使基于所述分类损失和所述开集损失的组合损失最小化，训练所述模型。

9、以此方式，通过基于标签类别或伪标签类别确定中心向量，可以构建约束闭集样本的特征空间，使得可以基于该特征空间中图像的特征表示与中心向量的距离来进行开集识别。

10、在第二方面的一些实施例中，所述图像包括标注图像，所述中心向量包括针对所述标注图像的所述标签类别的第一中心向量，所述距离包括所述标注图像的所述第二特征表示与所述第一中心向量之间的第一距离，并且其中训练所述模型包括：基于所述标注图像的所述预测类别和所述标注图像的所述标签类别，确定针对所述标注图像的第一分类损失；基于所述标注图像的所述第二特征表示与所述第一中心向量之间的所述第一距离，确定针对所述标注图像的第一开集损失；以及基于针对所述标注图像的所述第一分类损失和所述第一开集损失，训练所述模型。

11、在第二方面的一些实施例中，所述图像包括标注图像，并且基于图像的第一特征表示确定所述图像的预测类别包括：基于对所述标注图像的第一变换，生成第一图像；以及基于所述第一图像，确定所述标注图像的所述第一特征表示，以用于确定所述标注图像的所述预测类别；并且所述方法还包括：基于所述第一特征表示在所述特征空间中的投影，确定所述标注图像的所述第二特征表示。

12、在第二方面的一些实施例中，所述图像包括未标注图像，所述中心向量包括针对所述未标注图像的所述伪标签类别的第二中心向量，所述距离包括在所述特征空间中所述未标注图像的第三特征表示与所述第二中心向量之间的第二距离，并且其中训练所述模型包括：

13、若所述第二距离小于阈值：基于所述未标注图像的所述预测类别和所述伪标签类别，确定针对所述未标注图像的第二分类损失；基于所述未标注图像的所述第三特征表示与所述第二中心向量之间的所述第二距离，确定针对所述未标注图像的第二开集损失；以及基于针对所述未标注图像的所述第二分类损失和所述第二开集损失，训练所述模型；或者若所述第二距离大于所述阈值并且满足预定条件：基于所述未标注图像的所述第三特征表示的正则化，确定针对所述未标注图像的第三开集损失，以用于训练所述模型。

14、在第二方面的一些实施例中，所述图像包括未标注图像，并且基于图像的第一特征表示确定所述图像的预测类别包括：基于对所述未标注图像的第二变换，生成第二图像；以及基于所述第二图像，确定所述未标注图像的所述第一特征表示，以用于确定所述未标注图像的所述预测类别；并且所述方法还包括：基于所述未标注图像的所述第一特征表示在所述特征空间中的投影，确定所述未标注图像的所述第三特征表示。

15、在第二方面的一些实施例中，方法还包括：基于对所述未标注图像的第一变换，生成第三图像；基于所述第三图像的特征表示，利用所述模型确定所述未标注图像的所述伪标签类别；以及基于所述第三图像的特征表示在所述特征空间中的投影，确定所述未标注图像的所述第二特征表示，以用于确定所述距离。

16、在第二方面的一些实施例中，所述第一变换包括随机仿射变换，并且所述第二变换包括以下至少一项：随机强度高斯模糊、随机区块擦除、随机色彩变化以及随机噪声。以此方式，通过对标注图像应用第一变换以及对未标注图像应用第一变换和第二变换两者，并且利用第一变换后的标注图像和未标注图像来计算分类损失，可以为未标注图像生成可靠的伪标签类别。此外，基于特征空间中与针对伪标签类别的中心向量的距离来计算开集损失，可以量化所生成的伪标签类别的可靠性，并且可以构建约束闭集样本的特征空间，使得该特征空间中的距离可以用于开集识别。

17、在第二方面的一些实施例中，方法还包括：基于被标注为同一类别的第一组标注图像，利用所述模型确定所述第一组标注图像的第一组特征表示与针对所述类别的第三中心向量的第一组距离；以及基于所述第一组距离，确定针对所述类别的第一阈值，以用于所述开集识别。以此方式，可以利用标注图像在用于开集识别的特征空间中与中心向量的距离来确定距离的阈值，以用于开集识别。

18、在第二方面的一些实施例中，方法还包括基于被标注为所述类别的第二组标注图像验证所述模型，其中验证所述模型包括：基于所述第二组标注图像，利用所述模型确定所述第二组标注图像的一组预测类别；基于所述一组预测类别与所述类别的比较，在所述第二组标注图像中标识被正确预测的多个标注图像；以及基于针对标识出的多个标注图像的多个距离的排序，确定针对所述类别的第二阈值，以用于更新所述第一阈值，其中所述多个距离中的每个距离指示相应的标注图像的特征表示与所述第三中心向量之间的距离。以此方式，可以基于模型的分类结果来确定阈值，使得该阈值更适合应用在真实的作业环境中。

19、在本公开的第三方面，提供了用于图像识别的装置。该装置包括类别预测单元，其被配置为基于图像的第一特征表示，确定所述图像的预测类别，所述预测类别选自多个候选的已知类别；距离确定单元，其被配置为基于所述预测类别，确定在用于开集识别的特征空间中所述图像的第二特征表示与针对所述预测类别的中心向量之间的距离；以及类别确定单元，其被配置为基于所述距离，确定所述图像的类别，所述类别选自包括所述预测类别和未知类别的组。

20、在本公开的第四方面，提供了训练用于图像识别的模型的装置。该装置包括类别预测单元，其被配置为基于图像的第一特征表示，利用模型确定所述图像的预测类别，所述预测类别选自多个候选的已知类别；距离确定单元，其被配置为基于所述图像的标签类别或伪标签类别，利用所述模型确定在用于开集识别的特征空间中所述图像的第二特征表示与针对所述标签类别或伪标签类别的中心向量之间的距离；以及类别确定单元，其被配置为基于所述图像的所述预测类别、所述标签类别或伪标签类别以及所述距离，训练所述模型。

21、在本公开的第五方面，提供了一种电子设备，包括：至少一个计算单元；至少一个存储器，至少一个存储器被耦合到至少一个计算单元并且存储用于由至少一个计算单元执行的指令，指令当由至少一个计算单元执行时，使得设备实现第一方面或第二方面所提供的方法。

22、在本公开的第六方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其中计算机程序被处理器执行实现第一方面所提供的方法。

23、在本公开的第七方面，提供一种计算机程序产品，包括计算机可执行指令，当指令在被处理器执行时实现第一方面或第二方面的方法的部分或全部步骤。

24、可以理解地，上述提供的第五方面的电子设备、第六方面的计算机存储介质或者第七方面的计算机程序产品均用于执行第一方面或第二方面所提供的方法。因此，关于第一方面和第二方面的解释或者说明同样适用于第五方面、第六方面和第七方面。此外，第五方面、第六方面和第七方面所能达到的有益效果可参考对应方法中的有益效果，此处不再赘述。