基于机器学习的样本缺陷检测的制作方法

本公开的主题总体涉及样本检验领域，并且更具体地，涉及用于样本的缺陷检测的方法和系统。

背景技术：

当前对与所制造的器件的超大规模集成相关联的高密度和性能的需求要求亚微米特征、增大的晶体管和电路速度以及提高的可靠性。这种需求要求形成具有高精确度和均匀性的器件特征，这又必需仔细地监视制造工艺，包括在器件仍然是半导体晶片的形式时自动地检验该器件。要注意，制造工艺可包括制造前、制造和/或制造后操作。

本说明书中使用的术语“样本”应广义地解释为涵盖用来制造半导体集成电路、磁头、平板显示器和其他半导体制造的制品的任何种类的晶片、掩模和其他结构、以上项的组合和/或以上项的部分。

本说明书中使用的术语“检验”应广义地解释为涵盖任何种类的计量相关操作以及与在样本的制造期间该样本中的缺陷的检测和/或分类有关的操作。检验是通过在要检验的样本的制造期间或之后使用非破坏性检验工具来进行。作为非限制性示例，检验工艺可包括使用相同或不同检验工具进行运行时扫描(以单次扫描或以多次扫描)、采样、查验、测量、分类和/或关于样本或其部分提供的其他操作。同样，至少部分检验可在制造要检验的样本之前进行，并且可包括例如生成检验配方、训练各自的分类器或其他机器学习相关工具和/或其他设置操作。要注意，除非另外具体地陈述，否则本说明书中使用的术语“检验”或其衍生词在分辨率或在检查区域的大小方面不受限制。作为非限制性示例，多种非破坏性检验工具包括扫描电子显微镜、原子力显微镜、光学检查工具等。

作为非限制性示例，运行时检验可采用两阶段过程，例如，先是检查样本，接着查验潜在缺陷的采样位置。在第一阶段期间，以高速度和相对低分辨率检查样本的表面。在第一阶段中，产生缺陷图以示出在样本上疑似高概率有缺陷的位置。在第二阶段期间，以相对高分辨率更彻底地分析此类可疑位置中的至少一些。在一些情况下，两个阶段都可由相同检查工具实施，并且在一些其他情况下，这两个阶段由不同检查工具实施。

在半导体制造期间的各个步骤处都使用了检验工艺以检测样本上的缺陷并将其分类。检验一般涉及通过将光或电子引导到晶片并检测来自晶片的光或电子来针对晶片生成某种输出(例如，图像、信号等)。一旦已经生成输出，就典型地通过将缺陷检测方法和/或算法应用到输出来执行缺陷检测。最通常地，检验的目的是提供对感兴趣缺陷的高灵敏度，而抑制晶片上的损害和噪声的检测。

技术实现要素：

根据当前所公开的主题的某些方面，提供了一种在样本上进行缺陷检测的方法，所述方法通过处理器和存储器电路(pmc)执行，所述方法包括：获得表示所述样本的至少一部分的运行时图像；使用受监督模型部件处理所述运行时图像以获得指示在所述运行时图像上第一缺陷的估计存在的第一输出，其中使用第一训练集训练所述受监督模型部件，所述第一训练集包括至少多个第一图像和指示在所述第一图像上的第一缺陷分布的对应标签数据，每个第一图像表示所述样本的至少一部分；使用无监督模型部件处理所述运行时图像以获得指示在所述运行时图像上第二缺陷的估计存在的第二输出，其中使用第二训练集训练所述无监督模型，所述第二训练集包括多个第二图像，每个第二图像表示所述样本的至少一部分，每个第二图像是第一图像的参考图像；以及使用一个或多个优化参数组合所述第一输出和所述第二输出以获得所述样本的缺陷检测结果。

除了以上特征之外，根据当前所公开的主题的这一方面的方法可以技术上可能的任何所期望的组合或置换包括以下列出的特征(i)至(xiii)中的一个或多个：

(i).可在使用第三训练集训练期间获得所述优化参数。

(ii).所述第一输出可为表示在所述运行时图像上所述第一缺陷的估计概率的第一等级图，并且所述第二输出可为表示在所述运行时图像上所述第二缺陷的估计概率的第二等级图。

可使用可操作地连接到所述受监督模型部件和所述无监督模型部件的分割模型部件执行所述组合，以获得指示在所述样本上所述第一缺陷和所述第二缺陷的估计概率的复合等级图。可基于所述受监督模型和所述无监督模型的输出来使用所述第三训练集训练所述分割模型部件。

(iii).所述第一输出可为表示在所述运行时图像上所述第一缺陷的估计概率的第一等级图，并且所述第二输出可为表示在所述运行时图像上所述第二缺陷的估计概率的第二等级图。

所述组合可包括将所述第一等级图和所述第二等级图与各自的全局权重组合以生成指示在所述样本上所述第一缺陷和所述第二缺陷的估计概率的复合等级图。可在使用所述第三训练集训练期间优化所述各自的全局权重。

(iv).使用受监督模型部件处理所述运行时图像可包括：生成表示在所述运行时图像上所述第一缺陷的估计概率的第一等级图；以及将第一阈值应用于所述第一等级图以获得第一缺陷图。

使用无监督模型部件处理所述运行时图像可包括：生成表示在所述运行时图像上所述第二缺陷的估计概率的第二等级图；以及将第二阈值应用于所述第二等级图以获得第二缺陷图，在使用所述第三训练集训练期间优化所述第一阈值和第二阈值。

所述组合可包括组合所述第一缺陷图和所述第二缺陷图以生成复合缺陷图。

(v).可在使用所述第三训练集训练期间使用非梯度优化函数获得所述全局权重。

(vi).可通过以下方式训练所述受监督模型部件：处理每个第一图像以生成表示在所述第一图像上所述第一缺陷的估计概率的对应第一等级图；以及基于与所述第一图像相对应的所述标签数据来优化所述受监督模型部件。

(vii).可通过以下方式训练所述无监督模型部件：处理每个第二图像以生成表示在所述第二图像上所述第二缺陷的估计概率的对应第二等级图；以及关于所述第二图像基于所述第二等级图来优化无监督网络。

(viii).对于每个第一图像，所述第一训练集可进一步包括对应设计数据和/或至少一个参考图像，并且所述获得可进一步包括获得所述运行时图像的设计数据和/或至少一个参考图像。

(ix).对于每个第二图像，所述第二训练集可进一步包括对应设计数据，并且所述获得可进一步包括获得所述运行时图像的设计数据。

(x).可分开地训练所述受监督模型部件和所述无监督模型部件。

(xi).所述方法可进一步包括在运行时期间，获得一个或多个新的第一图像，每个新的第一图像具有指示一个或多个新的缺陷类别的存在的标签数据；以及使用所述新的第一图像重新训练所述受监督模型部件。

(xii).所述运行时图像可为由查验工具生成的查验图像。

(xiii).所述方法可进一步包括使用一个或多个附加受监督和/或无监督模型部件处理所述运行时图像以获得指示在所述运行时图像上附加缺陷的估计存在的一个或多个附加输出。可使用一个或多个附加训练集训练所述一个或多个附加受监督和/或无监督模型部件，所述一个或多个附加训练集包括来自所述样本的不同层和/或来自不同样本的训练图像。

根据当前所公开的主题的其他方面，提供了一种在样本上进行缺陷检测的系统，所述系统包括被配置为执行以下操作的处理器和存储器电路(pmc)：获得表示所述样本的至少一部分的运行时图像；使用受监督模型部件处理所述运行时图像以获得指示在所述运行时图像上第一缺陷的估计存在的第一输出，其中使用第一训练集训练所述受监督模型部件，所述第一训练集包括至少多个第一图像和指示在所述第一图像上的第一缺陷分布的对应标签数据，每个第一图像表示所述样本的至少一部分；使用无监督模型部件处理所述运行时图像以获得指示在所述运行时图像上第二缺陷的估计存在的第二输出，其中使用第二训练集训练所述无监督模型，所述第二训练集包括多个第二图像，每个第二图像表示所述样本的至少一部分，每个第二图像是第一图像的参考图像；以及使用一个或多个优化参数组合所述第一输出和所述第二输出以获得所述样本的缺陷检测结果。

本公开的主题的这一方面可以技术上可能的任何所期望的组合或置换包括以上关于方法列出的特征(i)至(xiii)中的一个或多个并加以必要变更。

根据当前所公开的主题的其他方面，提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质包括指令，所述指令当由计算机执行时致使所述计算机执行在样本上进行缺陷检测的方法，所述方法包括：获得表示所述样本的至少一部分的运行时图像；使用受监督模型部件处理所述运行时图像以获得指示在所述运行时图像上第一缺陷的估计存在的第一输出，其中使用第一训练集训练所述受监督模型部件，所述第一训练集包括至少多个第一图像和指示在所述第一图像上的第一缺陷分布的对应标签数据，每个第一图像表示所述样本的至少一部分；使用无监督模型部件处理所述运行时图像以获得指示在所述运行时图像上第二缺陷的估计存在的第二输出，其中使用第二训练集训练所述无监督模型，所述第二训练集包括多个第二图像，每个第二图像表示所述样本的至少一部分，每个第二图像是第一图像的参考图像；以及使用一个或多个优化参数组合所述第一输出和所述第二输出以获得所述样本的缺陷检测结果。

本公开的主题的这一方面可以技术上可能的任何所期望的组合或置换包括以上关于方法列出的特征(i)至(xiii)中的一个或多个并加以必要变更。

附图说明

为了理解本发明并知晓在实践中如何实施本发明，现在将参考附图仅通过非限制性示例来描述实施方式，其中：

图1示出了根据当前所公开的主题的某些实施例的缺陷检测系统的功能框图；

图2示出了根据当前所公开的主题的某些实施例的在样本上进行缺陷检测的概括流程图；

图3是根据当前所公开的主题的某些实施例的分开地训练受监督模型和无监督模型的示意图；

图4是根据当前所公开的主题的某些实施例的组合受监督模型和无监督模型的输出和其优化的示意图；

图5示出了根据当前所公开的主题的某些实施例的使用优化阈值的运行时缺陷检测工艺的示例；并且

图6示出了根据当前所公开的主题的某些实施例的使用分割模型组合受监督模型和无监督模型的输出的示意框图。

具体实施方式

在以下详述中，阐述了许多具体细节，以便提供对本发明的透彻理解。然而，本领域的技术人员将理解，当前所公开的主题可在没有这些具体细节的情况下实践。在其他情况下，没有详细地描述所熟知的方法、过程、部件和电路，以免模糊当前所公开的主题。

除非另外具体地陈述，否则如从以下讨论中清楚，将了解，贯穿本说明书讨论，利用术语诸如“获得”、“处理”、“训练”、“组合”、“优化”、“生成”、“应用”、“重新训练”等是指计算机的操纵数据和/或将数据变换为其他数据的动作和/或处理，所述数据被表示为物理(诸如电子)量并且/或所述数据表示物理对象。术语“计算机”应广义地解释为涵盖具有数据处理能力的任何种类的基于硬件的电子装置，作为非限制性示例，包括本申请中公开的缺陷检测系统和其各自的部分。

本文中使用的术语“非暂态存储器”和“非暂态存储介质”应广义地解释为涵盖适合当前所公开的主题的任何易失性或非易失性计算机存储器。

本说明书中使用的术语“缺陷”应广义地解释为涵盖在样本上或样本内形成的任何种类的异常或不期望的特征。

本说明书中使用的术语“设计数据”应广义地解释为涵盖指示样本的分层物理设计(布局)的任何数据。设计数据可由各自的设计者提供和/或可从物理设计导出(例如，通过复杂模拟、简单几何和布尔运算等)。设计数据可以不同格式提供，作为非限制性示例，如gdsii格式、oasis格式等。设计数据可以矢量格式、灰度强度图像格式或以其他方式呈现。

将了解，除非另外具体地陈述，否则在单独实施例的上下文中所述的当前所公开的主题的某些特征也可在单一实施例中组合地提供。相反地，在单一实施例的上下文中所述的当前所公开的主题的各种特征也可单独地提供或以任何合适的子组合提供。在以下详述中，阐述了许多具体细节，以便提供对方法和设备的透彻理解。

考虑到这一点，将注意力放到图1，其示出了根据当前所公开的主题的某些实施例的缺陷检测系统的功能框图。

图1中所示的检验系统100可用于作为样本制造工艺的一部分的样本(例如，晶片和/或其部分)检验。所示的检验系统100包括能够在运行时自动地检测缺陷的基于计算机的系统101。系统101也被称为缺陷检测系统。系统101可操作地连接到一个或多个检验工具120。检验工具可为一个或多个低分辨率检验工具和/或一个或多个高分辨率检验工具和/或其他检验工具。检验工具被配置为捕获样本的图像和/或查验所捕获的图像和/或实现或提供与所捕获的图像有关的测量。系统101可进一步可操作地连接到设计数据服务器110。

系统101包括处理器和存储器电路(pmc)102，该pmc102可操作地连接到基于硬件的i/o接口126。pmc102被配置为提供操作系统101所必需的所有处理，如参考图2进一步详述的，并且包括处理器(未单独地示出)和存储器(未单独地示出)。pmc102的处理器可被配置为根据在包括在pmc中的非暂态计算机可读存储器上实施的计算机可读指令来执行若干功能模块/部件。此类功能模块在下文被称为包括在pmc中。包括在pmc102中的功能模块包括可操作地彼此连接的受监督模型104、无监督模型108和组合模块106。

如将参考图2进一步详述的，系统101被配置为经由i/o接口126接收输入数据。输入数据可包括由检验工具产生的图像数据(和/或其衍生物和/或与其相关联的元数据)和/或存储在设计数据服务器110和/或一个或多个数据存储库中的数据。在一些实施例中，输入数据可包括一个或多个运行时图像。还应注意，运行时图像数据可包括与感兴趣层和/或与样本的一个或多个其他层有关的数据。

作为非限制性示例，可通过一个或多个低分辨率检验工具(例如，光学检查系统、低分辨率sem等)检验样本。样本的低分辨率图像的结果数据(在下文被称为低分辨率图像数据)信息可直接地或经由一个或多个中间系统传输到系统101。替代地或另外地，可通过一个或多个高分辨率工具检验样本(例如，可通过扫描电子显微镜(sem)或原子力显微镜(afm)查验被选择用于进行查验的潜在缺陷位置子集)。样本的高分辨率图像的结果数据(在下文被称为高分辨率图像数据)信息可直接地或经由一个或多个中间系统传输到系统101。

要注意，可以不同分辨率捕获在样本上的所期望的位置的图像。在一些实施例中，相同位置(具有相同或不同分辨率)的图像可包括在其间配准的若干图像(例如，从给定位置捕获的图像和与给定位置相对应的一个或多个参考图像)。

如图1所示的受监督模型104和无监督模型108可用于分开地处理输入数据(例如，运行时图像，诸如低分辨率图像和/或高分辨率图像，任选地与其他数据(例如，设计数据、参考数据等)一起进行处理)。具体地，受监督模型104可被配置为处理运行时图像以获得指示在运行时图像上第一缺陷的估计存在的第一输出。可使用第一训练集预训练受监督模型部件，该第一训练集包括至少多个第一图像和指示在第一图像上的第一缺陷分布的对应标签数据，每个第一图像表示样本的至少一部分。

无监督模型108可被配置为处理运行时图像以获得指示在运行时图像上第二缺陷的估计存在的第二输出。可使用第二训练集训练无监督模型，该第二训练集包括多个第二图像，每个第二图像表示样本的至少一部分。每个第二图像可为第一图像的参考图像，如下文将描述。

组合模块106可被配置为使用一个或多个优化参数组合第一输出和第二输出以获得样本的缺陷检测结果。在一些实施例中，可在使用第三训练集训练期间获得优化参数。

任选地，系统101可包括一个或多个附加受监督模型和/或一个或多个附加无监督模型(图1中未示出)以用来处理输入数据。作为示例，可通过一个或多个附加无监督模型处理运行时图像以获得指示在运行时图像上附加缺陷的估计存在的一个或多个附加输出。使用一个或多个附加训练集训练一个或多个附加无监督模型，该一个或多个附加训练集包括来自样本的不同层和/或来自不同样本的图像。

在处理输入数据后，系统101可将缺陷检测结果发送到检验工具中的任一个，将该结果(例如，缺陷属性、缺陷分类等)存储在存储单元122中，经由基于计算机的图形用户界面(gui)124呈现结果，和/或将该结果发送到外部系统(例如，fab的良率管理系统(yms))。gui124可进一步被配置为实现与操作系统101有关的用户指定输入。系统101、pmc102和在其中的功能模块的操作将参考图2进一步详述。

本领域的技术人员将容易地理解，当前所公开的主题的教导不受图1中所示的系统束缚；等效和/或修改的功能性可以另一种方式合并或划分并可在软件与固件和/或硬件的任何适当的组合实施。

在不以任何方式限制本公开的范围的情况下，还应注意，检验工具可实施为各种类型的检查机器，诸如光学成像机器、电子束检查机器等。在一些情况下，相同检验工具可提供低分辨率图像数据和高分辨率图像数据。在一些情况下，至少一个检验工具可具有计量能力。

在一些实施例中，本文中所指的基于机器学习的部件(诸如受监督模型、无监督模型、分割模型等)可使用任何合适的基于机器学习的架构(诸如，例如神经网络等)实施。作为非限制性示例，可根据卷积神经网络(cnn)架构、循环神经网络架构、递归神经网络架构或其他架构来组织神经网络中的层。神经网络的每个层可包括多个基本计算元素(ce)，在本领域中其通常被称为维度、神经元或节点。

一般，给定层的计算元素可与前一层和/或后一层的ce连接。在前一层的ce与后一层的ce之间的每个连接与加权值相关联。给定ce可经由各自的连接从前一层的ce接收输入，每个给定的连接与加权值相关联，该加权值可应用于给定连接的输入。加权值可确定连接的相对强度，并且由此确定各自的输入对给定ce的输出的相对影响。给定ce可被配置为计算激活值(例如，输入的加权和)并通过将激活函数应用于所计算的激活进一步导出输出。激活函数可为例如身份函数、确定性函数(例如，线性、s形、阈值等)、随机函数或任何其他合适的函数。来自给定ce的输出可经由各自的连接传输到后一层的ce。同样地，如上所述，在ce的输出处的每个连接可与加权值相关联，该加权值可在被接收作为后一层的ce的输入之前被应用于ce的输出。除加权值外，还可有与连接和ce相关联的阈值(包括限制功能)。

可在训练之前首先选择神经网络的参数(例如，加权值和/或阈值)，并且可在训练期间进一步迭代地调整或修改神经网络的参数，以在经训练模型中实现最佳加权值和/或阈值集。在每次迭代之后，可确定由模型产生的实际输出和与各自的训练数据集相关联的目标输出之间的差异。该差异可被称为误差值。当指示误差值的成本函数小于预定值时，或者当实现在迭代之间的性能的有限改变时，可确定训练已被完成。

在下文中，用来调整神经网络的权重/阈值的输入数据集被称为训练集。要注意，当前所公开的主题的教导不受网络的数量和/或架构束缚。

要注意，图1中所示的检验系统可在分布式计算环境中实施，其中图1中所示的前述功能模块可跨若干本地和/或远程装置分布，并且可通过通信网络进行链接。还应注意，在其他实施例中，检验工具120、存储单元122和/或gui124中的至少一些可在检验系统100外部并操作以经由i/o接口126与系统101进行数据通信。系统101可实施为独立计算机，以与检验工具结合地使用。替代地，系统101的各自的功能可至少部分地与一个或多个检验工具集成。

现在参考图2，示出了根据当前所公开的主题的某些实施例的在样本上进行缺陷检测的概括流程图。

可获得(202)包括表示样本的至少一部分的运行时图像的输入数据(例如，由系统101经由i/o接口126获得)。可从不同检验模态(例如，从不同检验工具，从相同检验工具的不同通道(例如，亮场图像和暗场图像)，从使用不同操作参数的相同检验工具等)接收运行时图像。

例如，运行时图像可来自在制造工艺期间捕获的样本(例如，晶片、管芯或其部分)的图像、所捕获的图像的通过各种预处理阶段获得的衍生物(例如，晶片或光掩模的一部分的通过sem或光学检查系统捕获的图像、大致以将由adc分类的缺陷为中心的sem图像、其中缺陷将由adr定位的较大区域的sem图像、与相同掩模位置相对应的不同检验模态的配准图像等)。作为示例，在一些情况下，运行时图像可为典型地具有高分辨率并从查验工具获得的查验图像，诸如，例如sem图像和/或其衍生物。

作为非限制性示例，检验模态可因检验工具、相同检验工具的不同通道、检验工具的操作参数(例如，由某个检验工具/通道提供的视角和/或分辨率等)和/或与各自的图像相对应的层而彼此不同。替代地或另外地，检验模态可因获得相应图像的性质(即所捕获的图像、由其导出的图像、预处理图像(例如，均值和/或差值图像)和模拟图像(包括基于设计的图像))而彼此不同。替代地或另外地，检验模态可因应用于所捕获的图像的导出技术(例如，通过分割、缺陷轮廓提取、高度图计算等导出的图像)而彼此不同。

可使用受监督模型部件(例如，受监督模型104)处理(204)运行时图像以获得指示在运行时图像上第一缺陷的估计存在的第一输出(在本文中也被称为受监督输出)。在一些实施例中，第一输出是表示在运行时图像上第一缺陷的估计概率的第一等级图(例如，概率图)。在一些情况下，可将阈值应用于第一等级图的像素值，从而产生指示缺陷的估计存在的第一缺陷图(例如，指示是否存在缺陷的二进制图)。作为示例，第一等级图可包括在[0,1]的范围内的像素值，并且可将阈值0.6应用于等级图中的每个像素值。可将大于阈值0.6的任何像素值标记为在对应缺陷图中值为1的缺陷。可在设置阶段使用第一训练集训练受监督模型部件，该第一训练集包括至少多个第一图像和指示在第一图像上的第一缺陷分布的标签数据，每个第一图像表示样本的至少一部分。标签数据可从查验工具或从手动分类获得，并且可包括在第一图像上的缺陷位置以及缺陷类别。

单独地，可使用无监督模型部件(例如，通过无监督模型108)处理(206)运行时图像以获得指示在运行时图像上第二缺陷的估计存在的第二输出(在本文中也被称为无监督输出)。在一些实施例中，第二输出是表示在运行时图像上第二缺陷的估计概率的第二等级图。在一些情况下，可将阈值应用于第二等级图的像素值，从而产生指示缺陷的估计存在的第二缺陷图。使用第二训练集训练无监督网络，该第二训练集包括样本的多个第二图像，每个第二图像是第一图像的参考图像。

要注意，根据当前所公开的主题的某些实施例，本文中使用的训练集可包括与来自所有制造阶段的所有类型的层/产品有关的整个可用fab数据(例如，cad数据、高分辨率图像、低分辨率图像、元数据、一般属性等)。替代地，可对根据某些标准(例如，经标记的/未标记的/特定层/特定产品/特定类别等)选择的某些可用fab数据执行训练。为了维持模型与不断地变化的fab数据的相关性，可进一步不断地训练模型(例如，响应于fab中引入的新的类别或在常规自动过程中)。

根据某些实施例，可分开地训练和优化受监督模型部件和无监督模型部件。例如，可并行地训练受监督模型部件和无监督模型部件，也可一个接一个地训练受监督模型部件和无监督模型部件。

现在转向图3，示出了根据当前所公开的主题的某些实施例的分开地训练受监督模型和无监督模型的示意图。

将第一训练集301馈送到受监督模型303以用于训练模型。在一些情况下，第一训练集301可为先验标记的数据集，其可从感兴趣层或已经看到的所有先前层中收集。第一训练集可包括至少多个第一图像和指示在第一图像上的第一缺陷分布的对应标签数据，每个第一图像表示样本的至少一部分。类似于运行时图像，第一图像可为在制造工艺期间捕获的图像，或为所捕获的图像的通过各种预处理阶段获得的衍生物(例如，晶片或光掩模的一部分的通过sem或光学检查系统捕获的图像等)，其可包含或可不包含缺陷。具体地，可通过以下方式训练受监督模型303：处理每个第一图像以生成表示在第一图像上第一缺陷的估计概率的对应第一等级图305；以及基于与第一图像相对应的标签数据来优化受监督模型。

在一些情况下，可将一组阈值应用于第一等级图以生成对应缺陷图。可基于预测结果(例如，缺陷图)来计算误报率(far)和/或捕获率(cr)并将其与从标记的数据或从用户获得的初始far进行比较，以评估受监督模型的预测性能。可选择具有最佳far和/或cr的阈值以在后续训练或在运行时使用。

捕获率(在本文中也被称为查全率)是指所捕获的缺陷占整个缺陷群体的比率。误报率是指所宣称的损害与所宣称的缺陷总数的比率。精确度是指doi次数与所宣称的缺陷总数的比率。要注意，术语捕获率、查全率、误报率、精确度等是本领域中已知的术语，并且应在其最广泛的解释中进行理解。本文中的定义是出于举例目的，并且不应以任何方式解释为限制本公开。

作为示例，可使用svm、深度神经网络(dnn)等实施受监督模型。例如，可使用卷积神经网络(cnn)或其任何合适的变体。出于说明目的，本文中使用的cnn典型地可包括一个或多个(例如，在一些情况下，三个或更多个)卷积层，接着可能是一个或多个(例如，在一些情况下，两个或更多个)全连接层。cnn的输出可为不同分辨率的等级图，例如，像素级等级图、斑块级等级图(在这种情况下，可能执行像素级等级图的后处理，诸如，例如聚类)等。

将第二训练集302馈送到无监督模型304以用于训练模型。第二训练集302包括样本的多个第二图像。在一些情况下，第二训练集可为参考图像的没有标记的数据的数据集。可通过以下方式训练无监督模型部件：处理每个第二图像以生成表示在第二图像上第二缺陷的估计概率的对应第二等级图306；以及关于第二图像基于第二等级图来优化无监督网。

参考图像可为样本(例如，管芯、单元等)的参考区域的图像，其包含与感兴趣图像(例如，第一图像)相同的图案，其中参考图像的各自的图像数据被验证为表示无缺陷的参考区域。参考图像可为从参考(例如，金色)管芯、参考单元或经验证为无缺陷的其他区域捕获的图像。替代地或另外地，参考图像可使用cad数据来模拟和/或可在捕获之后被增强以排除参考区域中的缺陷(如果有的话)。

作为示例，无监督模型可实施为dnn，诸如，例如自动编码器或其任何合适的变体/衍生物。自动编码器是一种类型的神经网络，其通常通过学习有效数据编码来用于数据再现的目的。自动编码器始终由两部分组成，即编码器和解码器。自动编码器学习将来自输入层的数据压缩为短代码(即，编码器部分)并然后将该代码解压缩为与原始数据密切地匹配的输出(即，解码器部分)。自动编码器通常具有输入层、输出层和连接它们的一个或多个隐藏层。输出层具有与输入层相同的节点数量，这目的是重建其自己的输入。针对训练数据集中的每个输入图像，自动编码器可提取表示输入图像的特征，并且使用表示特征重建对应输出图像，该输出图像可通过与输入图像进行比较来评估。训练和优化该自动编码器，以便学习训练图像(其为没有缺陷的参考图像，在本文中也被称为无缺陷图像)中的正常图案分布。可计算等级图例如作为自动编码器的输入图像与输出图像之间的差异。因此，在运行时，当有缺陷图像(即，具有缺陷的图像)到达时，经训练模型可生成其无缺陷版本，因为它是使用无缺陷图像训练的。等级图作为在输入与输出之间的差异，可指示缺陷的存在。

在一些实施例中，在训练期间，针对每个第一图像，用于训练受监督模型的第一训练集合可进一步包括对应设计数据和/或至少一个参考图像。在一些情况下，设计数据可包括基于计算机生成的设计数据的图像。因此，在运行时的输入数据将对应于特定训练数据，并且除了运行时图像之外，还可包括运行时图像的设计数据和/或至少一个参考图像。作为示例，在一些情况下，输入数据可包括运行时图像和对应参考图像。在一些其他情况下，输入数据可包括运行时图像和对应设计数据。在另一些情况下，输入数据可包括运行时图像、对应参考图像和设计数据。

在一些实施例中，对于每个第二图像，用来训练无监督模型的第二训练集可进一步包括对应设计数据。因此，在运行时，除了运行时图像之外，还可获得运行时图像的设计数据。

在一些情况下，第一训练集和第二训练集可包括从单一工具收集的图像。在另一些情况下，训练集可包括来自整个群体(例如，多个工具)的图像，以便增加系统对工具和晶片差异的抗扰性。

一旦分开地训练了有监督模型和无监督模型，就需要组合(208)两个模型的输出(例如，通过组合模块106)，以便提供总体缺陷检测结果。输出的组合可使用在使用第三训练集训练期间获得的一个或多个优化参数。可以各种方式执行组合，以便优化检测结果。现在转向图4，示出了根据当前所公开的主题的某些实施例的组合受监督模型和无监督模型的输出和其优化的示意图。

出于验证和优化组合目的，可使用第三训练集401(例如，验证集)。验证集可包括多个验证图像和对应标签数据。

根据某些实施例，在处理图像之后，受监督模型303和无监督模型304分别输出第一等级图和第二等级图。可将各自的阈值(表示为要用于受监督模型的ths，以及要用于无监督模型的thus，如图4所示)应用于每个等级图，以便生成缺陷检测输出，例如，缺陷图(对于受监督模型，表示为输出s，对于无监督模型，表示为输出us，如图4所示)。可初始地在单独的训练阶段期间选择阈值，如上文参考图3所述。根据本公开的某些实施例，可调谐每个(或至少一个)模型的初始地选择的阈值，以便优化模型的捕获率和误报率。在这种情况下，如上文所提到的用来组合的优化参数是优化阈值，其可被应用于对应等级图以获得优化缺陷图。可组合两个模型的优化缺陷图以生成总体缺陷检测结果405。

具体地，在这种情况下，可使用验证集来根据用户定义的捕获率和/或误报率406调谐一个或两个模型的阈值。作为示例，验证图像可由两个模型处理。如果用户预定义了所预期的捕获率(例如，90％)，则只要不损害用户定义的捕获率，就可增加两个模型的阈值，以最小化误报率。另一方面，如果用户预定义了所预期的误报率，则只要不损害用户定义的误报率，就可降低两个模型的阈值，从而提高捕获率。图4中示出了曲线图408，该曲线图示出了关于真肯定率(即，捕获率)和假肯定率(即，误报率)的模型的性能。如图所示，高性能模型将具有高真肯定率和低假肯定率，这将在左上方目标区域内。这意味着该模型的大多数预测与地面实况是一致的，并且可检测到所宣称的缺陷的大多数。

作为另一个示例，在受监督模型一旦被训练后就可捕获/检测验证集中的缺陷的大多数的假设下，根据本公开的某些实施例，提出锁定受监督模型的阈值ths并优化无监督模型的阈值thus，以便能够检测出尽可能多的看不见的缺陷，同时仍然满足用户的预定义far。因此，只要不损害预定义far，就可尽可能降低无监督模型的阈值以检测看不见的缺陷，以便最大化捕获率。

在这种情况下，可调谐模型的阈值，以便优化其捕获率和误报率。在运行时，可将经调谐阈值作为优化参数应用于对应模型的输出(例如，将ths应用于受监督模型输出，以及将thus应用于无监督模型输出)，并且如果任一等级图中的像素值超过各自的阈值，则可宣称缺陷。

图5示出了根据当前所公开的主题的某些实施例的使用优化阈值的运行时缺陷检测工艺的示例。由经训练受监督模型303和经训练无监督模型304接收和处理运行时图像501，从而分别产生第一等级图和第二等级图。将受监督模型的通过如上所述的优化阶段获得的优化阈值ths应用于第一等级图(参见502)。类似地，将无监督模型的优化阈值thus应用于第二等级图(参见503)。可组合(例如，通过逻辑运算或504)阈值输出(例如，缺陷图)以获得缺陷检测结果505。作为示例，组合第一等级图中超过阈值ths的像素值和第二等级图中超过阈值thus的像素值以宣称为缺陷。不超过阈值中的任一个的像素值将被视为误报，并且将被滤除。

替代地，根据某些实施例，可使用非梯度优化函数组合两个模型的输出。对这种优化函数的选择与阈值是非微分函数这一事实有关。通过优化，可确定全局权重以分配给每个等级图。作为示例，可从包括以下项的组中选择非梯度优化函数：粒子群优化(pso)、遗传算法或以上项的任何合适的组合。在一个示例中，选择pso作为优化函数。pso是通过关于给定质量度量迭代地尝试改进候选解来优化问题的计算方法。它通过具有一组候选解(复制粒子)并根据有关粒子的位置和速度的数学公式使这些粒子在搜索空间中四处移动来解决问题。

在当前情况下，每个粒子可表示分配给每个等级图的权重(例如，分配给受监督等级图的αi和分配给无监督等级图的1-αi)。对于验证集中的每个图像，可尝试不同αi值并可基于对应精确度(即，pr)和查全率来计算得分，例如：得分＝min{(l–pr)²β+(1-查全)²}，β≥1，是由用户确定的预定义参数，以用于指示精确度优于查全率，反之亦然。可最小化得分，以使准确率和查全率最大化。可确定与最小化得分相对应的αi。因此，与该组验证图像对应地确定最小化得分的αi集。为了获得全局权重α,，可将每个αi的权重因子计算为：并且可根据各自的权重因子使用加权平均函数组合αi集，以便获得全局权重α。

一旦确定了全局权重，就可将其用作在运行时的优化参数，以用于组合受监督模型和无监督模型的等级图来生成复合等级图。例如，复合等级图＝等级无监督*α+等级受监督*(1-α)。

替代地，根据另外的实施例，可使用可操作地连接到受监督模型部件和无监督模型部件的分割模型部件(在本文中也被称为分割模型)组合两个模型的输出。类似地，可使用任何合适的基于机器学习的架构(诸如，例如神经网络)来实施分割模型。

现在转向图6，示出了根据当前所公开的主题的某些实施例的使用分割模型组合受监督模型和无监督模型的输出的示意框图。

如图所示，分割模型602可操作地连接到受监督模型303和无监督模型304。可基于受监督模型303和无监督模型304的输出使用第三训练集401(也被称为验证集)来训练分割模型602。如上文所提到，验证集包括一组验证图像和对应标签数据。具体地，可将验证图像馈送到经训练受监督模型和经训练无监督模型中，并且可将两个模型的输出作为输入提供到分割模型602。分割模型学习组合两个模型的输出并生成组合/复合等级图，在设阈值之后，可将其与地面实况数据(例如，与验证图像相对应的标记的数据)进行比较。可通过最小化预测与地面实况之间的差异优化分割模型602中的参数。还可在训练期间调谐要应用于复合等级图的阈值，以便获得优化捕获率和/或误报率。以此方式，可训练分割模型以学习如何最佳地组合两个模型的输出，并且提供优化缺陷检测结果604。

在运行时，经训练分割模型以类似的方式工作。作为示例，分割模型的输入可为第一等级图和第二等级图，而模型的输出可为组合/复合等级图。可将在训练期间确定的阈值应用于复合等级图，以便获得缺陷检测结果(例如，缺陷图)。

在一些实施例中，可根据产生时间的统计信息选择验证集以包括有缺陷图像(包含缺陷的图像)和无缺陷图像(没有缺陷的图像)。作为示例，验证集可包括95％缺陷图和5％非缺陷图。为了在训练期间实现令人满意的结果，可使用高捕获率。

如上文所提到，运行时图像有可能由通过使用一个或多个附加训练集训练的一个或多个附加受监督和/或无监督模型来处理，该一个或多个附加训练集包括来自样本的不同层和/或来自不同样本的训练图像。因此，可获得指示在运行时图像上附加缺陷的估计存在的一个或多个附加输出并将其组合以生成总体缺陷检测结果。

在一些情况下，可提供即时反馈以提高检测性能。例如，出于重新训练和微调模型目的，可选择无监督模型检测为包含缺陷而受监督模型无法检测到缺陷的图像。这种机制可提高模型对少数缺陷类别(即，没有太多统计信息的稀少缺陷，应更仔细地进行采样)的抗扰性。通过从生产时间连续地收集数据并使用所收集的数据重新训练系统，可提高受监督机制的性能，并且受监督机制和无监督机制之间的平衡可转向偏向于受监督机制。

因此，如上所示，所提出的系统(其包括两个或多个受监督模型和无监督模型，以及以上项的组合和优化)能够检测在训练期间可能看见或可能看不见的缺陷(无监督模型可用作检测看不见的异常的安全网)，从而提供改进的缺陷检测结果。

当前所公开的主题的某些实施例的另外的优点是使得能够捕获由无监督模型促成的新的类别的缺陷。

当前所公开的主题的某些实施例的另外的优点是通过在运行时周期性地重新训练模型，对多种不同类别的缺陷有高稳健性和捕获率。

将理解，本发明的应用不限于本文中包含的描述中阐述或附图中示出的细节。本发明能够具有其他实施例并能够以各种方式实践或进行。因此，将理解，本文中所用的措辞和术语是出于描述目的，并且不应视为限制性的。因此，本领域的技术人员将了解，本公开所基于的概念可容易地用作设计用于进行当前所公开的主题的若干目的的其他结构、方法和系统的基础。

还将理解，根据本发明的系统可至少部分地在合适地编程的计算机上实施。同样地，本发明设想了计算机程序，该计算机程序可由计算机读取以执行本发明的方法。本发明还设想了非暂态计算机可读存储器，该非暂态计算机可读存储器有形地体现指令程序，该指令程序可由计算机执行以执行本发明的方法。

本领域的技术人员将容易地了解，在不脱离本发明的在所附权利要求书中并由所附权利要求书限定的范围的情况下，可对如上所述的本发明的实施例应用各种修改和改变。