调整方法及装置、调整设备和存储介质与流程

本申请涉及检测技术领域，特别涉及一种调整方法、调整装置、调整设备和非易失性计算机可读存储介质。

背景技术：

目前，在对晶圆进行检测时，一般会采集晶圆的图像作为样本，但由于晶圆的不同类型的缺陷的出现几率不同，从而导致样本的难易程度不同，缺陷出现的几率越高，样本越多，则该类型的样本越简单，反之则越难，在对检测模型进行训练时，由于难样本的数量较少，使得检测模型对难样本的训练效果较差，从而导致检测模型在检测晶圆的缺陷时的准确性较低，容易出现漏检或过检。

技术实现要素：

本申请提供了一种调整方法、调整装置、调整设备和非易失性计算机可读存储介质。

本申请实施方式的调整方法包括输入待测图像至检测模型，以输出所述待测图像的置信度；根据所述置信度确定调整系数，所述调整系数和所述置信度负相关；根据所述调整系数和预设的损失函数计算损失值；及根据所述损失值调整所述检测模型，以使得所述检测模型收敛。

本申请实施方式的调整装置包括第一输入输出模块、确定模块、计算模块和调整模块。所述第一输入输出模块用于输入待测图像至检测模型，以输出所述待测图像的置信度；所述确定模块用于根据所述置信度确定调整系数，所述调整系数和所述置信度负相关；所述计算模块用于根据所述调整系数和预设的损失函数计算损失值；及所述调整模块用于根据所述损失值调整所述检测模型，以使得所述检测模型收敛。

本申请实施方式的调整设备包括处理器。所述处理器用于：输入待测图像至检测模型，以输出所述待测图像的置信度；根据所述置信度确定调整系数，所述调整系数和所述置信度负相关；根据所述调整系数和预设的损失函数计算损失值；及根据所述损失值调整所述检测模型，以使得所述检测模型收敛。

本申请实施方式的一种包含计算机程序的非易失性计算机可读存储介质，当所述计算机程序被一个或多个处理器执行时，使得所述处理器执行所述调整方法。所述调整方法包括输入待测图像至检测模型，以输出所述待测图像的置信度；根据所述置信度确定调整系数，所述调整系数和所述置信度负相关；根据所述调整系数和预设的损失函数计算损失值；及根据所述损失值调整所述检测模型，以使得所述检测模型收敛。

本申请的调整方法、调整装置、调整设备和非易失性计算机可读存储介质，通过输入待测图像到检测模型，以输出待测图像的置信度，从而根据置信度确定调整系数，置信度越低，表示检测模型对该待测图像的检测准确性越低，表示该待测图像越难，因此，置信度越低(即待测图像越难)时，调整系数则越大，从而使得基于调整系数计算的损失值调整检测模型时，对检测模型的影响越大，从而提高检测模型对难样本的训练效果，即使难样本的数量较少，也能保证检测模型的准确性，从而防止漏检或过检。

本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

为了更清楚地说明本申请实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请某些实施方式的调整方法的流程示意图；

图2是本申请某些实施方式的调整装置的模块示意图；

图3是本申请某些实施方式的调整设备的平面示意图；

图4是本申请某些实施方式的调整方法的流程示意图；

图5是本申请某些实施方式的调整方法的原理示意图；

图6是本申请某些实施方式的调整方法的流程示意图；

图7是本申请某些实施方式的调整方法的流程示意图；

图8是本申请某些实施方式的调整方法的流程示意图；

图9至图13是本申请某些实施方式的调整方法的原理示意图；及

图14是本申请某些实施方式的处理器和计算机可读存储介质的连接示意图。

具体实施方式

以下结合附图对本申请的实施方式作进一步说明。附图中相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。另外，下面结合附图描述的本申请的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的限制。

请参阅图1至图3，本申请实施方式的调整方法包括以下步骤：

011：输入待测图像至检测模型，以输出待测图像的置信度；

012：根据置信度确定调整系数，调整系数和置信度负相关；

013：根据调整系数和预设的损失函数计算损失值；及

014：根据损失值调整检测模型，以使得检测模型收敛。

本申请实施方式的调整装置10包括第一输入输出模块11、确定模块12、计算模块13和调整模块14。第一输入输出模块11用于输入待测图像至检测模型，以输出待测图像的置信度；确定模块12用于根据置信度确定调整系数，调整系数和置信度负相关；计算模块13用于根据调整系数和预设的损失函数计算损失值；调整模块14用于根据损失值调整检测模型，以使得检测模型收敛。也即是说，步骤011可以由第一输入输出模块11实现、步骤012可以由确定模块12执行、步骤013可以由计算模块13执行和步骤014可以由调整模块14执行。

本申请实施方式的调整设备100包括处理器20。处理器20用于输入待测图像至检测模型，以输出待测图像的置信度；根据置信度确定调整系数，调整系数和置信度负相关；根据调整系数和预设的损失函数计算损失值；及根据损失值调整检测模型，以使得检测模型收敛。也即是说，步骤011、步骤012、步骤013和步骤014可以由处理器20执行。

具体地，待测图像可通过调整设备100拍摄待测工件200获取，待测工件200可以是晶圆。调整设备100可以是测量机。可以理解，调整设备100的具体形式并不限于测量机，还可以是任意能够对待测工件200进行检测的设备，待测工件200也不限于晶圆。

调整设备100包括处理器20、运动平台30和传感器40。处理器20和传感器40均可设置在运动平台30。运动平台30可用于承载待测工件200，运动平台30移动以带动传感器40移动，以使得传感器40采集待测工件200的信息，从而生成待测图像。

例如，运动平台30包括xy运动平台31和z运动平台32，传感器40设置在运动平台30上，具体为：传感器40设置在z运动平台32，其中，xy运动平台31用于控制待测工件200沿水平面移动，改变待测工件200和传感器40在水平面的相对位置，z运动平台32用于控制传感器40沿垂直水平面的方向移动，如此，通过xy运动平台31和z运动平台32配合实现传感器40相对待测工件200的三维位置(即，在水平面的相对位置和垂直水平面方向的相对位置)。

可以理解，运动平台30并不限于上述结构，只需能够改变传感器40相对待测工件200的三维位置即可。

传感器40可以是一个或多个，多个传感器40可以是不同类型的传感器40，如传感器40可包括可见光摄像头、深度摄像头等。本实施方式中，传感器40为可见光摄像头。

在待测图像时，可将待测工件200放置在运动平台30，处理器20则控制运动平台30移动，以使得传感器40拍摄工件的原始图像，以作为待测图像。

传感器40每次拍摄时，视场范围仅覆盖待测工件200的部分区域，通过移动待测工件200，以拍摄待测工件200的不同区域，以得到多张原始图像，多张原始图像均可作为待测图像。可以理解，晶圆的电路的排布一般较为规律，可由一个个最小重复单元组成整个晶圆的图案区，传感器40每次拍摄一个最小重复单元以得到一张待测图像。晶圆的缺陷一般包括外来物、残胶、氧化、气泡、褶皱、破裂等，对于有些缺陷如外来物、褶皱、气泡等，与晶圆的最小重复单元的差异较大，较容易检测出来，则对应的待测图像为简单样本，而对于可能与晶圆的最小重复单元的差异不大的缺陷，如小的破裂、氧化等，则对应的待测图像为难样本。

在选取拍摄原始图像的待测工件200时，选取的待测工件200可以均是同一类型的工件，使得后续进行调整后得到的检测模型专门用于检测该类型的工件，从而提高检测准确性。当然，选取的待测工件200也可以是包含不同类型的工件，从而使得调整后得到的检测模型能够同时实现多种类型工件的缺陷，应用较为广泛。

为了提升调整效果，在选取晶圆时，可选取晶圆图案、或者晶圆背景图案互不相同的多个晶圆，从而获取图像背景互不相同的多个待测图像，以提升待测图像的多样性，提升调整效果的同时，还可减少调整后的检测模型受到图像背景的影响，使得检测模型即使在不同图像背景下，依旧能够准确地进行缺陷检测。

处理器20获取到待测图像后，输入待测图像到检测模型进行检测，检测模型会输出待测图像的缺陷的类型、位置和置信度，可以理解，检测模型经过数量越多的具有同一类缺陷的待测图像的训练后，对该类缺陷的检测的准确性越高，置信度即表示检测模型对缺陷的类型判断准确程度。如置信度为90％，则表示缺陷的类型的准确性高达90％。置信度越高，表示检测模型对该类缺陷(如气泡)的检测越准确(即，训练效果越好)，说明气泡缺陷已被数量较多的具有气泡缺陷的待测图像训练过，该待测图像越简单；相反地，置信度越低，检测模型对该类缺陷(如氧化)的检测准确性越差(即，训练效果越差)，说明氧化缺陷的仅被数量较少的具有氧化缺陷的待测图像训练过，该待测图像就越难。

因此，根据待测图像的置信度的高低，可确定待测图像的难易程度，从而在置信度越低时，确定越大的调整系数，然后处理器20根据调整系数和预设的损失函数来计算损失值，以调整检测模型，从而使得检测模型收敛。例如，损失值＝调整系数*损失函数，在置信度为0.5时，即表示该样本的难易程度适中，此时预设的损失函数即可准确地计算得到损失值，无需再对损失值进行增大，以提升难样本的训练效果，故置信度为0.5时，可确定调整系数为1，即不对损失值进行调整，在置信度小于0.5时，表示此时样本已经偏难，需要增加调整系数以增大损失值，从而提升难样本的训练效果。

其中，检测模型收敛指的是检测模型的检测准确性达到预设准确率(如90％、95％、98％等)，例如，输入多张待测图像，以确定检测准确地待测图像的数量占所有待测图像的比例，以确定预设准确率。

由于置信度越低(样本越难)，调整系数越大，使得损失值也就越大，从而使得越难的样本，其损失值越大，对检测模型的调整程度就越大，从而提升对难样本的训练效果，以提高检测模型的检测精度，防止漏检和过检。

检测模型可以是二阶检测算法(如fasterr-cnn及其变种)、一阶检测算法(如yolov3及其变种)、anchor-free检测算法(如centernet及其变种)等，在此不作限制。

最后，处理器20根据收敛后的检测模型，在传感器40拍摄到待测工件200的图像后，对待测工件200的图像进行检测，以识别待测工件200的图像中的缺陷。

本申请的调整方法、调整装置10和调整设备100，通过输入待测图像到检测模型，以输出待测图像的置信度，从而根据置信度确定调整系数，置信度越低，表示检测模型对该待测图像的检测准确性越低，表示该待测图像越难，因此，置信度越低(即待测图像越难)时，调整系数则越大，从而使得基于调整系数计算的损失值调整检测模型时，对检测模型的影响越大，从而提高检测模型对难样本的训练效果，即使难样本的数量较少，也能保证检测模型的准确性，从而防止漏检或过检。

请参阅图2、图3和图4，在某些实施方式中，步骤012包括：

0121：根据置信度和预设的调整阈值确定调整系数。

在某些实施方式中，确定模块12还用于根据置信度和预设的调整阈值确定调整系数。也即是说，步骤0121可以由确定模块12执行。

在某些实施方式中，处理器20还用于根据置信度和预设的调整阈值确定调整系数。也即是说，步骤0121可以由处理器20执行。

具体地，为了防止调整系数过大，在确定调整系数时，首先根据置信度和预设的调整函数计算调整系数，然后在调整系数大于预设的调整阈值时，将调整阈值作为该调整系数，来进行后续的损失值的计算。例如，调整函数可以是f(pt)＝tan(π/2-pt*π/2)，其中，pt为置信度，f(pt)为调整系数，调整函数的函数曲线如图5所示，可以看出，在置信度为0.5时，调整系数为1，在置信度大于0.5时，调整系数小于1，在置信度小于0.5时，调整系数大于1。当置信度过小时，根据调整函数计算得到的调整系数接近无穷大，这显然是不合理的，因此，在根据调整函数和置信度计算得到调整系数后，将调整系数和预设的调整阈值进行比较，在调整系数大于预设的调整阈值时，将调整阈值作为该调整系数，来进行后续的损失值的计算。其中，预设的调整阈值为经验值，在不同的检测领域，其值也是不同的，本申请的调整阈值根据晶圆检测领域的检测模型确定。

请参阅图2、图3和图6，在某些实施方式中，调整方法还包括：

015：获取多个不同的调整阈值对应的多个检测模型；

016：输入预设的验证集至多个检测模型，以输出多个识别率；

步骤0121包括：

01212：根据置信度和识别率最高的调整阈值确定调整系数。

在某些实施方式中，调整装置10还包括获取模块15和第二输入输出模块16。获取模块15用于获取多个不同的调整阈值对应的多个检测模型。第二输入输出模块16用于输入预设的验证集至多个检测模型，以输出多个识别率。确定模块12还用于根据置信度和识别率最高的调整阈值确定调整系数。也即是说，步骤015可以由获取模块15执行，步骤016可以由第二输入输出模块16执行，步骤01212可以由确定模块12执行。

在某些实施方式中，处理器20还用于获取多个不同的调整阈值对应的多个检测模型；输入预设的验证集至多个检测模型，以输出多个识别率；根据置信度和识别率最高的调整阈值确定调整系数。也即是说，步骤015、步骤016和步骤01212可以由处理器20执行。

具体地，由于预设的调整阈值为经验值，因此，一般只能确定一个调整阈值的范围，然后在该范围内取多个调整阈值，然后根据每个调整阈值均可进行调整系数的计算，然后基于调整系数确定的损失值训练检测模型，在确定调整阈值时，无需训练检测模型至收敛，只需根据多种待测图像进行一轮训练即可，从而减少确定调整阈值的计算量。

每个调整阈值均对应一个检测模型，然后输入预设的验证集到多个调整阈值对应的检测模型中，即可得到每个检测模型的识别率，识别率最高的检测模型对应的调整阈值即为训练效果较好的调整阈值，在计算调整系数时，根据识别率最高的调整阈值和置信度，来确定调整系数，即可提升检测模型的检测效果。其中，预设的验证集为多张已经准确检测出缺陷的类型和位置的图像。

例如，调整阈值的范围为5到25，分别取5个调整阈值为5、10、15、20和25，然后根据5个调整阈值分别进行训练，如分别按照不同的调整阈值进行训练，每个调整阈值下均输入相同数量(如100张)的待测图像对检测模型进行训练，以得到5个训练后的检测模型，然后输入预设的验证集来确定每个检测模型的识别率，从而确定识别率最高的检测模型，进而确定最终的调整阈值。然后根据最终的调整阈值调整调整系数，以实现检测模型的训练，直至检测模型收敛，检测模型训练至收敛，一般需要多轮训练，如100张待测图像为一轮，则训练至收敛可能需要3轮、4轮、5轮甚至更多轮训练，所需的待测图像的数量也更多。

请参阅图2、图3和图7，在某些实施方式中，步骤014包括：

0141：输入预设的验证集到检测模型，以输出识别率；

0142：在识别率大于预设阈值时，确定检测模型收敛；及

0143：在识别率小于预设阈值时，再次输入与之前进行调整的待测图像不同的待测图像调整检测模型，直至检测模型收敛。

在某些实施方式中，调整模块14还用于输入预设的验证集到检测模型，以输出识别率；在识别率大于预设阈值时，确定检测模型收敛；及在识别率小于预设阈值时，再次输入与之前进行调整的待测图像不同的待测图像调整检测模型，直至检测模型收敛。也即是说，步骤0141、步骤0142和步骤0143可以由调整模块14执行。

在某些实施方式中，处理器20还用于输入预设的验证集到检测模型，以输出识别率；在识别率大于预设阈值时，确定检测模型收敛；及在识别率小于预设阈值时，再次输入与之前进行调整的待测图像不同的待测图像调整检测模型，直至检测模型收敛。也即是说，步骤0141、步骤0142和步骤0143可以由处理器20执行。

具体地，一般的在经过一轮训练(如经过100张待测图像调整即为一轮)，会输入预设的验证集到检测模型，然后检测模型会输出验证集中每个图像的检测结果，然后将该检测结果和对应的图像的缺陷信息进行比对，即可确定验证集中未被准确检测的图像的数量，根据该数量和验证集的图像的总数量的比例，即可确定识别率。

在识别率达到(即大于或等于)预设阈值(如90％、95％等)时，即可确定检测模型已收敛，无需继续进行训练。而在识别率未达到(即小于)预设阈值时，则可确定检测模型还未收敛，此时需要进行下一轮的训练，输入与前一轮训练的待测图像不同的待测图像再次训练检测模型，在训练完后再次输入验证集以得到识别率，从而判断检测模型是否收敛，如此循环，直至检测模型收敛。

请参阅2、图3和图8，在某些实施方式中，在输入待测图像至检测模型之前，调整方法还包括：

017：对多个待测图像进行扩增处理，扩增处理包括镜像、平移、旋转、剪切和变形中至少一种。

在某些实施方式中，调整装置10还包括扩增模块17。扩增模块17用于对多个待测图像进行扩增处理，扩增处理包括镜像、平移、旋转、剪切和变形中至少一种。也即是说，步骤017可以由扩增模块17执行。

在某些实施方式中，处理器20还用于对多个待测图像进行扩增处理，扩增处理包括镜像、平移、旋转、剪切和变形中至少一种。也即是说，步骤017可以由处理器20执行。

具体地，当待测图像的样本数量较少时，为了进一步提升待测图像的数量和多样性，处理器20可对待测图像进行扩增处理。

请参阅图9，例如，处理器20对每个待测图像p1进行镜像处理，以得到每个待测图像p1的镜像图像p2，并作为新的待测图像p1。镜像处理后的镜像图像p2和待测图像p1镜面对称，且对称轴可以是任意的，如以待测图像p1的任一边为对称轴进行镜像处理(图9则以待测图像p1的最右侧的边作为对称轴进行镜像处理)，或者以待测图像p1的对角线或任意两边中点的连线为对称轴进行镜像处理等，从而通过镜像处理得到多个新的待测图像。

请参阅图10，再例如，处理器20对每个待测图像p1进行平移处理，以得到每个待测图像p1的平移图像p3，并作为新的待测图像p1。具体首先以待测图像p1确定预定的图像区域(即，待测图像p1所占的区域)，然后对待测图像p1进行平移，如左平移、右平移、左上平移等(图10中为向右平移)，然后将预定的图像区域的图像(即，平移图像p3)作为新的待测图像p1，平移后的缺陷在图像中的位置发生变化，从而得到多个新的待测图像p1。

请参阅图11，再例如，处理器20对每个待测图像p1进行旋转处理，以得到每个待测图像p1的旋转图像p4，并作为新的待测图像p1。具体首先以待测图像p1确定预定的图像区域，然后对待测图像p1进行旋转，如顺时针或逆时针旋转10度、30度、60度、90度、140度等(图11为逆时针旋转30度)，然后将预定的图像区域的图像(及，旋转图像p4)作为新的待测图像p1，旋转后的缺陷在图像中的位置发生变化，从而得到多个新的待测图像p1。

请参阅图12，再例如，处理器20对每个待测图像p1进行剪切处理，以得到每个待测图像的剪切图像p5，并作为新的待测图像p1。具体首先以待测图像p1确定预定的图像区域，然后对待测图像p1进行剪切，如剪切待测图像p1的1/4、1/3、1/2等(图12为剪切待测图像的1/2)，然后将预定的图像区域的图像(即剪切图像p5)作为新的待测图像p1，从而得到多个新的待测图像p1。

请参阅图13，再例如，处理器20对每个待测图像p1进行变形处理，以得到每个待测图像p1的变形图像p6，并作为新的待测图像p1。具体首先以待测图像p1确定预定的图像区域，然后对待测图像p1进行变形，如对待测图像沿横向进行压缩，使得原本矩形的待测图像p1变为带缺口的矩形，然后将预定的图像区域的图像(即变形图像p6)作为新的待测图像p1，变形后的缺陷在图像中的位置和形状均发生变化，从而得到多个新的待测图像p1。

当然，处理器20还可同时对待测图像进行平移处理和旋转处理；或者同时进行平移处理、旋转处理和镜像处理；或者同时进行平移处理、旋转处理、镜像处理和剪切处理；或者，同时进行平移处理、旋转处理和镜像处理，且平移处理、旋转处理和镜像处理分别以不同的距离、不同的角度和不同的对称轴分别进行多次等，在此不再一一列举。

通过对待测图像进行扩增处理，无需获取较多待测图像即可获取大量的待测图像且待测图像的多样性较好，可提升对检测模型的调整效果。

请参阅图14，本申请实施方式的一个或多个包含计算机程序302的非易失性计算机可读存储介质300，当计算机程序302被一个或多个处理器20执行时，使得处理器20可执行上述任一实施方式的标定方法。

例如，请结合图1至图3，当计算机程序302被一个或多个处理器20执行时，使得处理器20执行以下步骤：

011：输入待测图像至检测模型，以输出待测图像的置信度；

012：根据置信度确定调整系数，调整系数和置信度负相关；

013：根据调整系数和预设的损失函数计算损失值；及

014：根据损失值调整检测模型，以使得检测模型收敛。

再例如，请结合图2、图3和图4，当计算机程序302被一个或多个处理器20执行时，处理器20还可以执行以下步骤：

0121：根据置信度和预设的调整阈值确定调整系数。

在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施方式或示例以及不同实施方式或示例的特征进行结合和组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施方式所属技术领域的技术人员所理解。

尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。