前景提取方法、异常检测方法及其系统和电子设备与流程

1.本技术涉及计算机视觉技术领域，更具体地涉及一种前景提取方法、异常检测方法、前景提取系统、异常检测系统、电子设备及存储介质。


背景技术：

2.近年来，计算机视觉技术被广泛应用于各种领域，例如，利用计算机视觉技术实现对待测物体的异常检测。
3.现有技术中，通常使用基于深度学习的检测模型，对待测物体的图像进行异常检测，检测效率较高，但需要收集大量的异常样本并进行标注，以作为检测模型的训练样本图像。在实际生产中，异常样本数量占总样本数量的比例极小，该比例通常不到0.1％。而且，大量的训练样本图像如果利用人工进行标注，则需要大量的人工成本。总之，获取足够多的异常样本训练图像通常需要花费很长的时间和精力。


技术实现要素：

4.考虑到上述问题而提出了本技术。根据本技术的一个方面，提供了一种前景提取方法，该方法包括：根据待提取图像中前景区的位置信息，在待提取图像中获取位于前景区附近的前景外扩区；根据待提取图像中前景区的位置信息，确定模板图像中的模板粗定位区，其中，模板粗定位区包括与前景外扩区对应的区域；将前景外扩区和模板粗定位区进行特征匹配，以获得第一匹配结果；根据第一匹配结果，确定模板图像中与前景区对应的模板精定位区；以及至少根据前景区中每个像素的像素值与模板精定位区中对应像素的像素值，提取前景。
5.示例性地，至少根据前景区中每个像素的像素值与模板精定位区中对应像素的像素值，提取前景，包括：对模板精定位区或前景区进行亮度调整，以使在调整后模板精定位区与前景区处在相同的亮度水平；以及通过比对处于相同亮度水平的前景区中每个像素的像素值与模板精定位区中的对应像素的像素值，提取前景。
6.示例性地，对模板精定位区或前景区进行亮度调整，包括：基于前景外扩区和模板粗定位区的第一匹配结果，确定亮度映射关系；利用亮度映射关系，对模板精定位区或前景区进行亮度调整。
7.示例性地，前景外扩区包括围绕前景区四周的环形区域，模板粗定位区的外边缘尺寸大于前景外扩区的外边缘尺寸。
8.示例性地，前景外扩区的外边缘的宽度等于前景区的宽度的n1倍，前景外扩区的外边缘的高度等于前景区的高度的m1倍；模板粗定位区的外边缘的宽度等于前景区的宽度的n2倍，模板粗定位区的外边缘的高度等于前景区的高度的m2倍，其中，n1《n2和/或m1《m2。
9.示例性地，方法还包括：对前景进行噪声滤波，以获取滤波后的前景。
10.根据本技术的第二方面，提高一种异常检测方法，包括：将待检测图像输入训练好的检测模型，以获取待检测图像中的异常前景，其中，检测模型由已标注的训练样本图像训
练而成，已标注的训练样本图像是正常样本图像和利用上述前景提取方法提取的异常前景的合成图像。
11.示例性地，方法还包括：基于异常前景构建异常前景数据集；从异常前景数据集中随机选择当前异常前景；以第一概率对当前异常前景进行第一亮度调整，并与对应的正常样本图像进行合成，以获得大于或等于第一亮度阈值且包括异常标签的正样本图像；以第二概率对当前异常前景进行第二亮度调整，并与对应的正常样本图像进行合成，以获得小于第二亮度阈值且包括正常标签的负样本图像；其中，已标注的训练样本图像包括正样本图像和负样本图像，第一概率大于第二概率，第二亮度阈值＝第一亮度阈值*预设比例，预设比例小于0.5。
12.示例性地，在获取待检测图像中的异常前景之后，方法还包括：至少根据异常前景在待检测图像中的位置，确定正常模板图像中与异常前景对应的正常模板精定位区；分别对异常前景和正常模板精定位区进行灰度直方图统计分析，并比对统计分析结果，以确定异常前景的异常指标值。
13.示例性地，至少根据异常前景在待检测图像中的位置，确定正常模板图像中与异常前景对应的正常模板精定位区，包括：根据待检测图像中异常前景的位置信息，在待检测图像中获取位于异常前景周围的异常外扩区；根据待检测图像中异常区域的位置信息，确定正常模板图像中的正常模板粗定位区，其中，正常模板粗定位区包括与异常外扩区对应的区域；对异常外扩区和正常模板粗定位区进行特征匹配，以获得第二匹配结果；基于第二匹配结果，确定正常模板图像中与异常前景对应的正常模板精定位区。
14.示例性地，在分别对异常前景和正常模板精定位区进行灰度直方图统计分析之前，方法还包括：对正常模板精定位区或者异常前景进行亮度调整，以使在调整后模板精定位区与异常前景处在相同的亮度水平。
15.示例性地，分别对异常前景和正常模板精定位区进行灰度直方图统计分析，并比对统计分析结果，以确定异常区域的异常指标值，包括：分别获取异常前景的第一灰度直方图和正常模板精定位区的第二灰度直方图；基于第一灰度直方图和第二灰度直方图的统计分析确定异常前景的多个异常指标值；根据多个异常指标值确定异常前景的综合异常指标值。
16.根据本技术的第三方面，还提供一种前景提取系统，包括：获取模块，用于根据待提取图像中前景区的位置信息，在待提取图像中获取位于前景区附近的前景外扩区；第一确定模块，用于根据待提取图像中前景区的位置信息，确定模板图像中的模板粗定位区，其中，模板粗定位区包括与前景外扩区对应的区域；匹配模块，用于将前景外扩区和模板粗定位区进行特征匹配，以获得第一匹配结果；第二确定模块，用于根据第一匹配结果，确定模板图像中与前景区对应的模板精定位区；以及提取模块，用于至少根据前景区中每个像素的像素值与模板精定位区中对应像素的像素值，提取前景。
17.根据本技术的第四方面，还提供一种异常检测系统，包括：检测模块，用于将待检测图像输入训练好的检测模型，以获取待检测图像中的异常前景，其中，检测模型由已标注的训练样本图像训练而成，已标注的训练样本图像是正常样本图像和利用上述的前景提取方法提取的异常前景的合成图像。
18.根据本技术的第五方面，还提供一种电子设备，包括处理器和存储器，其中，存储
器中存储有计算机程序指令，计算机程序指令被处理器运行时用于执行上述前景提取方法或异常检测方法。
19.根据本技术的第六方面，还提供一种存储介质，在存储介质上存储了程序指令，程序指令在运行时用于执行上述前景提取方法或异常检测方法。
20.在本技术的上述方案中，根据前景区在待提取图像中的位置信息，在确定待提取图像中的前景外扩区和模板图像中的模板粗定位区的基础上，对该两个区域进行特征匹配。并基于匹配结果，确定模板图像中的模板精定位区。最后根据前景区中每个像素的像素值与模板精定位区中对应像素的像素值，提取前景图像。该方案提取到的前景图像的准确性较高、也是真实应用的异常前景。利用该前景图像和正常图像进行合成，即可获得检测模型的多种异常样本训练图像，因此可以降低异常样本的收集难度，节省收集和标注的时间和精力。另外，该前景提取方法的计算量也较小，较节省计算资源。
21.上述说明仅是本技术技术方案的概述，为了能够更清楚了解本技术的技术手段，而可依照说明书的内容予以实施，并且为了让本技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本技术的具体实施方式。
附图说明
22.通过结合附图对本技术实施例进行更详细的描述，本技术的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本技术实施例的进一步理解，并且构成说明书的一部分，与本技术实施例一起用于解释本技术，并不构成对本技术的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
23.图1示出了根据本技术一个实施例的前景提取方法的示意性流程图；
24.图2a和图2b分别示出根据本技术一个实施例的待提取图像和模板图像的示意图；
25.图2c示出根据本技术另一个实施例的图2b的模板图像中的模板粗定位区的示意图；
26.图3示出了根据本技术另一个实施例的前景提取方法的示意图；
27.图4示出了根据本技术一个实施例的异常检测方法的示意性流程图；
28.图5示出了根据本技术另一个实施例的异常检测方法的示意图；
29.图6示出了根据本技术一个实施例的前景提取系统的示意性框图；
30.图7示出了根据本技术一个实施例的异常检测系统的示意性框图；以及
31.图8示出了根据本技术一个实施例的电子设备的示意性框图。
具体实施方式
32.为了使得本技术的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本技术的示例实施例。显然，所描述的实施例仅仅是本技术的一部分实施例，而不是本技术的全部实施例，应理解，本技术不受这里描述的示例实施例的限制。基于本技术中描述的本技术实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本技术的保护范围之内。
33.如前所述，由于实际生产中，异常图像的数量较少；而且异常图像的样本标注需要时间和精力，因此获取足够多的异常样本训练图像通常要花费很长的时间和精力。
34.为了至少部分地解决上述问题，根据本技术实施例的第一方面，提供一种前景提取方法。该前景提取方法可以用于提取图像中的前景，例如图像中的异常区域。可以基于该前景生成用于训练检测模型的训练样本图像，则经训练的检测模型可以针对待检测图像进行异常检测。图1示出了根据本技术一个实施例的前景提取方法100的示意性流程图。如图1所示，前景提取方法100可以包括以下步骤s110、步骤s130、步骤s150、步骤s170和步骤s190。
35.步骤s110，根据待提取图像中前景区的位置信息，在待提取图像中获取位于前景区附近的前景外扩区。步骤s130，根据待提取图像中前景区的位置信息，确定模板图像中的模板粗定位区。其中，模板粗定位区包括与前景外扩区对应的区域。应理解，对于步骤s110和步骤s130，两者的执行顺序可以是任意的，既可以同时执行(如图1示出的执行方案)，也可以按照任意的先后顺序执行，本技术不对其进行限制。
36.根据本技术实施例，待提取图像和模板图像可以是针对同一个或同一种目标对象的图像。该目标对象可以是任何合适的对象。例如，其可以是各种类型、各种形态和各种用途的工业产品。在一个示例中，该目标对象可以是待进行异常检测的工业产品，诸如待进行检测的某一种型号的工件。在该示例中，待提取图像可以是该型号工件中存在异常的异常工件图像，模板图像可以是该型号工件的标准参考图像，如正常工件图像。当然，待提取图像和模板图像也可以用于其他用途，包括但不限于产品的真伪检测或异常前景提取场景以外的其他前景提取等。为了简便，后文以待提取图像为待检测目标对象的异常图像，模板图像为待检测目标对象的正常图像为例，对根据本技术实施例的前景提取方法100进行展开阐述。
37.待提取图像和模板图像均可以是任何合适的图像，既可以是二维黑白图像，也可以是二维彩色图像。两者可以是任意合适尺寸、合适分辨率的图像，也可以是满足预设要求的图像。例如，待提取图像和模板图像可以是满足分辨率要求的彩色rgb图像。可以采用任何现有的或者未来的图像采集方式获取待提取图像和模板图像。待提取图像和模板图像可以是图像采集装置直接采集到的原始图像，也可以是对原始图像进行预处理操作后的图像。该预处理操作可以包括为了改善图像的视觉效果，提高图像的清晰度，或是突出图像中的某些特征等便于前景提取的所有操作。例如，预处理操作可以包括滤波等去噪操作，也可以包括图像参数的调整如图像灰度、对比度、亮度等的调整。
38.容易理解，无论待提取图像和模板图像两者是何种图像，二者的尺寸、颜色、类型等属性均可以相同。并且，由于两个图像是针对同一种目标对象，因此，待提取图像和模板图像可以是具有共同图像特征的图像。例如，两者可以是采用类似的相机，在类似的拍摄环境和类似的拍摄位置下拍摄到的参数相同的图像。
39.前景区可以是待提取图像中的任何期望提取的前景所在的图像区域。在待提取图像为异常样本图像的示例中，前景区可以是待检测目标对象存在异常的区域。例如，待检测的工件中的异常部位所在的区域，如安装错误的部件区域、被损坏区域、被污染的部件区域等。该前景区可以是采用任何合适的方法事先确定好的区域。如，可以是采用人工标注或机器标注等手段得到的待提取图像中的异常前景所在的图像区域。
40.该前景区可以是任何形状、任何大小的区域。示例性而非限制性地，待提取图像中，前景区可以是预先标注好的异常前景所在的矩形框区域所在的区域等。前景区在待提
取图像中的位置信息例如用该矩形框的坐标信息表示，如矩形框的左上角顶点的位置坐标和矩形框的宽度和高度等。当然，前景区也可以是其他形状的区域，前景区在待提取图像中的位置信息也可以采用其他合适的位置信息表示。
41.在步骤s110，可以基于所确定的待提取图像中前景区的位置信息，在待提取图像中获取位于前景区附近的前景外扩区。前景外扩区可以是将前景区沿四周任何方向进行扩展之后的扩展区域。根据本技术实施例，前景外扩区可以是临近前景区的图像区域。可选地，前景外扩区可以是沿前景区的左侧边缘扩展第一尺寸后的左侧外扩区。替代地，前景外扩区可以是沿前景区的左侧边缘向左扩展第一尺寸得到的左侧外扩区和沿右侧边缘向右扩展第二尺寸得到的右侧外扩区。当然，前景外扩区还可以是沿前景区边缘的其他方向进行扩展之后得到的前景外扩区。该前景外扩区可以具有任何合适的形状和任何合适的尺寸，只要其在待提取图像上，且位于前景区附近即可。
42.图2a和图2b分别示出根据本技术一个实施例的待提取图像和模板图像的示意图。如图2a所示，可以首先确定待提取图像中的前景区210(图中黑色实线框区域所示)，前景区210例如是矩形区域，其在待提取图像中的位置坐标例如是(x0，y0，w，h)，其中，x0和y0分别表示该矩形区域的中心点的横、纵坐标，w和h分别表示该矩形区域的宽和高。外扩尺寸例如是沿前景区的四个方向等距离外扩尺寸d，则可以得到前景外扩区220(图中斜线填充区域所示)，其外边缘的位置例如表示为(x0，y0，w+d，h+d)，在此前景外扩区220是宽度为d的方环区域。
43.根据本技术实施例，可以采用任何合适的方法获取前景外扩区。示例性而非限制性地，前景区可以是自由多边形区域，可以基于获取的前景区在待提取图像中的位置信息，确定前景区所在的多边形区域的外轮廓。然后可以采用任何合适的外轮廓等距离外扩法，得到扩展后的前景外扩区的外轮廓的位置信息。或者，前景区为规则的多边形如矩形区域，还可以根据前景区在待提取图像中的中心位置坐标、该区域的宽度和高度以及预设外扩宽度和预设外扩高度，计算得到前景外扩区的顶点位置坐标。也可以采用其他合适的方法确定前景外扩区的位置。
44.如前所述，待提取图像和模板图像可以是具有共同图像特征的图像。因此，可以在步骤s130，根据待提取图像中前景区的位置信息，确定模板图像中的模板粗定位区。示例性而非限制性地，待提取图像和模板图像的大小相同，并且目标对象的各个部位在图像中的位置也大致相同。因此，可以首先基于前景区在待提取图像中的位置信息，相应地确定模板图像中的、与前景区的位置相同的区域。示例性而非限制性地，该位置信息可以包括该前景区的位置中心信息和区域大小信息。参考图2a，前景区可以是矩形区域，该前景区的位置中心(图中黑色圆点所示)的坐标例如为(x0，y0)宽度为w，高度为h。则可以在图2b的模板图像中定位到对应位置中心230(图中黑色圆点所示)。进而，可以采用与步骤s110中获取前景外扩区类似的方法，在模板图像中确定模板粗定位区。该模板粗定位区可以是包括与前景外扩区对应的区域的任意形状的区域。对于前景外扩区，可以确定模板图像中与其位置信息相同的对应区域，即其对应区域。模板粗定位区可以等于该对应区域，也可以大于该对应区域。示例性地，若在待提取图像中，将前景区沿第一方向外扩第一距离得到前景外扩区，则在模板图像中，可以通过将与前景区对应的区域沿第一方向外扩第二距离，得到模板粗定位区，并且，第二距离不小于第一距离。
45.在一个具体的示例中，如图2b所示，根据前景区的位置信息所确定的模板图像中的模板粗定位区可以是区域尺寸大于与前景外扩区对应的区域的大矩形区域240(图中斜线填充区域)。在该示例中，可以根据前景区的位置中心(x0，y0)和前景区的宽度w和高度h，在模板图像中定位位置中心为(x0，y0)、宽度为4w、高度为4h的大矩形区域240。图2c示出根据本技术另一个实施例的图2b的模板图像中的模板粗定位区的示意图。在另一个具体的示例中，如图2c所示，根据前景区的位置信息所确定的模板图像中的模板粗定位区也可以是区域尺寸大于与前景外扩区对应的区域的方环区域240’(图中斜线填充区域)，其中该方环区域240’的内边缘可以是根据前景区的位置信息确定的。
46.步骤s150，将前景外扩区和模板粗定位区进行特征匹配，以获得第一匹配结果。
47.如前所述，由于待提取图像和模板图像是针对同一种目标对象的图像。因此两者之间具有相同的图像特征。并且，模板粗定位区包括与前景外扩区对应的区域。因此，模板粗定位区和前景外扩区必然具有相同的图像特征。在步骤s150，可以对这两个区域进行特征匹配，进而可以得到特征匹配结果。
48.可以采用任何现有的或者未来研发的特征匹配方法实现该步骤s150。在一个示例中，步骤s150还可以包括步骤s151和步骤s152。其中，在步骤s151，可以采用任何合适的特征点提取方法，分别提取待提取图像中的前景外扩区的中的第一特征点和模板图像中的模板粗定位区的第二特征点。然后，可以在步骤s152，对获取的第一特征点和第二特征点进行特征匹配，并得到第一匹配结果。可以采用任何合适的匹配算法实现该步骤。可选地，可以采用随机抽样一致算法(random sample consensus，简称ransac)对该两个区域进行特征匹配，进而得到匹配模型的最佳单应性矩阵。替代地，也可以采用尺度不变特征变换匹配算法(scale invariant feature transform，简称sift)实现对两个区域的特征点的匹配。在其他示例中，也可以采用其他合适的图像特征的匹配算法实现对上述两个区域的图像特征的匹配。
49.步骤s170，根据第一匹配结果，确定模板图像中与前景区对应的模板精定位区。
50.在上述步骤s150通过特征点匹配算法得到模板图像中的模板粗定位区与待提取图像中的前景外扩区的特征匹配结果之后，可以基于该特征匹配结果，在模板图像中，对与前景区对应的区域进行精准定位。例如，在上述步骤中通过ransac算法可以得到前景外扩区与模板粗定位区之间的特征点的匹配关系。即，可以得到前景外扩区中的第一特征点a1、a2、a3……an
与模板粗定位区中的第二特征点b1、b2、b3……bn
之间的对应关系。然后，可以在步骤s170，基于每个特征点所在的像素位置，以及特征点之间的对应关系，将模板图像执行向待提取图像的对齐操作。
51.可以采用任何合适的方法实现将模板图像与待提取图像的对齐操作。例如，可以基于特征点的匹配结果，将模板图像进行仿射变换。容易理解，仿射变换后，存在对应关系的前景外扩区中的第一特征点所在的像素和模板粗定位区中的第二特征点所在的像素位置可以保持一致。进而，可以基于前景区在待提取图像中的位置信息，在仿射变换后的模板图像中精确定位到与前景区对应的模板精定位区。由于前景外扩区位于前景区附近，因此基于前景外扩区和模板粗定位区的特征点匹配结果，将模板图像进行仿射变换之后，定位得到模板图像中的模板精定位区与前景区可以是精准对齐的。由此，可以实现将特征匹配后的前景区和模板精定位区在同一个坐标系下进行像素级地精准对齐。
52.步骤s190，至少根据前景区中每个像素的像素值与模板精定位区中对应像素的像素值，提取前景。
53.通过上述步骤s170可以实现将前景区与模板精定位区的精准对齐。在两者精准对齐之后，可以通过比对两者中的各个像素的像素值，提取前景。可以采用任何合适的方法比对两者的各个像素的像素值。可选地，可以直接对比两者中位置相同的像素的像素值的差值，然后可以基于该差值，提取前景图像。替代地，也可以采用间接对比的方法，例如可以首先将两者中的任一者的各个像素的像素值进行中间值的转换，进而通过比对变换后的像素的像素值之间的差异，提取前景图像。
54.可以采用任何合适的前景图像提取方法提取前景。示例性而非限制性地，提取的前景图像的图像尺寸可以与前景区的尺寸相等。根据本技术实施例，在提取的前景图像中，每个像素的像素值可以表示待提取图像中的前景区的对应像素的像素值与模板图像中的模板精定位区的对应像素的像素值之间的差值。其中，由于该前景区中存在前景如异常前景。为了简便，可以将异常前景的每个像素称作前景像素。而模板精定位区不存在该异常前景，可以将模板精定位区的每个像素称作背景像素。容易理解，前景区的前景像素和模板精定位区对应位置的背景像素的像素值不同，二者的像素值的差值不为0且该差值在像素区间(0，255)内。由于前景区中的背景像素和模板精定位区的对应位置的背景像素的像素值相同，即，二者的像素值的差值为0。因此，最终提取到的前景图像中的背景像素的像素值均为0。因此，最终可以得到背景像素为0且与前景区大小一致的前景图像。
55.本技术实施例的前景提取方法可以应用于异常样本的异常前景提取，所得到的异常前景区的像素的像素值可以表示异常像素与正常像素的像素值差异。一方面，该前景图像可以精确表示异常所在的位置以及异常所在的像素的像素值大小，因此图像所表示的异常前景的精度更高。另一方面，在此基础上，也方便基于该异常图像进行各种基础变换，以生成更多可以模拟真实异常的异常样本图像。进而可以解决现有技术中异常样本图像较少且难以收集的问题。
56.根据上述方案，根据前景区在待提取图像中的位置信息，在确定待提取图像中的前景外扩区和模板图像中的模板粗定位区的基础上，对该两个区域进行特征匹配。并基于匹配结果，确定模板图像中的模板精定位区。最后根据前景区中每个像素的像素值与模板精定位区中对应像素的像素值，提取前景图像。该方案提取到的前景图像的准确性较高、也是真实应用的异常前景。利用该前景图像和正常图像进行合成，即可获得检测模型的多种异常样本训练图像，因此可以降低异常样本的收集难度，节省收集和标注的时间和精力。另外，该前景提取方法的计算量也较小，较节省计算资源。
57.示例性地，前景外扩区包括围绕前景区四周的环形区域，模板粗定位区的外边缘尺寸大于前景外扩区的外边缘尺寸。根据本技术实施例，前景外扩区还可以是紧邻前景区四周的环形区域。即前景外扩区可以是以前景区的中心位置为中心，沿四面各个方向进行扩展的扩展区域。前景外扩区的内边缘可以是前景区的外边缘，前景区的外边缘可以是前景区的外边缘的扩展边缘。例如前景区可以是边长为a的方形区，则前景外扩区的外边缘可以是边长大于a的大正方形，或者前景外扩区的外边缘也可以是在该方形区之外的其他形状。总之，前景外扩区的外边缘在前景区的外边缘之外。可选地，前景外扩区可以为规则的环形区域，例如可以是沿着前景区的外边缘均匀外扩一定尺寸的环形区。替代地，前景外扩
区也可以是不规则的环形区域，如沿着前景区的外边缘向各个方向随机扩展任意不同尺寸的环形区。可以采用与步骤s110同样的方法对前景区进行外扩得到围绕前景区四周的前景外扩区，本领域普通技术人员容易理解该方案，在此不再赘述。
58.根据上述方案，可以沿前景区四周各个方向进行外扩得到前景外扩区。由于前景外扩区覆盖了前景区的周边区域，在前景外扩区与模板粗定位区的特征匹配中则可以匹配涵盖前景区周边各个位置的特征点，进而可以显著提高对模板精定位区的定位的准确度。从而可以提高前景提取的精度。
59.当然，在实际应用中，还可以在某些特殊场景下，沿前景区四周的任意一个或者多个方向外扩得到前景外扩区。
60.示例性地，前景外扩区的外边缘的宽度等于前景区的宽度的n1倍，前景外扩区的外边缘的高度等于前景区的高度的m1倍；模板粗定位区的外边缘的宽度等于前景区的宽度的n2倍，模板粗定位区的外边缘的高度等于前景区的高度的m2倍，其中，n1《n2和/或m1《m2。
61.根据本技术实施例，可以以前景区的中心位置为中心对前景区进行较为均匀地拓展，得到前景外扩区。前景外扩区的外边缘的尺寸可以是前景区的尺寸的倍数。模板粗定位区的外边缘的尺寸也可以是前景区的尺寸的倍数。并且，模板粗定位区的尺寸可以大于前景外扩区的尺寸。示例性而非限制性地，前景区可以是以o为中心点的宽高尺寸为a*b的第一矩形区域，前景外扩区的外边缘可以是以o为中心点的尺寸较大的第二矩形区域，模板粗定位区的外边缘也可以是以o为中心点的尺寸更大的第三矩形区域。例如，第二矩形的宽度2a，高度3b，而第三矩形的宽度可以是3a，高度可以是4b。本领域普通技术人员容易理解该方案的各种可能的实现方式，在此不再赘述。
62.可以采用任何合适的方式确定前景外扩区和模板粗定位区。可选地，可以首先确定前景区在待提取图像中的中心点的位置o和前景区的宽度a与高度b。然后，可以根据该坐标定位至模板区的中心位置o1。并可以在待提取图像中，以o为中心，确定宽度为2a高度为3b的第二矩形作为前景外扩区的外边缘，可以将前景区的外边缘作为前景外扩区的内边缘。可以在模板图像中，以o1为中心，确定宽度为3a高度为4b的第三矩形作为模板粗定位区的外边缘。可以直接将该第三矩形区域的整个区域作为模板粗定位区，也可以将模板图像中的、与第一矩形区域对应的区域边缘作为模板粗定位区的内边缘。当然，也可以采用其他合适的方式确定前景外扩区和模板粗定位区。
63.根据上述方案，前景外扩区和模板粗定位区的外边缘尺寸可以是前景区的倍数。并且，模板粗定位区的外边缘尺寸大于前景外扩区。这种方案同样可以覆盖前景区的周边的更多区域，以提取前景外扩区与模板粗定位区的更多的特征点进行特征匹配，进而提高对模板精定位区的准确度、提高前景提取的精度。并且，该方案更简单，计算量也更小，也更节省计算资源。
64.示例性地，步骤s190至少根据前景区中每个像素的像素值与模板精定位区中对应像素的像素值，提取前景，包括步骤s191和步骤s192。
65.在步骤s191，对模板精定位区或前景区进行亮度调整，以使在调整后模板精定位区与前景区处在相同的亮度水平。
66.由于待提取图像和模板图像可以是不同时刻拍摄到的，两者在拍摄时的曝光度等拍摄参数可能存在细微的差异，因此，两个图像的像素的亮度水平可能不一致，尤其是前景
区与模板精定位区的亮度水平可能存差异。图2a所示的待提取图像示出的前景区的亮度较高，而图2b所示的模板图像中的与前景区对应的区域的亮度水平则较低。因此，该示例中的前景区与模板精定位区的亮度水平存在较大的差异，在这种情况下，还可以在步骤s191首先对两者中的任一者的亮度进行调整，以使两者的整体亮度水平相当。可选地，可以以模板精定位区的各个像素的亮度为基准，对待提取图像中的前景区的各像素的亮度进行统一调整。替代地，也可以以前景区的各个像素的亮度为基准，对模板精定位区中的各个像素的亮度进行调整。
67.根据上述方案，可以通过对待提取图像中的前景区或模板图像中的模板精定位区的像素进行亮度校准，进而对比亮度水平相当的两个区域的像素的像素值的差异，并根据比对结果来提取前景。通过该方案得到的前景图像的精度更高，更能直观反映异常细节的分布，因此泛化该异常前景以得到更多模拟异常样本，从而便于异常样本的收集。
68.示例性地，步骤s191对模板精定位区或前景区进行亮度调整，包括步骤s191.1和步骤s191.2。
69.在步骤s191.1，基于前景外扩区和模板粗定位区的第一匹配结果，确定亮度映射关系。根据本技术实施例，可以基于前景外扩区和模板粗定位区的特征点的匹配结果，例如可以基于ransac匹配得到特征点匹配结果。如可以得到第一特征点与第二特征点之间的位置对应关系，然后可以基于第一特征点和第二特征点分别对应在待提取图像和模板图像上的每个像素的亮度值，确定待提取图像和模板图像的特征点位置的像素的亮度映射关系。可以采用任何现有的或未来研发的方法确定上述亮度映射关系，例如，可以采用最小二乘法得到亮度映射公式。或者，还可以采用训练好的模型自动拟合上述亮度映射关系。
70.在步骤s191.2，利用亮度映射关系，对模板精定位区或前景区进行亮度调整。在确定了待提取图像和模板图像中对应各个特征点位置的像素的亮度映射关系之后，可以基于该亮度映射关系对前景区或模板精定位区进行亮度校准。例如可以通过最小二乘法得到将模板图像上的第二特征点的像素亮度映射至待提取图像上的第一特征点的像素亮度的映射关系。然后，可以将该亮度映射关系应用至模板精定位区中的每个像素中，可以得到校准后的模板精定位区的各个像素的亮度值。当然，也可以得到将待提取图像上的第一特征点的像素亮度映射至模板图像上的第二特征点的像素亮度的映射关系，并可以基于该映射关系对前景区的每个像素的亮度进行校准，以得到校准后的前景区。
71.根据上述方案，可以根据前景外扩区和模板粗定位区之间的特征点的匹配结果确定亮度映射关系，并可以基于该亮度映射关系对前景区或模板精定位区进行校准。该亮度校准的方案更准确，因此可以得到精确校准的模板精定位区或前景区，进而可以提高提取的前景图像的准确度。并且，该方案的计算量较小，可以节省计算资源，还有助于提高前景提取的效率。
72.示例性地，在步骤s190之后，前景提取方法100还包括步骤s195，对前景进行噪声滤波，以获取滤波后的前景。
73.为了获取更准确的前景图像，在步骤s190之后，还可以对提取的前景图像进行去噪处理。可以采用任何合适的图像去噪方法对前景图像进行去噪处理。例如，可以采用均值滤波、中值滤波、灰度最小方差均值滤波、k近邻平滑滤波、对称近邻均值滤波、西戈玛平滑滤波等。本领域普通技术人员容易理解该方案，在此不再赘述。
74.通过上述图像滤波与形态操作可以显著降低前景图像中的噪声干扰，有助于生成通用性更强、更准确的异常样本图像。
75.图3示出根据本技术另一个实施例的前景提取方法的流程图。如图所示，可以在首先获取针对同一种目标对象的待提取图像和模板图像。例如可以获取针对某一型号工件的异常样本图像和正常模板图像。可以采用人工标注的方式确定异常样本图像中的异常区域。可以基于异常区域在异常样本图像中的位置信息对异常区域进行外扩得到异常外扩区，还可以在正常模板图像中确定模板粗定位区，模板粗定位区可以包括与异常外扩区对应的区域。其次，可以对获取的异常外扩区和模板粗定位区分别提取特征点，并进行ransac匹配，并可以基于匹配结果对正常模板图像进行仿射变换，以使正常模板图像和待提取图像精确对齐。并在此基础上，正常模板图像中的模板精定位区。接着，可以基于特征点匹配结果，确定正常模板图像和待提取图像在对应特征点位置的像素的亮度映射关系，并根据亮度映射关系对模板精定位区的像素的亮度进行校准。最终根据异常区域的每个像素的像素值与校准后的模板精定位区的对应像素的像素值的差值，提取前景图像。
76.根据本技术的第二方面，提供一种异常检测方法400。图4示出根据本技术一个实施例的异常检测方法400的示意性流程图。如图所示，异常检测方法400包括步骤s450，将待检测图像输入训练好的检测模型，以获取待检测图像中的异常前景。待检测图像可以是待进行异常检测的目标对象的图像。其可以是任何合适的图像。检测模型可以是任何合适的网络模型，例如可以是经训练的异常检测模型如yolov5网络模型。检测模型由已标注的训练样本图像训练而成，已标注的训练样本图像是正常样本图像和利用上述前景提取方法100提取的异常前景和正常图像的合成图像。可以采用任何合适的图像合成方法对异常前景和正常样本图像进行合成，得到该训练样本图像。例如，训练样本图像中可以包括前景区和背景区，其前景区可以是由通过上述前景提取方法从异常样本图像中提取出的异常前景图像进行旋转缩放、仿射变换等基础变换得到的图像区域。其背景区为除了被前景区遮挡的正常样本图像的其他图像区域。容易理解，通过一张异常前景图像可以基础变换得到多张包括异常前景的异常训练样本图像，便于收集更多的异常样本图像。训练样本图像的标注信息可以包括异常前景在图像中的位置信息以及异常类别信息。
77.容易理解，通过将大量的已标注的训练样本图像送入初始检测模型中进行训练，可以得到训练好的检测模型。将待检测图像输入至训练好的检测模型中，可以得到该检测模型的检测结果。当待检测图像中包括异常区域时，该训练好的检测模型可以准确输出待检测图像中包括异常的异常结果信息，例如包括异常区域所在的位置，即异常前景所在的位置。例如，可以输出异常前景所在的矩形位置框。并且，基于该矩形位置框可以获取待检测图像中的对应该位置框区域的异常前景区域的图像。
78.根据上述方案，可以利用前述前景提取方法对异常样本图像进行异常前景提取得到的异常前景合成检测模型的训练样本图像，并可以利用合成的训练样本图像训练检测模型。利用训练好的检测模型可以实现对待检测图像的异常前景的准确检测。通过这种方案，可以基于少量的异常样本图像合成更多的异常训练样本图像。可以大大节省异常样训练样本的收集时间，降低异常样本的收集难度，从而可以实现对检测模型的快速训练，进而有助于提高对待检测目标对象的检测效率；而且由于提取的异常前景是真实场景下，因此，训练出的模型更加符合要求，检测精度更高。
79.示例性地，在步骤s450之前，异常检测方法400还包括步骤s410、步骤s420和步骤s430。根据本技术实施例，异常检测方法400还可以包括训练样本图像的以下收集步骤。
80.在步骤s410，基于异常前景构建异常前景数据集。例如，以某a类工件的异常检测为例。可以收集在某一段时间内的生产中产生的异常工件的图像。并可以采用人工标注的形式在图像中标注该异常区域。然后可以通过前景提取方法100提取尺寸固定的异常前景图像，并可以将每个异常前景图像存储至异常前景数据集中。例如，可以将异常前景数据制作为异常形态.npz格式的数据集文件。
81.在步骤s420，从异常前景数据集中随机选择当前异常前景。可以从异常前景数据集中随机选取用于训练检测模型的当前异常前景。可以随机选取一张或多张异常前景作为当前的异常前景。
82.在步骤s430，可以以第一概率对当前异常前景进行第一亮度调整，并与对应的正常样本图像进行合成，以获得大于或等于第一亮度阈值且包括异常标签的正样本图像。并以第二概率对当前异常前景进行第二亮度调整，并与对应的正常样本图像进行合成，以获得小于第二亮度阈值且包括正常标签的负样本图像。已标注的训练样本图像包括正样本图像和负样本图像，第一概率大于第二概率，第二亮度阈值＝第一亮度阈值*预设比例，预设比例小于0.5。第一概率和第二概率均可以是任何合适的概率值，且第一概率与第一概率的和为100％。第一亮度阈值和第二亮度阈值也可以是任何合适的亮度阈值。并且，对于不同的目标对象，或者对应于不同的检测需求，可以设置不同的第一亮度阈值和第二亮度阈值。在一个示例中，第一概率例如是80％，第二概率例如是20％。即生成正样本的概率可以是80％，生成负样本的概率可以是20％。在训练样本图像为灰度图像的示例中，亮度阈值可以表示为灰度阈值。第一亮度阈值可以用第一灰度阈值表示。第二亮度阈值可以用第二灰度阈值表示。第一灰度阈值例如是100，第二灰度阈值例如是小于50，如20。即，可以在步骤s430，以80％的概率合成包括异常标签的正样本图像，并以20％的概率合成包括正常标签的负样本图像。其中，正样本图像可以是通过对当前的异常前景进行整体的亮度调整之后与正常样本图像进行合成得到，例如，正样本图像中异常前景的平均亮度值或说平均灰度值均可以大于或等于100。而负样本图像中异常前景的平均亮度值或说平均灰度值则可以小于20。
83.示例性地，在合成异常前景和正常样本图像之前，还可以对异常前景进行随机仿射变换，以得到变换后的一个或多个异常前景。进而可以对该变换后的异常前景进行亮度调整，以生成更多种正样本图像和负样本图像。并可以依据获取的正样本图像和负样本图像重新在线生成标签，以得到已标注的正样本图像和负样本图像。这相对于现有技术中的人工标签方案，采用重新在线生成标签的方案，可以优化检测模型的数据读取模块。并且，在每轮训练中都对异常前景进行随机仿射变换，生成新的标签数据，可以极大地拓展原始异常样本的多样性，以及检测模型的泛化能力。
84.根据本技术实施例，可以采用上述合成训练样本图像的方法得到的训练样本图像对检测模型如yolov5进行多轮迭代训练。并可以在每轮迭代训练过程中，均可以采用上述合成训练样本图像的方法和成用于每轮训练的当前训练样本图像。由此可以采用较少量的异常样本图像合成较大量且较准确的异常训练样本图像以训练检测模型。因此，可以显著提高对检测模型的训练效率，提高检测模型的异常检测效率。并且，由于合成的训练样本图
像中还包括相对较少量的负样本训练图像，这样可以一定程度地降低检测模型的过检率。
85.示例性地，在步骤s450之后，该异常检测方法400还包括步骤s460和步骤s470。根据本技术实施例，还可以在通过检测模型获取待检测图像中的异常前景之后，对该异常前景进行后处理，以确定最终的检测结果。
86.在步骤s460，至少根据异常前景在待检测图像中的位置，确定正常模板图像中与异常前景对应的正常模板精定位区。容易理解，该正常模板精定位区可以是与异常前景的位置和特征精确对应的区域。可以采用任何合适的图像处理方法，确定正常模板精定位区。
87.在步骤s470，分别对异常前景和正常模板精定位区进行灰度直方图统计分析，并比对统计分析结果，以确定异常前景的异常指标值。例如，可以统计待检测图像中异常前景区的不同灰度的分布概率以及正常模板图像中的正常模板精定位区的不同灰度的分布概率。还可以基于各自的灰度直方图进一步分析该图所反映的各自区域中各个像素的灰度的一个或多个可量化的统计指标。并可以比对两者的灰度直方图的统计分析结果之间的差异，进而确定异常前景的异常指标值。异常指标值可以是任何可以体现异常前景与正常模板粗定位区的像素的灰色的差异的量化值，本技术不对其进行限制。例如，异常指标值可以是能够体现两个区域中的像素的相似性的指标。又例如，其可以是体现两个区域的像素的偏离程度的指标。又或者，其也可以是多个异常指标值的综合指标值。
88.根据上述方案，可以根据获取的待检测图像中的异常前景的位置，确定正常模板图像中与异常前景对应的正常模板精定位区。进而通过对异常前景和正常模板精定位区进行直方图统计分析，根据二者的分析结果的差异，确定异常前景的可量化异常指标值。该方案不仅通过模型检测出异常区域，还进一步通过后处理确定异常区域的异常指标值。这样，可以通过后处理的复判，显著提高异常检测的精度。
89.示例性地，步骤s460，至少根据异常前景在待检测图像中的位置，确定正常模板图像中与异常前景对应的正常模板精定位区，包括：
90.在步骤s461，根据待检测图像中异常前景的位置信息，在待检测图像中获取位于异常前景周围的异常外扩区。该步骤可以采用与前述步骤s110类似的方法实现，在此不再赘述。
91.在步骤s462，根据待检测图像中异常区域的位置信息，确定正常模板图像中的正常模板粗定位区，其中，正常模板粗定位区包括与异常外扩区对应的区域。该步骤可以采用与前述步骤s130类似的方法实现，在此不再赘述。
92.在步骤s463，对异常外扩区和正常模板粗定位区进行特征匹配，以获得第二匹配结果。该步骤可以采用与前述步骤s150类似的方法实现，在此不再赘述。
93.在步骤s464，基于第二匹配结果，确定正常模板图像中与异常前景对应的正常模板精定位区。该步骤可以采用与前述步骤s170类似的方法实现，在此不再赘述。
94.根据上述方案，在通过检测模型输出待检测图像中的异常前景之后，还可以基于异常前景在待检测图像中的位置确定异常外扩区和正常模板图像中的正常模板粗定位区。并基于异常外扩区和正常模板粗定位区的特征匹配，精确定位正常模板图像中与异常前景对应的正常模板精定位区。并可以通过对异常前景与正常模板精定位区的灰度直方图统计分析，确定异常前景的异常指标值。该方案可以得到更准确的异常前景的异常指标值，进而可以提高异常检测的检测精度。
95.示例性地，在步骤s470分别对异常前景和正常模板精定位区进行灰度直方图统计分析之前，该异常检测方法400还包括步骤s465，对正常模板精定位区或者异常前景进行亮度调整，以使在调整后模板精定位区与异常前景处在相同的亮度水平。该步骤s465可以采用与前述前景提取方法100中的步骤s191.1和步骤s191.2相同的方法对正常模板精定位区或异常前景进行亮度校准。本领域普通技术人员通过阅读前述方案，可以理解该步骤的实现方法，在此不再赘述。
96.根据上述方案，通过对正常模板精定位区或者异常前景进行亮度调整，以将两者统一至同样的亮度水平之后，再进行灰度直方图统计分析。这种方案得到的分析结果更准确，可以得到更精准的直观反应异常前景的异常程度等的量化指标。
97.示例性地，步骤s470分别对异常前景和正常模板精定位区进行灰度直方图统计分析，并比对统计分析结果，以确定异常区域的异常指标值，包括步骤s471和步骤s472。
98.在步骤s471，分别获取异常前景的第一灰度直方图和正常模板精定位区的第二灰度直方图。在一个示例中，可以在对正常模板精定位区进行亮度校准之后，对亮度校准后的正常模板精定位区和异常前景的各个像素的灰度值进行统计，以获取异常前景的第一灰度直方图和正常模板精定位区的第二灰度直方图。可以采用任何现有的或未来研发的灰度直方图获取方法获取第一灰度直方图和第二灰度直方图。
99.在步骤s472，基于第一灰度直方图和第二灰度直方图的统计分析确定异常前景的多个异常指标值，根据多个异常指标值确定异常前景的综合异常指标值。根据本技术实施例，可以对异常前景和模板精定位区的各自的灰度直方图进行统计分析，以得到各种可以表示灰度统计的量化统计指标。然后，可以对比两者的同一种量化统计指标，并可以得到两者之间的每种量化指标的差值或比值等可以表示两者的差异的量化值。并可以将两者的每种量化指标的差异值作为异常前景的一种异常指标，或者还可以通过将多种量化指标的差异值进行进一步统计分析得到分析后的差异值，作为异常前景的一种异常指标。最后综合多个异常指标可以得到异常前景的综合异常指标值。
100.容易理解，此步骤中确定的多个异常指标和综合异常指标均可以反映异常前景相对于正常模板精定位区的灰度差异，可以量化异常前景的异常程度。有助于用户直观地了解异常前景的异常程度。
101.示例性而非限制性地，多个异常指标值可以包括第一灰度直方图和第二灰度直方图各自的均值的差值第一灰度直方图和第二灰度直方图各自的均方根的差值dx
rms
、第一灰度直方图和第二灰度直方图各自的偏度的差值dskew，第一灰度直方图和第二灰度直方图各自的波形指标的差值ds、第一灰度直方图和第二灰度直方图各自的峰值指标的差值dc以及第一灰度直方图的积分曲线和第二灰度直方图的积分曲线各自的ad检验统计量的差值ad。根据多个异常指标值确定异常前景的综合异常指标值，包括利用以下公式计算异常前景的综合异常指标值a：
[0102][0103]
其中，k1、k2、k3、k4、k5、k6表示相应的异常指标值的权重系数，且k1、k2、k3、k4、k5、k6均大于或等于0且小于或等于1。并且，每个异常指标值的权重系数可以根据用户实际需求进行任意设置，例如对于用户关注度较高的异常指标值的权重系数可以设置的相对较大，
对于用户关注度较低的异常指标值的权重系数则可以设置的相对较小。在实际应用中，例如在面板ic中存在多种差异明显的区域如低频区、高频区以及粒子区。对于单一种类的区域的异常检测，确定一个异常指标值就可以描述其异常程度，因此可以将该异常指标值的权重系数设置的较大，例如设置为1，而将其他异常指标值的权重系数设置的较小，例如均设置为0。然而，对于同时对集成电路中的多种不同区域进行异常检测的情况，采用一种异常指标值无法兼顾确定各区域的异常程度，因此可以通过上述公式中确定各区域的综合异常指标值，并可以将每个异常指标值的权重系数设置的相对均衡，例如可以设置k1＝k5＝k6＝0.3，k2＝k3＝0.1，k4＝0.2。由此，利用上述异常前景的综合异常指标值的确定方法可以较快速且准确地确定各种异常前景的异常程度。
[0104]
在另一个实施例中，还可以将第一灰度直方图和第二灰度直方图的多个量化指标输入至训练好的决策树模型，并通过训练决策树模型，以输出异常前景的综合异常指标值。在这种方案中，采用决策树模型可以回归出异常前景的更理想的综合异常指标值。并且由于决策树模型呈现的是非线性的模型结构，因此用户体验也较好。
[0105]
在通过上述方法得到异常前景的综合异常指标值之后，还可以将该综合异常指标值与预设的指标阈值进行对比，并可以根据对比结果，确定最终检测结果，如可以在综合异常指标值大于预设的指标阈值的情况下，确定当前待检测图像的异常前景为最终的异常区域。例如，通过上述异常前景的综合异常指标值的计算公式确定了当前待检测图像的异常前景的综合异常指标值为0.6，而预设的指标阈值为0.5，则可以确定检测模型输出的当前待检测图像的异常前景为确定的异常区域，并可以输出该异常区域作为最终的检测结果。由此，可以通过对异常前景的后处理来确定异常前景的综合异常指标，进而确定异常检测的最终检测结果。
[0106]
根据上述方案，可以在异常检测的后处理阶段，确定正常模板图像中的正常模板精定位区。并分别对异常前景和正常模板精定位区进行灰度直方图的统计分析，得到两者各自的统计分析结果。通过比对两者的统计分析结果确定异常前景的多个异常指标值，并采用线性或非线性方式得到异常前景的综合异常指标值。最终，可以根据综合异常指标值，确定异常检测的最终检测结果。该方案中，通过量化的异常前景的综合异常指标值向用户直观、准确地呈现异常前景的异常程度，在显著提高检测精度的同时，用户体验也更好。
[0107]
图5示出根据本技术另一个实施例的异常检测方法的流程图。如图5所示，可以将包括目标对象的待检测图像输入至训练好的检测模型，并输出待检测图像中的异常区域的矩形位置框。异常区域的位置例如(x0，y0，w，h)。可以基于异常区域的位置中心(x0，y0)，对异常区域进行外扩得到异常外扩区，异常外扩区的外边缘的位置例如(x0，y0，2w，2h)。并可以在对应的正常模板图像中得到正常模板粗定位区的位置，该区域的外边缘位置例如是(x0，y0，4w，4h)。然后，可以采用任何合适的特征点提取方法提取异常外扩区的第一特征点和正常模板粗定位区的第二特征点。可以通过ransac匹配的方法匹配第一特征点和第二特征点，以得到特征点的匹配结果。然后，可以基于特征点匹配结果对正常模板图像进行仿射变换，以使正常模板图像和待检测图像精确对齐。并根据异常区域的位置精确定位出正常模板精定位区。同时，可以基于特征点匹配结果确定正常模板精定位区的像素与异常区域的像素的映射关系，并根据该映射关系对正常模板精定位区的像素进行亮度校准，以使校准后的模板精定位区的亮度均值与异常区域的亮度均值相同。接着，可以分别获取异常区
域和校准后的模板精定位区的灰度直方图和灰度直方图积分曲线。并可以通过对两者的灰度直方图与灰度直方图积分曲线的统计分析结果的差异，确定多个可量化的异常指标。并可以采用决策树模型或者采用综合异常指标值的计算公式确定异常前景的综合异常指标值。最终，可以将综合异常指标值与预设的阈值进行比对，并根据比对结果，确定待检测图像的最终检测结果。
[0108]
根据本技术第三方面，提供一种前景提取系统。图6示出根据本技术一个实施例的前景提取系统600的示意性框图。如图所示，该前景提取系统600包括：
[0109]
获取模块610，用于根据待提取图像中前景区的位置信息，在待提取图像中获取位于前景区附近的前景外扩区；
[0110]
第一确定模块620，用于根据待提取图像中前景区的位置信息，确定模板图像中的模板粗定位区，其中，模板粗定位区包括与前景外扩区对应的区域；
[0111]
匹配模块630，用于将前景外扩区和模板粗定位区进行特征匹配，以获得第一匹配结果；
[0112]
第二确定模块640，用于根据第一匹配结果，确定模板图像中与前景区对应的模板精定位区；以及
[0113]
提取模块650，用于至少根据前景区中每个像素的像素值与模板精定位区中对应像素的像素值，提取前景。
[0114]
根据本技术第四方面，提供一种异常检测系统。图7示出根据本技术一个实施例的异常检测系统700的示意性框图。如图所示，该系统700包括检测模块710，用于将待检测图像输入训练好的检测模型，以获取待检测图像中的异常前景。其中，检测模型由已标注的训练样本图像训练而成，已标注的训练样本图像是正常样本图像和利用上述前景提取方法100提取的异常前景的合成图像。
[0115]
根据本技术的第五方面，还提供一种电子设备。图8示出了根据本技术实施例的电子设备800的示意性框图。如图所示，该电子设备800包括处理器810和存储器820，其中，存储器820中存储有计算机程序指令，计算机程序指令被处理器810运行时用于执行上述前景提取方法100或上述异常检测方法400。
[0116]
根据本技术的第六方面，还提供一种存储介质，在存储介质上存储了程序指令，程序指令在运行时用于执行上述前景提取方法100或上述异常检测方法300。所述存储介质例如可以包括平板电脑的存储部件、个人计算机的硬盘、只读存储器(rom)、可擦除可编程只读存储器(eprom)、便携式只读存储器(cd-rom)、usb存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。
[0117]
本领域普通技术人员通过阅读上述有关前景提取方法100和异常检测方法400的相关描述，可以理解上述前景提取系统600、异常检测系统700、电子设备800和存储介质的具体实现方案，为了简洁，在此不再赘述。
[0118]
尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本技术的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本技术的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本技术的范围之内。
[0119]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单
元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0120]
在本技术所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。
[0121]
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本技术的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
[0122]
类似地，应当理解，为了精简本技术并帮助理解各个发明方面中的一个或多个，在对本技术的示例性实施例的描述中，本技术的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本技术的方法解释成反映如下意图：即所要求保护的本技术要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本技术的单独实施例。
[0123]
本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
[0124]
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本技术的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
[0125]
本技术的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本技术实施例的前景提取系统和异常检测系统中的一些模块的一些或者全部功能。本技术还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本技术的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
[0126]
应该注意的是上述实施例对本技术进行说明而不是对本技术进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本技术可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项
来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
[0127]
以上所述，仅为本技术的具体实施方式或对具体实施方式的说明，本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。本技术的保护范围应以权利要求的保护范围为准。