一种图像重构模型的生成方法和计算机设备与流程

1.本技术涉及网络数据检测技术领域，特别是涉及一种图像重构模型的生成方法和计算机设备。


背景技术：

2.基于图像的异常检测，是图像视觉领域的经典问题，被广泛应用于工业领域，比如缺陷检测、安防、医疗等任务，随着人工智能技术的发展，基于卷积神经网络(cnn)检测识别技术已经取得了非常大的进步，得到了越来越广泛的应用。
3.现有技术中，异常检测存在数据不平衡的问题，也就是说，训练图像集中的异常图像远远少于正常图像，在训练过程中，很少对异常图像进行学习，会对正常图像过拟合，导致训练出来的图像重构模型很难检测出异常图像，造成极低的异常检测率。
4.因此，现有技术有待改进。


技术实现要素：

5.本发明提供了一种图像重构模型的生成方法和计算机设备，本发明中的异常图像是基于原始图像确定的，可以得到大量的异常图像，解决了异常检测中数据不平衡的问题。
6.第一方面，本发明实施例提供了图像重构模型的生成方法，包括：
7.获取训练样本集，其中，所述训练样本集包括若干训练图像组，若干训练图像组中的每组训练图像组均包括原始图像以及所述原始图像对应的异常图像，所述异常图像为基于所述原始图像确定得到的；
8.基于所述训练样本集对预设网络模型进行训练，以得到图像重构模型。
9.第二方面，本发明实施例提供了一种图像检测方法，应用于网络流异常检测模型，所述网络流异常检测模型包括目标域特征提取器和分类器，所述网络流的异常检测方法包括：
10.获取待检测图像，并将所述待检测图像输入所述图像重构模型，通过所述图像重构模型确定重构图像，其中，所述图像重构模型为上述一种图像重构模型的生成方法中的图像重构模型；
11.根据所述重构图像确定所述待检测图像中的异常区域，其中，对于所述异常区域中每个异常像素点，所述异常像素点与所述异常像素点对应的重构像素点之间的像素差值满足预设条件。
12.第三方面，本发明实施例提供了一种图像重构模型的生成装置，包括：
13.训练样本集获取模块，用于获取训练样本集，其中，所述训练样本集包括若干训练图像组，若干训练图像组中的每组训练图像组均包括原始图像以及所述原始图像对应的异常图像，所述异常图像为基于所述原始图像确定得到的；
14.训练模块，用于基于所述训练样本集对预设网络模型进行训练，以得到图像重构模型。
15.第四方面，本发明实施例提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
16.获取训练样本集，其中，所述训练样本集包括若干训练图像组，若干训练图像组中的每组训练图像组均包括原始图像以及所述原始图像对应的异常图像，所述异常图像为基于所述原始图像确定得到的；
17.基于所述训练样本集对预设网络模型进行训练，以得到图像重构模型；
18.或者，获取待检测图像，并将所述待检测图像输入所述图像重构模型，通过所述图像重构模型确定重构图像，其中，所述图像重构模型为上述一种图像重构模型的生成方法中的图像重构模型；
19.根据所述重构图像确定所述待检测图像中的异常区域，其中，对于所述异常区域中每个异常像素点，所述异常像素点与所述异常像素点对应的重构像素点之间的像素差值满足预设条件。
20.第五方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
21.获取训练样本集，其中，所述训练样本集包括若干训练图像组，若干训练图像组中的每组训练图像组均包括原始图像以及所述原始图像对应的异常图像，所述异常图像为基于所述原始图像确定得到的；
22.基于所述训练样本集对预设网络模型进行训练，以得到图像重构模型；
23.或者，获取待检测图像，并将所述待检测图像输入所述图像重构模型，通过所述图像重构模型确定重构图像，其中，所述图像重构模型为上述一种图像重构模型的生成方法中的图像重构模型；
24.根据所述重构图像确定所述待检测图像中的异常区域，其中，对于所述异常区域中每个异常像素点，所述异常像素点与所述异常像素点对应的重构像素点之间的像素差值满足预设条件。
25.与现有技术相比，本发明实施例具有以下优点：
26.本发明提供了一种图像重构模型的生成方法和计算机设备，所述图像重构模型的生成方法包括：获取训练样本集，其中，所述训练样本集包括若干训练图像组，若干训练图像组中的每组训练图像组均包括原始图像以及所述原始图像对应的异常图像，所述异常图像为基于所述原始图像确定得到的；基于所述训练样本集对预设网络模型进行训练，以得到图像重构模型。在本发明中，所述异常图像是基于所述原始图像确定得到的，通过本方法可以得到与原始图像数量一致的异常图像，解决了数据不平衡的问题，在训练过程中，预设网络模型可以学习大量的异常图像，训练得到图像重构模型，提高了图像重构模型执行图像重构任务的精度和鲁棒性。
附图说明
27.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
28.图1为本发明实施例中一种图像重构模型的生成方法的应用场景的示意图；
29.图2为本发明实施例中一种图像重构模型的生成方法的流程示意图；
30.图3为本发明实施例中根据原始图像确定异常图像的流程示意图；
31.图4为本发明实施例中编码器的示意图；
32.图5为本发明实施例中解码器的示意图；
33.图6为本发明实施例中具体实施时，图像重构模型的生成方法的步骤示意图；
34.图7为本发明实施例中一种图像检测方法的流程示意图；
35.图8为本发明实施例中一种图像重构模型的生成装置的结构示意图；
36.图9为本发明实施例中计算机设备的内部结构图。
具体实施方式
37.为了使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
38.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
39.本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
40.发明人经过研究发现，随着人工智能技术在图像视觉领域的飞速发展，基于图像进行分类和检测任务的需求和应用越来越多；同时深度学习的技术逐步成熟，卷积神经网络(cnn)模型被广泛应用于图像相关的任务中。
41.目前，基于cnn模型的图像异常检测技术取得非常大的进步，而异常检测存在数据不平衡的问题，也就是说，训练图像集中的异常图像远远少于正常图像，训练cnn模型对数据的依赖程度非常大，当训练图像集中的异常图像远远少于正常图像时，训练过程中很少对异常图像进行学习，会对正常图像过拟合，导致训练出来的图像重构模型很难检测出异常图像，造成极低的异常检测率。
42.目前，另一种传统的方法是利用图像增广方法扩展图像数据的数量，但这个工作虽然可以起到一定的作用，但是需要大量的实验才能确定增广的方案，而且通用性很低。因此需要一个解决数据不平衡的问题的方案，适用于大部分图像异常检测任务的方法。
43.为了解决上述问题，在本发明实施例中，获取训练样本集，其中，所述训练样本集包括若干训练图像组，若干训练图像组中的每组训练图像组均包括原始图像以及所述原始
图像对应的异常图像，所述异常图像为基于所述原始图像确定得到的；基于所述训练样本集对预设网络模型进行训练，以得到图像重构模型。在本发明中，所述异常图像是基于所述原始图像确定得到的，通过本方法可以得到与原始图像数量一致的异常图像，解决了数据不平衡的问题，在训练过程中，预设网络模型可以学习大量的异常图像，训练得到图像重构模型，提高了图像重构模型执行图像重构任务的精度和鲁棒性。
44.本实施例提供了一种图像重构模型的生成方法和计算机设备，所述图像重构模型的生成方法可以应用到如图1所示的场景。在该场景中，首先，终端设备1可以获取训练样本集，并将训练样本集输入服务器2，以使得服务器2依据训练样本集训练预设网络模型。所述服务器2可以预先存储有预设网络模型，响应终端设备1的输入的训练样本集，以训练预设网络模型，得到图像重构模型。
45.可以理解的是，在上述应用场景中，虽然将本发明实施方式的动作描述为部分由终端设备1执行，部分由服务器2执行，但是这些动作也可以完全由服务器2执行，或者完全由终端设备1执行。本发明在执行主体方面不受限制，只要执行了本发明实施方式所公开的动作即可。
46.进一步，在生成图像重构模型后，将所述图像重构模型应用于电子设备中，用于检测电子设备获取的图像是否异常，电子设备包括pc机、服务器、手机、平板电脑、掌上电脑、个人数字助理(personal digital assistant，pda)等。
47.需要注意的是，上述应用场景仅是为了便于理解本发明而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。
48.下面结合附图，通过对实施例的描述，对发明内容作进一步说明。
49.参阅图2，本实施例提供了一种图像重构模型的生成方法，包括：
50.s1、获取训练样本集，其中，所述训练样本集包括若干训练图像组，若干训练图像组中的每组训练图像组均包括原始图像以及所述原始图像对应的异常图像，所述异常图像为基于所述原始图像确定得到的。
51.在本发明实施例中，每组训练图像组中的原始图像均是无异常图像，即正常图像，而异常图像是有缺陷的图像。异常图像存在缺陷，所谓异常图像存在缺陷，可以理解为原始图像中的一部分图像信息丢失；所述异常图像是基于原始图像确定的，首先确定原始图像，对原始图像进行处理，得到所述原始图像对应的异常图像。
52.具体的，所述异常图像的确定过程具体包括：
53.m1、获取原始图像，并选取所述原始图像的图像区域。
54.在本发明实施例中，所述原始图像可以是从网络获取的图像，所述原始图像也可以是设备采集的图像。本发明实施例中基于原始图像确定异常图像，因此，相对于异常图像，所述原始图像可以作为正常图像。
55.在本发明实施例中，在所述原始图像中选取图像区域，所述图像区域包括所述原始图像中的若干像素点，也就是说，将原始图像中若干像素点组成的区域作为所述图像区域。
56.具体的，步骤m1包括：
57.m11、选取所述原始图像中的一目标像素点，并以所述目标像素点为中心，在所述原始图像中选取图像区域。
58.在本发明实施例中，在所述原始图像中选取一目标像素点；确定一目标形状，并确定所述目标形状对应的目标尺寸；以所述目标像素点为中心，在所述原始图像中确定所述目标形状和所述目标尺寸对应的图像区域。
59.具体的，根据原始图像的图像尺寸确定一目标集合，所述目标集合中包括所述原始图像中的所有像素点，可以在所述目标集合中随机选择一个像素点作为目标像素点，即所述目标像素点可以是原始图像中的任意一个像素点。以所述目标像素点为中心，在原始图像中确定目标形状和目标尺寸对应的图像区域。
60.在本发明实施例中，所述目标形状可以是预设的，例如所述目标形状可以是预先设定为圆形，或者，所述目标形状可以是预先设定为矩形。所述目标尺寸小于原始图像的图像尺寸，所述目标尺寸可以按根据图像尺寸和目标形状确定。
61.具体的，当所述目标形状为矩形时，可以通过长和宽表示目标尺寸，并且可以设定长和宽均小于所述图像尺寸的最小边长的预设，即所述目标形状的长和宽均小于所述图像尺寸的最小边长。当所述目标形状为圆形时，可以通过半径表示目标尺寸，并且可以设定半径小于所述图像尺寸的最小边长，即所述目标形状的半径均小于所述图像尺寸的最小边长。
62.在本发明实施例中，当所述目标形状为矩形时，可以设定所述目标形状的长和宽均小于所述图像尺寸的最小边长的预设比例倍，当所述目标形状为圆形时，可以设定半径小于所述图像尺寸的最小边长的预设比例倍。所述预设比例可以设定为1/10。
63.在本发明实施例中，所述目标形状也可以随机确定，所述目标尺寸也可以随机确定。可以通过参数集表示图像区域，例如，(x,y,w,h,shape)，其中，(x,y)表示目标像素点的坐标，若原始图像的尺寸为w*h，则x小于w，y小于h；(w,h)表示图像区域的尺寸，也就是目标尺寸，若原始图像的尺寸为w*h，则w小于w，h小于h；(shape)表示图像区域的形状，shape＝{矩形、圆形，椭圆型，线等}。
64.例如，随机确定目标像素点为(5,5)，随机确定(w,h)为(7,7)，随机确定shape为矩形，则确定图像区域为中心为(5,5)，宽为7、高为7的矩形。
65.若预设形状不是矩形，则(w,h)可以表示包括所述图像区域的最小矩形的尺寸大小，例如，随机确定目标像素点为(10,10)，随机确定(w,h)为(2,2)，随机确定shape为圆形，则确定图像区域为中心为(10,10)，半径为1的圆形。
66.在本发明实施例中，若目标像素点是原始图像的边缘像素点，以边缘像素点为中心，可能无法在原始图像中得到目标形状和目标尺寸对应的完整的图像区域，在所述原始图像中选取一目标像素点，以所述目标像素点为中心，确定目标形状和目标尺寸对应的，且处于所述原始图像中的图像区域。
67.若目标像素点是原始图像的边缘像素点，以边缘像素点为中心，可能无法在原始图像中得到目标形状和目标尺寸对应的完整的图像区域，则以所述边缘像素点为中心，确定目标形状和目标尺寸对应的，且处于所述原始图像中的图像区域。
68.所谓边缘像素点是指，像素点接近图像的边缘，像素点的横坐标或者纵坐标接近原始图像的最大边长，或者像素点的横坐标或者纵坐标接近0。例如，原始图像的尺寸为w*h＝(20*20)，在原始图像上，像素点(1,1)、(1,10)和(19,19)均接近图像的边缘，则像素点(1,1)、(1,10)和(19,19)均为边缘像素点。
69.m2、将所述图像区域中的各像素点的像素值设置为目标像素值，以得到所述原始图像对应的异常图像。
70.在本发明实施例中，可以通过裁切和填充的方式实现将所述图像区域中的各像素点的像素值设置为目标像素值；具体的，对原始图像中的图像区域进行裁切处理，裁切后图像区域对应的原始图像的图像信息丢失，原始图像中图像区域对应的区域成为空白区域(图像区域对应的区域没有图像信息)，所述空白区域的形状与所述图像区域的形状一致，所述空白区域的尺寸与所述图像区域的尺寸一致，可认为空白区域中各像素点的像素值均为0。确定目标像素值，将目标像素值填充至空白区域，即实现将所述图像区域中的各像素点的像素值设置为目标像素值。所述目标像素值可以是随机生成，例如，目标像素值为rgb＝(141,25,10)。
71.在一个示例中，参见图3，所述异常图像的确定过程的步骤如下：
72.1、获取原始图像i；
73.2、随机裁切原始图像i中的一图像区域，得到中间图像irc；irc中的虚线框表示在原始图像i中裁切图像区域后留下的空白区域；
74.3、随机确定目标像素值，将图像区域对应的空白区域中各像素点的像素值设置为目标像素值，得到异常图像icrop。
75.在本发明实施例中，可以通过opencv实现上述过程，opencv是图像处理的计算机视觉库，可以通过opencv对原始图像进行随机裁剪和填充，以得到异常图像icrop。
76.在一个具体实施例中，获取原始图像i，通过opencv的随机裁切(random crop)确定图像区域，并将该图像区域从原始图像中去除，random crop的参数可以是：(x,y,w,h,shape)＝(4,4,2,2,矩形)；random crop的参数表示：目标像素点的坐标为(4,4)，图像区域的目标尺寸为2*2，目标形状为矩形。即确定一图像区域，该图像区域是中心像素点为(4,4)，且尺寸为2*2的矩形，以及裁切原始图像i中的该图像区域，以得到中间图像irc，irc中的虚线框表示在原始图像i中裁切图像区域后留下的空白区域。通过opencv随机产生颜色(color)，通过opencv的填充(padding)将color填充到空白区域。opencv随机产生颜色(color)，即实现了随机确定目标像素值，通过opencv的填充(padding)将color填充到空白区域，即实现了将所述图像区域中的各像素点的像素值设置为目标像素值，得到异常图像icrop。
77.s2、基于所述训练样本集对预设网络模型进行训练，以得到图像重构模型。
78.在本发明实施例中，所述预设网络模型包括生成器和判别器，所述生成器用于根据异常图像生成目标图像，将所述异常图像对应的目标图像和所述异常图像对应的原始图像输入判别器，通过所述判别器确定所述目标图像和所述原始图像之间的相似度，再根据所述相似度对所述预设网络模型的参数进行修正，以得到图像重构模型。
79.具体的，步骤s2包括：
80.s21、将训练图像组中的异常图像输入所述生成器，通过所述生成器确定所述异常图像对应的目标图像。
81.在本发明实施例中，所述生成器包括编码器和解码器，通过所述编码器确定所述异常图像对应的若干编码特征图，基于所述若干编码特征图，通过所述解码器确定目标图像。
82.具体的，步骤s21包括：
83.s211、将所述异常图像输入所述编码器，通过所述编码器确定所述异常图像对应的若干编码特征图，其中，所述若干编码特征图中各编码特征图的图像尺寸互不相同。
84.在本发明实施例中，所述编码器包括若干级联的特征提取模块，所述若干特征提取模块与所述若干编码特征图一一对应；所述若干编码特征图中每个编码特征图均为其对应的特征提取模块的输出项，并且对于若干特征提取模块中的两个相邻特征提取模块，后一个特征特征提取模块的输入项为前一个特征提取模块的输出项。
85.在本发明实施例中，所述编码器包括四个级联的特征提取模块，分别为第一级特征提取模块、第二级特征提取模块、第三级特征提取模块和第四级特征提取模块，其中，第一级特征提取模块的输入项是所述异常图像，第一级特征提取模块的输出项是第一编码特征图；第二级特征提取模块的输入项是第一编码特征图，第二级特征提取模块的输出项是第二编码特征图；第三级特征提取模块的输入项是第二编码特征图，第三级特征提取模块的输出项是第三编码特征图；第四级特征提取模块的输入项是第三编码特征图，第四级特征提取模块的输出项是第四编码特征图。所述编码特征图集包括第一编码特征图、第二编码特征图、第三编码特征图和第四编码特征图。具体实施时，编码器可以是vgg，resnet,efficientnet等cnn网络。
86.例如，参见图4，第一特征提取模块c1的输入项是异常图像icrop，c1输出第一编码特征图i1，icrop的尺寸是(w,h,c)时，i1的尺寸是(w/2,h/2,64)；第二特征提取模块c2的输入项是i1，i1输出第二编码特征图i2，i2的尺寸是(w/4,h/4,128)；第三特征提取模块c3的输入项是i2，c3输出第三编码特征图i3，i3的尺寸是(w/8,h/8,256)；第四特征提取模块c4的输入项是i3，c4输出第四编码特征图i4，i4的尺寸是(w/8,h/8,512)。
87.s212、将所述若干编码特征图输入所述解码器，通过所述解码器生成所述目标图像。
88.在本发明实施例中，所述解码器包括若干级联的解码模块；所述若干解码模块与所述若干特征提取模块一一对应，对于所述若干解码模块中的两个相邻的解码模块，后一个解码模块的输入项为前一个解码块的输出项、以及所述后一个解码模块对应的特征提取模块的输出项。
89.在本发明实施例中，所谓若干解码模块与所述若干特征提取模块一一对应，是指，当一个解码模块与一个特征提取模块对应时，则该解码模块的输入项包括该特征提取模块的输出项。对于两个相邻的解码模块，后一个解码模块的输入项为前一个解码模块的输出项、以及所述后一个解码模块对应的特征提取模块的输出项，所述解码模块中包括串联层，通过串联层将“前一个解码模块的输出项”和“后一个解码模块对应的特征提取模块的输出项”串联，再进行解码操作。
90.在本发明实施例中，所述解码器还包括全连接层和上采样层，所述全连接层根据所述编码器的输出项得到融合编码特征图，所述上采样层根据所述融合编码特征图生成输入编码特征图，所述输入编码特征图与所述编码器的输出项的尺寸一致。
91.在本发明实施例中，当所述编码器包括四个级联的特征提取模块时，所述解码器包括四个级联的解码模块，分别为第一解码模块、第二解码模块、第三解码模块和第四解码模块。
92.例如，参见图5，第四特征提取模块的输出项为i4，经过全连接层后得到融合编码特征图i0，i0经过上采样后得到所述输入编码特征图(图中未示出)，将所述输入编码特征图和i4(第四特征提取模块的输出项)输入第一解码模块d1，得到d1对应的输出项，将d1对应的输出项和i3(第三特征提取模块的输出项)输入第二解码模块d2，得到d2对应的输出项，将d2对应的输出项和i2(第二特征提取模块的输出项)输入第三解码模块d3，得到d3对应的输出项，将d3对应的输出和i1(第一特征提取模块的输出项)，得到目标图像ires。
93.s22、将所述训练图像组中的原始图像和所述目标图像输入所述判别器，通过所述判别器确定所述目标图像和所述原始图像之间的相似度。
94.在本发明实施例中，通过判别器得到的所述相似度为用于反映目标图像和原始图像之间的类别的相似性，将相似度记为(r/f-loss)。
95.s23、基于所述原始图像和所述目标图像确定第一误差值和第二误差值；基于所述相似度、所述第一误差值和所述第二误差值确定损失函数值，并根据所述损失函数值对所述预设网络模型的参数进行修正，以得到图像重构模型。
96.在本发明实施例中，计算所述目标图像和所述原始图像之间的结构误差和像素误差；根据所述相似度、所述结构误差和所述像素误差确定损失函数值；根据所述损失函数值修改所述生成器的参数，根据所述相似度修改所述判别器的参数，以得到图像重构模型，所述图像重构模型为训练后的生成器。
97.在本发明实施例中，基于目标图像和原始图像可以确定目标图像和原始图像之间的第一误差和第二误差；所述第一误差是目标图像和原始图像之间的结构误差(structural similarity-loss，ssim-loss)。
98.具体的，可以通过现有的ssim函数计算目标图像和原始图像之间的结构误差ssim-loss，ssim-loss的计算过程为：首先计算目标图像的第一均值和第一方差、原始图像的第二均值和第二方差，以及目标图像和原始图像之间的协方差，再将求得的第一均值、第一方差、第二均值和第二方差代入ssim函数，请参见公式(1)。
[0099][0100]
其中，ssim-loss为目标图像和原始图像之间的第一误差，μx是第一均值，μy是第二均值，α
xy
是协方差，是第一方差，是第二方差，c1、c2和c3均为常数。
[0101]
具体的，所述第二误差是目标图像和原始图像之间的像素误差(mean squared error，mse-loss)，可以通过现有的mse函数计算mse-loss，mse-loss计算过程为：对于目标图像中的每个目标像素点，在原始图像中确定与所述目标像素点坐标相同的原始像素点，计算目标像素点的像素值和原始像素点的像素值之间的平方差；得到各目标像素点各自分别对应的平方差，在计算各平方差之间的均值，得到mse-loss。请参见公式(2)。
[0102][0103]
其中，mse-loss为目标图像和原始图像之间的第二误差，x(i,j)是目标图像中的
坐标为(i,j)的目标像素点的像素值，y(i,j)是原始图像中的坐标为(i,j)的原始像素点的像素值，m和n分别是目标图像的长和宽(或者m和n分别是目标图像的宽和长)。
[0104]
在本发明实施例中，根据所述相似度、所述第一误差和所述第二误差确定损失函数值，参见公式(3)。
[0105]
simmilarloss＝a
×
r/f-loss+b
×
ssim-loss+c
×
mse-loss
ꢀꢀꢀ
(3)
[0106]
其中，simmilarloss为损失函数值，ssim-loss为目标图像和原始图像之间的结构误差，mse-loss是像素误差，r/f-loss为目标图像和原始图像之间的相似度，a,b,c均为预先定义的常数向量。
[0107]
在本发明实施例中，根据所述损失函数值修改所述生成器的参数，根据所述相似度修改所述判别器的参数，直至满足预设训练条件，得到图像重构模型。所述图像重构模型为训练后的生成器。
[0108]
在本发明实施例中，所述预设训练条件包括损失函数值满足预设要求，或者训练次数达到预设次数。所述预设要求可以是根据生成器的精度来确定，这里不做详细说明，所述预设次数可以为最大训练次数，例如，4000次等。由此，计算损失函数值后，判断所述损失函数值是否满足预设要求，若损失函数值满足预设要求，则结束训练；若损失函数值不满足预设要求，则判断训练次数是否达到预测次数，若未达到预设次数，则通过修改预设网络的参数；若达到预设次数，则结束训练。这样通过损失函数值和训练次数来判断训练是否结束，可以避免因损失函数值无法达到预设要求而造成训练进入死循环。
[0109]
在具体实施时，参见图6，本发明提供的一种图像重构模型的生成方法包括：
[0110]
步骤1、获取原始图像in，根据原始图像in确定异常图像io，以得到训练样本集；
[0111]
步骤2、将异常图像io输入生成器，得到目标图像igen；
[0112]
步骤3、将目标图像igen和原始图像in输入判别器，得到相似度；
[0113]
步骤4、根据目标图像igen和原始图像in计算第一误差和第二误差，并基于相似度、第一误差和第二误差确定损失函数值，根据损失函数值修正生成器的参数；
[0114]
步骤5、重复执行步骤2至步骤4，直至满足预设训练条件，得到图像重构模型。
[0115]
在本发明实施例中，获取训练样本集，其中，所述训练样本集包括若干训练图像组，若干训练图像组中的每组训练图像组均包括原始图像以及所述原始图像对应的异常图像，所述异常图像为基于所述原始图像确定得到的；基于所述训练样本集对预设网络模型进行训练，以得到图像重构模型。在本发明中，所述异常图像是基于所述原始图像确定得到的，通过本方法可以得到与原始图像数量一致的异常图像，解决了数据不平衡的问题，在训练过程中，预设网络模型可以学习大量的异常图像，训练得到图像重构模型，提高了图像重构模型执行图像重构任务的精度和鲁棒性。
[0116]
基于上述一种图像重构模型的生成方法，参阅图7，本发明还提供了一种图像检测方法，包括：
[0117]
k1、获取待检测图像，并将所述待检测图像输入所述图像重构模型，通过所述图像重构模型确定重构图像，其中，所述图像重构模型为上述一种图像重构模型的生成方法中所述的图像重构模型。
[0118]
在本发明实施例中，将待检测图像输入图像重构模型，所述重构模型包括生成器和判别器，步骤k1中将待检测图像输入图像重构模型，通过图像重构模型确定重构图像的
具体过程，与步骤s21中“将训练图像组中的异常图像输入生成器，通过生成器确定异常图像对应的目标图像”的过程相同，进而，步骤k1的具体过程可以参见步骤s21的具体说明。
[0119]
k2、根据所述重构图像确定所述待检测图像中的异常区域，其中，对于所述异常区域中每个异常像素点，所述异常像素点与所述异常像素点对应的重构像素点之间的像素差值满足预设条件。
[0120]
在本发明实施例中，所谓与所述异常像素点对应的重构像素点，是指异常像素点的坐标与重构像素点的坐标相同。例如，待检测图像中的一个异常像素点a1的坐标为(10,12)，则重构图像中与a1对应的重构像素点的坐标也为(10,12)。所述像素差值是指待检测像素点的像素值和重构像素点的像素值之间的差值，所述预设条件是指，像素差值不为0，也就是说，待检测像素点的像素值和重构像素点的像素值不相等。根据各像素差值确定异常区域。
[0121]
具体的，步骤k2包括：
[0122]
k21、对于所述待检测图像中的每个待检测像素点，在所述重构图像中确定所述待检测像素点对应重构像素点，并确定所述待检测像素点和所述重构像素点之间的像素差值。
[0123]
在本发明实施例中，对于待检测像素点t1，在重构图像中确定t1对应的重构像素点m1，t1的坐标和m1的坐标一致，获取t1的像素值t1，以及获取m1的像素值m1，计算t1和m1之间的差值，得到像素差值。
[0124]
在本发明实施例中，可以先对每个待检测像素点的待检测像素值进行归一化处理，得到第一归一化像素值，以及对每个重构像素点的重构像素值进行归一化处理，得到第二归一化像素值。对于每个待检测像素点，计算该待检测像素点的第一归一化像素值，以及该待检测像素点对应的重构像素点的第二归一化像素值之间的差值，得到像素差值。
[0125]
k22、根据各像素差值确定所述待检测图像中的异常区域。
[0126]
在发明实施例中，每个待检测像素点均对应一个像素差值，像素差值越大，说明该待检测像素点与其对应的重构像素点之间的异常越大，对于一个像素差值，若该像素差值大于第一预设值，则可以将该像素差值对应的待检测像素点作为异常像素点，所述异常区域包括若干异常像素点。
[0127]
具体的，根据各像素点对应的像素差值，确定异常像素点，其中，所述异常像素点对应的像素差值大于或等于第一预设值；根据确定得到的所有异常像素点确定所述异常区域。
[0128]
在本发明实施例中，所述第一预设值为自定义设置，将大于或等于第一预设值的像素差值对应的待检测像素点作为异常像素点，所述异常区域包括异常像素点。
[0129]
在本发明实施例中，可以先对各像素差值进行二值化处理，将大于或等于第一预设值的像素差值对应的待检测像素点的像素值替换为0，将小于第一预设值的像素差值对应的待检测像素点的像素值替换为1，像素值为0的区域显示为黑色，二值化图像中像素值为1的区域显示为白色，将黑色区域作为异常区域。
[0130]
在本发明实施例中，所述异常区域包括若干异常区域，对于每个异常区域，确定该异常区域中的异常像素点的数量，根据各异常区域各自对应的数量，确定目标异常区域，其中，所述目标异常区域对应的数量大于或等于第二预设值，将确定得到的目标异常区域作
为异常区域。也就是说，若异常区域为若干个时，将若干个异常区域中像素点数量大于第二预设值th的异常区域作为异常区域。在确定异常区域后，可以输出异常区域的位置信息，所述位置信息可以是异常区域中各异常像素点的坐标。
[0131]
在本发明实施例中，所述一种图像检测方法，通过图像重构模型生成重构图像，得到的重构图像的质量好，在图像检测中，可以得到更精确的检测结果。
[0132]
基于上述一种图像重构模型的生成方法，本发明还提供了一种图像重构模型的生成装置，参见图8，包括：
[0133]
训练样本集获取模块，用于获取训练样本集，其中，所述训练样本集包括若干训练图像组，若干训练图像组中的每组训练图像组均包括原始图像以及所述原始图像对应的异常图像，所述异常图像为基于所述原始图像确定得到的；
[0134]
训练模块，用于基于所述训练样本集对预设网络模型进行训练，以得到图像重构模型。
[0135]
在本发明实施例中，所述训练样本集获取模块还包括：异常图像确定单元。所述异常图像确定单元，用于获取原始图像，并选取所述原始图像的图像区域；将所述图像区域中的各像素点的像素值设置为目标像素值，以得到所述原始图像对应的异常图像。
[0136]
在本发明实施例中，所述图像重构模型的生成装置还包括：
[0137]
重构图像确定单元，用于获取待检测图像，并将所述待检测图像输入所述图像重构模型，通过所述图像重构模型确定重构图像，其中，所述图像重构模型为上述通过图像重构模型的生成方法得到的图像重构模型；
[0138]
异常区域确定单元，用于根据所述重构图像确定所述待检测图像中的异常区域，其中，对于所述异常区域中每个异常像素点，所述异常像素点与所述异常像素点对应的重构像素点之间的像素差值满足预设条件。
[0139]
在本发明实施例中，当图像重构模型的生成装置包括重构图像确定单元和异常区域确定单元时，可以执行上述图像检测方法，用于确定待检测图像中包括的异常区域。
[0140]
在一个实施例中，本发明提供了一种计算机设备，该设备可以是终端，内部结构如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络模型接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络模型接口用于与外部的终端通过网络模型连接通信。该计算机程序被处理器执行时以实现一种图像重构模型的生成方法，或者一种图像检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
[0141]
本领域技术人员可以理解，图9所示的仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0142]
本发明实施例提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0143]
获取训练样本集，其中，所述训练样本集包括若干训练图像组，若干训练图像组中的每组训练图像组均包括原始图像以及所述原始图像对应的异常图像，所述异常图像为基于所述原始图像确定得到的；
[0144]
基于所述训练样本集对预设网络模型进行训练，以得到图像重构模型；
[0145]
或者，获取待检测图像，并将所述待检测图像输入所述图像重构模型，通过所述图像重构模型确定重构图像，其中，所述图像重构模型为上述一种图像重构模型的生成方法中的图像重构模型；
[0146]
根据所述重构图像确定所述待检测图像中的异常区域，其中，对于所述异常区域中每个异常像素点，所述异常像素点与所述异常像素点对应的重构像素点之间的像素差值满足预设条件。
[0147]
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
[0148]
获取训练样本集，其中，所述训练样本集包括若干训练图像组，若干训练图像组中的每组训练图像组均包括原始图像以及所述原始图像对应的异常图像，所述异常图像为基于所述原始图像确定得到的；
[0149]
基于所述训练样本集对预设网络模型进行训练，以得到图像重构模型；
[0150]
或者，获取待检测图像，并将所述待检测图像输入所述图像重构模型，通过所述图像重构模型确定重构图像，其中，所述图像重构模型为上述一种图像重构模型的生成方法中的图像重构模型；
[0151]
根据所述重构图像确定所述待检测图像中的异常区域，其中，对于所述异常区域中每个异常像素点，所述异常像素点与所述异常像素点对应的重构像素点之间的像素差值满足预设条件。
[0152]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0153]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。