图像增强方法、装置、计算机设备及计算机可读存储介质与流程

1.本技术涉及计算机技术领域，特别是涉及一种图像增强方法、装置、计算机设备及计算机可读存储介质。


背景技术：

2.随着计算机技术的发展，基于智能算法的图像处理技术愈发成熟，但由于时间和金钱的成本限制，可能会出现图像数量少、图像质量差和类别不均衡的情形，而数据增强技术能在现有数据的基础上让数据产生增量数据，提升数据的价值。
3.传统技术中，采用的是简单地旋转、平移、强度干扰等方式来进行图像增强，生成的增强图像质量差。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种图像增强方法、装置、计算机设备及计算机可读存储介质，能够有效提高增强图像的质量。
5.第一方面，本技术提供了一种图像增强方法，包括：获取待增强图像与对象实例集合；根据待增强图像的原始对象实例的面积、对象实例集合中的各个目标对象实例的面积分别进行面积差异计算，得到各个实例面积差异项；根据原始对象实例的参考位置点、各个目标对象实例的参考位置点、原始对象实例的面积、各个目标对象实例的面积进行形状差异计算，得到各个实例形状差异项；基于各个实例面积差异项与各个实例形状差异项，确定与原始对象实例对应的融合对象实例；将待增强图像和融合对象实例进行融合，得到目标增强图像。
6.第二方面，本技术提供了一种图像增强装置，包括：获取模块，用于获取待增强图像与对象实例集合；第一计算模块，用于根据待增强图像的原始对象实例的面积、对象实例集合中的各个目标对象实例的面积分别进行面积差异计算，得到各个实例面积差异项；第二计算模块，用于根据原始对象实例的参考位置点、各个目标对象实例的参考位置点、原始对象实例的面积、各个目标对象实例的面积进行形状差异计算，得到各个实例形状差异项；确定模块，用于基于各个实例面积差异项与各个实例形状差异项，确定与原始对象实例对应的融合对象实例；融合模块，用于将待增强图像和融合对象实例进行融合，得到目标增强图像。
7.第三方面，本技术提供了一种计算机设备，该计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述的图像增强方法中的步骤。
8.第四方面，本技术提供了一种计算机可读存储介质，其上存储有计算机程序，计算
机程序被处理器执行时实现上述的图像增强方法中的步骤。
9.上述图像增强方法、装置、计算机设备及计算机可读存储介质，通过根据形态学约束的方法，选取与待增强图像的原始对象实例所对应的融合实例，再将融合实例与待增强图像进行融合生成目标增强图像，使得所生成的增强图像能够有效保留图像与对象实例间原本的语义信息，从而有效提高增强图像的质量。
附图说明
10.图1为本技术实施例提供的一种图像增强方法的应用环境图；图2为本技术实施例提供的一种图像增强方法的流程示意图；图3为本技术实施例提供的一种实例面积差异项生成步骤的流程示意图；图4为本技术实施例提供的一种实例形状差异项生成步骤的流程示意图；图5为本技术实施例提供的一种生成增强图像的流程示意图；图6为本技术实施例提供的一种生成目标增强图像的流程示意图；图7为本技术实施例提供的一种构建生成对抗网络的流程示意图；图8为本技术实施例提供的一种确定目标增强图像的流程示意图；图9为本技术实施例提供的一种图像增强装置的结构框图；图10为本技术实施例提供的一种生成增强图像的示意图；图11为本技术实施例提供的一种生成对抗网络的工作示意图；图12为本技术实施例提供的一种计算机设备的内部结构图；图13为本技术实施例提供的一种计算机可读存储介质的内部结构图。
具体实施方式
11.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
12.本技术实施例提供的图像增强方法，可以应用于如图1所示的应用环境中。如图1所示，计算机设备102获取待增强图像与对象实例集合；根据待增强图像的原始对象实例的面积、对象实例集合中的各个目标对象实例的面积分别进行面积差异计算，得到各个实例面积差异项；根据原始对象实例的参考位置点、各个目标对象实例的参考位置点、原始对象实例的面积、各个目标对象实例的面积进行形状差异计算，得到各个实例形状差异项，再基于各个实例面积差异项与各个实例形状差异项，确定与原始对象实例对应的融合对象实例，最后将待增强图像和融合对象实例进行融合，得到目标增强图像。其中，计算机设备102可以但不限于是各种个人计算机、服务器、笔记本电脑、智能手机、平板电脑、物联网设备以及便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。
13.在一些实施例中，如图2所示，提供了一种图像增强方法，以该方法应用于图1中的计算机设备102为例进行说明，包括以下步骤：步骤s202，获取待增强图像与对象实例集合。
14.其中，待增强图像中可以包括或不包括对象实例，还可以包括多个对象实例；对象实例集合为整个图像样本数据所包含的全部对象实例，对象实例为图像样本数据中具有特
定区域、形状、饱和度、深度值、纹理特征等特性的图案区域。
15.步骤s204，根据待增强图像的原始对象实例的面积、对象实例集合中的各个目标对象实例的面积分别进行面积差异计算，得到各个实例面积差异项。
16.其中，待增强图像中可以包括一个或多个对象实例，对象实例集合中也包括原始对象实例，目标对象实例为对象实例集合中除原始对象实例之外的其他对象实例，实例面积差异项用于表征原始对象实例与目标对象实例在面积上的差异程度。
17.具体地，计算机设备通过识别待增强图像中的图案信息，得到待增强图像的原始对象实例在待增强图像中的位置区域；通过获取此位置区域得到原始对象实例的轮廓数据，进而根据轮廓数据计算得到原始对象实例的面积值；同理计算对象实例集合中的所有对象实例的面积值，再将待增强图像中的各个原始对象实例的面积分别与对象实例集合中的各个目标对象实例的面积进行面积差异计算，得到各个实例面积差异项，可以采用加、减、乘、除等方式来计算实例面积差异项。
18.步骤s206，根据原始对象实例的参考位置点、各个目标对象实例的参考位置点、原始对象实例的面积、各个目标对象实例的面积进行形状差异计算，得到各个实例形状差异项。
19.其中，原始对象实例的参考位置点处于原始对象实例的内部区域，用于表征对应的原始对象实例的位置信息；同理目标对象实例的参考位置点处于目标对象实例的内部区域，用于表征目标对象实例的位置信息；对象实例的参考位置点可以是对应的对象实例的质心点位置或几何中心点，还可以是根据需要在对象实例的内部人为指定的特定点作为参考位置点，具体方式不做限定，实例形状差异项用于表征不同对象实例在形状上的差异程度。
20.具体地，计算机设备获取到各个原始对象实例的参考位置点以及各个目标对象实例的参考位置点，再将各个原始对象实例的参考位置点分别与各个目标对象实例的参考位置点以预设方式进行对齐，再计算原始对象实例与目标对象实例的不重叠区域的面积，再根据不重叠区域的面积与原始对象实例的面积以及目标对象实例的面积进行融合得到各个实例形状差异项；其中，原始对象实例的参考位置点与目标对象实例的参考位置点的对齐方式包括以原始对象实例的参考位置点为圆心，以预设阈值为半径确定对应的圆环区域，当目标对象实例的参考位置点位于此圆环上任意一点时记为对齐状态，除此之外，还可以是设定当目标对象实例的参考位置点处在上述圆环区域内部的任意一点时记为对齐状态，还可以是设定当原始对象实例的参考位置点与目标对象实例的参考位置点重合时记为对齐状态等，具体方式这里不作限定。
21.步骤s208，基于各个实例面积差异项与各个实例形状差异项，确定与原始对象实例对应的融合对象实例。
22.其中，融合对象实例为待复制粘贴到待增强图像中的对象实例。
23.具体地，计算机设备获取对象实例的面积约束阈值与形状约束阈值，当实例面积差异项的值小于面积约束阈值时，表示当前实例面积差异项对应的原始对象实例与目标对象实例之间满足面积约束条件；同理，当实例形状差异项的值小于形状约束阈值时，表示当前实例形状差异项对应的原始对象实例与目标对象实例之间满足形状约束条件，而当原始对象实例与目标对象实例同时满足面积约束条件以及形状约束条件时，则将当前对应的目
标对象实例作为与当前原始对象实例对应的融合对象实例。
24.步骤s210，将待增强图像和融合对象实例进行融合，得到目标增强图像。
25.其中，目标增强图像为包含原始对象实例以及预设数量的融合对象实例的图像数据。
26.具体地，计算机设备将融合对象实例复制粘贴到待增强图像中，当融合对象实例的数量大于预设阈值时，在各个融合对象实例中随机挑选预设数量的融合对象实例粘贴到待增强图像中，进而生成目标增强图像；当融合对象实例的数量小于或等于预设阈值时，则将各个融合对象实例复制粘贴到对应的待增强图像中，进而生成目标增强图像。
27.上述图像增强方法，通过根据形态学约束的方法，选取与待增强图像的原始对象实例所对应的融合实例，再将融合实例与待增强图像进行融合生成目标增强图像，使得所生成的增强图像能够有效保留图像与对象实例间原本的语义信息，从而有效提高增强图像的质量。
28.在一些实施例中，如图3所示，根据待增强图像的原始对象实例的面积、对象实例集合中的各个目标对象实例的面积分别进行面积差异计算，得到各个实例面积差异项，包括：步骤s302，将待增强图像的原始对象实例的面积分别与对象实例集合中的各个目标对象实例的面积组成面积对。
29.具体地，计算机设备按照顺序将各个原始对象实例依次与各个目标对象实例进行匹配，将各自的面积值组成面积对。
30.步骤s304，分别将各个面积对的最大值与最小值进行比例计算，得到各个实例面积差异项。
31.具体地，计算机设备计算每个原始对象实例与各个目标对象实例所对应的面积对中的最大值与最小值，将最大值与最小值的比值作为对应的实例面积差异项，具体按照如下公式1所示的方式计算实际面积差异项：，公式1其中，与分别代表原始对象实例与目标对象实例的二值化掩码，符号表示掩码的面积，表示原始对象实例，表示目标对象实例，表示实例面积差异项，表示两个对象实例中面积最大的对象实例的面积，表示两个对象实例中面积最小的对象实例的面积。
32.本实施例中，通过将原始对象实例的面积分别与各个目标对象实例的面积组成面积对，分别将面积对的最大值与最小值进行比例计算得到各个实例面积差异项，由此构造的实例面积差异项的大小能够直接反映原始对象实例与目标对象实例的面积差异，当比值越大则表明原始对象实例与目标对象实例在面积上的差异越大，当比值越接近1，则表明两者的面积上的差异越小，有效提高判断原始对象实例与目标对象实例的面积差异的效率。
33.在一些实施例中，如图4所示，参考位置点是质心位置，根据原始对象实例的参考位置点、各个目标对象实例的参考位置点、原始对象实例的面积、各个目标对象实例的面积进行形状差异计算，得到各个实例形状差异项，包括：
步骤s402，针对每个目标对象实例，将原始对象实例的质心位置与目标对象实例的质心位置进行重合处理，并计算原始对象实例与目标对象实例的不重叠区域面积。
34.步骤s404，获得第一实例面积，第一实例面积为原始对象实例的面积与目标对象实例的面积中的最大值。
35.步骤s406，根据不重叠区域面积与第一实例面积进行比例计算，得到实例形状差异项。
36.具体地，计算机设备可以按照如下公式2所示的方式计算实例形状差异项：，公式2其中，为实例形状差异项，表示原始对象实例，表示目标对象实例，表示原始对象实例与目标对象实例在进行质心点对齐后的不重叠区域的面积，与分别代表原始对象实例与目标对象实例的二值化掩码，表示两个对象实例中面积最大的对象实例的面积（即第一实例面积）。
37.本实施例中，计算机设备将原始对象实例的质心位置与目标对象实例的质心位置进行重合，并计算原始对象实例与目标对象实例的不重叠区域面积，再获取第一实例面积，最后基于不重叠区域面积与第一实例面积的比值作为实例形状差异项，由此构造的实例形状差异项的大小能够直接反映原始对象实例与目标对象实例的形状差异，当比值越大则表明原始对象实例与目标对象实例在形状上的差异越大，当比值越小则表明原始对象实例与目标对象实例在形状上的差异越小，有效提高判断原始对象实例与目标对象实例的形状差异的效率。
38.在一些实施例中，如图5所示，将待增强图像和融合对象实例进行融合，得到目标增强图像，包括：步骤s502，获得目标融合距离。
39.其中，目标融合距离用于表征目标增强图像中融合对象实例与原始对象实例间的相对位置关系，目标融合距离包括最小预设距离阈值和最大预设距离阈值。
40.具体地，计算机设备获取对应的原始对象实例的中心点位置信息，再以中心点位置信息为圆心，以目标融合距离中的最小预设距离阈值与最大预设距离阈值为半径确定当前原始对象实例对应的圆环区域，即圆环区域中的任意一点与原始对象实例的中心点之间都满足目标融合距离的范围。
41.步骤s504，根据原始对象实例的质心位置和目标融合距离，确定融合对象实例的目标融合位置。
42.具体地，计算机设备根据上述步骤s502的方法确定好目标融合距离对应的圆环区域后，将待增强图像中每个原始对象实例对应的圆环区域的交集区域作为目标融合位置，在此交集区域内的任意一点都可以作为融合对象实例的中心点的目标融合位置；当待增强图像中只存在单个原始对象实例时，将该单个原始对象实例对应的圆环区域作为目标融合位置，在此圆环区域内的任意一点都可以作为融合对象实例的中心点的目标融合位置。
43.步骤s506，根据目标融合位置将融合对象实例融合至待增强图像，得到目标增强图像。
44.具体地，计算机设备可以按照如下公式3确定目标融合位置：，公式3其中，表示原始对象实例与目标对象实例间的距离约束，和分别表示最小预设距离阈值和最大预设距离阈值，表示原始对象实例与目标对象实例间的距离。
45.本实施例中，通过设置原始对象实例的中心点与目标对象实例的中心点位置间的距离约束，来确定融合对象实例的中心点可以融合的区域，进而确定目标融合位置，再根据目标融合位置将融合对象实例融合至待增强图像得到目标增强图像，从而有效提高增强图像中各个原始对象实例与融合对象实例位置布局的合理性。
46.在一些实施例中，如图6所示，将待增强图像和融合对象实例进行融合，得到目标增强图像，包括：步骤s602，将待增强图像和融合对象实例进行融合，得到第一增强图像。
47.其中，第一增强图像为包含原始对象实例与融合对象实例的增强图像，但融合进去的融合对象实例的纹理特征、颜色、饱和度、深度值等特征没有根据对应的原始对象实例进行优化。
48.具体地，计算机设备根据前述步骤中确定的目标融合位置将融合对象实例融合进待增强图像中，生成第一增强图像。
49.步骤s604，将第一增强图像作为生成对抗网络的生成器的输入，经过训练生成目标增强图像。
50.其中，目标增强图像为包含原始对象实例与融合对象实例的增强图像，且融合进去的融合对象实例的纹理特征、颜色、饱和度、深度值等特征根据对应的原始对象实例进行了优化，使得融合对象实例的纹理特征、颜色、饱和度、深度值等特征与原始对象实例的相似度大于预设阈值。
51.具体地，计算机设备将第一增强图像作为生成对抗网络的生成器的输入图像数据，经过生成对抗网络的生成器不断地生成新的增强图像，再经过生成对抗网络的鉴别器不断地对所新生成的增强图像进行真假鉴别，通过这样的迭代过程最终生成满足预设图像质量的目标增强图像。
52.本实施例中，通过利用生成对抗网络对第一增强图像进行优化生成目标增强图像，使得融合对象实例的纹理特征、颜色、饱和度、深度值等特征与原始对象实例的相似度大于预设阈值，有效提高目标增强图像的质量。
53.在一些实施例中，如图7所示，将第一增强图像作为生成对抗网络的生成器的输入，经过训练生成目标增强图像之前，还包括：步骤s702，获取预设数量的标准图像数据。
54.其中，标准图像数据为图像中的所有对象实例的属性特征相同的图像数据。
55.步骤s704，将预设数量的标准图像数据分别输入生成对抗网络的鉴别器进行处理，输出对应的第一鉴别结果。
56.其中，第一鉴别结果为生成对抗网络的鉴别器对标准图像数据做出的鉴别结果，鉴别结果为鉴别对应图像真实度的分数值，或判断标准图像数据为真实图像的概率。
57.举例说明，计算机设备随机从训练集中选取两幅标准图像数据作为锚点和正样本，分别将锚点和正样本输入生成对抗网络的鉴别器中生成第一鉴别结果。
58.步骤s706，根据生成对抗网络的生成器的生成图像得到第二鉴别结果。
59.其中，第二鉴别结果为生成对抗网络的鉴别器对生成对抗网络的生成器的生成图像做出的鉴别结果，鉴别结果为鉴别对应图像真实度的分数值，或判断标准图像数据为真实图像的概率。
60.举例说明，计算机设备获取前述步骤中确定的第一增强图像k，将第一增强图像k输入生成对抗网络的生成器得到生成图像g(k)，再获取实例索引矩阵y；其中，实例索引矩阵y用于表征融合对象实例在增强图像中所处的位置信息；根据第一增强图像k、生成图像g(k)、实例索引矩阵y融合，得到生成器优化结果，再将这个优化结果作为鉴别器的输入，得到第二鉴别结果。
61.步骤s708，基于第一鉴别结果与第二鉴别结果，构建得到鉴别器对应的鉴别器损失函数。
62.具体地，计算机设备根据第一鉴别结果进行差异计算得到第一差异项，再根据第一鉴别结果与第二鉴别结果进行差异计算得到第二差异项，再根据第一差异项与第二差异项融合生成鉴别器损失函数，计算机设备具体可以根据如下公式4所示的方法构建鉴别器损失函数：，公式4其中，d和g分别表示鉴别器和生成器，y表示融合对象实例的二值化掩码（即实例索引矩阵，代表增强图像中坐标处的像素属于融合对象实例），表示逐元乘法，m为边缘损失自定义参数，k表示上一步的增强图像，和分别为锚点和正样本对应的第一鉴别结果，为第二鉴别结果。
63.步骤s710，基于生成器的输入图像与生成器的生成图像进行差异计算，得到重建损失函数。
64.其中，重建损失函数用于表征第一增强图像与对应的生成图像的差异程度。
65.具体地，计算机设备获取生成器的输入图像（即上述步骤中的第一增强图像k），获取生成器的生成图像g(k)，将生成器的输入图像与生成器的生成图像进行差异计算得到重建损失函数，具体可以根据如下公式5所示的方法构建重建损失函数：，公式5其中，k为第一增强图像，g(k)为k对应的生成图像。
66.步骤s712，根据第一鉴别结果、第二鉴别结果以及重建损失函数，构建得到生成器对应的生成器损失函数。
67.具体地，计算机设备可以根据如下公式6所示的方式构建生成器损失函数：，公式6其中，为平衡参数，用于控制对抗损失函数和重建损失函数。
68.步骤s714，根据鉴别器损失函数与生成器损失函数，构建得到生成对抗网络。
69.本实施例中，通过对标准图像数据以及生成器的生成图像分别得到第一鉴别结果与第二鉴别结果，再根据第一鉴别结果与第二鉴别结果做差异计算后融合生成鉴别器损失
函数，根据第一增强图像与生成器的生成图像做差异计算得到重建损失函数，再根据重建损失函数与第一鉴别结果以及第二鉴别结果融合生成生成器损失函数，最后基于鉴别器损失函数与生成器损失函数构建得到生成对抗网络，从而实现随着网络不断迭代同时也不断生成新的增强图像，而当新的增强图像通过鉴别器的鉴别后确定当前的增强图像为优化完成后的增强图像，能够有效消除融合对象实例在增强图像中的伪影，使得融合对象实例属性特征更加接近增强图像中的原始对象实例的属性特征，有效提高增强图像的质量。
70.在一些实施例中，如图8所示，将第一增强图像作为生成对抗网络的生成器的输入，经过训练生成目标增强图像，包括：步骤s802，根据原始对象实例的特征图以及融合对象实例的特征图，计算得到余弦相似度，特征图用于表征原始对象实例或融合对象实例的纹理特征信息。
71.具体地，计算机设备采用3x3卷积操作来提取增强图像中的原始对象实例的属性特征信息（包括原始对象实例的纹理特征、颜色、饱和度、亮度、深度值等）生成原始对象实例特征图，同理获取增强图像中的融合对象实例的属性信息（包括纹理特征、颜色、饱和度、亮度、深度值等），生成融合对象实例特征图，再计算原始对象实例特征图与融合对象实例特征图的余弦相似度。
72.举例说明，计算机设备可以按照如下公式7所示的方式来计算余弦相似度：，公式7其中，表示增强图像中第i个原始对象实例特征图与第j个融合对象实例特征图的余弦相似度，与分别为增强图像中的第i个原始对象实例特征图与第j个融合对象实例特征图。
73.步骤s804，基于余弦相似度与原始对象实例的特征图进行融合，得到相似度特征。
74.具体地，计算机设备可以根据如下公式8所示的方式计算相似度特征：，公式8其中，为增强图像中第j个原始对象实例的个数，为原始对象实例特征图，为增强图像中第i个原始对象实例特征图与第j个融合对象实例特征图的余弦相似度。
75.步骤s806，将相似度特征与融合对象实例的特征图进行融合，得到融合特征信息。
76.步骤s808，将融合特征信息输入生成对抗网络的生成器的解码器进行处理，输出生成图像。
77.步骤s810，将生成图像输入鉴别器进行鉴别，生成鉴别结果。
78.步骤s812，基于鉴别结果，确定目标增强图像。
79.具体地，计算机设备对鉴别结果进行判断，当生成图像对应的真实度大于或等于预设阈值时，则判断当前的生成图像为目标增强图像，并停止对生成对抗网络的训练，若生成图像的真实度小于预设阈值时，则表示当前的生成图像未达到预设的优化标准，则继续通过训练生成对抗网络来迭代产生出新的增强图像。
80.本实施例中，通过在生成对抗网络的生成器中设置辅助编码器，再求解原始对象实例特征图与融合对象实例特征图的余弦相似度，再通过余弦相似度与融合对象实例特征图进行融合得到融合特征信息，最后基于融合特征信息确定目标增强图像，实现了将待增强图像中的原始对象实例的纹理特征进行编码，再将其融合到融合对象实例中完成融合对
象实例的风格转换，能够有效消除原来增强图像中的伪影，提高增强图像的图像质量。
81.本技术还提供一种应用场景，该应用场景应用上述的图像增强方法，该方法应用于表面缺陷分割检测中的数据增强的场景，具体地，该图像增强方法在该应用场景的应用如下：计算机设备收集训练集（所有图像数据样本）中的所有前景实例，将其作为前景实例仓库。对于一个真实图像，从前景实例仓库中选取一定数量的前景实例样本对于该图像进行数据增强。对于任一选取的前景实例和原始的前景实例，使用如下形态学约束方法进行约束：，公式9，公式10，公式11其中，与分别代表原始图像中的前景实例和待粘贴前景实例的二值化掩码。| |代表该掩码的面积，代表两个实例中心点距离，代表两个实例中面积较大的实例的面积，代表两个实例中面积较小的实例的面积，两者相除即为两者的面积比，代表两个实例的进行中心点对齐后的不重叠区域的面积，将从训练集中进行统计获得，不同数据集的具体参数设定不同。
82.将上述步骤确定的预设数目的待粘贴实例粘贴到待增强图像中生成增强图像如图10所示，由于不同图像之间的成像条件不同（如光照，环境，成像器材），该方法可能出现较为明显的伪影。因此再将增强图像输入到生成对抗网络中进行训练，如图11所示，生成器通过学习待增强图像中的风格信息，将待粘贴实例进行风格转换，从而生成更真实的增强图像。鉴别器是为了区分不真实的增强图像。不同于现有的基于生成对抗网络的方法，优化后的增强图像没有真实样本。因此，设计三元损失函数用于训练辨别器。具体地，随机从训练集中选取两幅真实图像作为锚点和正样本，而负样本为生成器产生的样本，鉴别器三元损失函数为：，公式12其中，d和g分别代表辨别器和生成器。y代表待粘贴前景实例的二值化掩码，其中代表在坐标处的像素属于待粘贴实例。表示逐元乘法。优化的结果是通过将生成的粘贴实例g(k)置于待粘贴图像中，并且控制其他区域保持不变。m为边缘损失自定义参数。
83.对于生成器，采用的是自编码器的形式，生成器的损失函数为：，公式13其中，为平衡参数，用于控制对抗损失函数和重建损失函数。
84.上述方法可以产生较为真实的增强图像，但是优化后的图像可能只学到了粘贴图像面积较大的背景区域的风格。为了克服这一问题，在生成器中设计辅助编码器，名为实例相似度编码器，其作用是将待增强图像的实例的纹理特征进行编码，然后将其融合到待粘贴实例的深度隐空间中。如图11所示，首先采用3x3卷积操作来提取待增强图像的实例信息，然后对于待粘贴实例，使用卷积的方式计算其与带增强图像中的实例的余弦相似度：
，公式14其中，和分别是带增强图像中实例和待粘贴实例的特征图。再使用原始图像中的特征来代替待粘贴实例的特征，通过如下相似度归一化的方法：，公式15其中，为增强图像中原始实例的个数。
85.之后，我们将编码后的相似度特征与待粘贴实例的特征进行融合，作为生成器的解码器输入，以此产生最后的优化图像，完成图像的数据增强。
86.上述图像增强方法，通过获取待增强图像与前景实例仓库，再根据待增强图像的原始实例的面积、前景实例仓库中的各个前景实例的面积分别进行差异计算得到各个实例面积差异项，再根据原始实例中的中心点、前景实例中的中心点、原始实例的面积、前景实例的面积进行形状差异计算得到各个实例形状差异项，再根据前景实例在面积以及形状上与原始实例差异来判断是否符合作为待粘贴实例的标准，以此实现能够根据原始实例在形态上的特征来确定待粘贴实例，最后将待增强图像与待粘贴实例进行融合得到增强图像，再将此时带伪影的增强图像作为生成对抗网络进行模型的训练得到优化后的增强图像，通过设置辅助编码器，实现将待粘贴实例的纹理特征与原始实例的纹理特征进行融合，进而完成待粘贴实例风格和纹理特征的转变，有效消除增强图像中的伪影，使得所生成的增强图像能够有效保留图像与对象实例间原本的语义信息，从而有效提高增强图像的质量。
87.应该理解的是，虽然如上述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
88.在一些实施例中，如图9所示，提供了一种图像增强装置，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：获取模块902，用于获取待增强图像与对象实例集合；第一计算模块904，用于根据待增强图像的原始对象实例的面积、对象实例集合中的各个目标对象实例的面积分别进行面积差异计算，得到各个实例面积差异项；第二计算模块906，用于根据原始对象实例的参考位置点、各个目标对象实例的参考位置点、原始对象实例的面积、各个目标对象实例的面积进行形状差异计算，得到各个实例形状差异项；确定模块908，用于基于各个实例面积差异项与各个实例形状差异项，确定与原始对象实例对应的融合对象实例；融合模块910，用于将待增强图像和融合对象实例进行融合，得到目标增强图像。
89.在一些实施例中，在根据待增强图像的原始对象实例的面积、对象实例集合中的各个目标对象实例的面积分别进行差异计算，得到各个实例面积差异项方面，第一计算模块904具体用于：
将待增强图像的原始对象实例的面积分别与对象实例集合中的各个目标对象实例的面积组成面积对；分别将各个面积对的最大值与最小值进行比例计算，得到各个实例面积差异项。
90.在一些实施例中，参考位置点是质心位置，在根据原始对象实例的参考位置点、各个目标对象实例的参考位置点、原始对象实例的面积、各个目标对象实例的面积进行形状差异计算，得到各个实例形状差异项方面，第二计算模块906具体用于：针对每个目标对象实例，将原始对象实例的质心位置与目标对象实例的质心位置进行重合处理，并计算原始对象实例与目标对象实例的不重叠区域面积；获得第一实例面积，第一实例面积为原始对象实例的面积与目标对象实例的面积中的最大值；根据不重叠区域面积与第一实例面积进行比例计算，得到实例形状差异项。
91.在一些实施例中，在将待增强图像和融合对象实例进行融合，得到目标增强图像方面，融合模块910具体用于：获得目标融合距离；根据原始对象实例的质心位置和目标融合距离，确定融合对象实例的目标融合位置；根据目标融合位置将融合对象实例融合至待增强图像，得到目标增强图像。
92.在一些实施例中，在将待增强图像和融合对象实例进行融合，得到目标增强图像方面，融合模块910具体用于：将待增强图像和融合对象实例进行融合，得到第一增强图像；将第一增强图像作为生成对抗网络的生成器的输入，经过训练生成目标增强图像。
93.在一些实施例中，融合模块910还用于：获取预设数量的标准图像数据；将预设数量的标准图像数据分别输入生成对抗网络的鉴别器进行处理，输出对应的第一鉴别结果；根据生成对抗网络的生成器的生成图像得到第二鉴别结果；基于第一鉴别结果与第二鉴别结果，构建得到鉴别器对应的鉴别器损失函数；基于生成器的输入图像与生成器的生成图像进行差异计算，得到重建损失函数；根据第一鉴别结果、第二鉴别结果以及重建损失函数，构建得到生成器对应的生成器损失函数；根据鉴别器损失函数与生成器损失函数，构建得到生成对抗网络。
94.在一些实施例中，在将第一增强图像作为生成对抗网络的生成器的输入，经过训练生成目标增强图像方面，融合模块910具体用于：根据原始对象实例的特征图以及融合对象实例的特征图，计算得到余弦相似度，特征图用于表征原始对象实例或融合对象实例的纹理特征信息；基于余弦相似度与原始对象实例的特征图进行融合，得到相似度特征；将相似度特征与融合对象实例的特征图进行融合，得到融合特征信息；将融合特征信息输入生成对抗网络的生成器的解码器进行处理，输出生成图像；将生成图像输入鉴别器进行鉴别，生成鉴别结果；基于鉴别结果，确定目标增强图像。
95.关于图像增强装置的具体限定可以参见上文中对于图像增强方法的限定，在此不
再赘述。上述图像增强装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以以硬件形式内嵌于或独立于计算机设备中的处理器，也可以以软件形式存储于计算机设备中的存储器，以便于处理器调用执行以上各个模块对应的操作。
96.在一些实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图12所示。该计算机设备包括处理器、存储器、输入/输出接口（input/output，简称i/o）、通信接口、显示单元以及输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、输入装置和显示单元通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、移动蜂窝网络、nfc（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现上述的图像增强方法中的步骤。该计算机设备的显示单元可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
97.本领域技术人员可以理解，图12中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
98.在一些实施例中，还提供了一种计算机设备，该计算机设备包括存储器和处理器，存储器存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
99.在一些实施例中，提供了一种计算机可读存储介质1300，其上存储有计算机程序1302，该计算机程序1302被处理器执行时实现上述各方法实施例中的步骤，其内部结构图可以如图13所示。
100.在一些实施例中，提供了一种计算机程序产品，该计算机程序产品包括计算机指令，处理器执行该计算机指令时实现上述各方法实施例中的步骤。
101.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（read-only memory，rom）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（reram）、磁变存储器（magnetoresistive random access memory，mram）、铁电存储器（ferroelectric random access memory，fram）、相变存储器（phase change memory，pcm）、石墨烯存储器等。易失性存储器可包括随机存取存储器（random access memory，ram）或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器（static random access memory，sram）或动态随机存取存储器（dynamic random access memory，dram）等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号
处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
102.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
103.以上实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。