一种图像数据增强方法、装置、计算机设备和存储介质与流程

1.本发明涉及图像处理技术领域，特别是涉及一种图像数据增强方法、装置、计算机设备和存储介质。


背景技术：

2.图像分割技术通常用于定位图像中目标和边界的位置，为图像内容的理解奠定基础，目前已经成为计算机视觉领域的重要研究方向，广泛应用于移动机器人、自动驾驶、无人机、医学诊断等实际场景中。目前，图像分割技术主要通过深度学习算法实现，而深度学习算法的性能对输入数据的质量较为依赖，因此通常会采用数据增强的方式对输入数据质量不佳的情况进行处理。然而，目前的数据增强方法在对图像进行增强处理时，存在增强数据不合理、小样本识别困难等问题。


技术实现要素：

3.基于此，有必要针对上述技术问题，提供一种图像数据增强方法、装置、设备和存储介质，改善图像处理过程中增强数据性能不佳的问题。
4.一方面，提供一种图像数据增强方法，所述图像数据增强方法包括：对原始图像进行分割，获取分割图像与所述分割图像的目标类别，通过所述目标类别获取待增强类别；按照所述待增强类别对所述原始图像分别进行二值化处理，获取二值图像，根据所述二值图像的连通域，获取所述原始图像中与所述待增强类别存在匹配关系的实例图像；对所述实例图像进行透视处理，获取第一实例图像，对所述第一实例图像进行缩放，获取第二实例图像；从所述原始图像中获取灭点位置，根据所述灭点位置与所述第二实例图像的几何尺寸，确定所述第二实例图像的粘贴位置，根据所述粘贴位置将所述第二实例图像粘贴至所述原始图像，获取所述原始图像的增强图像。
5.在其中一个实施例中，对原始图像进行分割，获取分割图像与所述分割图像的目标类别的步骤包括：对所述原始图像进行特征提取，获取所述原始图像的多层语义特征；根据预设的采样率，对所述多层语义特征进行卷积处理和下采样，获取第一采样特征；将所述第一采样特征进行上采样，获取第二采样特征，并将所述第二采样特征与所述多层语义特征进行融合，获取第三采样特征，对所述第三采样特征进行卷积和上采样，获取所述分割图像及其对应的所述目标类别。
6.在其中一个实施例中，通过所述目标类别获取待增强类别的步骤包括：通过混淆矩阵对所述分割图像按照所述目标类别进行分析，获取所述目标类别的
识别精度；将所述目标类别的识别精度与预设的第一阈值进行比较，将所述识别精度小于所述第一阈值的对应的所述目标类别作为第一目标类别；将所述目标类别的像素数量与预设的第二阈值进行比较，将所述像素数量小于所述第二阈值的对应的所述目标类别作为第二目标类别；将所述第一目标类别与所述第二目标类别进行融合，获取所述待增强类别。
7.在其中一个实施例中，按照所述待增强类别对所述原始图像分别进行二值化处理，获取二值图像，根据所述二值图像的连通域，获取所述原始图像中与所述待增强类别存在匹配关系的实例图像的步骤包括：根据所述待增强类别与所述原始图像的矩阵尺寸，建立掩膜矩阵，将所述掩膜矩阵的元素与所述原始图像的元素进行矩阵乘法运算，获取所述二值图像；根据预设的像素邻接关系获取所述二值图像的连通域状态；根据所述连通域状态，从所述原始图像中获取与所述待增强类别对应的局部图像，并对所述局部图像的兴趣区域进行裁剪，获取所述实例图像，并将所述待增强类别对应的多个所述实例图像分别进行存储。
8.在其中一个实施例中，对所述实例图像进行透视处理，获取第一实例图像的步骤包括：配置所述实例图像的第一坐标顶点与所述第一实例图像的第二坐标顶点，根据所述第一坐标顶点与所述第二坐标顶点，获取所述实例图像的透视变换矩阵；根据所述透视变换矩阵，对所述实例图像作透视变换处理，获取所述第一实例图像。
9.在其中一个实施例中，根据所述第一实例图像的几何尺寸对所述第一实例图像进行缩放，获取第二实例图像的步骤还包括：获取所述待增强类别对应的多个所述第一实例图像的几何尺寸，其中，所述几何尺寸包括：尺寸最大值、尺寸最小值、尺寸平均值；根据所述尺寸平均值，获取缩放阈值；根据所述尺寸最大值与所述尺寸最小值，获取缩放区间；根据所述缩放阈值与所述缩放区间，从所述待增强类别的当前所述第一实例图像进行遍历，对所述第一实例图像进行缩放处理，获取所述第二实例图像。
10.在其中一个实施例中，从所述原始图像中获取灭点位置，根据所述灭点位置与所述第二实例图像的几何尺寸，确定所述第二实例图像的粘贴位置的步骤包括：通过所述原始图像的标定信息，获取所述原始图像的灭点位置；以所述灭点位置为圆心，以所述第二实例图像的尺寸最大值为半径，获取第一区域，从第二区域中选取所述粘贴位置，所述原始图像包括：所述第一区域、所述第二区域。
11.另一方面，提供了一种图像数据增强装置，所述图像数据增强装置包括：类别获取模块，用于对原始图像进行分割，获取分割图像与所述分割图像的目标类别，通过所述目标类别获取待增强类别；实例获取模块，用于按照所述待增强类别对所述原始图像分别进行二值化处理，获取二值图像，根据所述二值图像的连通域，获取所述原始图像中与所述待增强类别存在
匹配关系的实例图像；矫正处理模块，用于对所述实例图像进行透视处理，获取第一实例图像，对所述第一实例图像进行缩放，获取第二实例图像；数据增强模块，用于从所述原始图像中获取灭点位置，根据所述灭点位置与所述第二实例图像的几何尺寸，确定所述第二实例图像的粘贴位置，根据所述粘贴位置将所述第二实例图像粘贴至所述原始图像，获取所述原始图像的增强图像。
12.再一方面，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：对原始图像进行分割，获取分割图像与所述分割图像的目标类别，通过所述目标类别获取待增强类别；按照所述待增强类别对所述原始图像分别进行二值化处理，获取二值图像，根据所述二值图像的连通域，获取所述原始图像中与所述待增强类别存在匹配关系的实例图像；对所述实例图像进行透视处理，获取第一实例图像，对所述第一实例图像进行缩放，获取第二实例图像；从所述原始图像中获取灭点位置，根据所述灭点位置与所述第二实例图像的几何尺寸，确定所述第二实例图像的粘贴位置，根据所述粘贴位置将所述第二实例图像粘贴至所述原始图像，获取所述原始图像的增强图像。
13.又一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：对原始图像进行分割，获取分割图像与所述分割图像的目标类别，通过所述目标类别获取待增强类别；按照所述待增强类别对所述原始图像分别进行二值化处理，获取二值图像，根据所述二值图像的连通域，获取所述原始图像中与所述待增强类别存在匹配关系的实例图像；对所述实例图像进行透视处理，获取第一实例图像，对所述第一实例图像进行缩放，获取第二实例图像；从所述原始图像中获取灭点位置，根据所述灭点位置与所述第二实例图像的几何尺寸，确定所述第二实例图像的粘贴位置，根据所述粘贴位置将所述第二实例图像粘贴至所述原始图像，获取所述原始图像的增强图像。
14.上述一种图像数据增强方法、装置、计算机设备和存储介质，通过对原始图像进行二值化处理和连通域分析，获取实例图像，然后对实例图像进行透视和缩放处理，获取第二实例图像，再根据第二实例图像的几何尺寸与原始图像的灭点位置获取粘贴位置，最后根据粘贴位置将第二实例图像粘贴至原始图像，以此解决图像分割过程中增强数据不合理、小样本识别困难等问题。
附图说明
15.图1为一个实施例中一种图像数据增强方法的应用环境图；图2为一个实施例中一种图像数据增强方法的流程示意图；
图3为一个实施例中获取分割图像及其目标类别的流程示意图；图4为一个实施例中获取待增强类别的流程示意图；图5为一个实施例中获取实例图像的流程示意图；图6为一个实施例中获取第一实例图像的流程示意图；图7为一个实施例中获取第二实例图像的流程示意图；图8为一个实施例中获取粘贴位置的流程示意图；图9为一个实施例中图像数据增强装置的结构框图；图10为一个实施例中计算机设备的内部结构图。
具体实施方式
16.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
17.本技术提供的一种图像数据增强方法，可以应用于如图1所示的应用环境中，其中，终端102通过网络与服务器104通过网络进行通信，例如，本技术提供的一种图像数据增强方法可应用于对目标类别不均衡的图像样本进行数据增强的场景中，基于aspp（atrous spatial pyramid pooling，空洞空间卷积池化金字塔）和透视变换，改善现有图像数据增强技术中对图像数据进行增强时存在样本不均衡、增强图像的透视合理性差等问题，通过对原始图像进行二值化处理和连通域分析，获取实例图像，然后对实例图像进行透视和缩放处理，获取第二实例图像，再根据第二实例图像的几何尺寸与原始图像的灭点位置获取粘贴位置，最后根据粘贴位置将第二实例图像粘贴至原始图像，获取增强图像。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、便携式可穿戴设备或者子服务器，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群或者云计算平台来实现。
18.在一个实施例中，如图2所示，提供了一种图像数据增强方法，包括以下步骤：s1：对原始图像进行分割，获取分割图像与所述分割图像的目标类别，通过所述目标类别获取待增强类别；s2：按照所述待增强类别对所述原始图像分别进行二值化处理，获取二值图像，根据所述二值图像的连通域，获取所述原始图像中与所述待增强类别存在匹配关系的实例图像；s3：对所述实例图像进行透视处理，获取第一实例图像，对所述第一实例图像进行缩放，获取第二实例图像；s4：从所述原始图像中获取灭点位置，根据所述灭点位置与所述第二实例图像的几何尺寸，确定所述第二实例图像的粘贴位置，根据所述粘贴位置将所述第二实例图像粘贴至所述原始图像，获取所述原始图像的增强图像。
19.通过上述步骤，可改善对图像数据进行增强处理时存在性能差的问题。
20.在对图像数据进行增强处理之前，需要对原始图像进行分割处理，并对分割图像的目标类别进行比较分析，确定需要进行数据增强处理的目标类别，在步骤s1中，示例性地说明，对原始图像进行分割，获取分割图像及其对应的目标类别，获取待增强类别，例如，将
原始图像的数据集在图像分割网络中进行训练，使用空洞卷积构建深度神经网络特征提取模块，获取原始图像的语义特征，并利用aspp对特征信息进行空洞卷积和采样，获取不同比例的图像上下文信息，然后将语义特征与图像上下文信息进行融合，通过预设尺寸的卷积处理和预设倍数的采样，获取分割图像，在一些实施过程中，卷积处理时采用的预设尺寸可设置为3*3，采样时采用的预设倍数可设置为4倍，然后根据分割图像确定存在的目标类别，再对分割图像进行混淆矩阵分析，将分割图像中所有类别的预测结果与原始图像的真实结果进行比较，按照预设的比较维度从目标类别中选取一定数量的目标类别作为待增强类别，比较维度至少包括以下之一：目标类别的像素数量、目标类别的识别精度，以此对不均衡样本进行改善，针对性选取目标类别进行数据增强处理。
21.获取待增强类别后，需要从原始图像中选取与增强类别对应的实例图像，在步骤s2中，示例性地说明，对原始图像进行二值化处理，获取二值图像，对二值图像进行连通域分析，获取原始图像中与待增强类别存在匹配关系的实例图像，例如，从原始图像的首个图像开始对原始图像按照待增强类别进行二值化处理，构建掩膜矩阵，将掩膜矩阵与原始图像进行矩阵乘法运算，获取二值图像，然后对二值图像进行连通域分析，获取连通域图，提取原始图像中对应的局部图像，同时对局部图像进行感兴趣区域裁剪，割除图形中无意义的区域，获取实例图像，然后对原始图像中所有图像进行相同操作，将各待增强类别对应的实例图像进行提取，并将不同待增强类别的不同的实例图像分别进行存储，以此根据待增强类别针对性从原始图像中选取对应的实例图像，即对目标类别进行筛选，改善样本的不均衡性。
22.在获取各个待增强类别对应的实例图像后，为了考虑实例图像的真实性与保证实例图像的透视合理性，在步骤s3中，示例性地说明，对实例图像进行透视处理，获取第一实例图像，对第一实例图像进行缩放，获取第二实例图像，例如，可采用opencv（open source computer vision library，开源计算机视觉库）图像处理库中的透视变换函数对实例图像作透视处理，获取具有合理透视性的第一实例图像，然后将识别精度最高的目标类别对应的实例图像的几何尺寸作为比较基准，将所有第一实例图像的几何尺寸与比较基准进行匹配，对几何尺寸较大的第一实例图像进行缩小处理，对几何尺寸较小的第一实例图像进行放大处理，获取第二实例图像，以此进一步确保实例图像的真实性和透视合理性。
23.在将第二实例图像粘贴至原始图像之前，需要对原始图像中的灭点进行确定，并计算第二实例图像在原始图像中的粘贴位置，在步骤s4中，示例性地说明，从原始图像中获取灭点位置，根据所述灭点位置与第二实例图像的几何尺寸确定第二实例图像的粘贴位置，根据粘贴位置将第二实例图像粘贴至原始图像，获取原始图像的增强图像，例如，可通过摄像头的标定信息确认原始图像中的灭点的位置，也可通过霍夫变换获取灭点的位置，然后在原始图像中根据灭点位置形成一个禁止粘贴图像的区域，在该区域之外的地方随机选取粘贴点位置，将第二实例图像按照粘贴点位置粘贴至原始图像中，获取原始图像对应的增强图像，在一些实施过程中，可将多个第二实例图像粘贴至原始图像，以此将样本数量较小的原始图像进行数据扩增，增加了小样本的识别准确度，同时保证了增强图像的透视合理性。
24.在另一些实施过程中，还可将上述图像数据增强方法应用于目标检测领域的数据增强过程中。
25.在对图像数据增强之前，需要选取进行数据增强的目标类别，因此需要获取原始图像的分割图像及其对应的目标类别，在一些实施例中，如图3所示，对原始图像进行分割，获取分割图像与所述分割图像的目标类别的步骤包括：s11：对所述原始图像进行特征提取，获取所述原始图像的多层语义特征；s12：根据预设的采样率，对所述多层语义特征进行卷积处理和下采样，获取第一采样特征；s13：将所述第一采样特征进行上采样，获取第二采样特征，并将所述第二采样特征与所述多层语义特征进行融合，获取第三采样特征，对所述第三采样特征进行卷积和上采样，获取所述分割图像及其对应的所述目标类别。
26.如图3所示，在步骤s11中，示例性地说明，对原始图像进行特征提取，获取原始图像的多层语义特征，例如，可采用deeplabv3+（deep laboratory version 3.0+，深度实验室版本3.0+）分割网络框架，在编码步骤时使用空洞卷积构建深度神经网络特征提取模块对原始图像的多层语义特征进行提取，可增加网络的感受野并且维持特征的分辨率，增强语义分割的精度，在一些实施过程中，还可采用metaprune（meta pruning，元剪枝）框架对分割网络框架中的骨干网络进行自动化通道裁剪，以此将模型体量轻量化同时保持模型的精度水平，获取原始图像的多层语义特征。
27.如图3所示，在步骤s12中，示例性地说明，根据预设的采样率对多层语义特征进行卷积处理和下采样，获取第一采样特征，例如，采用aspp对多层语义特征以不同采样率的空洞卷积进行采样，捕捉多尺度信息，获取多个层次的不同比例的图像上下文信息，作为第一采样特征，由于同一类物体在图像中可能存在不同比例，因此采用aspp可有助于考虑不同物体的比例，捕捉更多尺寸信息，在一些实施过程中，卷积参数可设置为采样率为6的3*3空洞卷积，还可设置为采样率为12的3*3空洞卷积，以此针对图像的不同情况进行语义特征的下采样。
28.如图3所示，在步骤s13中，示例性地说明，对第一采样特征进行上采样后与多层语义特征进行融合，获取第三采样特征，对第三采样特征进行卷积和上采样，获取分割图像及其对应的目标类别，例如，将第一采样特征进行4倍上采样，采用内插值方法，在第一采样特征图的像素点之间采用插值法插入新的像素，以此将第一采样特征进行放大处理，获取第二采样特征，然后将第二采样特征与多层语义特征采用concat（数组合并）函数进行合并，获取第三采样特征，然后对第三采样特征进行3*3的卷积以及4倍上采样，获取分割图像，然后对分割图像进行分析，将分割图像中的不同物体进行区分，例如将分割图像中的人物、动物、植物、设备等物体作为不同的目标类别，以便后续从所有的目标类别中针对性地选取需要进行数据增强的目标类别。
29.获取了分割图像的目标类别以后，需要针对性地从所有目标类别中选取部分目标类别作为待增强类别，如图4所示，在一些实施例中，通过所述目标类别获取待增强类别的步骤包括：s21：通过混淆矩阵对所述分割图像按照所述目标类别进行分析，获取所述目标类别的识别精度；s22：将所述目标类别的识别精度与预设的第一阈值进行比较，将所述识别精度小于所述第一阈值的对应的所述目标类别作为第一目标类别；
s23：将所述目标类别的像素数量与预设的第二阈值进行比较，将所述像素数量小于所述第二阈值的对应的所述目标类别作为第二目标类别；s24：将所述第一目标类别与所述第二目标类别进行融合，获取所述待增强类别。
30.如图4所示，在步骤s21中，示例性地说明，通过混淆矩阵对分割图像按照目标类别进行分析，获取目标类别的识别精度，例如，建立一个混淆矩阵，其中，每一行代表实际类别，每一列代表各类别的预测结果，以矩阵形式将数据集中的记录按照实际类别与分类模型做出的预测结果进行汇总，可呈现所有类别的预测值与真实类别的识别正确或者类别混淆的结果，在一些实施过程中，对于性别的二分类情况，当实际类别为男性，预测结果为男性时，称该结果为tp（true positive,真阳），当实际类别为女性，预测结果为女性时，称该结果为tn（true negative,真阴），当实际类别为男性，预测结果为女性时，称该结果为fn（false negative,假阴），当实际类别为女性，预测结果为男性时，称该结果为fp（falsepositive,假阳），此时分类模型中识别为男性的精确率的数学表达为：p=tp/(tp+fp)，而召回率的数学表达则为r=tp/(tp+fn)，在本实施例中，可通过混淆矩阵分析的方式，获取目标类别的精确率、召回率等可用于对识别模型的性能进行评价的指标作为识别精度。
31.如图4所示，在步骤s22中，示例性地说明，将目标类别的识别精度与预设的第一阈值进行比较，将识别精度小于第一阈值的对应的目标类别作为第一目标类别，例如，在一些实施过程中，可预设第一阈值t1为70%，将所有的目标类别的识别精度与第一阈值进行比较，将数值小于第一阈值的目标类别作为第一目标类别，在另一些实施过程中，还可将第一阈值设置为80%，即通过对第一阈值进行调整，可将从所有目标类别中选取第一目标类别的判定条件进行相应地放松或者限制，以此针对目标类别的数量以及样本的不均衡等问题针对性地选取部分目标类别进行数据增强处理。
32.如图4所示，在步骤s23中，示例性地说明，将目标类别的像素数量与预设的第二阈值进行比较，将像素数量小于第二阈值的对应的目标类别作为第二目标类别，例如，由于分割图像中可能存在像素数量少的目标类别具有较低识别精度的情况，因此可将像素数量少的目标类别作为需要进行增强的目标类别，在一些实施过程中，计算所有目标类别对应的局部图像的像素数量最小值nmin、像素数量最大值mmax、像素数量平均值nmean，然后预设第二阈值t2，对于每一个目标类别，若其局部图像的像素数量的数值小于t2*mmean，则认为该目标类别的像素数量与整体所有目标类别相比具有数量较少的情况，则将该类别作为第二目标类别，在一些实施过程中，可将第二阈值t2设置为0.8，还可设置为0.75，即第二阈值的设置范围可以为[0.7,0.9]区间，以此通过调整第二阈值t2的数值，针对性地对将不同目标类别选取为第二目标类别的筛选条件进行控制，更有效性地选取合适的目标类别作为后续需要进行数据增强的目标类别，以此解决小样本识别不准确的问题。
[0033]
如图4所示，在步骤s24中，示例性地说明，获将第一目标类别与第二目标类别进行融合，获取待增强类别，例如，将第一目标类别与第二目标类别进行合并，在一些实施过程中，第一目标类别与第二目标类别中可能存在相同的目标类别，则将第一目标类别中的元素与第二目标中的元素进行并集合操作，获取待增强类别，在另一些实施过程中，还可将待增强类别中的各元素进行权值分配，例如，对第一目标类别的元素与第二目标类别的元素存在相同情况时对应的目标类别元素分配较大的权值，而对只在第一目标类别中出现或者只在第二目标类别中出现的目标类别分配较小的权值，以此从识别精度和像素数量两个维
度对待增强的目标类别进行区分和控制，对不均衡样本进行改善。
[0034]
在获取待增强类别后，需要从原始图像中选取与待增强类别对应的局部图像作为实例图像，如图5所示，按照所述待增强类别对所述原始图像分别进行二值化处理，获取二值图像，根据所述二值图像的连通域，获取所述原始图像中与所述待增强类别存在匹配关系的实例图像的步骤包括：s31：根据所述待增强类别与所述原始图像的矩阵尺寸，建立掩膜矩阵，将所述掩膜矩阵的元素与所述原始图像的元素进行矩阵乘法运算，获取所述二值图像；s32：根据预设的像素邻接关系对所述二值图像进行连通域分析，获取连通域结果；s33：根据所述连通域状态，从所述原始图像中获取与所述待增强类别对应的局部图像，并对所述局部图像的兴趣区域进行裁剪，获取所述实例图像，并将所述待增强类别对应的多个所述实例图像分别进行存储。
[0035]
通过上述步骤，可根据待增强类别，针对性地从原始图像中获取实例图像，改善样本不均衡的问题。
[0036]
如图5所示，在步骤s31中，示例性地说明，根据待增强类别与原始图像的矩阵尺寸，建立掩膜矩阵，将掩膜矩阵的元素与原始图像的元素进行矩阵乘法运算，获取二值图像，例如，通过掩膜操作，可针对每一个待增强类别建立由0和1构成的掩膜矩阵作为掩膜矩阵，将掩膜矩阵的各元素与原始图像的各行各类元素进行矩阵乘法运算，重新计算原始图像的每一个像素值，可对局部图像进行遮挡，控制图像处理区域，其中，掩膜矩阵的尺寸与原始图像的尺寸一致。
[0037]
如图5所示，在步骤s32中，示例性地说明，根据预设的像素邻接关系对二值图像进行连通域分析，获取连通域结果，例如，预设的邻接关系可以设置为4邻接，即对于一个中心像素点，其上、下、左、右四个方向各存在1个邻接像素，即4邻接一共存在4个像素点，若像素点p1与像素点p2邻接，则认为p1与p2连通，若p2与像素点p3也连通，则认为p1与p3也连通，彼此连通的各像素点可形成一个区域，而彼此不连通的点则形成不同的区域，在一些实施过程中，可采用matlab（matrix&laboratory，矩阵实验室）软件中的连通区域标记函数，通过遍历二值图像，记下每一行或列中连续的团区域和标记的等价对，然后通过等价对对二值图像进行重新标记，获取二值图像的连通域结果，在另一些实施过程中，还可以用二值图像的深度来代替等价对，然后获取连通域结果。
[0038]
如图5所述，在步骤s33中，示例性地说明，根据连通域状态，从原始图像中获取与待增强类别对应的局部图像，并对局部图像的兴趣区域进行裁剪，获取实例图像，并将待增强类别对应的多个实例图像分别进行存储，例如，将连通域状态绘制成不同连通域的标签坐标图，对照标签坐标图从原始图像中提取与连通域对应的局部图像作为实例图像，还可获取实例图像的roi（region of interest，感兴趣区域），将实例图像周围无意义的区域进行割除裁剪，留下roi实例图像，然后对所有原始图像进行相同操作，获取所有原始图像中与每一个待增强类别对应的局部图像作为实例图像，并将不同待增强类别的不同实例图像进行独立存储，以便后续可选取同一待增强类别下任意数量的实例图像进行图像粘贴的操作。
[0039]
在获取待增强类别对应的实例图像之后以及对实例图像进行粘贴之前，需要对实
例图像的透视合理性进行分析和保证，如图6所示，对所述实例图像进行透视处理，获取第一实例图像的步骤包括：s41：配置所述实例图像的第一坐标顶点与所述第一实例图像的第二坐标顶点，根据所述第一坐标顶点与所述第二坐标顶点，获取所述实例图像的透视变换矩阵；s42：根据所述透视变换矩阵，对所述实例图像作透视变换处理，获取所述第一实例图像。
[0040]
通过上述步骤，可将用于粘贴至原始图像的实例图像的透视合理性进行提升，并考虑图像语义的真实情况，使不同物体之间可能存在的空间关系符合常理。
[0041]
如图6所示，在步骤s41中，示例性地说明，配置实例图像的第一坐标顶点与第一实例图像的第二坐标顶点，根据第一坐标顶点与第二坐标顶点，获取实例图像的透视变换矩阵，例如，针对当前的一个实例图像，可选择opencv图像处理库中的getperspectivetransform函数，将实例图像的四边形顶点坐标作为函数的输入数据，将经过拉伸、收缩等操作变换后的第一实例图像的四边形顶点坐标作为函数的输出数据，计算出透视变换矩阵。
[0042]
如图6所示，在步骤s42中，示例性地说明，根据透视变换矩阵对实例图像作透视变换处理，获取第一实例图像，例如，可选择opencv图像处理库中的cvwarpperspective函数，根据透视变换矩阵，对实例图像作透视变换处理，获取第一实例图像。
[0043]
获取经过透视变换处理的第一实例图像后，可能存在部分第一实例图像的尺寸太大或者太小的情况，因此，如图7所示，根据所述第一实例图像的几何尺寸对所述第一实例图像进行缩放，获取第二实例图像的步骤包括：s51：获取所述待增强类别对应的多个所述第一实例图像的几何尺寸，其中，所述几何尺寸包括：尺寸最大值、尺寸最小值、尺寸平均值；s52：根据所述尺寸平均值，获取缩放阈值；s53：根据所述尺寸最大值与所述尺寸最小值，获取缩放区间；s54：根据所述缩放阈值与所述缩放区间，从所述待增强类别的当前所述第一实例图像进行遍历，对所述第一实例图像进行缩放处理，获取所述第二实例图像。
[0044]
通过上述步骤，将第一实例图像中目标尺寸较小的图像进行放大处理，对目标尺寸较大的图像进行缩小处理，以此提升后续增强图像的透视合理性以及分布合理性。
[0045]
如图7所示，在步骤s51中，示例性地说明，获取待增强类别对应的多个第一实例图像的几何尺寸，例如，从所有目标类别中选取识别精度最高的目标类别，计算该类别对应的实例图像的长度最小值hmin、长度最大值hmax、长度平均值hmean，在一些实施过程中，还可以计算该类别对应的实例图像的宽度最小值wmin、宽度最大值wmax、宽度平均值wmean，以此用于后续获取缩放阈值，即将识别精度最高的目标类别作为缩放阈值的参考数值。
[0046]
如图7所示，在步骤s52中，示例性地说明，根据尺寸平均值获取缩放阈值，例如，可设置缩放阈值为t3=0.8，对于每一个待增强类别对应的第一实例图像，若其长度小于t3*hmean，则将该实例图像的长度进行放大，若其长度大于t3*hmean，则将该实例图像的长度进行缩小，在一些实施过程中，还可设置缩放阈值t3为0.7，并将识别精度最高的目标类别对应的实例图像的宽度平均值wmean与t3相乘作为判断待增强类别对应的实例图像的宽度进行扩大或者缩小的条件，例如，对于每一个待增强类别对应的第一实例图像，若其宽度小
于t3*wmean，则将该实例图像的宽度进行放大，若其宽度大于t3*wmean，则将该实例图像的宽度进行缩小，以此将待增强类别对应的实例图像的尺寸按照识别精度最高的目标类别对应的实例图像进行参考，使图像的缩小或者放大更合理。
[0047]
如图7所示，在步骤s53中，示例性地说明，根据尺寸最大值与尺寸最小值，获取缩放区间，例如，获取识别精度最高的目标类别对应的实例图像的长度最小值hmin、长度最大值hmax、长度平均值hmean，以及宽度最小值wmin、宽度最大值wmax、宽度平均值wmean，对于待增强类别中的一个实例图像，若其长度为h，则可将放大倍数区间设置为[1,hmax/h]，将其缩小倍数区间设置为[hmin/h,hmax/h]，进一步地，对于待增强类别中的一个实例图像，若其宽度为w，则可将放大倍数区间设置为[1,wmax/w]，将其缩小倍数区间设置为[wmin/w,wmax/w]，使图像的放大倍数区间与缩小倍数区间更为合理。
[0048]
如图7所示，在步骤s54中，示例性地说明，根据缩放阈值与缩放区间，对第一实例图像进行缩放处理，获取第二实例图像，例如，从待增强类别中的第一个目标类别开始，对该目标类别对应的所有实例图像根据各自的长度尺寸、宽度尺寸与缩放阈值进行比较，根据比较结果相应地执行放大或者缩小的操作，并且按照放大倍数区间与缩小倍数区间进行缩放，直到待增强类别中的所有目标类别对应的所有实例图像都进行相应地缩放操作，以此将经过透视变换后的第一实例图像进行合理缩放，获取第二实例图像。
[0049]
获取第二实例图像以后，需要在原始图像中获取合适的粘贴位置，并在第二实例图像粘贴至原始图像，如图8所示，从所述原始图像中获取灭点位置，根据所述灭点位置与所述第二实例图像的几何尺寸，确定所述第二实例图像的粘贴位置的步骤包括：s61：通过所述原始图像的标定信息，获取所述原始图像的灭点位置；s62：以所述灭点位置为圆心，以所述第二实例图像的尺寸最大值为半径，获取第一区域，从第二区域中选取所述粘贴位置，所述原始图像包括：所述第一区域、所述第二区域。
[0050]
通过上述步骤，可将第二实例图像在原始图像中的粘贴位置远离原始图像的灭点位置，以此提升经过局部图像粘贴后的增强图像具有合理的透视性与真实性。
[0051]
如图8所示，在步骤s61中，示例性地说明，通过原始图像的标定信息，获取原始图像的灭点位置，例如，通过拍摄原始图像的摄像头的标定信息确定原始图像的灭点位置，灭点可以认为是空间直线上无穷远处的点投影在图像上所成的像素点，在一些实施过程中，还可通过霍夫变换、ransac（random sample consensus，随机样本一致性）变换等方法获取原始图像的灭点位置。
[0052]
如图8所示，在步骤s62中，示例性地说明，以灭点位置为圆心，以第二实例图像的尺寸最大值为半径，获取第一区域，从第二区域中选取粘贴位置，例如，对于待增强类别中的某一个目标类别的第二实例图像，计算该第二实例图像的长度最大值，并以该长度最大值作为半径，以灭点位置为圆心，在原始图像的区域中形成一个圆形区域，作为第一区域，将原始图像的区域中不属于第一区域的其他区域作为第二区域，然后从第二区域中随机选择一个点作为粘贴位置，将第二实例图像按照粘贴位置粘贴至原始图像，在一些实施过程中，还可以灭点位置为圆心，以识别精度最高的目标类别对应的实例图像的最大长度尺寸为半径，在原始图像的区域中形成一个圆形区域，作为第一区域，将原始图像的区域中不属于第一区域的其他区域作为第二区域，然后从第二区域中随机选择一个点作为粘贴位置，
将第二实例图像按照粘贴位置粘贴至原始图像，在一些实施过程中，可选取多张第二实例图像根据各自对应的粘贴位置粘贴至原始图像，可以将粘贴图像的粘贴数值范围设定为[0,10]，以此将第二实例图像在原始图像中的粘贴位置远离原始图像的灭点位置，提升经过局部图像粘贴后的增强图像具有合理的透视性与真实性。
[0053]
在一个实施例中，如图9所示，提供了一种图像数据增强装置，所述图像数据增强装置包括：类别获取模块，用于对原始图像进行分割，获取分割图像与所述分割图像的目标类别，通过所述目标类别获取待增强类别；实例获取模块，用于按照所述待增强类别对所述原始图像分别进行二值化处理，获取二值图像，根据所述二值图像的连通域，获取所述原始图像中与所述待增强类别存在匹配关系的实例图像；矫正处理模块，用于对所述实例图像进行透视处理，获取第一实例图像，对所述第一实例图像进行缩放，获取第二实例图像；数据增强模块，用于从所述原始图像中获取灭点位置，根据所述灭点位置与所述第二实例图像的几何尺寸，确定所述第二实例图像的粘贴位置，根据所述粘贴位置将所述第二实例图像粘贴至所述原始图像，获取所述原始图像的增强图像。
[0054]
在类别获取模块中，示例性地说明，对原始图像进行分割，获取分割图像及其对应的目标类别，获取待增强类别，例如，将原始图像的数据集在图像分割网络中进行训练，使用空洞卷积构建深度神经网络特征提取模块，获取原始图像的语义特征，并利用aspp对特征信息进行空洞卷积和采样，获取不同比例的图像上下文信息，然后将语义特征与图像上下文信息进行组合，通过预设尺寸的卷积处理和预设倍数的采样，获取分割图像，在一些实施过程中，卷积处理时采用的预设尺寸可设置为3*3，采样时采用的预设倍数可设置为16倍，然后根据分割图像确定存在的目标类别，再对分割图像进行混淆矩阵分析，将分割图像中所有类别的预测结果与原始图像的真实结果进行比较，按照预设的比较维度从目标类别中选取一定数量的目标类别作为待增强类别，比较维度可以为目标类别的像素数量，还可以为目标类别的识别精度，也可以将目标类别的像素数量与识别精度进行组合作为比较维度，以此对不均衡样本进行改善，针对性选取目标类别进行增强处理。
[0055]
在实例获取模块中，示例性地说明，对原始图像进行二值化处理，获取二值图像，对二值图像进行连通域分析，获取原始图像中与待增强类别存在匹配关系的实例图像，例如，从原始图像的首个图像开始对原始图像按照待增强类别进行二值化处理，构建掩膜矩阵，将掩膜矩阵与原始图像进行矩阵乘法运算，获取二值图像，然后对二值图形进行连通域分析，可将预设的邻接关系设置为4邻接，即对于一个中心像素点，其上、下、左、右四个方向各存在1个邻接像素，即4邻接一共存在4个像素点获取连通域图，也可将预设的邻接关系可以设置为8邻接，即对于一个中心像素点，其上、下、左、右、左上、左下、右上、右下的八个方向各存在1个邻接像素，即8邻接一共存在8个像素点，以此提取原始图像中对应的局部图形，同时对局部图形进行感兴趣区域裁剪，割除图形中无意义的区域，获取实例图像，然后对原始图像中所有图像进行相同操作，将各待增强类别对应的实例图像进行提取，并将不同待增强类别的不同的实例图像分别进行存储，以此根据待增强类别针对性从原始图像中选取对应的实例图像，即对目标类别进行筛选，改善样本的不均衡性。
[0056]
在矫正处理模块中，示例性地说明，对实例图像进行透视处理，获取第一实例图像，对第一实例图像进行缩放，获取第二实例图像，例如，可采用opencv图像处理库中的透视变换函数对实例图像作透视处理，获取具有合理透视性的第一实例图像，然后将识别精度最高的目标类别对应的实例图像的长度尺寸作为比较基准，将所有第一实例图像的长度尺寸与比较基准进行匹配，对长度尺寸较大的第一实例图像进行缩小处理，对长度尺寸较小的第一实例图像进行放大处理，获取第二实例图像，在一些实施过程中，还可将识别精度最高的目标类别对应的实例图像的宽度尺寸作为比较基准，将所有第一实例图像的宽度尺寸与比较基准进行匹配，对宽度尺寸较大的第一实例图像进行缩小处理，对宽度尺寸较小的第一实例图像进行放大处理，获取第二实例图像，在另一些实施过程中，还可同时考虑长度尺寸与宽度尺寸，以此进一步确保实例图像的真实性和透视合理性。
[0057]
在数据增强模块中，示例性地说明，从原始图像中获取灭点位置，根据灭点位置与第二实例图像的几何尺寸确定第二实例图像的粘贴位置，根据粘贴位置将第二实例图像粘贴至原始图像，获取原始图像的增强图像，例如，可通过摄像头的标定信息确认原始图像中的灭点的位置，也可通过霍夫变换获取灭点的位置，然后在原始图像中根据灭点位置形成一个禁止粘贴图像的区域，例如对于待增强类别中的某一个目标类别的第二实例图像，计算该第二实例图像的长度或者宽度最大值，并以该长度或者宽度最大值作为半径，以灭点位置为圆心，在原始图像的区域中形成一个圆形区域，作为第一区域，将原始图像的区域中不属于第一区域的其他区域作为第二区域，在第二区域中随机选取粘贴点位置，将第二实例图像按照粘贴点位置粘贴至原始图像中，获取原始图像对应的增强图像，在一些实施过程中，可将多个第二实例图像粘贴至原始图像，以此将样本数量较小的原始图像进行数据扩增，增加了小样本的识别准确度，同时保证了增强图像的透视合理性。
[0058]
在另一些实施过程中，还可将上述图像数据增强装置应用于目标检测领域的数据增强过程中。
[0059]
上述装置可应用于对目标类别不均衡的图像样本进行数据增强的场景中，基于aspp和透视变换，通过对原始图像进行二值化处理和连通域分析，获取实例图像，然后对实例图像进行透视和缩放处理，获取第二实例图像，再根据第二实例图像的几何尺寸与原始图像的灭点位置获取粘贴位置，最后根据粘贴位置将第二实例图像粘贴至原始图像，可改善现有图像数据增强技术中对图像数据进行增强时存在样本不均衡、增强图像的透视合理性差等问题。
[0060]
关于图像数据增强装置的具体限定可以参见上文中对于图像数据增强方法的限定，在此不再赘述。上述图像数据增强装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0061]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算
机设备的数据库用于存储图像数据增强的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像数据增强方法。
[0062]
本领域技术人员可以理解，图10中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0063]
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：对原始图像进行分割，获取分割图像与所述分割图像的目标类别，通过所述目标类别获取待增强类别；按照所述待增强类别对所述原始图像分别进行二值化处理，获取二值图像，根据所述二值图像的连通域，获取所述原始图像中与所述待增强类别存在匹配关系的实例图像；对所述实例图像进行透视处理，获取第一实例图像，对所述第一实例图像进行缩放，获取第二实例图像；从所述原始图像中获取灭点位置，根据所述灭点位置与所述第二实例图像的几何尺寸，确定所述第二实例图像的粘贴位置，根据所述粘贴位置将所述第二实例图像粘贴至所述原始图像，获取所述原始图像的增强图像。
[0064]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：对原始图像进行分割，获取分割图像与所述分割图像的目标类别，通过所述目标类别获取待增强类别；按照所述待增强类别对所述原始图像分别进行二值化处理，获取二值图像，根据所述二值图像的连通域，获取所述原始图像中与所述待增强类别存在匹配关系的实例图像；对所述实例图像进行透视处理，获取第一实例图像，对所述第一实例图像进行缩放，获取第二实例图像；从所述原始图像中获取灭点位置，根据所述灭点位置与所述第二实例图像的几何尺寸，确定所述第二实例图像的粘贴位置，根据所述粘贴位置将所述第二实例图像粘贴至所述原始图像，获取所述原始图像的增强图像。
[0065]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（rom）、可编程rom（prom）、电可编程rom（eprom）、电可擦除可编程rom（eeprom）或闪存。易失性存储器可包括随机存取存储器（ram）或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram（sram）、动态ram（dram）、同步dram（sdram）、双数据率sdram（ddrsdram）、增强型sdram（esdram）、同步链路（synchlink） dram（sldram）、存储器总线（rambus）直接ram（rdram）、直接存储器总线动态ram（drdram）、以及存储器总线动态ram（rdram）等。
[0066]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0067]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。