一种图像数据扩增方法与流程

本发明涉及数据扩增技术，尤其涉及基于深度学习目标检测的一种图像数据扩增方法。

背景技术：

深度学习在针对目标检测这个问题上，相对于传统方法来说它的检测速度更快，精确度也更高，同时深度学习不需要进行复杂的特征工程，直接将数据集传递给网络即可。因此，深度学习非常依赖数据样本，数据量越大，深度学习训练得到的模型的性能就越好，如何获取到大量的样本数据也是深度学习关注的重点之一。

不可避免的是样本数据的采集具有相当的繁琐度，需要花费大量的时间、人力和物力，同时采集到的各个类别样本数量不均衡也会导致模型产生过拟合的问题，这就需要深度学习在模型训练前进行复杂的数据校验，同时在进行数据预处理时，也需要花费大量的时间对样本进行标记，随着数据集数量的增加所需花费的时间也随之增加，这极大的影响了模型训练的周期。

图像扩增技术对深度学习中目标检测有着积极的作用，它能够增加各类别的数据量，使各类别保持平衡，避免样本不均衡带来的过拟合问题，同时也能够在一定程度上减少前期样本采集的数据量。现阶段常见的图像扩增方法有图像旋转、随机添加噪声、对图像做一些弹性畸变以及截取原始图像的一部分等。

其中随机添加噪声的方法能够在短时间内进行大批量的扩增数据，相较于其它方法，它的实现更方便，生成的样本具有随机性，因此它的适用性更强。它通过对图像中的每个像素rgb进行随机变化从而生成新的样本，通常使用的噪声是椒盐噪声和高斯噪声。该方法虽然通过改变像素值能在一定程度上增加模型的泛化能力，但是因为并没有区分背景区域和目标区域，在图像各位置上随机添加噪声是等可能的，这会导致在增强模型识别泛化能力的同时，也增强了背景带来的干扰问题，其次若像素发生变化的区域是类别的特征所在区域，这会影响模型的学习，在检测时会降低模型的识别率。

上述的图像数据扩增方法，能够在某些任务中实现对数据规模的扩大，减少样本数据不平衡带来的问题。但是在数据扩增的过程中，只是单纯的增加了数据规模，并没有区分图像中目标区域和噪声区域，在增加类别图像数据的同时，噪声区域部分也被扩增了，在训练过程这会导致模型收敛过慢，也会对模型检测的准确度造成一定的影响。

本发明提供了一种图像数据扩增方法，首先确定需要进行扩增的类别，在数据集中挑选出已有的包含该类别的图像数据，其次用标注软件在图像中对该类别进行标记，获取表示该类别在图像中位置关系的标记框，标记框之外的区域为噪声干扰区域1，从标记框内确定该类别的特有特征作为目标区域，其余部分为噪声干扰区域2，最后改变两个噪声干扰区域像素值即可得到新的该类别图像数据，重复以上过程可以增加该别类样本数量。

技术实现要素：

本发明的目的是利用已有的少样本图像生成新的图像数据，提高少样本图像数据量，解决样本不均衡带来的过拟合问题，同时减少噪声特征对模型的影响，提高模型的泛化能力，以及减少前期图像数据的采集量，减轻标记等图像预处理工作量，加快训练集的建立。

为了实现上述目的，本发明提供了一种图像数据扩增方法，该方法包括：

确定所需扩增的类别，从数据集中挑选出含有该类别的样本图像；

利用标注软件获取图像中该类别的标记框，确定类别信息中的目标区域和噪声干扰区域；

改变噪声干扰区域的像素值，生成新的图像样本；

重复上述过程即可对该类别图像数据进行扩增。

其中，根据所述获取类别标记框，包括：

确定要进行数据扩增的类别，从数据集中挑选出已有的包含该类别的图像样本数据，包括不同形状、大小、放置位置的图像样本，以及含有其他类别的图像样本；

利用标记软件在图像中标出该类别的区域，用标记框表示。

其中，根据所述确定类别中的目标区域和噪声干扰区域，包括：

标记框之外的区域为噪声干扰区域1；

标记框之内需要保留的类别特征区域为目标区域；

标记框之内不需要保留的类别特征区域为噪声干扰区域2；

将目标区域和噪声干扰区域进行分离。

其中，根据所述改变噪声干扰区域像素值，得到该类别新样本数据，包括：

改变标记框之外的图像样本噪声干扰区域像素值，生成粗扩增样本；

标记框内将所需扩增类别中的噪声干扰区域像素值与其他类别的噪声干扰区域像素值相互交换以及标记框内所需扩增类别的噪声干扰区域像素值随机发生变化之后，生成细扩增样本；

粗扩增样本与细扩增样本相互结合得到所需扩增样本；

重复上述过程即可对该类别图像数据进行扩增。

扩增得到的该类别新样本图像信息与原始样本信息一致，不需要再进行标记，可以直接进行模型的训练。

基于上述发明方法，与现有方法相比具有突出的区别和贡献在于：

本发明利用其他类别的噪声干扰区域像素值代替少样本类别的噪声干扰区域像素值，减少噪声特征的影响，突出类别特有的特征，提高模型检测的准确率。同时本发明能够极大减少前期图像采集的数量，只需采集各类别的少量图像数据，通过本方法可以扩大数据集，并且扩增后的图像数据不需要再进行标记，在目标检测任务中可以减少图像数据预处理的过程，加快训练集的建立。

附图说明：

图1为本申请实施例的一种图像数据扩增方法的流程图。

图2为本申请实施例利用标注软件获取类别信息的流程图。

图3为本申请实施例确定目标区域和噪声干扰区域的示意图。

图4为本申请实施例改变噪声干扰区域k1像素值的示意图。

图5为本申请实施例改变噪声干扰区域k2像素值的示意图。

具体实施方式：

以下将通过具体的实施例及附图来详细介绍本发明的目的、技术方案和优点。

图1所示为本申请实施例的整个流程示意图，具体实施如下：

步骤s110，确定所需扩增的类别，从数据集中挑选出含有该类别的样本图像。

步骤s120，利用标注软件对该类别进行标记得到标记框，从图像中分割出标记框并获取该类别在图像中的信息。

步骤s130，确定该类别的信息中目标区域和噪声干扰区域，目标区域为包含该类别主要特征的区域，噪声干扰区域则为包含背景特征及其他干扰因素特征的区域。

步骤s140，改变噪声干扰区域的像素值。

步骤s150，重复上述步骤即可得到该类别新样本图像。

以下对本申请实施例的若干关键步骤作详细介绍。

一、图2表示获取类别信息

本申请实施例利用标注软件获取少样本类别在图像中的信息，其中：

确定要扩增的类别p(数据集中样本较少的一类)；

从已有的数据集中挑选出包含类别p的图像样本l1；

步骤s210，利用标注软件在图像l1中标记类别p图像，即在图像中框出类别p得到一个标记框t；

步骤s220，获取类别p信息，包括类别p在图像l1中的位置信息即标记框t的两个坐标a，b，类别名等。

二、图3表示确定所需扩增的类别p信息中的目标区域和噪声干扰区域本申请实施例通过先验知识判断来确定目标区域和噪声干扰区域，其中：

从图像l1中分割出标记框t，分割后的图像l1其余部分为噪声干扰区域k1；

在标记框t中确定目标区域和噪声干扰区域，即：带有类别特有特征的为目标区域o(类别颜色，类别形状等)，其余部分为噪声干扰区域k2；

将目标区域o和噪声干扰区域k2进行分离。

三、图4表示改变噪声干扰区域k1像素值

本申请实施例通过改变噪声干扰区域k1的像素值来减少噪声特征对模型的影响，其中：

从样本数据集中挑选不包含类别p的图像样本l2；

根据标记框t的两个坐标点a和b确定图像样本l2的相同区域；

将标记框t替换图像样本l2区域，得到新的样本图像。

四、图5表示改变噪声干扰区域k2像素值

本申请实施例通过改变噪声干扰区域k2的像素值来减少噪声特征对模型的影响，其中：

步骤s410，分离图像中各类别的目标区域和噪声干扰区域，确定图像中各个类别的噪声干扰区域；

步骤s420，第一种扩增方式：将所需扩增类别p的噪声干扰区域的像素值替换成其他类别中的噪声干扰区域像素值；

步骤s430，改变后的噪声干扰区域和目标区域重新组合得到新的该类别样本；

步骤s440，第二种扩增方式：将类别p的噪声干扰区域的像素值随机改变；

步骤s450，重组噪声干扰区域和目标区域，得到新的该类别图像样本；

重复以上过程即可得到大量类别p的扩增图像样本数据，其中改变噪声干扰区域k1的像素值为粗扩增方式，改变噪声干扰区域k2的像素值为精扩增方式，在实际的扩增过程中应将两种方式相互结合进行扩增。