一种图像增强训练方法及其系统、计算机可读存储介质与流程

本发明图像增强训练技术领域，特别涉及一种图像增强训练方法及其系统、计算机可读存储介质。

背景技术：

深度学习随着人工智能的开展得到了长足的发展，并且深度学习在各种领域的使用者反应良好，受到科技企业和高校的广泛关注。现在越来越多的科研人员开始采用深度学习来解决问题，特别是在图像识别、语音识别等领域应用广泛。在深度学习初始阶段，每个深度学习研究者都需要写大量的重复代码。为了提高工作效率，这些研究者就将这些代码写成了一个框架放到网上让所有研究者一起使用。接着，网上就出现了不同的框架。随着时间的推移，最为好用的几个框架被大量的人使用从而流行了起来。全世界最为流行的深度学习框架有paddlepaddle、tensorflow、caffe、theano、mxnet、torch和pytorch。在实现本发明的过程中，发明人发现现有用于图像增强的深度学习框架存在以下缺陷：收集图像样本花费的时间较长，需手动处理样本数据，耗费人力和时间成本，没有自动生成训练报告功能等等。

技术实现要素：

本发明旨在提出一种图像增强训练方法及其系统、计算机可读存储介质，以对现有用于图像增强的深度学习框架进行改进，提高图像增强训练的工作效率。

第一方面，本发明实施例提出一种图像增强训练方法，其基于深度学习框架实现，所述深度学习框架提供多个基础模板算法，其特征在于，所述方法包括如下步骤：

根据用户输入的关键词，基于网络爬虫从互联网获取目标图像数据；

对所述目标图像数据进行筛选得到第一训练数据集；

从所述多个基础模板算法中选取若干基础模板算法构建图像增强算法，并利用所述图像增强算法对所述第一训练数据集进行训练，并生成第一训练结果。

其中，所述深度学习框架还提供多个基础模板图像，所述基础模板图像为经过多轮深度学习算法验证的能够被有效进行增强的图像；

所述方法包括：

从所述多个基础模板图像中选取若干基础模板图像加入所述第一训练数据集中得到第二训练数据集；

利用所述图像增强算法对所述第二训练数据集进行训练，并生成第二训练结果；

对比所述第一训练结果和第二训练结果，根据对比结果判断算法是否有效。

其中，所述多个基础模板算法包括卷积神经网络算法的一部分或全部，以及递归神经网络算法的一部分或全部。

其中，所述方法包括：

根据训练结果生成报告，所述报告至少包括训练样本信息、训练算法以及训练结果。

其中，所述深度学习框架还提供数据增强模块；

所述方法包括：

在对所述目标图像数据进行筛选得到图像训练数据集之前，利用所述数据增强模块对所述目标图像数据进行数据增强，包括颜色变换、色彩平移、反色、亮度增强、图像大小比例随机缩放、旋转、模糊化、随机截取中的一种或多种。

第二方面，本发明实施例提出一种图像增强训练系统，用于实现实施例所述的图像增强训练方法，包括深度学习框架，所述深度学习框架包括基础算法模块、网络爬虫模块、图像筛选模块、算法构建模块、训练模块；

所述基础算法模块用于提供多个基础模板算法；

所述网络爬虫模块用于根据用户输入的关键词，基于网络爬虫从互联网获取目标图像数据；

所述图像筛选模块用于对所述目标图像数据进行筛选得到第一训练数据集；

所述算法构建模块用于从所述多个基础模板算法中选取若干基础模板算法构建图像增强算法；

所述训练模块用于利用所述图像增强算法对所述第一训练数据集进行训练，并生成第一训练结果。

其中，所述深度学习框架包括基础图像模块，所述基础图像模块用于提供多个基础模板图像，所述基础模板图像为经过多轮深度学习算法验证的能够被有效进行增强的图像；

所述图像筛选模块还用于从所述多个基础模板图像中选取若干基础模板图像加入所述第一训练数据集中得到第二训练数据集；

所述训练模块还用于利用所述图像增强算法对所述第二训练数据集进行训练，并生成第二训练结果。

其中，所述多个基础模板算法包括卷积神经网络算法的一部分或全部，以及递归神经网络算法的一部分或全部。

其中，所述深度学习框架包括报告生成模块、数据增强模块，所述报告生成模块用于根据训练结果生成报告，所述报告至少包括训练样本信息、训练算法以及训练结果；所述数据增强模块对所述目标图像数据进行数据增强，数据增强包括颜色变换、色彩平移、反色、亮度增强、图像大小比例随机缩放、旋转、模糊化、随机截取中的一种或多种。

第三方面，本发明实施例提出一种计算机可读存储介质，包括：计算机可执行指令，当所述计算机可执行指令被运行时用以执行实施例所述图像增强训练方法。

本发明实施例提出一种图像增强训练方法及其系统、计算机可读存储介质，其基于一深度学习框架实现，具有如下优点：

1、提供网络爬虫功能，可以自动对接谷歌或者百度的的搜索功能，大大降低人工收集图像花费的时间。

2、提供基础模板算法和基础模板图像，方便用户学习，或者验证图像或算法的准确性，让用户前期准备有了有效的检验，可以及时修正方向，避免最后出现所有准备最后发现毫无结果要推翻重做。

3、提供数据增强模块，有利于对海量数据进行快速处理，比起手工处理大大节约人力和时间成本。

4、提供自动生成报告功能，可以提供相应调用api接口，让报告产出更加快速。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而得以体现。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例一所述一种图像增强训练方法流程示意图。

图2为本发明实施例二所述一种图像增强训练系统框架示意图。

附图标记：

基础算法模块-1，网络爬虫模块-2，图像筛选模块-3，算法构建模块-4，训练模块-5，基础图像模块-6，报告生成模块-7，数据增强模块-8。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本发明保护的范围。

在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构，而省略了与本发明关系不大的其他细节。

实施例一

本发明实施例一提出一种图像增强训练方法，其基于一深度学习框架实现，所述深度学习框架提供多个基础模板算法，该方法可以应用于本发明实施例二的一种图像增强训练系统。需说明的是，实施例二所述系统只是实现实施例一所述方法的一种载体，实施例一所述方法的实现并不限于实施例二所述系统一种形式。

具体而言，本实施例中深度学习框架为基于数据流图的编程框架，是深度学习框架的一种类别，节点和边构造的有向图来描述计算过程是基于数据流图的机器学习编程框架的一大特点。节点通常是一个运算操作或者是一块数据的输入起点或者输出终点。那么在深度学习框架中需要对图片进行采集，并且在专门的算法进行处理前也要对图片进行处理。

下面结合实施例二所述系统对实施例一所述方法进行举例描述。图1为实施例一方法的流程示意图，参阅图1，实施例一方法包括如下步骤s101-s103：

步骤s101、根据用户输入的关键词，基于网络爬虫从互联网获取目标图像数据；例如，直接对接谷歌图像搜索或百度图像搜索，从谷歌图像搜索或百度图像搜索处直接采集图像数据。由于人工提供的图像数量过少有时候往往不足以出深度学习结果，因此，本实施例搭建基于python的网络爬虫对目标图像进行收集，收集能根据关键字对百度或者google的图像进行抓取，并提供人工过滤窗口，方便人员筛选图像，所有数据最后保存好作为训练数据使用。

步骤s102、对所述目标图像数据进行筛选得到第一训练数据集；

步骤s103、从所述多个基础模板算法中选取若干基础模板算法构建图像增强算法，并利用所述图像增强算法对所述第一训练数据集进行训练，并生成第一训练结果。

其中，所述深度学习框架还提供多个基础模板图像，所述基础模板图像为经过多轮深度学习算法验证的能够被有效进行增强的图像；具体而言，基础模板图像包括动物，人脸，建筑，植物，车辆等入门级的深度学习图像，这些图像已经经过多轮的深度学习算法验证，也有多轮的深度学习训练结果报告，以供比对。数据保存在本实施例的深度学习框架里面，允许用户在需要的时候可以抽取部分图像放在自己的训练模型(图像增强算法)里面进行处理。

所述方法包括：

步骤s104、从所述多个基础模板图像中选取若干基础模板图像加入所述第一训练数据集中得到第二训练数据集；

步骤s105、利用所述图像增强算法对所述第二训练数据集进行训练，并生成第二训练结果；

步骤s106、对比所述第一训练结果和第二训练结果，根据对比结果判断算法是否有效。

需说明的是，对于用户验证一个深度学习算法是否有效，如果光凭用户的图像，有可能训练结果并没有看出多大的变化和进步。这里就需要通过本发明提供的基础模板图像，加入这部分图像，并给予训练，如果训练结果有明显的改进，即可判定为，虽然用户自己提供的图像在算法下，虽然多次训练都看不出结果，但是增加基础模板图像后训练结果有明显的改进，即为算法方向正确有效。只需对图像或者算法稍作修改即可出结果。同上，如果增加基础模板图像后训练结果并没有明显的改进，即为算法方向错误，则需要对算法进行修正。

其中，所述多个基础模板算法包括卷积神经网络算法的一部分或全部，以及递归神经网络算法的一部分或全部。

具体而言，卷积神经网络算法主要应用于图像识别、图像分类、语音识别等方向；递归神经络算法主要应用于自然语言处理等方向。而卷积神经网络因为包含有多层，常见的层包括卷积层、池化层、激活层、全连接层，对于不同的训练需要其实并不一定所有层都会用上。所以基础模板算法，至少只有一层到全部层都用上的算法模板，供用户选择使用。其中，根据各种算法特点，把有效的算法和训练结果生成报告并保存，供用户参考学习。特别的，报告中有明确指出基础模板图像，用户在验证所找到的图像是否符合训练要求，可以先拿用户自己收集的图像，然后采用符合的基础模板算法进行训练，看结果是否满足，如果满足，即为用户所找的图像符合训练要求。如果不满足，即为目标图像数据有必要进一步完善。

其中，所述方法包括：

根据训练结果生成报告，所述报告至少包括训练样本信息、训练算法以及训练结果。

具体而言，所述报告具体包括：

1.训练样本数量统计，样本类型，样本储存位置，样本大小；

2.训练主机系统cpu、内存、空间大小，训练人，训练日期；

3.训练算法类型，训练花费时间，训练模型名称及准确率，数据增强类型选择结果，训练参数，训练算法代码；

4.训练结果可视化，提供训练数据图谱。

特别的，为了兼容固定算法和人为设置的算法，本实施例提供训练报告结果输出api，为一些固定的接口变量和函数，让用户在开发的过程中，让算法代码赋值给这些接口变量，这些变量或者函数可以以继承类的方式进行改写或者复用，用户可以对所有接口进行改写或者直接使用，最后在修改输出报告样式，即可使用本实施例生成报告功能在训练完毕后直接出报告，不再需要人工对大量的数据进行统计和总结，最后画图和撰写报告。

其中，所述深度学习框架还提供数据增强模块；

所述方法包括：

在对所述目标图像数据进行筛选得到图像训练数据集之前，利用所述数据增强模块对所述目标图像数据进行数据增强，包括颜色变换、色彩平移、反色、亮度增强、图像大小比例随机缩放、旋转、模糊化、随机截取中的一种或多种。

具体而言，本实施例提供了数据增强技术对图片进行处理，这里包括静态的数据增强技术和动态的数据增强技术。静态的数据增强技术，由于使用深度学习进行图像识别需要足够多的训练样本，样本越多，种类越多，训练得到的模型拟合效果越充分。这里就需要人为的对图像进行包含颜色变换、色彩平移、反色、亮度增强、图片大小比例随机缩放、旋转、模糊化、随机截取等处理。传统的深度学习框架并不包含这方面的功能，都是用户自行处理，那么对于海量的训练样本，就需要投入大量的时间和人力进行处理。本实施例针对这一的缺点，在框架上构建以上数据增强的功能接口。对于不同的处理需求，开发相应的插件，特别的对于需要随机处理的图像，提供基于随机处理数据增强功能，用户只需要输入随机数因子，系统就会得到不同的数据增强效果后的图像。

其中，动态的数据增强技术区别于前面的静态数据增强技术，动态数据增强技术不会对实际的数据集造成影响，它只会在模型训练的过程中自动对图像进行处理并填充到对应的数据块。它主要倾向于帮助模型学习到在图像识别的实际使用中将发生的所有失真。使用动态数据增强技术训练模型需要更长的时间，因为它破坏了瓶颈层描述算子，但是会达到更高的准确率。基于这样的原理和需求，本实施例深度学习框架提供基于人为干预或者随机干预的图像填充功能。人为干预时，允许模型在训练时人工进行图像填充功，破坏瓶颈层描述算子；随机干预为，在算起启动时，选择本功能，系统生成随机破坏次数和随机破坏量，对系统在进行随机的破坏瓶颈层描述算子。

实施例二

本发明实施例二提出一种图像增强训练系统，用于实现实施例一所述的图像增强训练方法，包括深度学习框架，所述深度学习框架包括基础算法模块1、网络爬虫模块2、图像筛选模块3、算法构建模块4、训练模块5；

所述基础算法模块1用于提供多个基础模板算法；

所述网络爬虫模块2用于根据用户输入的关键词，基于网络爬虫从互联网获取目标图像数据；

所述图像筛选模块3用于对所述目标图像数据进行筛选得到第一训练数据集；

所述算法构建模块4用于从所述多个基础模板算法中选取若干基础模板算法构建图像增强算法；

所述训练模块5用于利用所述图像增强算法对所述第一训练数据集进行训练，并生成第一训练结果。

其中，所述深度学习框架包括基础图像模块6，所述基础图像模块6用于提供多个基础模板图像，所述基础模板图像为经过多轮深度学习算法验证的能够被有效进行增强的图像；

所述图像筛选模块2还用于从所述多个基础模板图像中选取若干基础模板图像加入所述第一训练数据集中得到第二训练数据集；

所述训练模块5还用于利用所述图像增强算法对所述第二训练数据集进行训练，并生成第二训练结果。

其中，所述多个基础模板算法包括卷积神经网络算法的一部分或全部，以及递归神经网络算法的一部分或全部。

其中，所述深度学习框架包括报告生成模块7、数据增强模块8，所述报告生成模块7用于根据训练结果生成报告，所述报告至少包括训练样本信息、训练算法以及训练结果；所述数据增强模块8对所述目标图像数据进行数据增强，数据增强包括颜色变换、色彩平移、反色、亮度增强、图像大小比例随机缩放、旋转、模糊化、随机截取中的一种或多种。

需说明的是，本实施例二所述系统与实施例一所述方法对应，因此，本实施例二所述系统未详述的部分可以参阅实施例一所述方法部分得到，此处不再赘述。

实施例三

本发明实施例三提出一种计算机可读存储介质，包括：计算机可执行指令，当所述计算机可执行指令被运行时用以执行实施例一所述图像增强训练方法。

需说明的是，基于本文内容，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read-onlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)实现本发明各个实施例所述的方法/系统。

通过以上实施例的描述可知，本发明实施例具有以下优点：

1、提供网络爬虫功能，可以自动对接谷歌或者百度的的搜索功能，大大降低人工收集图像花费的时间。

2、提供基础模板算法和基础模板图像，方便用户学习，或者验证图像或算法的准确性，让用户前期准备有了有效的检验，可以及时修正方向，避免最后出现所有准备最后发现毫无结果要推翻重做。

3、提供数据增强模块，有利于对海量数据进行快速处理，比起手工处理大大节约人力和时间成本。

4、提供自动生成报告功能，可以提供相应调用api接口，让报告产出更加快速。

以上所述仅是本发明的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。