对花卉识别系统进行改进的辅助系统和进行改进的方法与流程

本专利申请涉及网络技术领域和图片对比识别技术领域，具体是涉及辅助改进的系统工具。

背景技术：

随着计算机技术的发展，可以基于深度学习算法，对样本图像数据库中的图像进行训练得到图像识别模型(如可以基于卷积神经网络算法，对样本图像数据库中的图像进行训练得到cnn(convolutionalneuralnetwork，卷积神经网络)训练模型))，图像识别模型可以识别图片的类别，并为图片添加相应的类别标签。

一般图像识别模型的识别准确率不会达到百分之百，如果图像识别模型要识别的大量的图片，相应的大量的图片中被添加了错误类别标签的图片也比较多，技术人员需要从大量的图片中找出添加了错误类别标签的图片，从而导致获取类别标签错误的图片的效率比较低。

随着人工智能技术的进步，已出现了一些应用了人工智能技术的识花sev/app。该种识花sev/app主要应用了人工智能分支的深度学习技术，以事先收集的植物图像库中的花卉图像做为素材，对机器识别模型进行训练。最后使用训练好的识别模型进行花卉识别。

由于在使用素材进行模型训练时，单纯机器学习是无法知道花卉名称和种类分属，因此需要结合人类知识，事先对图片库中图片进行标注，确定其对应的花名和种属。

中国专利申请号为cn201310461551.3，该发明公开了一种深度学习网络实现大类别图像识别的方法，包括训练和识别过程，训练过程中，首先提取样本图片的gabor特征并进行最大选取，此后使用经过聚类处理的特征码本进行线性局部编码，最后使用空间金字塔方法进行特征矢量的导出，并使用支持向量机分类器进行训练；识别过程中，将测试图片的特征矢量使用训练好的支持向量机分类器进行识别。本发明克服传统方法提取局部特征时语义信息的缺乏，能显著提升多类别图像识别的识别率。

中国专利申请号为cn201510457979.x，该申请提出种图像识别方法及装置，其中，该图像识别方法包括以下步骤：提取图像的多维度局部特征，并提取图像的深度学习特征；将多维度局部特征和深度学习特征进行拼接，并通过度量学习对拼接后的特征进行学习以得到度量学习特征；根据度量学习特征对图像进行识别。本申请实施例的图像识别方法，能够大大提高图像识别的精度。

虽然现在识花sev/app准确率已相对比较高，但是还达不到完全正确，还会经常出错，但是没有一种机制针对出错的情况进行改进；

另外由于识别模型是根据图片库中素材进行训练的，受限于图片库的数量和种类，训练出来的识别模型不能覆盖所有实际世界中的种类，同时在在图片库中图片数量较少的种类，其识别准确性会很低。

技术实现要素：

为了解决上述现有技术存在的技术问题，本发明提供一种机制，在用户识别花卉时，在出现已知识别错误或出现识别不出的种类时，能够收集新的信息，再使用新的信息对模型进行训练改进；通过不断收集并持续改进模型，达到越来越高的识别准确度。本发明是通过以下技术方案实现的：

一种对花卉识别系统进行改进的方法，所述方法步骤包括：

s100：获取植物照片或者图片；

s200：所述花卉识别系统识别所述植物照片或者图片并进行分类；

s300：所述花卉识别系统显示识别结果；

s400：辅助系统对不被识别结果进行确认或者进行修正识别后再反馈至所述花卉识别系统。

进一步，所述的对花卉识别系统进行改进的方法，所述s300步骤还包括如下步骤：

s310：所述花卉识别系统将已分类后的被识别的所述植物照片或者图片存储至识别花卉数据库；

s320：所述花卉识别系统对不被识别结果输出给所述辅助系统。

进一步，所述的对花卉识别系统进行改进的方法，所述s300步骤还包括如下步骤：

s500：所述花卉识别系统输出所述花卉识别系统不识别的所述植物照片或者图片；

s600：对输出的所述植物照片或者图片给予花卉命名，然后提交；

s700：对提交信息(包括植物照片或者图片以及其所述花卉命名)进行至少一次的分类识别，然后将经过验证的所述提交信息(包括植物照片或者图片以及其所述花卉命名)回馈到所述花卉识别系统中。

进一步，所述的对花卉识别系统进行改进的方法，所述s700步骤还包括如下步骤：

s710：所述分类识别至少包括inception-v3、resnet-152、resnet-101和vgg-19四套分类识别模型；

s720：当多个所述分类识别模型中至少有一个所述分类识别模型检测结果与所述提交信息一致，就认定提交信息通过验证，将相应照片或者图片和类别信息归集到第一辅助识别花卉数据库；

s730：将经过验证的所述提交信息，并回馈到步骤s200中。

进一步，所述的对花卉识别系统进行改进的方法，所述s700步骤还包括如下步骤：

s750：对于所述分类识别无法认定的所述植物照片或者图片以及其所述花卉命名，进行补充识别和认证；

s760：对已分类和认证的所述植物照片或者图片以及其所述花卉命名归集到第二辅助识别花卉数据库；

s770：将经过验证的所述提交信息，并回馈到步骤s200中。

本发明还提供一种智能花卉识别辅助学习系统：

一种对花卉识别系统进行改进的辅助系统，所述辅助系统包括花卉识别系统、不被识别结果输出模块、错误纠正模块、花卉分类识别器、花卉自动分类收集器，

所述花卉识别系统，用于对获取的植物照片或者图片进行识别；

所述不被识别结果输出模块，用于输出所述花卉识别系统不识别的所述植物照片或者图片；

所述错误纠正模块，用于对输出的所述植物照片或者图片给予花卉命名；

所述花卉分类识别器，用于根据所述错误纠正模块提交的照片或者图片以及其所述花卉命名，进行至少一次的分类识别；

所述花卉自动分类收集器，用于分类、收集、存储经过所述花卉分类识别器验证的所述植物照片或者图片，并回馈到所述花卉识别系统中。

进一步，所述的对花卉识别系统进行改进的辅助系统，所述不被识别结果输出模块输出所述植物照片或者图片，并给予可能前几位的植物排名。

进一步，所述的对花卉识别系统进行改进的辅助系统，所述错误纠正模块给予的所述花卉命名包括花卉类别名称、花卉学名和/或花卉常用名。

进一步，所述的对花卉识别系统进行改进的辅助系统，所述花卉分类识别器至少包括inception-v3、resnet-152、resnet-101和vgg-19四套分类识别预检模块，当(多个所述分类识别预检模块中至少)其中有一个所述分类识别预检模块检测结果与所述错误纠正模块提交信息一致，就认定提交信息通过验证，就将相应照片或者图片和类别信息归集到所述花卉自动分类收集器。

进一步，所述的对花卉识别系统进行改进的辅助系统，所述辅助系统还包括花卉分类标注模块、花卉分类收集模块，

所述花卉分类标注模块，用于对于所述花卉分类识别器无法认定的所述植物照片或者图片以及其所述花卉命名，进行补充识别和认证；

所述花卉分类收集模块，用于对已分类和认证的所述植物照片或者图片以及其所述花卉命名进行收集、存储，并回馈到所述花卉识别系统中。

本发明至少具有以下有益效果之一：

1.本发明克服了原先不被学习系统确认的图片或者照片将被舍弃，不能有效再学习的技术问题。

2.本发明赋予对花卉识别系统进行改进的辅助系统可以有二种方式来反馈帮助花卉识别系统进行再学习。

3.本发明极大地提高了花卉识别系统的学习能力和识别效果，提升了系统使用者的用户体验。

4.本发明能够做到弥补原有花卉识别系统的学习能力和分辨能力的不足。

5、本发明提供的对花卉识别系统进行改进的辅助系统，可靠性高，同时执行效率高、应用范围广。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细说明：

图1为本发明第一实施例流程示意图；

图2为本发明第一实施例系统结构示意图；

图3为本发明第一实施例辅助系统模块示意图；

图4为本发明第二实施例辅助系统模块示意图；

图5为本发明第三实施例数据流示意图。

附图标记说明

花卉识别系统—1000、(花卉识别)辅助系统—2000、不被识别结果输出模块—2100、错误纠正模块—2200、花卉分类识别器—2300、花卉自动分类收集器—2400、花卉分类标注模块—2500、花卉分类收集模块—2600。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，以下说明和附图对于本发明是示例性的，并且不应被理解为限制本发明。以下说明描述了众多具体细节以方便对本发明理解。然而，在某些实例中，熟知的或常规的细节并未说明，以满足说明书简洁的要求。

在本申请一个典型的计算硬件配置中，客户端/终端、网络设备和可信方均包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。

本发明中的客户端、移动终端或网络设备包括处理器，含单核处理器或多核处理器。处理器也可称为一个或多个微处理器、中央处理单元(cpu)等等。更具体地，处理器可为复杂的指令集计算(cisc)微处理器、精简指令集计算(risc)微处理器、超长指令字(vliw)微处理器、实现其他指令集的处理器，或实现指令集组合的处理器。处理器还可为一个或多个专用处理器，诸如专用集成电路(asic)、现场可编程门阵列(fpga)、数字信号处理器(dsp)、网络处理器、图形处理器、网络处理器、通信处理器、密码处理器、协处理器、嵌入式处理器、或能够处理指令的任何其他类型的逻辑部件。处理器用于执行本发明所讨论的操作和步骤的指令。

本发明中的客户端、移动终端或网络设备包括存储器，用于存储大数据，可包括一个或多个易失性存储设备，如随机存取存储器(ram)、动态ram(dram)、同步dram(sdram)、静态ram(sram)或其他类型的存储设备。存储器可存储包括由处理器或任何其他设备执行的指令序列的信息。例如，多种操作系统、设备驱动程序、固件(例如，输入输出基本系统或bios)和/或应用程序的可执行代码和/或数据可被加载在存储器中并且由处理器执行。

本发明中的客户端、移动终端或网络设备的操作系统可为任何类型的操作系统，例如微软公司的windows、windowsphone，苹果公司ios，谷歌公司的android，以及linux、unix操作系统或其他实时或嵌入式操作系统诸如vxworks等。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，以下说明和附图对于本发明是示例性的，并且不应被理解为限制本发明。以下说明描述了众多具体细节以方便对本发明理解。然而，在某些实例中，熟知的或常规的细节并未说明，以满足说明书简洁的要求。本发明的设备及控制方法参见下述实施例：

第一实施例

如图1为本发明第一实施例流程示意图所示：

一种对花卉识别系统进行改进的方法，所述方法步骤包括：

s100：获取植物照片或者图片；

s200：所述花卉识别系统识别所述植物照片或者图片并进行分类；

s300：所述花卉识别系统显示识别结果；

s400：辅助系统对不被识别结果进行确认或者进行修正识别后再反馈至所述花卉识别系统。

优选地，所述的对花卉识别系统进行改进的方法，所述s300步骤还包括如下步骤：

s310：所述花卉识别系统将已分类后的被识别的所述植物照片或者图片存储至识别花卉数据库；

s320：所述花卉识别系统对不被识别结果输出给所述辅助系统。

优选地，所述的对花卉识别系统进行改进的方法，所述s300步骤还包括如下步骤：

s500：所述花卉识别系统输出所述花卉识别系统不识别的所述植物照片或者图片；

s600：对输出的所述植物照片或者图片给予花卉命名，然后提交；

s700：对提交信息(包括植物照片或者图片以及其所述花卉命名)进行至少一次的分类识别，然后将经过验证的所述提交信息(包括植物照片或者图片以及其所述花卉命名)回馈到所述花卉识别系统中。

优选地，所述的对花卉识别系统进行改进的方法，所述s700步骤还包括如下步骤：

s710：所述分类识别至少包括inception-v3、resnet-152、resnet-101和vgg-19四套分类识别模型；即花卉分类识别器2300至少包括如上四套(花卉)分类识别模型。

s720：当多个所述分类识别模型中至少有一个所述分类识别模型检测结果与所述提交信息一致，就认定提交信息通过验证，将相应照片或者图片和类别信息归集到第一辅助识别花卉数据库；

s730：将经过验证的所述提交信息，并回馈到步骤s200中。

本实施例还提供一种智能花卉识别辅助学习系统，它与花卉识别系统的关系如图2为本发明第一实施例系统结构示意图所示：

一种对花卉识别系统进行改进的辅助系统，所述辅助系统2000，如图3为本发明第一实施例辅助系统模块示意图所示，包括不被识别结果输出模块2100、错误纠正模块2200、花卉分类识别器2300、花卉自动分类收集器2400，

所述花卉识别系统1000，用于对获取的植物照片或者图片进行识别；

所述不被识别结果输出模块2100，用于输出所述花卉识别系统不识别的所述植物照片或者图片；

所述错误纠正模块2200，用于对输出的所述植物照片或者图片给予花卉命名；

所述花卉分类识别器2300，用于根据所述错误纠正模块提交的照片或者图片以及其所述花卉命名，进行至少一次的分类识别；

所述花卉自动分类收集器2400，用于分类、收集、存储经过所述花卉分类识别器验证的所述植物照片或者图片，并回馈到所述花卉识别系统中。

优选地，所述的对花卉识别系统进行改进的辅助系统，所述不被识别结果输出模块2100输出所述植物照片或者图片，并给予可能前几位的植物排名。

优选地，所述的对花卉识别系统进行改进的辅助系统，所述错误纠正模块2200给予的所述花卉命名包括花卉类别名称、花卉学名和/或花卉常用名。

优选地，所述的对花卉识别系统进行改进的辅助系统，所述花卉分类识别器2300至少包括inception-v3、resnet-152、resnet-101和vgg-19四套分类识别预检模块，当(多个所述分类识别预检模块中至少)其中有一个所述分类识别预检模块检测结果与所述错误纠正模块提交信息一致，就认定提交信息通过验证，就将相应照片或者图片和类别信息归集到所述花卉自动分类收集器2400。

第二实施例

在实施例一的基础上，进一步优选的花卉识别改进辅助系统如图4为本发明第二实施例辅助系统模块示意图所示：

优选的对花卉识别系统进行改进的辅助系统，所述辅助系统还包括花卉分类标注模块2500、花卉分类收集模块2600，

所述花卉分类标注模块2500，用于对于所述花卉分类识别器无法认定的所述植物照片或者图片以及其所述花卉命名，进行补充识别和认证；

所述花卉分类收集模块2600，用于对已分类和认证的所述植物照片或者图片以及其所述花卉命名进行收集、存储，并回馈到所述花卉识别系统1000中。

进一步优选的对花卉识别系统进行改进的方法，所述s700步骤还包括如下步骤：

s750：对于所述分类识别无法认定的所述植物照片或者图片以及其所述花卉命名，进行补充识别和认证；

s760：对已分类和认证的所述植物照片或者图片以及其所述花卉命名归集到第二辅助识别花卉数据库；

s770：将经过验证的所述提交信息，并回馈到步骤s200中。

第三实施例

卷积神经网络是深度学习中用于图像识别的重要算法。现在的卷积神经网络深度学习方法可以充分利用海量数据自动学习到大量图像的特征信息，不需要事先手工设计具体样本特征，模型的参数通过从数据中学习获得，其中可以包含成千上万个的参数，并能带来更高的识别准确性。训练卷积神经网络需要大量数据的数据集，数据集需要有对应类别名称的标签。

首先，使用已有的包含大量花卉分类的数据集进行基于卷积神经网络的识别模型的训练。然后使用训练好的模型对用户拍照或选取的花卉图片进行识别分类。整个过程如下：

1)建立用于识别花卉的卷积神经网络模型，模型可使用已有的google开源的inception-v4模型

2)准备花卉图像的数据集，可以使用中国最大的植物分类图片库——中国植物图像库(plantphotobankofchina,ppbc)的花卉照片来进行模型的训练。这些图像已标注了类别名称。数据集会被分成训练数据集和测试验证数据集，训练完成后得到的模型还需要使用测试验证数据集验证正确率，只有达到一定正确率后才算得到最后的识别模型。

3)将训练好的识别模型放到服务器端(sev)

4)用户使用识花sev/app时，对花卉拍照或选择花卉图像，sev/app将图片压缩预处理并上传到服务器端。

5)服务器端使用识别模型对接收到的图片进行自动计算，并最后得出类别索引值和概率值，并将识别得到索引值对应的类别名称和可信度概率值返回sev/app显示结果。

用户在使用sev/app识别花卉时，如出现已知识别错误或识别不出等情况时，可选择提交识别失败反馈，对用户已知正确类别的可从系统提供的类别中选择正确类别，对系统中没有的类别可直接填写正确类别；对用户不知正确类别且系统识别不出或识别准确度非常低的情况，直接提交反馈。

服务器端对应服务模块收到请求后，将前面上传的与该反馈请求对应的图像，以及提交的信息一起给到预检模块。在预检模块会有多个不同的分类识别模型，这些分类识别模型使用了与系统识别模型不同的算法，如inception-v3、resnet-152、resnet-101、vgg-19等。预检模块会将包括类别结果的反馈信息交给多分类识别模型处理验证，当多个分类识别模型中至少有一个分类识别模型检测结果与提交信息一致，就认定提交信息通过验证，将相应图像和类别信息归集到自动分类训练集。

使用多个分类识别模型进行检测时只需要设定一个阈值(比如50％)，只要某一分类检测结果可信度概率达到阈值且提交类别信息与其一致，就可算是通过验证。使用多分类识别模型进行检测的目的，一是验证提交信息的准确性，二是减少人工参与，自动实现整个过程。

对于没有提交更正类别结果的信息以及没有通过多分类识别模型预检的信息，进行汇总，并由人工参与分类整理，添加或确认标注，形成人工分类训练集。

将系统用的识别模型使用整理后的自动分类训练集和人工分类训练集再进行训练改进，新的模型训练完成后验证正确率有提高后，再更新系统使用新训练后的识别模型。

整个流程不断持续循环进行，不断来更新改进识别模型，提高其识别准确度。

进一步说明本实施例，请参阅图5为本发明第三实施例数据流示意图：

200代表的识别模型开始是根据已有的植物图片分类库进行训练完成并得到的花卉识别模型；

100-200-300的过程是用户在使用识花sev/app的主要过程：用户使用sev/app调用拍照或选择照片，sev/app将图像压缩预处理并上传到服务器端，服务器端使用识别模型对接收到的图片按模型计算，并得出花卉类别名称和可信度概率值，并将结果返回sev/app显示给用户；

400-500表示用户看到sev/app显示的识花结果后，如果确认系统给的识别结果错误，可在sev/app中提交识别错误反馈，同时如果用户知道正确花卉类别名称，也把用户人为正确的类别名称一同提交给系统；

600表示服务器端系统收到用户提交的错误反馈，使用预检模块对提交结果进行自动验证；预检模块使用多个不同的分类识别模型，这些分类识别模型使用了与系统识别模型不同的算法，当多个分类识别模型中至少有一个分类识别模型检测结果与提交信息一致，就认定提交信息通过验证，将相应图像和类别信息归集到自动分类训练集。

700自动分类训练集存储了系统验证通过的图像和对应分类标签名。

700-200过程是系统根据一定策略(如定期或训练集达到一定数量)自动将训练集数据作为新的素材，对系统中200的识别模型再进行训练，通过这种新的素材的不断训练来不断优化识别模型。其持续训练过程还是使用原深度学习的算法，训练过程会自动不断优化其内部参数。

800-900过程是对系统自动验证过程的一个补充，当系统验证用户提交反馈信息不一致时，会在后台管理系统中列出该种用户提交图像和信息，由系统管理员或指定知识专家来重新确认并做分类标注。系统会将重新确认并标注过的图像加入训练集也作为新的训练素材。

900-200的过程和700-200的过程相似。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。