一种分类检测网络模型的构建方法与流程

本发明属于分类检测模型技术领域，涉及一种分类检测网络模型的构建方法。

背景技术：

随着大数据和计算机硬件的发展，神经网络再度崛起，深度学习，人工智能，大数据，物联网等技术开始飞跃发展，在计算机技术的发展推动下，制造业开始从传统的机械化生产，任务繁重的刚性制造方式，逐渐转化为由机器替代人工劳动路的自动化，智能化和柔性化的智能制造方式。人工智能不仅仅在局限于计算机领域，而已经成为一个具有众多实际应用和活跃研究课题的领域。深度学习是研究计算机怎样模拟实现人类的学习行为，来获取新的知识或者技能，并重新组织已有的知识结构并不断改善自身性能的学科。

深度学习的概念来源于人工神经网络的研究，含有多层隐藏层的多层感知机就是一种深度学习结构。深度学习通过组合底层信息来形成更加抽象的高层信息，来表示属性类别或者特征，来发现数据的分布式特征表示。其动机在于建立，模拟人脑进行分析学习仿人神经网络，模拟人脑的机制来解释数据，例如图像、文本和声音等等。

在传统的机械领域，有关图像自动检测方面的问题，一直采用计算机视觉或者图像处理技术来解决刚性的检测问题，但是随着制造业的转型，检测作为制造的重要环节，也需要往柔性化，智能化的方向发展。然而传统的检测技术，仅仅是针对某一类环境或者某一类检测对象而开发的刚性检测环节。因此为了发展柔性检测技术，将具有自我学习能力的深度学习网络用于检测技术上，有助于检测环节向柔性化，智能化发展。目前深度学习在机械行业飞速发展，为工业机器人提供视觉支持，虽然在图像识别，定位，分类，测量等方面都有了较大的进展。但深度学习和工业技术的融合还没能真正意上的实现柔性检测，也没有针对不同的检测对象能自动调整的分类网络模型。

技术实现要素：

本发明的目的是提供一种分类检测网络模型的构建方法，能得到根据不同检测对象自动调整的分类网络模型。

本发明所采用的技术方案是，一种分类检测网络模型的构建方法，包括以下步骤：

步骤1、获取待分类对象图像的训练样本，建立训练模型数据集，将训练模型数据集输入第一卷积网络模型中进行训练，得到权重文件；

步骤2、将权重文件输入第二卷积网络模型中，得到每层卷积网络对应的特征图和原图像；

步骤3、将每层卷积网络对应的特征图和原图像输入图像质量评价算法得到评价结果；

步骤4、根据评价结果选择第一卷积网络模型中每层网络对应的合适卷积操作步长、增加卷积核的数量，形成新的卷积网络参数；

步骤5、利用新的卷积网络参数更新第一卷积网络模型，得到分类网络模型。

本发明的特点还在于：

步骤1具体包括：

步骤1.1、获取待分类对象图像的训练样本，建立训练模型数据集，训练模型数据集包括训练集、验证集、预测集，并生成训练集标记文件、验证集标记文件、预测集标记文件；

步骤1.2、将训练集的标记文件作为训练数据、验证集的标记文件作为验证数据输入第一卷积网络模型中进行训练，得到权重文件。

第二卷积网络为反卷积网络。

步骤2具体包括：第二卷积网络模型将权重模型文件中每层卷积网络对应的卷积核滤波器中存储的特征值提取出来，并投影到对应的像素空间，得到每层卷积网络的特征图，并提取每层卷积网络对应的输出图像，与特征图对应输出原图像。

步骤3具体包括：将特征图作为失真图像与原图像进行对比，得到特征图的质量评价结果。

本发明的有益效果是：

本发明的分类检测网络模型的构建方法，通过第一卷积网络模型对训练模型数据集进行训练，第二卷积网络反卷积得到特征图和原图像，并根据特征图和原图像质量评价结果进行分类网络模型参数优化，得到新的分类检测网络模型，适用于构建不同分类对象的分类检测网络模型；满足柔性检测，智能检测的需求，降低检测成本和检测的复杂性。

附图说明

图1是本发明一种分类检测网络模型的构建方法的流程图；

图2是本发明一种分类检测网络模型的构建方法中vgg19网络模型和反卷积网络模型的原理图；

图3是本发明一种分类检测网络模型的构建方法中特征图和原图像的评价结果图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明一种分类检测网络模型的构建方法，如图1所示，具体包括以下步骤：

步骤1、获取待分类对象图像的训练样本，建立训练模型数据集，将所述训练模型数据集输入第一卷积网络模型中进行训练，得到权重文件；

步骤1.1、获取待分类对象图像的训练样本，建立训练模型数据集，所述训练模型数据集包括训练集、验证集、预测集，并生成训练集标记文件、验证集标记文件、预测集标记文件；

具体的，本实施例以九种表面缺陷的热轧钢为训练样本，分别为cr，gg，in，pa，ps，rp，rs，sc，sp，每种含有200张图片，每张图片大小为200*200pixel，共计1800张。分别将数据集按照6:1:1的比例分为：

训练集-train：九种缺陷每种150张，共计1350张；

验证集-val：九种缺陷每种25张，共计225张；

预测集-predict：九种缺陷每种25张，共计225张。

九种类型的缺陷训练集，验证集和预测集都含有9个文件，九种缺陷分别按照类别标记为0，1，2，3，4，5，6，7，8，并生成对应的train.label文件和val.label文件；然后将train.label文件和train训练集输入creat.record.py函数得到train_tf.record，同理val.label和val验证集利用creat.record.py函数生成对应的val_tf.record文件。

步骤1.2、将训练集的标记文件作为训练数据、验证集的标记文件作为验证数据输入第一卷积网络模型中进行训练，得到权重文件。

第一卷积网络模型为vgg19网络模型，vgg19网络模型原理图如图2所示，vgg19模型由十六层卷积层(conv1_1,conv1_2,conv2_1,conv2_2,conv3_1,conv3_2,conv3_3,conv3_4,conv4_1,conv4_2,conv4_3,conv4_4,conv5_1,conv5_2,conv5_3,conv5_4)，四层最大池化层(maxpooling)，一个平均池化(averagepool)，一个全连接层(fullconnect)和一个softmax层组成。

具体的，将两个tf.record文件作为vgg19分类模型的train训练数据输入和val验证数据输入进行迭代训练，训练后得到用于带钢缺陷分类的vgg19网络的权重文件—checkpoint文件(checkpoint文件是基于tensorflow框架下模型训练后得到的模型参数文件保存格式，在tensorflow中checkpoints文件是一个二进制文件，用于存储所有的weights,biases,gradients和其他variables的值)，然后将权重文件从checkpoint格式转换为npy文件。

步骤2、将所述权重文件输入第二卷积网络模型中，得到每层卷积网络对应的特征图和原图像；

第二卷积网络模型为反卷积网络，网络结构和vgg19基本一致，反卷积网络模型的原理图如图2所示，卷积和池化操作采用完全相反的操作，即反卷积(deconv)和反池化(unpooling)的操作，将步骤1训练后得到的权重模型文件中16层卷积网络每层卷积网络对应的卷积核滤波器中存储的特征值提取出来，并投影到对应的像素空间，得到16层卷积网络对应的特征图，反卷积网络还能将每层卷积网络对应的输出图像image提取出来，并和16张特征图一一对应输出16张原图像(image)。

步骤3、将每层所述卷积网络对应的特征图和原图像输入图像质量评价算法得到评价结果；

具体的，将16层卷积网络对应的16张特征图(featuremap)作为失真图像和16张原图像输入图像质量评价算法(ssim)中得到16种评价结果。这16种对应的结果也是16层卷积网络特征图和输出图的质量评价结果。通过结构相似性图像质量评估算法评估可视化网络每层卷积网络所提取的特征图的质量，来判断每层卷积网络在带钢表面缺陷工业背景下提取特征的性能。对应的评价结果越差，表明对应的卷积网络的滤波器选择的卷积核较大，卷积步长较大，导致特征信息损失较多。在卷积操作中，卷积核的大小决定了图像采集视野的大小，卷积核越小，图像采集视野越小，采集的数据越多，计算量也越大。卷积步长则决定了图像采集视野的平移长度，平移长度越大，图像采集视野的跨度越大，信息采集的越少。

结构相似性，是一种衡量两幅图像相似度的指标，结构相似性的范围为0～1。当两张图像一模一样时，ssim的值等于1。

ssim结构相似度指数是从图像组成的角度将图像结构的信息定义为独立于亮度(luminance)，对比度(contrast)，反映场景中物体结构(structure)的属性，并将失真建模为亮度对比(luminancecomparison)，对比度对比(contrastcomparison)和结构对比(structurecomparison)三个不同因素的组合。用均值作为亮度的估计，标准差作为对比度的估计，协方差作为结构相似度程度的度量。

图3中采用两种图像质量评价算法峰值信噪比算法psnr和结构相似性图像质量评估算法ssim对利用带钢缺陷数据集训练得到的16层卷积网络提取的特征图(featuremap)和输出图(image)进行对评价图像进行对比结果如图所示，最终决定采用ssim图像评价质量算法，用于本发明的图像质量评价模块。

步骤4、根据所述评价结果选择第一卷积网络模型中每层网络对应的合适卷积操作步长、增加卷积核的数量，形成新的卷积网络参数；

具体的，将图像评价模块输出的16种评价结果，一一进行二分类决策，选择每层卷积网络对应合适的卷积操作步长，增加卷积核的数量，指导性的形成新的卷积网络参数。图像质量评价结果较差的原因是特征信息损失较大，也是因为对应卷积网络参数设置不合理，例如采用较大的卷积核和卷积步长，或者对应的卷积核数量较少，都会引起图像像素点的损失，进而导致图像质量的降低。因此根据图像质量评价的结果，来作为分类网络模型参数优化的指标，来生成新的适用于当前分类数据集的新的网络模型。

步骤5、利用所述新的卷积网络参数更新第一卷积网络模型，得到分类网络模型。可直接利用得到分类网络模型对带钢缺陷进行分类，只需改变训练样本得到训练数据集，即可得到不同的分类检测对象的分类网络模型。

通过以上方式，本发明的分类检测网络模型的构建方法，通过第一卷积网络模型对训练模型数据集进行训练，第二卷积网络反卷积得到特征图和原图像，并根据特征图和原图像质量评价结果进行分类网络模型参数优化，得到新的分类检测网络模型，适用于构建不同分类对象的分类检测网络模型；满足柔性检测，智能检测的需求，降低检测成本和检测的复杂性。