材料微观结构智能识别分析系统及分析方法与流程

本发明涉及智能测量技术，具体的，其展示一种材料微观结构智能识别分析系统及分析方法。

背景技术：

现阶段的显微镜测量工具软件，不仅能查看图像，很好地满足客户基本测量需求，且具备软件的可拓展性，能兼容多种测量显微镜设备。但日益复杂的测量环境和逐渐提高的业务需求，使得我们越来越重视被测量目标微观结构组成特性的采集，比如要求软件能够自动智能识别材料的微观组织特性，例如材料的晶体结构、材料的非晶体结构、结构变化等，该数据可作为未来大数据的基础。这些问题都需要一个全新领域的解决方案。

因此，有必要提供一种材料微观结构智能识别分析系统及分析方法来解决上述问题。

技术实现要素：

本发明的目的是提供一种材料微观结构智能识别分析系统。

技术方案如下：

一种材料微观结构智能识别分析系统，包括：

数据采集模块：从显微镜设备采集图像；

深度学习训练数据库：

用于神经网络识别的基础训练库图片素材，包含基本的待识别的微观结构明显的素材数据库；机器学习识别过程中增加的特征库；当对某种材料微观组成结构的识别率提升到了一定程度后的成熟训练库；

主界面；

测量模块；

图像预识别模块：基本的图像识别模块，负责对图像采集后图像灰度化、图像边缘检测、图像切割等基本图像预处理功能；

卷积神经网络：对图像微观结构的特征提取，分类计算，卷积计算，深化学习过程，迭代检测；

训练库：分为基础数据库、深入学习库和成熟型组织特性特征库，训练库是该软件宝贵的学习资源，也是软件越发走向成熟的必然结果和有力保障，深度学习智能图像识别技术会将训练库迭代优化到越发精准的微观结构识别。

进一步的，主界面包括：

可视化图像采集设备属性读取、设置界面，包括分辨率等属性；

可视化测量界面，包括手动测量，划线等；

智能识别开启、选择图片、选择微观结构样本等人工配置选项。

进一步的，测量模块指的是测量算法模块，测量算法包括点测定、直线测定、圆测定、三角测定、两线测角。

本发明的目的之二是提供一种材料微观结构智能识别分析方法，步骤如下：

1)首先数据采集模块实时采集显微镜设备的图像数据。

2）用户通过用户界面模块或者手动配置用于特定材料微观结构识别的学习训练基础特征图片库。

3）提取图像特征，进行图像优化，得到特征数据。

4）对图像特征进行分类识别，对材料的多种微观结构分类训练。

5）运用成熟的神经网络卷积算法，对提取的特征和分类进行多层网络迭代计算，得到所有关于材料微观结构的特征结果和上下文数据。

6）输出深度学习结果，并将该结果及其特征上下文数据用于壮大训练学习库，逐步提高软件对材料微观结构的识别效率和准确率。

与现有技术相比，本发明采用机器视觉图像识别理论，在原有显微镜数字图像采集测量基础上，增加了对材料微观结构的智能识别功能，较传统的测量工具软件具有更强的专业性，并且软件采用的神经卷积网络能够大大提高对特定材料微观结构特征的提取，深度学习训练系统能够使得软件识别准确率逐步提高、识别的类别逐步增多，这是符合未来大数据趋势的；在图像测量领域尤其是在显微镜智能识别领域优势明显，提高用户对材料微观结构的判断及识别效率，减少人工识别误差。

附图说明

图1是本发明的结构示意图之一。

图2是本发明的结构示意图之二。

具体实施方式

实施例：

请参阅图1，本实施例展示一种材料微观结构智能识别分析系统，包括：

数据采集模块：从显微镜设备采集图像；

深度学习训练数据库：

用于神经网络识别的基础训练库图片素材，包含基本的待识别的微观结构明显的素材数据库；机器学习识别过程中增加的特征库；当对某种材料微观组成结构的识别率提升到了一定程度后的成熟训练库；

主界面；

测量模块；

图像预识别模块：基本的图像识别模块，负责对图像采集后图像灰度化、图像边缘检测、图像切割等基本图像预处理功能；

卷积神经网络：对图像微观结构的特征提取，分类计算，卷积计算，深化学习过程，迭代检测；

训练库：分为基础数据库、深入学习库和成熟型组织特性特征库，训练库是该软件宝贵的学习资源，也是软件越发走向成熟的必然结果和有力保障，深度学习智能图像识别技术会将训练库迭代优化到越发精准的微观结构识别。

其中：

主界面包括：

可视化图像采集设备属性读取、设置界面，包括分辨率等属性；

可视化测量界面，包括手动测量，划线等；

智能识别开启、选择图片、选择微观结构样本等人工配置选项；

测量模块指的是测量算法模块，测量算法包括点测定、直线测定、圆测定、三角测定、两线测角。

参阅图2，利用材料微观结构智能识别分析系统进行材料微观结构智能识别分析，步骤如下：

1)首先数据采集模块实时采集显微镜设备的图像数据。

2）用户通过用户界面模块或者手动配置用于特定材料微观结构识别的学习训练基础特征图片库。

3）提取图像特征，进行图像优化，得到特征数据。

4）对图像特征进行分类识别，对材料的多种微观结构分类训练。

5）运用成熟的神经网络卷积算法，对提取的特征和分类进行多层网络迭代计算，得到所有关于材料微观结构的特征结果和上下文数据。

6）输出深度学习结果，并将该结果及其特征上下文数据用于壮大训练学习库，逐步提高软件对材料微观结构的识别效率和准确率。

本实施例中，还可采用如下细节处理：

（1）获取待检测材料高清高倍率图像并进行预处理。

预处理包括如下步骤：

a将待检测材料的高清高倍率图像进行尺寸变换至预设大小；

b将步骤a中尺寸变换后的图像进行边缘检测得到边缘图像；

c对边缘图像进行霍夫变换并提取检测区域得到长条形图像；

d将长条形图像进行倾斜校正并将校正后的长条形图像进行切割与拼接得到正方形图像。

步骤b中采用canny算子进行边缘检测，该方法不详述。

（2）将预处理后的图像输入至预先训练好的微观结构检测模型进行结构检测得到材料上指定类型微观结构明显或可能存在的位置，并给出该位置为目标微观结构的置信度。其中，材料指定的微观结构目标检测模型为基于深度学习的深度网络，包括依次级联而成的特征提取网络以及分类器与回归器网络，所述的特征提取网络对预处理的图像进行特征提取得到特征图像，所述的分类器与回归器网络对特征图像进行分类回归得到材料目标微观结构位置以及置信度。

目标微观结构检测模型的训练方法为：

(a)建立本文所述的深度网络。

(b)采集海量或尽可能大量的某种材料微观结构图像并进行人工标记，圈出感兴趣的目标区域，计算该目标区域的rect(x,y,width,height)，得到数据样本。

(c)将数据样本输入至深度网络进行特征提取与分类回归得到待检测目标的位置和置信度；

(d)将步骤(c)得到的目标位置和置信度与人工标记的结果进行对比，从而调整深度网络中的各个链接权值，进而完成深度网络的训练。

上述特征提取网络包括5个依次级联的特征提取基本单元，每个特征提取单元包括依次连接的卷积层、局部响应归一化层、最大值池化层和平均值池化层。

上述卷积层利用卷积核在图像上滑动，对图像进行卷积操作，从而提取输入图像特征得到较为粗略的特征图。

上述局部响应归一化层采用5像素*5像素的领域在卷积层中得到的较为粗略的特征图上滑动，并对每个领域内的像素值进行均值和方差的归一化，得到不受光照变化影响的粗略的特征图。

上述最大池化层采用5像素*5像素的领域在局部响应归一化层中得到的粗略的特征图上滑动，并对每个领域内的所有像素值取最大值，得到具有平移不变性的较为精确的特征图。

上述平均池化层采用5像素*5像素的领域在最大池化层中得到的较为精确的的特征图上滑动，并对每个领域内的所有像素值取平均值，得到对微小形变有鲁棒性的精确的特征图，上述精确的特征图即最终对应的特征提取基本单元输出的特征图。

经过5个依次级联的特征提取基本单元最终输出特征图像。

5个依次级联的特征提取基本单元中的卷积层计算方式如下：

第一个特征提取基本单元中，卷积核大小为7，用于提取较大的特征，输出特征图数目为30。

第二个特征提取基本单元中，卷积核大小为5，用于提取中等大小的特征，输出特征图数目为60。

第三个特征提取基本单元中，卷积核大小为3，用于提取较小的特征，输出特征图数目为90。

第四个特征提取基本单元中，卷积核大小为3，用于提取细节特征，输出特征图数目为128。

第五个特征提取基本单元中，卷积核大小为3，用于提取细节特征，输出特征图数目为256。

上述分类器与回归器网络依次级联的第一全连接层和第二全连接层，所述第一全连接层输入特征图像，第二全连接层输出端连接有分类器和回归器。

上述第一全连接层对特征提取网络输出的特征图像进行加权计算，得到特征向量。

上述第二全连接层对第一全连接层输出的特征向量进行加权计算，得到细化且特征突出的特征向量。

上述分类器对第二全连接层输出的细化且特征突出的特征向量进行判断，判断是否属于待识别材料微观结构类型并给出属于该类型微观结构的置信度。

上述回归器对第二全连接层输出的细化且特征突出的特征向量进行回归处理，得到检测出的目标微观结构位置信息。

（3）搭建深度网络。对于一个深度学习神经网络，特征是分类的依据，特征选取的越有代表性，则分类结果越好，因此该步骤是对上一步提取出的待检测区域进行特征提取，得到待检测图像的有效特征，以便后续网络进行分类、回归。

本方案使用深度学习目标检测领域中的最前沿算法，faster-rcnn算法思想，搭建了适于材料指定微观结构检测的深度学习网络。将目标检测的四个基本步骤(候选区域生成，特征提取，分类，位置精修)统一到同一个深度网络框架之内。重复性计算开支极大地减小并在gpu中完成，从而大大提高了运行速度。

卷积层是利用卷积核在图像上滑动，对图像进行卷积操作。卷积操作可以用来对图像做边缘检测，锐化，模糊等，在此处用于对图像特征的提取。在本方案中，通过控制卷积核的大小来控制各层提取不同的特征，而每个卷积核(就是个矩阵)中每个元素通过训练部分确定，即训练时需要修改权重。对图像进行卷积操作，是对图像区域中的每个像素分别于卷积核的每个元素对应相乘，所有乘积之和作为区域中心像素的新值。

局部响应归一化层是对图像领域内(5*5像素)的每个像素值进行均值和方差的归一化，达到消除背景和光照影响，突出特征的作用。均值和方差的归一化即，将原始图像领域内每个像素值集归一化为均值为0、方差1的数据，这样的数据具有良好的度量性。归一化公式为：

z＝χ-μ/σ

其中z表示归一化之后的值，x表示归一化前的像素值，μ表示输入图像领域内像素值的均值，σ表示输入图像领域内像素值的方差。

最大池化层是对邻域内(本方案使用3*3的区域)所有像素值求最大值，可以缩小数据量，同时实现对提取的特征的平移不变性。

平均池化层是对邻域内(本方案使用3*3的区域)所有像素值球平均值，可以缩小数据量，同时增强提取的特征对微小形变的鲁棒性。

在该网络中，每输入一张图片便可以得到256张特征图输出，在提取好的特征图上生成候选框，候选框的作用是用来判断某一区域是否可能存在目标，随后对这些候选框进行分类与回归，分类的作用是判断每个候选框内是否包括待检测的物体，回归的作用是将所有可能包含待检测物体的候选框进行组合、合并，并对位置进行修正。进行候选框分类与回归的网络结构由两个全连接层完成，每个全连接层的节点数为1024个。至此该软件即完成了对一张图片的特征提取，同时生成了候选框，并对可能包含待检测微观结构的候选框进行了分类，并给出了回归参数。

全连接层是该层的任意一个节点，都和下一层的所有节点有连接，这样下一层的输出就和上一层的所有输入有关。而由于第一个全连接层与特征提取网络的输出相连，也就是使得最终的输出与所有提取出的特征有关。全连接层的每个节点的权重需要通过反向传播法训练确定。

由于全连接层的存在，使得最终输出与每个特征都相关，但有时训练样本可能不能代表被识别的所有情况，就可能出现过拟合情况。dropout层通过随机地隐藏一些全连接层的节点增加来防止过拟合，增强泛化能力。

softmaxwithloss层仅在训练时存在，是对全连接层最终输出结果的评价，用来计算分类器分类结果与真实值之间的差距。

分类器最终输出每一个位置上属于前景(待检测物体)和背景的概率；窗口器最终输出每一个位置上应该平移缩放的参数。

对于每一个位置来说，分类层从256维特征中输出属于前景和背景的概率；窗口回归层从256维特征中输出4个平移缩放参数。

对采集图片的特征提取就到此完成，同时生成了候选框，并对可能包含待检测微观结构的候选框进行了分类，并给出了回归参数。

（4）样本标记和模型训练

经过前面的技术手段标记出存在目标微观结构的区域，给出存在目标微观结构区域的起点坐标与终点坐标后，将大量标记好的样本送入深度网络中进行训练，其训练过程可概括为：

4.1）首先考察训练集中的每张图像。

a.对每个标定的真值候选区域，与其重叠比例最大的候选框记为前景样本。

b.对a)剩余的候选框，如果其与某个标定重叠比例大于0.7，记为前景样本。如果其与任意一个标定的重叠比例都小于0.3，记为背景样本。

c.对a),b)剩余的候选框，弃去不用。

d.跨越图像边界的候选框弃去不用。

4.2）随后将所有提取到的特征及生成的候选框送入分类与回归网络中，便可以得到每个候选框属于前景和背景的概率以及用以回归的参数。将这些得到的结果与真实值(人工标记的结果)进行对比，使用代价函数来评价识别值与真实值的差异，最后通过神经网络通用的反向迭代算法，调整网络中的各个链接权值，使得分类误差和回归误差同时最小化。

（5）利用已训练的模型识别某材料的微观结构

在本方案中，可以直接输入原始图像进行材料的微观结构检测，最终输出该图像中是否存在该类型微观结构样本，若存在，则给出该材料微观结构位置的坐标及其置信度。任意输入一张待检测图片，该图片为生产材料的显微镜高清高倍率微观结构图，经过上述所有目标检测步骤后，获得目标检测结束输出的图像，该图像中标注着检测目标的坐标位置与属于目标微观结构的置信度。经过大量训练，目标材料微观结构的识别率达到92%。

实施例采用机器视觉图像识别理论，在原有显微镜数字图像采集测量基础上，增加了对材料微观结构的智能识别功能，较传统的测量工具软件具有更强的专业性，并且软件采用的神经卷积网络能够大大提高对特定材料微观结构特征的提取，深度学习训练系统能够使得软件识别准确率逐步提高、识别的类别逐步增多，这是符合未来大数据趋势的；在图像测量领域尤其是在显微镜智能识别领域优势明显，提高用户对材料微观结构的判断及识别效率，减少人工识别误差。

以上所述的仅是本发明的一些实施方式。对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。