一种基于深度学习的材料显微图像与性能双向预测方法与流程

本发明属于计算机视觉材料图像识别技术领域，涉及一种基于深度学习的材料显微图像与性能双向预测方法

背景技术：

材料是人类赖以生存和发展的物质基础，历史上每一种重要材料的发现和使用，都会给人类生活水平和社会生产力带来巨大的改变。因此，材料在人类社会发展进程中一直扮演着重要的角色，其与能源和信息并称为现代文明的三大支柱。新材料技术的研究和开发对国家的发展起着决定性的作用。传统的材料研制方法周期长、成本高,以试错法为主,即利用现有关于材料的理论与知识经验，通过调整研究材料配比和制备工艺，完成样品数量巨大的制备、表征、测试和检验等流程,最终找到满足需求的材料。材料基因工程将传统的实验筛选方法与高通量计算和大数据技术相结合，通过物理模型、数学计算和材料学原理等方法预测材料的组成、结构和性质，使新材料研发从完全经验型向理论预测型转变，被认为是材料研发方式的一次革命性改变。

强外加载下材料的响应是热力学非平衡过程，非平衡过程的内在机制能够在材料内部产生诸多可能的复杂微结构。例如，金属在应力或惯性加载下积累的较大能量可通过塑性变形、相变、熔化、损伤、断裂等产生微结构来释放。这些微结构主要包括位错、层错、晶界、相畴、液相区、空洞、微裂纹、剪切带等。已有的实验与理论研究表明金属材料中微结构的产生、运动和相互作用对其弹塑性有重要影响，构建具有普适性和预测性的宏观物性模型，需要定量上阐明材料宏观性质与微结构间的关系。不同加载条件下材料内部的微结构尺度不一、种类繁多、相互作用复杂，使基于微结构机理的宏观物性研究极具挑战性。

深度神经网络在材料领域的应用比较广泛，已经成为加速新材料、工艺和技术开发的重要推动因素。过去五年里这个领域已经发表了上千篇研究成果，其中在晶体结构预测、稳定性分析、化学合成研究中取得了很好的应用效果、并逐步扩展到材料的状态方程、力学性质、光学性质、高温超导、腐蚀等诸多领域。材料微结构和物性研究与深度学习方法的结合是其中极具前景的研究方向，相关研究文献很多。材料的宏观物性不仅依赖于其化学组成，也与其内在的微结构密切相关。外加载下材料的变形过程由系统能量较低的微结构承载，这些微结构的演化规律是理解材料复杂宏观物性的桥梁。由于塑性变形的高耗散性，不同加载条件下材料内部的微结构尺度跨度大、种类多，使得构建基于微结构特性的具有普适性和可预测性的多尺度模型研究极具挑战。实际工程用材料的时空尺度较大，因此原则上可用统计力学方法联系宏观可观测量与微观量。

目前多数研究都是基于机器学习分析材料成分与性能之间的回归关系或基于深度学习对材料进行分类预测。本项目除了完成材料微观结构与性能的预测，还预期实现通过合理的已知性能反向预测材料微观结构，具有创新性和前瞻性。

技术实现要素：

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于深度学习的材料显微图像与性能双向预测方法，能够材料微结构到性能的预测，实现性能到微结构的方向预测。

技术方案

一种基于深度学习的材料显微图像与性能双向预测方法，其特征在于步骤如下：

步骤1、构建卷积神经网络提取显微图像特征：

构建的网络都包含了卷积层，激活函数及池化层。假设某隐含层a中卷积核尺寸为r×s，得到特征图通道数为q，输入层a′的特征图大小为m×n×p，其中p为通道数。则卷积层操作描述为：

a＝f(w*a′+b)

其中，w∈r^q×(s×r×p)为权重，b∈r^s×r×p为偏置，*表示卷积操作，f(·)表示激活函数。经过卷积层后输入第k个特征图在空间位置(i,j)处的值的大小由公式计算得到：

使用relu函数进行非线性激活，采用卷积神经网络提取显微图像特征；

步骤2、构建卷积神经网络预测模型：

将得到的特征图平铺展开为一维向量x1，该一维向量为卷积神经网络提取的图像特征；将成分、工艺以一维向量x2的形式与x1在维度上相连接得到新向量x3，x3的维度为x1，x2维度之和；x3为卷积神经网络的第一个全连接层f1，该连接层包含了图像特征及成分工艺特征；

本发明共有四个全连接层f1，f2，f3，f4；

根据训练集数据性能的差异将性能分为10类，通过sigmiod函数激活和较差熵损失函数实现对性能的预测，交叉熵损失函数如下：

将数据集分成10份，采用交叉验证的方式提高预测准确率，以adam优化算法进行梯度下降训练，设置earlystop当验证集准确率连续下降时停止训练，得到训练好的预测模型，实现材料微结构到性能的预测；

步骤3、建立对抗神经网络实现性能到微结构反向预测：

采用步骤2得到的预测模型寻找符合要求的材料微结构；

生成对抗网络gan：

式中，g表示生成器；d表示判别器；v是定义的价值函数，代表判别器的判别性能，该数值越大性能越好；pdata(x)表示真实的数据分布；pz(z)表示生成器的输入数据分布；e表示期望；

第一项是依据真实数据的对数函数损失而构建的；

第二项是相对生成器的生成数据；

gan的训练过程为：

1、从真实数据pdata(x)采样m个样本{x¹,x²,...,x^m}；

2、从生成器的输入，即噪声数据pz(z)采样m个样本

3、将噪声样本投入到生成器中生成

4、通过梯度上升的方法，极大化价值函数，更新判别器的参数；

5、从生成器的输入，即噪声数据pz(z)另外采样m个样本{z¹,z²,...,z^m}；

6、将噪声样本{g(z¹),g(z²),...,g(z^m)}投入到生成器中生成{g(z¹),g(z²),...,g(z^m)}

在gan生成图像的基础上，使用前面预测模型对生成的图像性能进行预测。

所述步骤1时构建三个不同的网络是：vggnet，resnet，densnet，以训练三个不同的网络对材料图像特征进行提取，进行预测，最终选择三者的交集作为预测的结果。

有益效果

本发明提出的一种基于深度学习的材料显微图像与性能双向预测方法，提出cnn与dnn相结合的算法用以处理多种输入的并行预测。以cnn提取材料显微图像特征，在第一层全连接层加入以材料成分，工艺为代表的一维特征向量。综合图像特征，其他特征为dnn输入，实现材料综合特征与性能的回归预测或分类。在gan大量生成图像的基础上，使用前面预测模型对生成的图像性能进行预测。为了增加实验结果的可信度，可以训练三个不同的网络进行预测，最终去三者的交集作为目标图像输出。

本发明充分利用了材料显微图像及成分工艺等特征，可带来如下效果：

通过三种不同的卷积神经网络对材料图像进行特征提取，提高了模型预测的准确性，防止单个网络预测产生误判；

通过结合卷积神经网络提取特征与成分、工艺等特征，模型与性能的拟合度大幅提升，避免模型欠拟合，性能分类的预测方法符合生产实际需求；

通过对抗神经网络gan实现性能到材料微结构的方向生成能快速产生大量目标性能的显微图像，同时可以扩充数据集。

附图说明

图1：本发明系统具体实施方式总体设计

图2：本发明采用的卷积神经网络简化示意图

图3：本发明具体采用的材料模拟图像及gan生成的图像

具体实施方式

现结合实施例、附图对本发明作进一步描述：

本发明的材料显微图像所包含的特征无法满足性能预测的任务，需要进一步数据挖掘完善项目的特征工程。考虑到影响性能的不仅有材料微观结构，还包括材料成分，成型工艺等因素，可以将其他影响因素综合为一维特征向量。

基于深度学习的材料显微图像与性能双向预测方法，包括如下步骤：

步骤1：构建卷积神经网络提取显微图像特征。卷积神经网络以材料图像作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建的过程，在二维图像的处理过程中有很大的优势，如网络能够自行抽取图像的特征包括颜色、纹理、形状及图像的拓扑结构。

所构建的网络都包含了卷积层，激活函数及池化层。假设某隐含层a中卷积核尺寸为r×s，得到特征图通道数为q，输入层a′的特征图大小为m×n×p，其中p为通道数。则卷积层操作可以描述为：

a＝f(w*a′+b)

其中，w∈r^q×(s×r×p)为权重，b∈r^s×r×p为偏置，*表示卷积操作，f(·)表示激活函数。经过卷积层后输入第k个特征图在空间位置(i,j)处的值的大小可由公式计算得到：

使用relu函数进行非线性激活，相比于其它激活函数来说，relu有以下优势：对于线性函数而言，relu的表达能力更强，尤其体现在深度网络中；而对于非线性函数而言，relu由于非负区间的梯度为常数，因此不存在梯度消失问题，使得模型的收敛速度维持在一个稳定状态。

为了保证预测的准确性，本发明构建了3个不同的网络本别是vggnet，resnet，densnet对材料图像特征进行提取。

vgg一共有五段卷积，每段卷积之后紧接着最大池化层，作者一共实验了6种网络结构。分别是vgg-11，vgg-13,vgg-16,vgg-19，网络的输入是224*224大小的图像，输出是图像分类结果。接下来开始对vgg做详细的分析，首先vgg是基于alexnet网络的，vgg在alexnet基础上对深度神经网络在深度和宽度上做了更多深入的研究，业界普遍认为，更深的网络具有比浅网络更强的表达能力，更能刻画现实，完成更复杂的任务。

首先，vgg与alexnet相比，具有如下改进几点：去掉了lrn层，作者发现深度网络中lrn的作用并不明显，干脆取消了采用更小的卷积核-3x3，alexnet中使用了更大的卷积核，比如有7x7的，因此vgg相对于alexnet而言，参数量更少。池化核变小，vgg中的池化核是2x2，stride为2，alexnet池化核是3x3，步长为2。这样做改进都是有一些原因的，首先为了更好的探究深度对网络的影响，必须要解决参数量的问题，更深的网络意味着更多的参数，训练更困难，使用大卷积核时尤其明显。作者通过分析，认为由于卷积神经网络的特性，3x3大小的卷积核足以捕捉到横、竖以及斜对角像素的变化。使用大卷积核会带来参数量的爆炸不说，而且图像中会存在一些部分被多次卷积，可能会给特征提取带来困难，所以在vgg中，普遍使用3x3的卷积。

另外在vgg网络的最后几层使用了三层全连接层，最终接一个softmax，事实上，这三层全连接层的参数在vgg的整体参数中占据了很大一部分，不过就目前来讲，为了减少参数量，后几层的全连接网络都被全剧平均池化和卷积操作代替了。

resnet(residualneuralnetwork)由微软研究院的kaiminghe等四名华人提出，通过使用resnetunit成功训练出了152层的神经网络，并在ilsvrc2015比赛中取得冠军，在top5上的错误率为3.57％，同时参数量比vggnet低，效果非常突出。resnet的结构可以极快的加速神经网络的训练，模型的准确率也有比较大的提升。同时resnet的推广性非常好，甚至可以直接用到inceptionnet网络中。

resnet的主要思想是在网络中增加了直连通道，即highwaynetwork的思想。此前的网络结构是性能输入做一个非线性变换，而highwaynetwork则允许保留之前网络层的一定比例的输出。resnet的思想和highwaynetwork的思想也非常类似，允许原始输入信息直接传到后面的层中。

h(x)＝f(x)+x

其中h(x)为网络输出，f(x)为隐藏层输出，x为输入。

densenet的主体框架(在每个denseblock内部采用了密集连接，而在相邻的denseblock之间采用的时conv+pool的方式)创新点：

1、对比于resnet的residualblock，创新性地提出denseblock，在每一个denseblock中，任何两层之间都有直接的连接，也就是说，网络每一层的输入都是前面所有层输出的并集，而该层所学习的特征图也会被直接传给其后面所有层作为输入。通过密集连接，缓解梯度消失问题，加强特征传播，鼓励特征复用，极大的减少了参数量。

2、在处理特征图数量或尺寸不匹配的问题上，resnet采用零填充或者使用1x1的conv来扩充特征图数量，而densenet是在两个denseblock之间使用batch+1x1conv+2x2avgpool作为transitionlayer的方式来匹配特征图的尺寸。这样就充分利用了学习的特征图，而不会使用零填充来增加不必要的外在噪声，或者使用1x1conv+stride＝2来采样已学习到的特征(stride＝2会丢失部分学习的特征)。

密集连接这个词给人的第一感觉就是极大的增加了网络的参数量和计算量。但实际上densenet比其他网络效率更高，其关键就在于网络每层计算量的减少以及特征的重复利用。densenet则是让l层的输入直接影响到之后的所有层，它的输出为：xl＝hl([x0,x1,...,xl-1])，其中[x0,x1,...,xl-1]就是将之前的featuremap以通道的维度进行合并(如果每个hl输出k个特征图，那么lth层就有k0+k×(l-1)输入特征图，k0为输入层的通道数)。由于每一层都包含之前所有层的输出信息，因此其只需要很少的特征图就够了(densenet与其他的网络架构有一个重要的不同之处在于可以通过修改k的大小，让densenet的网络变得非常窄小)，这也是为什么dnesenet的参数量较其他模型大大减少的原因。这种denseconnection相当于每一层都直接连接input和loss，因此就可以减轻梯度消失现象，这样更深网络不是问题。

经过步骤1，我们得到了本发明卷积神经网络图像特征提取的框架。

步骤2：构建卷积神经网络预测模型，通过对有标签的材料数据进行训练，得到最终预测模型。影响材料性能的不仅是微观结构，成分和工艺参数对材料性能有极大的影响。如果仅仅使用卷积神经网络提取的图像特征难以保证在测试集上的准确率，因此本发明提出图像特征与成分、工艺等特征相结合的预测方案，具体实施方案如下：

通过步骤1，我们得到了卷积神经网络图像特征提取的框架，包括了多个卷积、激活、池化层，最后将得到的特征图平铺展开为一维向量x1，该一维向量可以理解为卷积神经网络提取的图像特征。将成分、工艺等特征以一维向量x2的形式与x1在维度上相连接得到新向量x3，x3的维度为x1，x2维度之和。x3为卷积神经网络的第一个全连接层f1，该连接层包含了图像特征及成分工艺等特征。本发明共有四个全连接层f1，f2，f3，f4。

材料本身具有非均匀性，同一种材料不同位置显微结构和性能都不同，因此难以保证材料图像与性能完美匹配，直接通过特征去准确预测性能准确率不高。材料虽然有非均匀性，但同一个性能波动一般不太大，且显微结构会呈现某些规律如晶粒大小、掺杂相均匀度等。因此同一种材料显微结构性能会处于一定范围。

综上本发明根据训练集数据性能的差异将性能分为10类，通过sigmiod函数激活和较差熵损失函数实现对性能的预测，交叉熵损失函数如下：

最后基于已有数据对模型进行训练，将数据集分成10份，采用交叉验证的方式提高预测准确率，adam优化算法进行梯度下降训练，设置earlystop当验证集准确率连续下降时停止训练，最终得到训练好的预测模型。

经过步骤2，我们得到了本发明建立了预测模型并对模型进行训练，最终得到能够实现材料微结构到性能的预测。

步骤3：建立对抗神经网络实现性能到微结构反向预测，使用生成对抗网络对原始数据扩充，生成大量材料微结构，采用步骤二得到的预测模型寻找符合要求的材料微结构。

生成对抗网络(以下简称gan)是通过让两个神经网络相互博弈的方式进行学习，可以根据原有的数据集生成以假乱真的新的数据。gan实际上是在完成这样一个优化任务：

式中，g表示生成器；d表示判别器；v是定义的价值函数，代表判别器的判别性能，该数值越大性能越好；pdata(x)表示真实的数据分布；pz(z)表示生成器的输入数据分布；e表示期望。

第一项是依据真实数据的对数函数损失而构建的。具体可以理解为，最理想的情况是，判别器d能够对基于真实数据的分布数据给出1的判断。所以，通过优化d最大化这一项可以使d(x)＝1。其中x服从pdata(x)分布。

第二项是相对生成器的生成数据而言的。我们希望，当喂给判别器的数据是生成器的生成数据时，判别器能输出0。由于d的输出是，输入数据是真实数据的概率，那么1-d(x)是输入数据是生成器生成数据的概率，通过优化d最大化这一项，则可以使d(g(z))＝0。其中，z服从pz，也就是生成器的生成数据分布。

gan的训练过程为：

1、从真实数据pdata(x)采样m个样本{x¹,x²,...,x^m}；

2、从生成器的输入，即噪声数据pz(z)采样m个样本

3、将噪声样本投入到生成器中生成

4、通过梯度上升的方法，极大化价值函数，更新判别器的参数；

5、从生成器的输入，即噪声数据pz(z)另外采样m个样本{z¹,z²,...,z^m}；

6、将噪声样本{g(z¹),g(z²),...,g(z^m)}投入到生成器中生成{g(z¹),g(z²),...,g(z^m)}

在gan大量生成图像的基础上，使用前面预测模型对生成的图像性能进行预测。为了增加实验结果的可信度，可以训练三个不同的网络进行预测，最终选择三者的交集作为目标图像输出。

本发明最终通过卷积神经网络分类实现了材料显微结构到性能的正向预测及通过gan的材料性能到材料显微结构的方向预测。

硬件配置：intel至强系列cpu，128gddr42400内存，2t硬盘，nvidiageforetitanxpgpu，显存12g。

系统：ubuntu16.0464位系统

软件：pycharm2018.1.3社区版

本发明总体方案设计如图1所示，具体实施如下：

步骤1：构建卷积神经网络提取显微图像特征：卷积神经网络以材料图像作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建的过程，在二维图像的处理过程中有很大的优势，如网络能够自行抽取图像的特征包括颜色、纹理、形状及图像的拓扑结构。

所构建的网络都包含了卷积层，激活函数及池化层。假设某隐含层a中卷积核尺寸为r×s，得到特征图通道数为q，输入层a′的特征图大小为m×n×p，其中p为通道数。则卷积层操作可以描述为：

a＝f(w*a′+b)

其中，w∈r^q×(s×r×p)为权重，b∈r^s×r×p为偏置，*表示卷积操作，f(·)表示激活函数。经过卷积层后输入第k个特征图在空间位置(i,j)处的值的大小可由公式计算得到：

使用relu函数进行非线性激活，相比于其它激活函数来说，relu有以下优势：对于线性函数而言，relu的表达能力更强，尤其体现在深度网络中；而对于非线性函数而言，relu由于非负区间的梯度为常数，因此不存在梯度消失问题，使得模型的收敛速度维持在一个稳定状态。

为了保证预测的准确性，本发明构建了3个不同的网络本别是vggnet，resnet，densnet对材料图像进行提取。

经过步骤1，我们得到了本发明卷积神经网络图像特征提取的框架。

步骤2：构建卷积神经网络预测模型，通过对有标签的材料数据进行训练，得到最终预测模型。影响材料性能的不仅是微观结构，成分和工艺参数对材料性能有极大的影响。如果仅仅使用卷积神经网络提取的图像特征难以保证在测试集上的准确率，因此本发明提出图像特征与成分、工艺等特征相结合的预测方案，具体实施方案如下：

通过步骤1，我们得到了卷积神经网络图像特征提取的框架，包括了多个卷积、激活、池化层，最后将得到的特征图平铺展开为一维向量x1，该一维向量可以理解为卷积神经网络提取的图像特征。将成分、工艺等特征以一维向量x2的形式与x1在维度上相连接得到新向量x3，x3的维度为x1，x2维度之和。x3为卷积神经网络的第一个全连接层f1，该连接层包含了图像特征及成分工艺等特征。本发明共有四个全连接层f1，f2，f3，f4。

材料本身具有非均匀性，同一种材料不同位置显微结构和性能都不同，因此难以保证材料图像与性能完美匹配，直接通过特征去准确预测性能准确率不高。材料虽然有非均匀性，但同一个性能波动一般不太大，且显微结构会呈现某些规律如晶粒大小、掺杂相均匀度等。因此同一种材料显微结构性能会处于一定范围。

综上本发明根据训练集数据性能的差异将性能分为10类，通过sigmiod函数激活和较差熵损失函数实现对性能的预测，交叉熵损失函数如下：

最后基于已有数据对模型进行训练，将数据集分成10份，采用交叉验证的方式提高预测准确率，adam优化算法进行梯度下降训练，设置earlystop当验证集准确率连续下降时停止训练，最终得到训练好的预测模型。

经过步骤2，我们得到了本发明建立了预测模型并对模型进行训练，最终得到能够实现材料微结构到性能的预测。

步骤3：建立对抗神经网络实现性能到微结构反向预测，使用生成对抗网络对原始数据扩充，生成大量材料微结构，采用步骤二得到的预测模型寻找符合要求的材料微结构。

生成对抗网络(以下简称gan)是通过让两个神经网络相互博弈的方式进行学习，可以根据原有的数据集生成以假乱真的新的数据。gan实际上是在完成这样一个优化任务：

式中，g表示生成器；d表示判别器；v是定义的价值函数，代表判别器的判别性能，该数值越大性能越好；pdata(x)表示真实的数据分布；pz(z)表示生成器的输入数据分布；e表示期望。

第一项是依据真实数据的对数函数损失而构建的。具体可以理解为，最理想的情况是，判别器d能够对基于真实数据的分布数据给出1的判断。所以，通过优化d最大化这一项可以使d(x)＝1。其中x服从pdata(x)分布。

第二项是相对生成器的生成数据而言的。我们希望，当喂给判别器的数据是生成器的生成数据时，判别器能输出0。由于d的输出是，输入数据是真实数据的概率，那么1-d(x)是输入数据是生成器生成数据的概率，通过优化d最大化这一项，则可以使d(g(z))＝0。其中，z服从pz，也就是生成器的生成数据分布。

gan的训练过程为：

1、从真实数据pdata(x)采样m个样本{x¹,x²,...,x^m}；

2、从生成器的输入，即噪声数据pz(z)采样m个样本

3、将噪声样本投入到生成器中生成

4、通过梯度上升的方法，极大化价值函数，更新判别器的参数；

5、从生成器的输入，即噪声数据pz(z)另外采样m个样本{z¹,z²,...,z^m}；

6、将噪声样本{g(z¹),g(z²),...,g(z^m)}投入到生成器中生成{g(z¹),g(z²),...,g(z^m)}

在gan大量生成图像的基础上，使用前面预测模型对生成的图像性能进行预测。为了增加实验结果的可信度，可以训练三个不同的网络进行预测，最终选择三者的交集作为目标图像输出。