基于多维特征融合的图注意力的材料图像分割方法

1.本发明涉及计算机视觉二维图像分析和处理领域，针对二维图像数据，提出了一种基于多维特征融合的图注意力的材料图像分割方法。本发明可以应用于材料学领域的图像分割，提高图像分割精度，降低图像处理的时间成本和人力成本，促进相应学界和产界的进步和发展。


背景技术：

2.图像语义分割是图像处理等领域普遍关注的问题。语义分割是让计算机根据图像的内容来进行分割，分割是从像素的层面分割图片中的不同对象，对原图中的每个像素点进行标注，将其分类为不同的标签，而分割的精度则包含着对图像中信息的理解。材料图像一般由先进的电子显微镜拍摄，均是单色素图像，例如灰度图像。灰度图像的特点是各区域对比度不高。根据材料结构呈现的明暗，灰度图用黑白灰的形式显示。材料结构本身有形状结构各异、纹理表征差别小且边界不连续甚至模糊等特点。因此如何利用人工智能技术快速准确地对材料图像进行语义分割并从中提取有用信息是计算机视觉领域的挑战之一。
3.图像语义分割的方法有许多种，其中基于神经网络的图像语义分割是目前关注较多的研究热点之一，已有较多的研究成果。fcn(fully convolutional network)是图像语义分割的经典框架，它以端对端的方法进行训练，并将训练好的分类网络用于语义分割；为了恢复图像的分辨率，fcn还利用反卷积进行上采样。与fcn相比u-net具有更对称的编码和解码结构，从编码到解码部分的跳跃连接有助于位置信息的恢复，但由于构建网络结构的基本模块是简单的卷积块，因此存在一定程度的梯度消失问题，限制了网络深度的增加；此外u-net没有充分考虑像素与像素之间的联系，缺少对局部特征之间依赖关系的探索，从而影响了最终分割结果的准确性。因此，可以认为如何构建更深更有效的网络结构和优化网络探索更多特征是提升语义分割精度的关键。


技术实现要素：

4.为了解决现有技术问题，本发明的目的在于克服已有技术存在的不足，设计一种基于多维特征融合的图注意力的材料图像分割方法，增强网络对图像局部特征的探索，实现对材料图像的高精度分割。
5.为达到上述发明创造目的，本发明采用如下技术方案：
6.一种基于多维特征融合的图注意力的材料图像分割方法，包括如下步骤：
7.(1)图像预处理：
8.将用于训练的原始图像和标注图分别调整为统一规格，将预处理的图像保存在本地；
9.(2)构建基于图注意力的网络模型：
10.将训练集数据输入网络，使用交叉熵损失优化网络的模型参数，保存训练好的网络参数文件；
11.(3)进行图像预测分割：
12.载入训练好的模型参数文件，将测试集数据输入网络，获取预测的分割结果，分割结果以二值化图表示；
13.(4)保存输出图像处理结果：
14.将测试集样本原图和分割结果图放在同一张图片中保存。
15.优选地，在所述步骤(1)中，其图像预处理包含以下步骤：
16.(1-1)将原始图像中描述材料性能数据部分剪裁去除；
17.(1-2)将图像统一调整为512
×
512像素；
18.(1-3)使用二值化算法，把所有标注图转化为黑白图；
19.(1-4)划分并保存预处理的图像数据。
20.优选地，在所述步骤(2)中，基于多维特征融合的图注意力模块包含三个子模块，分别是：(a)图编码器模块，(b)图注意力模块(c)图解码器模块；构建基于图的注意力的网络模型，采用图编码器将特征图构建图结构；采用图卷积和图注意力构建图注意力模块；采用图解码器将图结构还原为特征图，所述图编码器的设计与构建包括如下步骤：
21.(2-1-1)在编码器部分使用输出的特征图，将特征图的维度大小从c
×h×
w调整为c
×
hw；
22.(2-1-2)将特征图划分为h
×
w个节点，每个节点特征维度为1
×
c；
23.(2-1-3)每个节点采用四邻域的方式建立连接，即每个中心节点与最近的上下左右四个节点建立边的连接；
24.(2-1-4)通过图结构建立邻接矩阵，描述节点之间的连接情况；
25.(2-1-5)将建立的图结构以节点特征和邻接矩阵的方式保存。
26.优选地，所述图注意力模块融合图卷积和图注意力，该模块的设计与构建包括如下步骤：
27.(2-2-1)将节点特征矩阵和邻接矩阵作为图注意力模块的输入；
28.(2-2-2)采用一层图注意力对输入的节点特征(1
×
c)进行多头注意力关注，学习注意力权重输出更新后的节点特征；
29.(2-2-3)采用一层图卷积对输入的节点特征(1
×
c)进行局部聚合和特征降维，该层节点特征维度是输入的节点特征维度减少至1/2
×
c；
30.(2-2-4)采用一层图注意力对输入的节点特征(1/2
×
c)进行多头注意力关注，学习注意力权重输出更新后的节点特征；
31.(2-2-5)采用一层图卷积对输入的节点特征(1/2
×
c)进行局部聚合和特征降维，该层节点特征维度是上一层图卷积层输出的节点特征维度减少至1/4
×
c；
32.(2-2-6)采用一层图注意力对输入的节点特征(1/4
×
c)进行多头注意力关注，学习注意力权重输出更新后的节点特征；
33.(2-2-7)采用一层图卷积对输入的节点特征(1/4
×
c)进行局部聚合和特征升维，该层节点特征维度是上一层图卷积层输出的节点特征维度增加至1/2
×
c；
34.(2-2-8)采用加和的方式将节点特征维度大小为1/2
×
c的图注意力层输出和节点特征维度大小为1/2
×
c的图卷积层升维操作的输出融合；
35.(2-2-9)采用一层图卷积对输入的节点特征(1/2
×
c)进行局部聚合和特征升维，
该层节点特征维度是上一层图卷积层输出的节点特征维度增加至1
×
c；
36.(2-2-10)采用加和的方式将节点特征维度大小为1
×
c的图注意力层输出和节点特征维度大小为1
×
c的图卷积层升维操作的输出融合；
37.(2-2-11)采用超参数a对不同分支的特征按照自定义的比例进行融合。
38.优选地，采用resize函数构建图解码器模块，所述图解码器的设计包括如下步骤：
39.(2-3-1)将图注意力模块的输出维度由c
×
hw调整为c
×h×
w；
40.(2-3-2)调整维度大小后的节点特征转化为解码器输入的特征图。
41.优选地，在所述步骤(2)中，图注意力模块使用图卷积和图注意力层，图卷积的实现如下：采用度矩阵、邻接矩阵和节点特征实现图卷积操作，计算公式如下：
[0042][0043]h1+1
是图卷积层的输出，w1是权重矩阵，h1是节点特征矩阵，d是度矩阵，是加上单位矩阵的邻接矩阵，σ是激活函数。
[0044]
优选地，所述图注意力操作中的权重系数，利用如下公式：
[0045][0046]
α
ij
是注意力系数，w是权重矩阵，是节点i的特征向量，是节点j的特征向量，是权重向量，σ是激活函数，softmax是一种特定的激活函数。
[0047]
优选地，所述图注意力操作中的多头注意力机制，利用如下公式：
[0048][0049]
是输出的i节点的特征向量，是j节点的特征向量，wk是第k个注意力头的权重矩阵，是第k个注意力头中i节点和j节点之间的注意力系数，k是注意力头的个数，σ是激活函数。
[0050]
优选地，所述图注意力模块中的超参数a，利用如下公式：
[0051][0052]
是图注意力层输出和图卷积层升维操作的输出的加和结果，h
l+1
是第1+1层图卷积的输出特征，α是超参数，是图注意力层的输出。
[0053]
优选地，在所述步骤(2)中，训练网络模型时设置迭代次数epoch为100，通常迭代次数epoch不大于75网络参数即可收敛至最优值附近，网络训练包括以下步骤：
[0054]
(2-4-1)将训练集图像输入网络；
[0055]
(2-4-2)采用adam一阶优化算法优化网络参数，基于训练数据迭代地更新神经网络权重，设置权重衰减系数，以减轻模型过拟合的问题；
[0056]
(2-4-3)为了进一步得到更加优秀的网络性能，设置学习率，采用动态减小学习率的方案来进一步逼近网络参数最优值，当一定epoch内损失值不再下降，将学习率lr乘上衰减因子以减小学习率，保存训练好的模型参数文件。
[0057]
优选地，在所述步骤(3)中，材料图像的预测包括以下步骤：
[0058]
(3-1)载入训练好的模型参数文件；
[0059]
(3-2)将图像数据输入网络，获取预测的分割结果；
[0060]
(3-3)将测试集样本原图和分割结果图放在同一张图片中保存在本地。
[0061]
本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点：
[0062]
1.本发明基于多维特征融合的图注意力网络，可应用于材料学领域的图像分割并提高分割的效果，将应用于图结构的图注意力模块结合跳跃连接迁移到欧氏空间的数据结构中，在加深网络和不改变特征图大小的同时缓解了空间信息的损失；通过代表低分辨率特征图的图结构学习到粗糙的特征，代表高分辨率特征图的图结构学习到精细的细节特征，将不同分辨率的图结构融合达到对图像的准确学习和表示，从而实现对图像的高精度分割；
[0063]
2.本发明结合图卷积层不宜过深的特点，提出了超参数a控制每层图卷积对于全局节点特征的消息传播和聚合，适当的加深图卷积层数提高网络的拟合能力并且提高语义分割的准确率。
附图说明
[0064]
图1是本发明的操作流程框图。
[0065]
图2为本发明预处理方法的流程图。共分为以下步骤：(1)将图像数据裁剪为只包含材料结构的图像块；(2)将所有图像统一调整为512
×
512像素的图像；(3)判断标注图是否为黑白图，对于非黑白图使用二值化算法进行黑白图转换；(4)划分并保存预处理的图像数据。
[0066]
图3为本发明分割图像的流程图。共分为以下步骤：(1)输入图像数据，将用于训练和测试的原始图像裁剪成只包含材料结构的图像块，对图像块进行预处理，并将预处理的数据保存在本地；(2)将训练集图像放入基于多维特征融合的图注意力网络中的编码器得到代表高级特征的特征图；(3)将高级特征图放入图编码器得到表示图结构的邻接矩阵和节点特征；(4)将图结构的邻接矩阵和节点特征放入图注意力模块进行节点特征的聚合和更新；(5)将更新后的图结构放入图解码器还原为特征图的形式；(6)将特征图放入网络的解码器中；(7)使用交叉熵损失优化网络的模型参数，并保存训练好的网络参数文件；(8)载入训练好的模型参数文件，将测试集数据输入网络；(9)计算预测的分割结果，分割结果以二值化图表示。(10)输出并保存图像结果。
[0067]
图4为本发明图注意力模块的结构图。共分为以下步骤：(1)输入表示图结构的邻接矩阵和节点特征矩阵；(2)输入特征分别进入图注意力层(gat1)和图卷积层(gcn1)输出节点特征；(3)gcn1输出的节点特征分别进入图注意力层(gat2)和图卷积层(gcn2)输出新的节点特征；(4)gcn2输出的节点特征进入图注意力层(gat3)；(5)gat3输出的节点特征进入图卷积层(gcn3)；(6)gcn3输出的特征乘上(1-a)的结果和gat输出的节点特征乘上a的结果相加；(7)加和的特征进入图卷积层(gcn)；(8)gcn输出的特征乘上(1-a)的结果和gat1输出的节点特征乘上a的结果相加后输出最终的节点特征。
[0068]
图5为本发明图编码器的流程图.。共分为以下步骤：(1)将输入的特征图划分成节点和节点特征；(2)采用四邻域的方式连接相近的节点；(3)构建图结构的邻接矩阵；(4)保
存图结构的邻接矩阵和节点特征。
具体实施方式
[0069]
为了使本技术领域的人员更好地理解本发明方案，下面将本发明优选实施例结合附图，对本发明的技术方案进行清查、完整地描述。显然，所描述的实施例仅仅是本发明的一部分实施案例，而非全部实施案例。基于本发明中的实施例，本领域普通技术人员在没有做过创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护范围。
[0070]
以下结合具体的实施例子对上述方案做进一步说明，本发明的优选实施例详述如下：
[0071]
实施例一：
[0072]
在本实施例中，一种基于基于多维特征融合的图注意力的材料图像分割方法，该方法构建了一种高效的多维特征融合图注意力网络结构，提升网络对图像数据的分割精度。
[0073]
本实施例方法使用材料图像对本模型进行训练，得到此类数据的模型参数，进而得到对样本以外的同类分割数据的高精度预测，参见图1，本实施例的方法包括以下步骤：
[0074]
(1)图像预处理：将用于训练的原始图像和标注图分别调整为统一规格，将预处理的图像保存在本地；
[0075]
(2)构建基于图注意力的网络模型：将训练集数据输入网络，使用交叉熵损失优化网络的模型参数，保存训练好的网络参数文件；
[0076]
(3)进行图像预测分割：载入训练好的模型参数文件，将测试集数据输入网络，获取预测的分割结果，分割结果以二值化图表示；
[0077]
(4)保存输出图像处理结果：将测试集样本原图和分割结果图放在同一张图片中保存。
[0078]
本发明基于基于多维特征融合的图注意力的材料图像分割方法，首先，对用于训练的图像进行预处理，获得更清晰的图像，并将预处理的数据保存在本地；接着使用交叉熵损失在训练数据集上训练图注意力网络；然后使用训练好的模型对测试数据集进行预测，保存预测的二值化图结果。
[0079]
实施例二
[0080]
本实施例与实施例一基本相同，特别之处在于：
[0081]
在本实施例中，如图1所示，图像预处理包含以下步骤：
[0082]
(1-1)将图像数据裁剪为512
×
512像素的图像块；
[0083]
(1-2)判断标注图像是否为黑白图，对于非黑白图使用二值化算法进行黑白图转换；
[0084]
(1-3)划分并保存预处理的图像数据。
[0085]
在本实施例中，多维特征融合的图注意力模块包含三个子模块，分别是：(a)图编码器模块，(b)图注意力模块(c)图解码器模块；采用构建图的方式构建图编码器，图编码器构建包括以下步骤：
[0086]
(2-1)在编码器部分使用输出的特征图，将特征图的维度大小从c
×h×
w调整为c
×
hw；
[0087]
(2-2)将特征图划分为h
×
w个节点，每个节点特征维度为1
×
c；
[0088]
(2-3)每个节点采用四邻域的方式建立连接，即每个中心节点与最近的上下左右四个节点建立边的连接；
[0089]
(2-4)通过图结构建立邻接矩阵，描述节点之间的连接情况；
[0090]
(2-5)将建立的图结构以节点特征和邻接矩阵的方式保存；
[0091]
在本实施例中，图注意力网络模块使用图卷积和图注意力层进行特征融合；图注意力模块构建包括以下步骤：
[0092]
(2-6)将节点特征矩阵和邻接矩阵作为图注意力模块的输入；
[0093]
(2-7)采用一层图注意力对输入的节点特征(1
×
c)进行多头注意力关注，学习注意力权重输出更新后的节点特征；
[0094]
(2-8)采用一层图卷积对输入的节点特征(1
×
c)进行局部聚合和特征降维，该层节点特征维度是输入的节点特征维度减少至1/2
×
c；
[0095]
(2-9)采用一层图注意力对输入的节点特征(1/2
×
c)进行多头注意力关注，学习注意力权重输出更新后的节点特征；
[0096]
(2-10)采用一层图卷积对输入的节点特征(1/2
×
c)进行局部聚合和特征降维，该层节点特征维度是上一层图卷积层输出的节点特征维度减少至1/4
×
c；
[0097]
(2-11)采用一层图注意力对输入的节点特征(1/4
×
c)进行多头注意力关注，学习注意力权重输出更新后的节点特征；
[0098]
(2-12)采用一层图卷积对输入的节点特征(1/4
×
c)进行局部聚合和特征升维，该层节点特征维度是上一层图卷积层输出的节点特征维度增加至1/2
×
c；
[0099]
(2-13)采用加和的方式将节点特征维度大小为1/2
×
c的图注意力层输出和节点特征维度大小为1/2
×
c的图卷积层升维操作的输出融合；
[0100]
(2-14)采用一层图卷积对输入的节点特征(1/2
×
c)进行局部聚合和特征升维，该层节点特征维度是上一层图卷积层输出的节点特征维度增加至1
×
c；
[0101]
(2-15)采用加和的方式将节点特征维度大小为1
×
c的图注意力层输出和节点特征维度大小为1
×
c的图卷积层升维操作的输出融合；
[0102]
(2-16)采用超参数a对不同分支的特征按照自定义的比例进行融合；
[0103]
在本实施例中，图注意力模块使用图卷积和图注意力层，图卷积的实现如下：
[0104]
(2-17)采用度矩阵、邻接矩阵和节点特征实现图卷积操作，计算公式如下：
[0105][0106]h1+1
是图卷积层的输出，w1是权重矩阵，h1是节点特征矩阵，d是度矩阵，是加上单位矩阵的邻接矩阵，σ是激活函数；
[0107]
在本实施例中，图注意力实现步骤如下：
[0108]
(2-18)利用节点特征计算注意力系数，计算公式如下：
[0109][0110]
α
ij
是注意力系数，w是权重矩阵，是节点i的特征向量，是节点j的特征向量，是权重向量，σ是激活函数，softmax是一种特定的激活函数；
[0111]
(2-19)采用多头注意力机制更新节点特征，计算公式如下：
[0112][0113]
是输出的i节点的特征向量，是j节点的特征向量，wk是第k个注意力头的权重矩阵，是第k个注意力头中i节点和j节点的注意力系数，k是注意力头的个数，σ是激活函数。
[0114]
在本实例中，图注意力模块使用超参数a融合不同分支的特征，实现步骤如下：
[0115]
(2-20)采用超参数a对不同分支的特征按照自定义的比例进行融合，计算公式如下：
[0116]
是图注意力层输出和图卷积层升维操作的输出的加和结果，h
l+1
是第1+1层图卷积的输出特征，a是超参数，是图注意力层的输出；
[0117]
在本实施例中，采用resize函数构建图解码器模块，图解码器构建包括如下步骤：
[0118]
(2-21)将图注意力模块的输出维度由c
×
hw调整为c
×h×
w；
[0119]
(2-22)调整维度大小后的节点特征转化为解码器输入的特征图；
[0120]
在本实施例中，训练网络模型时设置迭代次数epoch为100，通常迭代次数epoch不大于75网络参数即可收敛至最优值附近，网络训练包括以下步骤：
[0121]
(2-23)将训练集图像输入网络；
[0122]
(2-24)采用adam一阶优化算法优化网络参数，基于训练数据迭代地更新神经网络权重，设置权重衰减系数，以减轻模型过拟合的问题；
[0123]
(2-25)为了进一步得到更加优秀的网络性能，设置学习率，采用动态减小学习率的方案来进一步逼近网络参数最优值，当一定epoch内损失值不再下降，将学习率lr乘上衰减因子以减小学习率，保存训练好的模型参数文件。
[0124]
本实施例基于多维特征融合的图注意力网络，可应用于材料学领域的图像分割并提高分割的效果，将应用于图结构的图注意力模块结合跳跃连接迁移到欧氏空间的数据结构中，在加深网络和不改变特征图大小的同时缓解了空间信息的损失；通过代表低分辨率特征图的图结构学习到粗糙的特征，代表高分辨率特征图的图结构学习到精细的细节特征，将不同分辨率的图结构融合达到对图像的准确学习和表示，从而实现对图像的高精度分割。本实施例结合图卷积层不宜过深的特点，提出了超参数a控制每层图卷积对于全局节点特征的消息传播和聚合，适当的加深图卷积层数提高网络的拟合能力并且提高语义分割的准确率。
[0125]
实施例三
[0126]
本实施例与实施例二基本相同，特别之处在于：
[0127]
在本实施例中，二维图像的预测分割包括以下步骤：
[0128]
(3-1)载入训练好的模型参数文件；
[0129]
(3-2)将图像数据输入网络，获取预测的分割结果；
[0130]
(3-3)将测试集样本原图和分割结果图放在同一张图片中保存在本地。
[0131]
综合上述实施例可知，图2是本发明中的基于多维特征融合的图注意力的材料图
像分割方法流程图，包括以下步骤：
[0132]
首先将用于训练的原始图像裁剪成只包含材料结构的图像块，对图像块进行预处理，获得更清晰的图像块，并将预处理的数据保存在本地；构建基于多维特征融合的图注意力网络，将训练集数据输入网络，使用交叉熵损失优化网络的模型参数，并保存训练好的网络参数文件；载入训练好的模型参数文件，将图像数据输入网络，获取预测的分割结果，分割结果以二值化图表示；输出并保存后处理的图像结果。本发明可以应用于材料学领域的图像分割，促进各个学科领域的进步和发展。图2为本实施例预处理方法的流程图。共分为以下步骤：(1)将图像数据裁剪为只包含材料结构的图像块；(2)将所有图像统一调整为512
×
512像素的图像；(3)判断标注图是否为黑白图，对于非黑白图使用二值化算法进行黑白图转换；(4)划分并保存预处理的图像数据。
[0133]
图3为本实施例分割图像的流程图。共分为以下步骤：(1)输入图像数据，将用于训练和测试的原始图像裁剪成只包含材料结构的图像块，对图像块进行预处理，并将预处理的数据保存在本地；(2)将训练集图像放入基于多维特征融合的图注意力网络中的编码器得到代表高级特征的特征图；(3)将高级特征图放入图编码器得到表示图结构的邻接矩阵和节点特征；(4)将图结构的邻接矩阵和节点特征放入图注意力模块进行节点特征的聚合和更新；(5)将更新后的图结构放入图解码器还原为特征图的形式；(6)将特征图放入网络的解码器中；(7)使用交叉熵损失优化网络的模型参数，并保存训练好的网络参数文件；(8)载入训练好的模型参数文件，将测试集数据输入网络；(9)计算预测的分割结果，分割结果以二值化图表示。(10)输出并保存图像结果。
[0134]
图4为本实施例图注意力模块的结构图。共分为以下步骤：(1)输入表示图结构的邻接矩阵和节点特征矩阵；(2)输入特征分别进入图注意力层(gat1)和图卷积层(gcn1)输出节点特征；(3)gcn1输出的节点特征分别进入图注意力层(gat2)和图卷积层(gcn2)输出新的节点特征；(4)gcn2输出的节点特征进入图注意力层(gat3)；(5)gat3输出的节点特征进入图卷积层(gcn3)；(6)gcn3输出的特征乘上(1-a)的结果和gat输出的节点特征乘上a的结果相加；(7)加和的特征进入图卷积层(gcn)；(8)gcn输出的特征乘上(1-a)的结果和gat1输出的节点特征乘上a的结果相加后输出最终的节点特征。
[0135]
图5为本实施例图编码器的流程图.。共分为以下步骤：(1)将输入的特征图划分成节点和节点特征；(2)采用四邻域的方式连接相近的节点；(3)构建图结构的邻接矩阵；(4)保存图结构的邻接矩阵和节点特征。
[0136]
本实施例基于多维特征融合的图注意力的材料图像分割方法。可以应用于材料学领域的图像分割。本方法首先对用于训练材料图像进行预处理，接着构建多维特征融合的图注意力网络，使用交叉熵损失优化网络的参数，并利用训练好的模型对材料图像进行预测分割；最后保存输出的材料图像处理结果。本实施例将多维特征融合的图注意力模块融入编解码网络之中，提高网络对材料图像的分割精度，降低材料图像处理的时间成本和人力成本，促进相应学界和产界的进步和发展。
[0137]
上面对本发明实施例结合附图进行了说明，但本发明不限于上述实施例，还可以根据本发明的发明创造的目的做出多种变化，凡依据本发明技术方案的精神实质和原理下做的改变、修饰、替代、组合或简化，均应为等效的置换方式，只要符合本发明的发明目的，只要不背离本发明基于多维特征融合的图注意力的材料图像分割方法的技术原理和发明
构思，都属于本发明的保护范围。