一种顾及边界信息的图像分割方法、存储介质、设备

本发明涉及图像处理领域，尤其涉及一种顾及边界信息的图像分割方法、存储介质、设备。

背景技术：

1、图像语义分割是计算机视觉领域中的一个重要任务，其目标是将图像中的每个像素分配到预定义的语义类别中，从而实现对图像的像素级别理解和分析。相比于目标检测和图像分类任务，图像语义分割更加精细，可以提供更加细致的场景理解和信息提取，可以帮助计算机理解图像中的不同区域代表的物体或场景，并进行更加精确的场景理解。然而，大多数的分割场景面临形状各异和边界模糊的情况，如何从图像中准确地分割出前景目标并有效的处理边界信息已经成为一个具有挑战性的问题。

2、近年来，图像分割技术在自动驾驶、医学影像分析、图像编辑与增强等领域得到了广泛的应用，其中传统的分割方法主要包括基于阈值、边缘检测、聚类、区域生长等方法，这些方法在一定程度上可以实现图像分割，但是存在一些局限性，例如需要手动选择阈值、对于噪声和纹理比较敏感等。随着深度学习的发展，卷积神经网络成为了图像分割的重要手段，相比传统的分割技术可以实现更加精准且高效的分割。但当前的大多神经网络模型都存在参数量较大的问题，通常是以参数换精度的策略设计模型。对于大多数图像数据集，其本身形态多变，图像质量不一，并且与周围组织的边缘界限模糊，这些组织结构的纹理相似，容易引起误判，导致目前关于该类图像分割的研究还不够稳定和可靠。

3、因此，提高图像分割的精度和灵敏度，同时优化边界处理能力是亟待解决的问题。

技术实现思路

1、本发明的目的在于：为了解决现有的图像分割技术边界处理能力差的问题，提出一种顾及边界信息的图像分割方法，包括以下步骤：

2、s1、获取待分割的图像，将图像划分为训练集、验证集和测试集；

3、s2、基于多任务学习策略，构建边界学习任务、语义分割任务和边界特征对齐任务，并构建多任务边界优化的图像分割模型，对多任务进行联合学习；

4、多任务边界优化的图像分割模型包括：特征提取网络、特征融合网络、多任务联合学习网络；

5、特征提取网络用于对模型输入的图片提取不同尺度的特征图；特征融合网络用于对提取的不同尺度图的特征进行特征融合；基于模型输入的图片、不同尺度的特征图、融合后的特征图，多任务联合学习网络生成分割特征图和边界特征图，并对分割特征图和边界特征图进行对齐；

6、s3、利用训练集、验证集和测试集对所述多任务边界优化的图像分割模型进行训练、验证和测试，得到最终的图像分割模型；

7、s4、将待测图片输入最终的图像分割模型，得到图像分割结果。

8、进一步地，特征提取器包括：一个下采样模块、四个残差模块；

9、特征融合网络包括：三个特征融合子网络；特征融合子网络包括一个非局部注意力网络和一个注意力特征融合网络；

10、多任务联合学习网络包括：一个空洞空间金字塔池化模块、一个canny算子、一个1×1卷积、三个上采样模块、一个下采样模块；

11、将待分割的图像输入特征提取器的下采样模块，得到尺寸缩小的图像，尺寸缩小的图像输入特征提取器的第一个残差模块得到第一特征图，第一特征图输入特征提取器的第二个残差模块得到第二特征图，第二特征图输入特征提取器的第三个残差模块得到第三特征图，第三特征图输入特征提取器的第四个残差模块得到第四特征图；

12、第三特征图和第四特征图输入第一个特征融合子网络的非局部注意力网络得到第五特征图，第五特征图和第三特征图输入第一个特征融合子网络的注意力特征融合网络得到第一融合特征图；第二特征图和第一融合特征图输入第二个特征融合子网络的非局部注意力网络得到第六特征图，第六特征图和第二特征图输入第二个特征融合子网络的注意力特征融合网络得到第二融合特征图；第一特征图和第二融合特征图输入第三个特征融合子网络的非局部注意力网络得到第七特征图，第七特征图和第一特征图输入第三个特征融合子网络的注意力特征融合网络得到第三融合特征图；

13、通过边界学习任务，将待分割的图像经过多任务联合学习网络的canny算子提取图像的边界特征，图像的边界特征经过多任务联合学习网络的下采样模块后，与特征提取器得到的尺寸缩小的图像进行合并，得到合并后的特征，将合并后的特征经过多任务联合学习网络的1×1卷积处理，得到边界特征图，将边界特征图通过多任务联合学习网络的第一上采样模块进行上采样，得到边界预测结果；

14、通过语义分割任务，将第四特征图输入多任务联合学习网络的空洞空间金字塔池化模块，得到特征向量，特征向量经过多任务联合学习网络的第二上采样模块后，与第三融合特征图进行合并，得到语义分割特征图；

15、将边界特征图和语义分割特征图进行合并后，经过多任务联合学习网络的第三上采样模块，得到语义分割预测结果，边界特征对齐任务为语义分割预测结果和边界预测结果建立边界对齐关联。

16、进一步地，非局部注意力网络的输入为两个不同尺度的特征图，两个不同尺度的特征图中低尺度的特征图分别计算value和key，value依次通过一个1×1的卷积、aspp、view函数得到线性矩阵γ，key依次通过一个1×1的卷积、aspp、view函数得到线性矩阵θ；两个不同尺度的特征图中高尺度的特征图计算query，query依次通过一个1×1的卷积、view函数得到线性矩阵矩阵θ点积运算后进行softmax，得到空间位置特征注意力权重，将空间位置特征注意力权重与γ进行矩阵点积计算后线性变化为全局关联后的特征图。

17、进一步地，注意力特征融合网络的输入为两个相同尺度的特征图x1和x2，将x1和x2相加得到特征图x，利用局部特征分支和全局特征分支分别计算局部与全局注意力权重，将x1与全局注意力权重相乘的结果和x2与局部注意力权重相乘的结果相加，得到最终输出特征；

18、局部特征分支由两个conv模块、两个bn模块、一个relu模块和一个sigmod串联组成；

19、全局特征分支由一个pooling模块、两个conv模块、两个bn模块、一个relu模块和一个sigmod串联组成。

20、进一步地，多任务边界优化的图像分割模型训练时的边界学习任务的损失函数如下：

21、

22、weight＝pos_weigh·pos_mask+neg_weight·neg_mask，

23、其中，为边界学习任务的损失函数，edge为边界学习任务预测结果，boundary为真实边界，weight是权重矩阵，binarycrossentropy是权重的二元交叉熵损失函数，pos_mask是标记出边界位置的二值掩码，neg_mask是标记出非边界位置的二值掩码，pos_weigh表示标记出边界位置的二值掩码的权重矩阵，neg_weight表示标记出非边界位置的二值掩码的权重矩阵，·表示矩阵的点乘运算。

24、进一步地，多任务边界优化的图像分割模型训练时的语义分割任务的损失函数如下：

25、

26、其中，是语义分割任务的损失函数，w_i是第i个像素的权重系数，y_i是第i个像素的真实标签，p_i是模型预测的第i个概率值。

27、进一步地，多任务边界优化的图像分割模型训练时边界特征对齐任务的损失函数如下：

28、

29、ml＝ohemcrossentropy(seg,target)

30、其中，表示边界特征对齐任务的损失函数，ml表示语义分割损失矩阵，edge表示边界预测结果，threshold表示一个阈值，num表示边界像素的数量，ohemcrossentropy是一种交叉熵损失函数，seg表示语义分割预测结果，target表示语义分割的真实标签。

31、进一步地，模型训练过程为：

32、选择优化器，设置训练次数，通过边界学习任务的损失函数、语义分割任务的损失函数、边界特征对齐任务的损失函数以及训练集训练多任务边界优化的图像分割模型；

33、通过优化器计算并更新多任务边界优化的图像分割模型的网络参数，根据所述网络参数调整三个损失函数的值；

34、通过权重衰减策略以及余弦退火的学习率下降方法，引导训练过程，根据训练次数和损失函数的值判断是否训练结束。

35、本发明还提出一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的顾及边界信息的图像分割方法。

36、本发明还提出一种电子设备，包括处理器和存储器，所述处理器与所述存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括计算机可读指令，所述处理器被配置用于调用所述计算机可读指令，执行上述的顾及边界信息的图像分割方法。

37、本发明提供的技术方案带来的有益效果是：

38、本发明提出的顾及边界信息的图像分割方法，通过非局部注意力网络和特征融合子网络两种注意力机制，捕获特征信息，提高分割性能；构建边界学习任务、语义分割任务和边界特征对齐任务，实现对边界信息的有效界定，提升分割性能。