一种增强边界感知的语义分割方法

本发明涉及语义分割，尤其是涉及一种增强边界感知的语义分割方法。

背景技术：

1、计算机视觉语义分割旨在对图像中存在的目标做出正确的分类并分割得到精准的轮廓形状，属于计算机视觉领域的经典任务，在信息化智能产业、工业智能化、自动驾驶等领域具有重要的应用价值，成为后续视觉任务的重要前提。随着深度学习技术的飞速发展，语义分割任务也在一步步向新领域突破。但现实中采集的图像通常存在图像结构复杂、目标显著性不足、图像质量较低等问题，能够在全景图像中提取出丰富而准确的目标特征就显得尤为重要。

2、随着图像处理技术的发展，图像的分析主要经过了图像处理技术、机器学习到深度学习三个发展阶段。基于图像处理技术的方法通常包括三个步骤：图像预处理、特征提取和目标区域提取。其中，图像预处理包括灰度化、滤波、二值化等处理，其目的是去除图像中的噪声，增强图像对比度，以使用阈值分析、边缘检测和霍夫变换等方法得到分割出的目标区域。另一方面，基于机器学习的方法通过训练分类器实现目标分割。这些方法通常包括三个步骤：收集数据集，提取特征，训练分类器。其中，常用的分类器是支持向量机(supportvectormachine，svm)和卷积神经网络(convolutionalneuralnetwork，cnn)，常用的特征提取方法是图像分割和特征选择。然而，考虑到图像像素级标注的固有困难，并且大部分图像所表现出的复杂语义结构和类别的不平衡，通过传统数据驱动的深度学习方法对图像进行详细分析仍然是一个挑战。

3、现有基于深度学习的语义分割方法大部分适用于自然影像，但对于低光照和明暗对比不明显的图像，往往不能精确的分割出目标与背景的边界，造成较差的分割精度。此外，由于基础的cnn只能在结构化特征的固定大小的方形区域内操作，而大部分目标区域均呈现无规则的非结构化特征。因此要有效地提取图像中的前景目标仍是一项艰巨的任务。

技术实现思路

1、本发明的目的是提供一种增强边界感知的语义分割方法，具备更精准的分割效果。

2、为实现上述目的，本发明提供了一种增强边界感知的语义分割方法，包括编码路径和解码路径；

3、其中，编码路径包括以下子步骤：

4、s1、初始特征提取模块提取整个图像中的特征，得到卷积特征图；

5、s2、将步骤s1得到的卷积特征图依次输入到四个编码模块，得到四个编码模块的模块特征图；

6、s3、将步骤s1得到的卷积特征图依次嵌入到四个模块特征图中，得到四个模块总特征图；

7、解码路径包括以下子步骤：

8、s4、将步骤s3输出的第4模块总特征图输入到第3解码模块中，经过卷积得到了精提取特征图，精提取特征图的每个像素点组成了拓扑图，精提取特征图的临界点构成邻接矩阵；

9、s5、对注意力嵌入模块aem生成的特征映射进行重构和细化，重构出一组降维特征图和一组投影矩阵，满足多尺度图推理模块msgrm的输入要求和图节点特征聚合的要求；

10、s6、步骤s4得到的拓扑图和邻接矩阵、步骤s5得到的一组降维特征图和一组投影矩阵作为输入，用图卷积和注意力嵌入模块aem对特征图进行重构；

11、s7、步骤s6中得到的重构特征图，依次传入第2解码模块、第1解码模块、第0解码模块中，其他解码模块依此类推。

12、本发明包括第3解码模块、第2解码模块、第1解码模块、第0解码模块，每个解码模块中，通过步骤6所述方法，得到重构特征图，并以密集连接的方式传递。

13、优选的，编码路径由一个初始特征提取模块和四个相同的编码模块组成；

14、初始特征提取模块包括一个卷积核为7×7的卷积模块和两个卷积核为3×3的卷积模块。

15、优选的，步骤s1中，初始特征提取模块提取整个图像中的特征，得到卷积特征图，计算过程如公式(1)所示：

16、

17、其中，f0表示通过初始特征提取模块第一层的特征；f1表示通过初始特征提取模块第二、三层的特征；f′0表示通过初始特征提取模块第四层的特征；σ(·)表示激活函数；σs(·)表示relu激活函数；bn(·)表示批处理的归一化层；conv3×3(.)和conv7×7(.)分别表示3×3和7×7的卷积操作；表示矩阵的相加运算；maxpool3×3(.)表示3×3的最大池化操作。

18、优选的，步骤s2的具体操作如下：

19、将步骤s1得到的卷积特征图输入到第一个编码模块中，之后每个编码模块将上一层输出的特征图输入到一组连续的3×3卷积中，获得图像中的第一尺度特征图；

20、上一层输出的特征图并行输入到1×1的卷积中，得到第二尺度特征图，然后将两个不同尺度的特征图进行融合，融合方法如下式所示：

21、

22、其中，ffus表示融合后的特征图；up2()表示双线性插值上采样操作；fc(·)表示全连接层；表示维度上升1×1的卷积；fν表示上一层传来的特征图；σr(·)表示leaky relu激活函数；表示维度下降1×1的卷积；θρ表示注意力系数；h′表示重构后的高；w′表示重构后的宽；h表示原始高度；hρ表示挤压后的高维度；wρ表示挤压后的宽维度；v表示尺度集合；l表示低尺度；h表示高尺度；

23、融合后的特征图ffus经过一层激活层后，接下来采用残差的方式将信息流经过跳链接传递到下一层，计算如公式(3)所示：

24、

25、其中，f′fus表示ffus经过卷积操作得到的挤压融合特征图；fs表示f′fus和ffus经过残差结构结合后的模块特征图；δ★(·)表示2层连续的3×3卷积运算。

26、优选的，步骤s3的具体操作如下：

27、将步骤s1中初始特征提取模块提取的f0嵌入到每个编码模块中，最后通过四个编码模块依次生成模块总特征图f0的嵌入过程如公式(4)所示：

28、

29、其中，表示经过特征变换模块convtm变换的模块总特征图；cat(·)表示特征拼接；s表示当前为第几个编码模块。

30、优选的，解码路径由四个具有相同结构的解码模块组成，每个解码模块均包括由卷积组成的特征变换模块convtm、注意力嵌入模块aem和多尺度图推理模块msgrm；

31、其中，特征变换模块convtm对相应编码模块输出的不同尺度模块总特征图进行转换和上下采样，保证输入到解码器的特征图在大小上保持一致，转换如公式(5)所示：

32、

33、其中，表示经过下采样后的第一尺度特征图；表示第二尺度特征图；表示经过下采样的第三尺度特征图；表示经过卷积激活和上采样后的第四尺度特征图；downs(·)表示下采样操作；up(·)表示最近邻插值上采样操作；

34、注意力嵌入模块aem用来建立高层和低层语义特征之间的交互，输入特征集为{f1…fn}，其中，n为特征个数，注意力嵌入模块aem得到注意力融合特征fa如公式(6)所示：

35、

36、其中，α表示注意力机制；att(·)表示注意力运算；fa表示生成的注意力融合特征；n表示当前特征索引；fn表示当前特征；fn表示全部特征；

37、多尺度图推理模块msgrm利用节点信息传递和收敛函数获取目标的全局语义和空间细节，多尺度图推理模块msgrm使用拓扑图的方法收集和传递不同尺度的节点特征，在这些节点之间形成相互作用并建立长期依赖关系来强化特征。

38、优选的，步骤s4中，拓扑图为：ε＝{ε1…εm}表示节点之间的边之间的集合，表示图节点的集合，邻接矩阵a是构建的拓扑图的临界点，如公式(7)所示：

39、

40、其中，vi和vj表示图节点；当节点vi和vj相关联，或者vi和vj是相同的节点时，该节点为自环路，邻接矩阵的值aij定义为1，当这些节点之间没有关联时，将边界幂值设置为0，即aij＝0。

41、优选的，步骤s5的具体操作为：

42、对注意力嵌入模块aem生成的特征映射进行重构和细化，对注意力嵌入模块aem通过不同尺度的卷积生成的两个尺度的特征图和进行操作，重构出一组降维特征图和]以及一组投影矩阵和重构过程如公式(8)所示：

43、

44、其中，表示第一尺度的降维特征图集合；表示第二尺度的降维特征图集合；表示第一尺度的重构特征图集合；表示第二尺度的重构特征图集合；δ↓(·)表示降维的重构函数；δ(·)表示投影函数，将相应的降维特征图与投影矩阵进行矩阵乘法，得到节点特征图同时，使用拉普拉斯正则化对步骤s4中的邻接矩阵a进行优化，不同尺度节点特征映射邻接矩阵a的优化如下式：

45、

46、其中，表示不同尺度节点的特征映射集合；为矩阵乘法；i是单位矩阵；表示拉普拉斯再正则化后的邻接矩阵。

47、优选的，步骤s6的具体操作为：

48、为生成的节点特征映射提供一个图卷积gcn模块来实现节点特征聚合；

49、首先，多尺度图推理模块msgrm再次对步骤s5中注意力嵌入模块aem生成的两个尺度的特征图进行重构，得到逆投影矩阵

50、其次，将逆投影矩阵与图卷积特征映射相乘，将其转换回原始隐藏空间，并利用卷积层进行融合得到特征图

51、最后，生成的采用逐像素加法策略添加到注意力嵌入模块aem初始生成的中，生成一个新的图卷积特征其中，和计算如公式(10)所示：

52、

53、其中，表示不同尺度对应的特征；表示经过aem生成的特征；表示经过拉普拉斯调整后的邻接矩阵；表示邻接矩阵a的度矩阵；θs表示加权矩阵；最终得到的新的图卷积特征生成方式如公式(11)所示：

54、

55、优选的，在步骤s7中，引入先验知识增加低级语义的表示，在解码路径上，解码模块的信息流不仅存在逐层连接，而且设置有跨层连接，信息流的跨层传输采用残差连接的方式进行，通过多尺度图推理模块msgrm最终生成的图推理模块总特征图fmsgrm表示为：

56、

57、其中，表示第一种尺度的特征图；表示第二种尺度的特征图；表示四个解码模块生成的四种尺度的解码模块总特征图。

58、因此，本发明采用上述一种增强边界感知的语义分割方法，其技术效果如下：

59、(1)u型网络结构允许更多尺度的特征提取，巧妙构建的图卷积使得分割网络对不规则目标区域更加友好。所提出的框架在应用于图像分析时，能更好地容纳图像中的非结构化特征，从而便于提取相关目标，排除不相关背景；

60、(2)在模型中，通过编码模块的尺度变换可以提取更丰富的图像特征，并通过密集链接传输到各个解码模块，从而增强特征的重用性；

61、(3)本发明在解码路径中部署了一个图卷积网络来分析大型不规则区域，并将其与scse(concurrentspatialandchannelsqueezeandexcitation)，注意机制相结合，以捕获补充细节，从而产生更具鲁棒性和准确的解码器；

62、(4)经过实验验证，本发明的模型在策划的数据集中在尽可能轻量化的同时保持了先进的结果；

63、(5)通过与现有先进分割算法在同一数据集结果的对比，本发明的方法在目标显著性不足、图像质量较低的图像上，具备更精准的分割效果。

64、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。