一种引入特征融合与边缘检测的图像分割方法

本发明属于图像分割领域，涉及一种引入特征融合与边缘检测的图像分割方法。

背景技术：

1、近年来，基于数据驱动的深度学习算法在图像处理领域获得了极大的成功。从原始的基于卷积搭建的u-net，到后来引入注意力机制去动态调整权重去显式地关注特征，以及通过transformer去充分地提取特征，这些工作都旨在尽可能地捕获图像特征。而从边缘辅助检测领域，当前的主流方向主要分为两类:1)通过设计特定的损失函数去惩罚边界上的分割错误；2)通过加入边缘检测的子网络来显式地学习边缘表示，然后与主体分割的特征相融合，达到修正边缘的效果。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种引入特征融合与边缘辅助检测的图像分割方法，通过可形变卷积和注意力去关注局部和空间信息，提供更准确的图像特征；利用边缘检测模块去学习边缘信息，显式地修正分割结果，从而提升模型的分割精度。

2、为达到上述目的，本发明提供如下技术方案：

3、一种引入特征融合与边缘检测的图像分割方法，包括以下步骤：

4、s1：数据准备阶段：获取并预处理脑组织图像，将预处理后的图像分为训练集和验证集，将三维图像切成预设大小的图像块；

5、s2：特征编码阶段：通过普通3d卷积以及可形变3d卷积提取图像特征；

6、s3：特征解码阶段：将编码阶段的特征传递融合，利用上采样恢复图像特征；

7、s4：边缘检测阶段：取编码阶段的三层特征作为提取边缘信息的来源，利用边缘信息聚合模块对三层特征充分学习，最终学习到边缘信息；将此阶段的结果与步骤s3中恢复的图像特征的结果拼接，得到分割结果。

8、进一步，所述步骤s1包括以下步骤：

9、s11：对三维图像进行裁剪，将像素值为0的多余区域，保留包含完整待检测区域的最小立方体；

10、s12：对裁剪的图像使用z-score归一化，让图像的均值为0，标准差为1，使得图像在灰度分布上服从正态分布；

11、s13：将处理后的三维图像数据切成一个个32×32×32大小的图像切块，随机提取一个切块作为模型的输入；如果是多模态的数据，则将所有模态的数据拼接起来，组成多通道图像输入。

12、进一步，所述步骤s2包括以下步骤：

13、s21：使用3d卷积提取对三维图像进行特征提取，得到32×32×32的抽象语义特征；

14、s22：利用集成3d可形变卷积的下采样对s21的特征图进行压缩，同时使得下一步同样的卷积能在更大的图像范围上特征提取；

15、s23：重复操作s21和s22，最终得到4×4×4的特征图。

16、进一步，所述步骤s3包括以下步骤：

17、s31：将编码阶段相邻的三个特征图融合并传递到解码层，然后通过上采样将特征图放大两倍，从而恢复到与输入特征尺寸相同的特征图；

18、s32：在特征传递过程中使用可形变空间位置注意力机制对空间信息进行建模，将空间信息传递到解码层。

19、进一步，步骤s32中所述可形变空间位置注意力结构如下：

20、x1＝deconv(x)

21、x2＝deconv(x)

22、x3＝deconv(x)

23、α＝σ(x1·x2t)

24、

25、其中，x代表模块的输入三维特征图，deconv(·)代表1×1×1可形变卷积，x1、x2、x3表示经过可形变卷积后的特征图，σ代表sigmoid激活函数，α表示经过激活后的注意力权重，t代表矩阵的转置，表示α与x3进行加权求和得到的最后注意力分数。

26、进一步，所述步骤s4包含以下步骤：

27、s41：使用编码阶段的后三层特征作为边缘信息来源，其中的低层次特征提供局部的边缘信息，高层次特征拥有更大的感受野，通过特征融合操作得到最初的边缘信息；

28、s42：通过传统的边缘检测算子提取金标准的边缘信息，与步骤s41的最初的边缘信息进行基于损失函数的交互学习，优化边缘信息；将优化后的边缘信息与步骤s3阶段的结果拼接，获得模型最终分割结果。

29、本发明的有益效果在于：将可形变卷积引入脑组织分割图像中，去显式学习结构复杂的图像特征，通过注意力机制去关注空间信息。另外本发明中的边缘辅助检测可以学习边缘特征表示，起到修复分割结果的作用，提升网络分割性能。

30、本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

技术特征：

1.一种引入特征融合与边缘检测的图像分割方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的引入特征融合与边缘检测的图像分割方法，其特征在于：所述步骤s1包括以下步骤：

3.根据权利要求1所述的引入特征融合与边缘检测的图像分割方法，其特征在于：所述步骤s2包括以下步骤：

4.根据权利要求1所述的引入特征融合与边缘检测的图像分割方法，其特征在于：所述步骤s3包括以下步骤：

5.根据权利要求4所述的引入特征融合与边缘检测的图像分割方法，其特征在于：步骤s32中所述可形变空间位置注意力结构如下：

6.根据权利要求1所述的引入特征融合与边缘检测的图像分割方法，其特征在于：所述步骤s4包含以下步骤：

技术总结
本发明涉及一种引入特征融合与边缘检测的图像分割方法，属于图像分割领域，包括以下步骤：S1：数据准备阶段：获取并预处理脑组织图像，将预处理后的图像分为训练集和验证集，将三维图像切成预设大小的图像块；S2：特征编码阶段：通过普通3D卷积以及可形变3D卷积提取图像特征；S3：特征解码阶段：将编码阶段的特征传递融合，利用上采样恢复图像特征；S4：边缘检测阶段：取编码阶段的三层特征作为提取边缘信息的来源，利用边缘信息聚合模块对三层特征充分学习，最终学习到边缘信息；将此阶段的结果与步骤S3中恢复的图像特征的结果拼接，得到分割结果。

技术研发人员：栾晓,秦祝彪,刘玲慧
受保护的技术使用者：重庆邮电大学
技术研发日：
技术公布日：2024/1/11