用于椎体和椎间盘分割的双通道互补脊柱图像分割方法

本发明属于脊柱图像分割，特别是一种用于椎体和椎间盘分割的双通道互补脊柱图像分割方法。

背景技术：

1、随着社会老龄化的加剧和人们工作和生活方式的改变，脊柱疾病的发病率正在增加。计算机断层扫描(ct)和磁共振成像(mri)在脊柱疾病的诊断和治疗中起着重要作用，而椎骨和椎间盘的自动分割是脊柱图像分析和建模的关键步骤，例如脊柱异常识别、基于图像的生物力学模型分析、椎骨骨折检测、椎间盘突出和图像引导下的脊柱介入等。例如，射频消融(rfa)是常用的微创介入方法之一，用于治疗腰椎间盘突出引起的腰痛和功能障碍。由于ct对椎骨具有较高的敏感性，通常使用ct来引导rfa的针尖到达正确的位置，而mri用于在rfa过程中准确找到突出部位，因为mri有助于椎间盘在图像中的可视化。为此，对脊柱图像进行精细分割是确保rfa顺利实施的关键。

2、磁共振图像中自动化的椎骨和椎间盘分割可以节省医生的时间，并为脊柱的诊断和治疗提供可重复的解决方案。因此，这一领域受到了研究人员的广泛关注。在脊柱图像分割方面，相关的工作主要分为对磁共振图像中椎骨和椎间盘分别进行分割(即分别对磁共振图像中椎骨或椎间盘进行图像分割任务)，以及对磁共振图像中椎骨和椎间盘同时进行分割(即同时对磁共振图像中椎骨和椎间盘进行图像分割任务)。将磁共振图像中椎骨或椎间盘分别独立分割的方法无法为医生提供足够的病理特征，而在磁共振图像中同时分割椎骨和椎间盘的方法不仅可以避免重叠和误判，还可以借助它们之间的连接提取更准确的特征融合。然而，现有方法中，所有椎骨或所有椎间盘被分配到同一个类别，很少有研究将不同的椎骨分配到不同的类别，而椎间盘几乎没有细分，这对于椎骨和椎间盘的定位和手术方案的制定仍然存在不足。磁共振图像中脊柱精细分割面临两个主要挑战：类间相似性和类内变异性。类间相似性表现为在磁共振图像中椎间盘和椎骨部分之间的形状和纹理相似，而类内变异性则是不同患者的磁共振图像中同一类别的椎间盘或椎骨之间存在明显差异。因此，为解决类间相似性和类内变异性的问题，辅助医师快速查看锥体和椎间盘区域，寻求一种用于椎体和椎间盘分割的双通道互补脊柱图像分割方法，以同时有效地在磁共振图像中分割不同类别的椎体和椎间盘是十分迫切且必要的。

技术实现思路

1、本发明针对上述现有技术中的缺陷，提出一种用于椎体和椎间盘分割的双通道互补脊柱图像分割方法。该方法包括获取若干脊柱的磁共振图像及对应的标签图，提取待分割切片和分割切片进行预处理；构建残差u型网络以提取细节特征，构建空间特征提取器以提取关系特征，构建特征融合模块融合细节特征和关系特征，获取分割特征图；借助网络输出层，输出多类别分割结果，构建双通道互补脊柱图像分割模型；训练并获得最佳双通道互补脊柱图像分割模型，针对待分割磁共振图像切片获取多类别分割结果。本发明借助条纹卷积在每个点上提取垂直和水平关系以应对类别相似性和类内变异性，通过注意力机制渐进地指导两条路径在每个阶段的特定特征学习，实现了更好地特征集成，提高了分割精度。

2、本发明提供一种用于椎体和椎间盘分割的双通道互补脊柱图像分割方法，其包括以下步骤：

3、s1、预处理脊柱的磁共振图像及对应的标签图：获取若干脊柱的磁共振图像及对应的标签图，提取所有磁共振图像中包含脊柱部分的所有待分割切片，提取所有标签图中对应待分割切片的所有分割切片，针对所有所述待分割切片进行归一化处理，规整并裁剪所述待分割切片和分割切片尺寸，划分训练数据集和测试数据集；

4、s2、构建用于椎体和椎间盘多类别分割的双通道互补脊柱图像分割模型，包括残差u型网络、空间特征提取器、特征融合模块和网络输出层：当双通道互补脊柱图像分割模型接收到待分割切片图像数据后，分别将待分割切片图像数据输入到残差u型网络和空间特征提取器，再将残差u型网络和空间特征提取器的输出融合后输入到特征融合模块，特征融合模块的输出作为网络输出层的输入，最后由网络输出层输出完成椎体和椎间盘分割后的待分割切片多类别分割结果；其中；残差u型网络用于提取待分割切片中椎体和椎间盘的细节特征；空间特征提取器用于提取待分割切片中椎体和椎间盘的关系特征；特征融合模块融合细节特征和关系特征用于获取分割特征图；网络输出层用于输出待分割切片多类别分割结果；

5、s21、构建残差u型网络，作为上下文路径，提取待分割切片中椎体和椎间盘的细节特征；所述残差u型网络包括编码器和解码器，所述编码器和解码器分别是基于残差的编码器和解码器，所述编码器依次包括第一级编码器、第二级编码器、第三级编码器、第四级编码器和第五级编码器，所述解码器依次包括第一级解码器、第二级解码器、第三级解码器和第四级解码器；所述第一级编码器的输入为所述双通道互补脊柱图像分割模型的第一输入；

6、s22、构建空间特征提取器，作为空间路径，提取待分割切片中椎体和椎间盘的关系特征；所述空间特征提取器依次包括第一级条纹提取器、第二级条纹提取器、第三级条纹提取器、第四级条纹提取器和第五级条纹提取器；所述第一级条纹提取器的输入为所述双通道互补脊柱图像分割模型的第二输入；

7、s23、构建特征融合模块，融合上下文路径的细节特征和空间路径的关系特征，获取分割特征；所述特征融合模块依次包括第一注意力细化模块、第二注意力细化模块、第三注意力细化模块、第四注意力细化模块、第五注意力细化模块、第一分割模块、第二分割模块、第三分割模块、第四分割模块和第五分割模块；

8、s3、训练双通道互补脊柱图像分割模型，获得最佳双通道互补脊柱图像分割模型：设定损失函数，设置模型参数和评估指标，基于训练数据集和测试数据集，训练所述双通道互补脊柱图像分割模型，获得测试数据集的评估指标最大时对应所述双通道互补脊柱图像分割模型的权重参数，得到最佳双通道互补脊柱图像分割模型；

9、s4、基于最佳双通道互补脊柱图像分割模型，获取待分割脊柱的磁共振图像切片的分割结果：基于最佳双通道互补脊柱图像分割模型，将待分割脊柱的磁共振图像切片经步骤s1的归一化处理及规整并裁剪后，作为所述双通道互补脊柱图像分割模型的第一输入和第二输入，获得所述双通道互补脊柱图像分割模型的输出即待分割脊柱磁共振图像切片的分割结果。

10、进一步，所述步骤s1具体包括以下步骤：

11、s11、获取脊柱的磁共振图像及对应的标签图，组建脊柱数据集：获取若干脊柱的磁共振图像及对应的标签图，提取所有磁共振图像中包含脊柱部分的所有待分割切片，提取所有标签图中对应待分割切片的所有分割切片，将所有所述待分割切片经灰度化处理后，与所有所述分割切片组建脊柱数据集；

12、s12、归一化处理脊柱的磁共振图像，获取第一脊柱数据集：针对所述脊柱数据集中所有所述待分割切片，借助总体标准偏差σs和均值m进行归一化处理，将归一化处理后的待分割切片与所对应的分割切片组合，获得第一脊柱数据集；所述归一化处理为：

13、

14、其中，k(xi,yi)和k′(xi,yi)分别表示归一化处理前和归一化处理后的待分割切片中像素点(xi,yi)处的像素值；

15、s13、规整并裁剪待分割切片和分割切片尺寸，获取第二脊柱数据集：将第一脊柱数据集中的待分割切片及对应的分割切片进行尺寸规整并裁剪左右两侧的背景，获取第二脊柱数据集，所述尺寸规整后待分割切片及对应的分割切片的尺寸均为256×256，所述裁剪后待分割切片及对应的分割切片的尺寸均为128×256；

16、s14、基于第二脊柱数据集，划分训练数据集和测试数据集：将第二脊柱数据集中的所有待分割切片及对应的分割切片，分别按照9:1的比例进行待分割切片和分割切片的对应划分，获取用于脊柱图像分割的训练数据集和测试数据集。

17、可优选的，步骤s21中所述第五级编码器的输出与其经平均池化后的输出在像素上叠加，作为所述残差u型网络的第一网络输出；所述第一级解码器、第二级解码器、第三级解码器和第四级解码器的输出分别依次作为所述残差u型网络的第二网络输出、第三网络输出、第四网络输出和第五网络输出；所述第一级编码器、第二级编码器、第三级编码器和第四级编码器的输出分别依次作为所述第二级编码器、第三级编码器、第四级编码器和第五级编码器的输入；所述第五级编码器的输出经双线性插值上采样操作后，与所述第四级编码器的输出在通道上融合，作为所述第一级解码器的输入；所述第一级解码器的输出经双线性插值上采样操作后，与所述第三级编码器的输出在通道上融合，作为所述第二级解码器的输入；所述第二级解码器的输出经双线性插值上采样操作后，与所述第二级编码器的输出在通道上融合，作为所述第三级解码器的输入；所述第三级解码器的输出经双线性插值上采样操作后，与所述第一级编码器的输出在通道上融合，作为所述第四级解码器的输入；

18、步骤s22中所述第一级条纹提取器、第二级条纹提取器、第三级条纹提取器、第四级条纹提取器和第五级条纹提取器的输出分别依次作为所述空间特征提取器的第一空间输出、第二空间输出、第三空间输出、第四空间输出和第五空间输出；所述第一级条纹提取器、第二级条纹提取器、第三级条纹提取器和第四级条纹提取器的输出分别依次作为所述第二级条纹提取器、第三级条纹提取器、第四级条纹提取器和第五级条纹提取器的输入；所述第一级条纹提取器、第二级条纹提取器、第三级条纹提取器、第四级条纹提取器和第五级条纹提取器均包括一个条纹卷积；

19、步骤s23中所述特征融合模块的输入包括所述第一网络输出、第二网络输出、第三网络输出、第四网络输出、第五网络输出、第一空间输出、第二空间输出、第三空间输出、第四空间输出和第五空间输出；所述第五分割模块的输出为分割特征图，作为所述特征融合模块的输出；所述第一网络输出与所述第五空间输出在通道上融合后输入到所述第一注意力细化模块中，所述第一注意力细化模块的输出经双线性插值上采样操作后输入到所述第一分割模块；所述第二网络输出与所述第四空间输出在通道上融合后输入到所述第二注意力细化模块中，所述第二注意力细化模块的输出与所述第一分割模块的输出在通道上融合，经双线性插值上采样操作后，作为所述第二分割模块的输入；所述第三网络输出与所述第三空间输出在通道上融合后输入到所述第三注意力细化模块中，所述第三注意力细化模块的输出与所述第二分割模块的输出在通道上融合，经双线性插值上采样操作后，作为所述第三分割模块的输入；所述第四网络输出与所述第二空间输出在通道上融合后输入到所述第四注意力细化模块中，所述第四注意力细化模块的输出与所述第三分割模块的输出在通道上融合，经双线性插值上采样操作后，作为所述第四分割模块的输入；所述第五网络输出与所述第一空间输出在通道上融合后输入到所述第五注意力细化模块中，所述第五注意力细化模块的输出与所述第四分割模块的输出在通道上融合，作为所述第五分割模块的输入；所述第一注意力细化模块、第二注意力细化模块、第三注意力细化模块、第四注意力细化模块和第五注意力细化模块均包括一个注意力模块；所述第一分割模块、第二分割模块、第三分割模块、第四分割模块和第五分割模块均包括一个卷积单元；

20、所述步骤s2还包括，借助网络输出层，输出待分割切片多类别分割结果：所述网络输出层的输入为所述分割特征图，所述网络输出层的输出为待分割切片多类别分割结果，作为所述双通道互补脊柱图像分割模型的输出；所述网络输出层的输出通道数为分割类别数。

21、可优选的，步骤s3具体包括以下步骤：

22、s31、设定损失函数dfkl；

23、s32、设置模型参数和评估指标dice；

24、s33、基于训练数据集和测试数据集，将训练数据集中的待分割切片输入到所述双通道互补脊柱图像分割模型中进行训练；

25、s331、将训练数据集中的待分割切片作为所述双通道互补脊柱图像分割模型的第一输入，经所述残差u型网络提取待分割切片中椎体和椎间盘的细节特征；

26、s332、将训练数据集中的待分割切片作为所述双通道互补脊柱图像分割模型的第二输入，经所述空间特征提取器提取待分割切片中椎体和椎间盘的关系特征；

27、s333、所述细节特征和关系特征输入到所述特征融合模块中，经所述第五分割模块输出分割特征图；

28、s334、所述分割特征图经所述网络输出层输出待分割切片多类别分割结果，即所述双通道互补脊柱图像分割模型的输出，得到所述双通道互补脊柱图像分割模型的权重参数；

29、s334、基于待分割切片多类别分割结果与训练数据集中对应的分割切片，将分割切片进行独热one-hot编码，得到输出通道数为分割类别数的分割切片，计算训练数据集的评估指标dice；

30、s335、将测试数据集中的待分割切片作为所述双通道互补脊柱图像分割模型的第一输入和第二输入，基于所述双通道互补脊柱图像分割模型的权重参数，获得测试数据集中待分割切片多类别分割结果，借助测试数据集中对应的分割切片经独热one-hot编码后，计算测试数据集的评估指标dice；

31、s336、重复执行步骤s331至步骤s335，直至完成所有训练代数，获得所有训练代数中测试数据集的评估指标dice最大时，对应所述双通道互补脊柱图像分割模型的权重参数，得到最佳双通道互补脊柱图像分割模型。

32、可优选的，所述步骤s22中所述条纹卷积包括第一卷积操作、水平条纹池化操作、竖直条纹池化操作、水平条纹卷积操作、竖直条纹卷积操作、批归一化操作、第二卷积操作、第一激活函数和第二激活函数，所述第一卷积操作的输入为所述条纹卷积的输入；所述第一卷积操作的输出依次经所述水平条纹池化操作、水平条纹卷积操作和批处理操作，得到水平条纹输出；所述第一卷积操作的输出依次经所述竖直条纹池化操作、竖直条纹卷积操作和批处理操作，得到竖直条纹输出；所述水平条纹输出和竖直条纹输出叠加后，经所述第一激活函数得到条纹输出；所述条纹输出依次经所述第二卷积操作和第二激活函数后，与所述条纹输出逐元素相乘，得到所述条纹卷积的输出；

33、所述步骤s23中所述注意力模块包括第三卷积操作、全局池化操作、批归一化操作、第四卷积操作和第三激活函数，所述第三卷积操作的输入为所述注意力模块的输入；所述第三卷积操作的输出依次经所述全局池化操作、第四卷积操作、批归一化操作和第三激活函数后，与所述第三卷积操作的输出逐元素相乘，得到所述注意力模块的输出。

34、可优选的，步骤s11中所述待分割切片经灰度化处理前后的通道数分别为1和3，所述分割切片的通道数为1；步骤s21中所述第一级编码器、第二级编码器、第三级编码器、第四级编码器、第五级编码器、第一级解码器、第二级解码器、第三级解码器和第四级解码器的输出通道数依次为32、64、128、256、512、256、128、64、32；步骤s22中所述第一级条纹提取器、第二级条纹提取器、第三级条纹提取器、第四级条纹提取器和第五级条纹提取器的输出通道数依次为32、64、128、256、512；步骤s23中所述第一注意力细化模块、第二注意力细化模块、第三注意力细化模块、第四注意力细化模块、第五注意力细化模块、第一分割模块、第二分割模块、第三分割模块、第四分割模块和第五分割模块的输出通道数均为64。

35、可优选的，所述步骤s22中所述第一卷积操作的卷积核取3×3，所述第二卷积操作的卷积核取1×1，所述水平条纹卷积操作的卷积核取3×1，所述竖直条纹卷积操作的卷积核取1×3；所述第一激活函数选择线性整流函数relu，所述第二激活函数选择s型函数sigmoid；所述步骤s23中所述第三卷积操作的卷积核取3×3，所述第四卷积操作的卷积核取1×1；所述第三激活函数选择s型函数sigmoid；所述步骤s24中所述网络输出层为卷积核为1×1的卷积操作。

36、可优选的，所述步骤s21中所述第一级编码器、第二级编码器、第三级编码器、第四级编码器、第五级编码器、第一级解码器、第二级解码器、第三级解码器和第四级解码器中的所述残差块数量依次设为3、4、6、3、3、2、2、2、2。

37、可优选的，所述步骤s31中所述损失函数dfkl基于相似度损失dl、动态缩放交叉熵损失fl和相对熵损失kl设定为：

38、

39、所述步骤s32中所述评估指标dice表示为：

40、

41、其中，tp表示真阳性；fp表示假阳性；fn表示假阴性。

42、与现有技术相比，本发明的技术效果为：

43、1、本发明设计的一种用于椎体和椎间盘分割的双通道互补脊柱图像分割方法，为了解决椎体和椎间盘的多类别图像分割问题，在bisenet框架的基础上，通过引入残差u型网络作为上下文路径，突出了编码器和解码器的协同优势；同时，结合了空间特征提取器作为空间路径，并提出了特征融合模块以替代上下文路径和空间路径的原有特征融合模块，所提方法通过利用这些组件的互补优势来提高脊柱图像的分割性能。

44、2、本发明设计的一种用于椎体和椎间盘分割的双通道互补脊柱图像分割方法，为了应对细粒度脊柱图像分割中类别相似性和类内变异性挑战，在空间特征提取器中引入了具有不同尺度的条纹池化块，借助不同方向的条纹卷积在每个点上提取垂直和水平关系，以捕捉椎体和椎间盘间的长距离关系和同一类别内的相互联系，有效地补充了残差u型网络的特征提取能力，能够更好地捕捉磁共振图像中脊柱的复杂细节和结构，从而提高图像分割精度。

45、3、本发明设计的一种用于椎体和椎间盘分割的双通道互补脊柱图像分割方法，为了利用上下文路径和空间路径的互补特征，在特征融合模块中引入了bisenet框架中的注意力细化模块，通过注意力机制渐进地指导残差u型网络和空间特征提取器在每个阶段的特定特征学习，取代了原有bisenet框架中特征融合模块针对上下文路径和空间路径特征的同时融合，实现了更好地特征集成，并提高了图像分割精度。