一种模态自适应的MRI图像分割方法

本发明涉及一种模态自适应的mri图像分割方法，属于医学图像分割。

背景技术：

1、磁共振成像(magnetic resonance imaging,mri)具有非侵入性、高分辨率、无创性的特点，能够提供关于人体组织结构和功能的详细信息，常用于各种疾病和病变的诊断。近年来，随着卷积神经网络(convolutional neural network,cnn)的出现以及计算机硬件的快速发展，深度学习在mri图像分割任务中得到了广泛的应用，基于深度学习的mri图像分割可以准确、快速地分割出病灶区域，克服了人工勾画主观性强、漏诊率以及误诊率高、可重复性差、效率低的弊端，可以有效地辅助医生进行病情诊断，已成为近年来ai医疗的重要手段。在临床中，通过调整扫描参数和脉冲序列，可以得到不同模态的mri图像，它们能够提供全面和详细的信息，因此，多模态mri图像分割方法是医学图像分割的发展趋势。目前，mri扫描图像包括flair、t1ce、t1、和t2四种模态。

2、然而，在临床中，获得完整的mri模态并不总是可能的，当某些模态不存在时，其分割效果会受到较大的影响。针对此问题，许多研究者提出了相应的解决方法，主要可以分为三类，第一类为基于图像合成的方法，它首先生成缺失的模态，然后再进行后续的分割任务，这种方式的复杂度较高，且模态生成的准确度对于分割结果具有较大的影响；第二类为基于知识蒸馏的方法，它使用全模态组合和不完全模态组合来训练网络，其中全模态组合下的网络用于指导不完全模态组合下的网络训练，然而找到适宜的指导方式非常困难；第三类为基于潜在特征空间分析的方法，它获得不同模态之间的潜在相关性特征，并按照一定的方式进行融合，然后根据融合特征对目标区域进行分割，这种方式复杂度较低，如何有效恢复缺失模态的信息是其主要难点。这些方法在一定程度上能够降低缺失模态对于网络分割性能的影响，但仍存在很多不足，需要得到进一步的改进。

3、因此，提供一种能够有效应对不同模态组合的mri图像分割方法是本领域技术人员仍需要解决的问题。

技术实现思路

1、本发明的目的是提供一种模态自适应的mri图像分割方法，用于应对不同模态组合下的mri图像分割问题，使得在各种mri模态组合下均能有效地进行图像分割。

2、为实现上述目的，本发明的方案包括：

3、本发明的一种模态自适应的mri图像分割方法，使用训练好的分割网络对多模态的mri图像进行分割输出不同模态的融合预测结果；待训练的分割网络包括不同mri模态独立的特征提取部分、用于将特征提取部分得到的不同模态的模态特征融合在一起的不同模态之间的相关性建模部分、用于将相关性建模部分输出的模态相关性特征表示进行相关性特征增强的相关性特征增强部分、用于将模态相关性特征增强后的融合模态进行目标区域分割的融合模态目标区域分割部分，以及用于将特征提取部分得到的不同模态的模态特征分别进行特征恢复，以得到不同模态独立的分割结果的独立模态目标区域分割部分；所述独立模态目标区域分割部分用于辅助训练以防止缺失模态下模型的不平衡训练。

4、进一步地，所述特征提取部分由cnn组成；所述相关性建模部分由交叉注意力实现，所述相关性特征增强部分由多头自注意力机制来实现，所述融合模态目标区域分割部分以及独立模态目标区域分割部分均由cnn组成。

5、进一步地，所述分割网络的训练包括：将3d多模态mri数据集输入到待训练的分割网络，进行逐层特征提取以及特征恢复，迭代训练分割网络，得到最优权重参数的网络模型作为训练好的分割网络。

6、进一步地，训练过程中，所述特征提取部分对不同模态的特征进行独立提取，然后将提取的模态特征进行缺失标记，以模拟各种模态组合，通过所述相关性建模部分将所有模态特征融合在一起，得到模态相关性特征表示，通过相关性特征增强部分后输入融合模态目标区域分割部分以得到最终的融合模态分割结果；独立模态目标区域分割部分对未进行缺失标记的模态特征分别进行特征恢复，得到不同模态独立的独立模态分割结果；对于融合模态分割结果和独立模态分割结果，均计算与地面真值之间的差异并反向传播来迫使每个模态的编码器学习目标区域的鉴别特征，所述编码器包括特征提取部分、相关性建模部分以及相关性特征增强部分。

7、进一步地，与地面真值之间的差异使用dice损失以及加权的交叉熵损失表示的分割损失来衡量，在最小化分割损失的过程中逐渐得到最优权重参数。

8、进一步地，在每次迭代中，通过计算训练集以及验证集的分割损失来判断网络训练过程中是否出现了过拟合情况，若出现过拟合情况，则停止网络训练，并保存最优参数；所述过拟合判断条件为：由训练集计算的分割损失减小，验证集计算的分割损失增大。

9、进一步地，所述3d多模态mri数据集为经过预处理的数据集，所述预处理包括重新采样、去除背景区域、随机裁剪、归一化以及数据增强。

10、进一步地，所述3d多模态mri数据集中的图像包括flair、t1ce、t1、和t2模态。

11、进一步地，训练过程中，采用adam优化器来对网络进行优化，学习率衰减方式为：

12、

13、其中，max_epoch为迭代周期，epoch为当前迭代的周期数。

14、进一步地，所述分割网络的训练还包括网络测试过程，在网络测试过程中，通过结合网络所保留的最优参数来得到分割结果，并使用重合度系数以及豪斯多夫距离来衡量网络的分割结果与地面真值之间的相似性，以评价网络的分割性能。

15、本发明的有益效果为：

16、本发明设计了一种全新的模态自适应的深度学习网络，在所有模态组合下学习不同模态之间的相关性，从而在某些模态不存在时能够根据模型所建立好的相关性依赖关系来一定程度上恢复缺失的模态信息，实现模态自适应，以保证各种模态组合下分割结果的准确性。

17、本发明进一步通过交叉注意力来建模模态之间的相关性，使得缺少的模态可以根据相关性来获得相应的特征表示，在一定程度上获得缺失的模态特征，可以有效防止缺失模态时分割精度的降低，且复杂度不高。

技术特征：

1.一种模态自适应的mri图像分割方法，其特征在于，使用训练好的分割网络对多模态的mri图像进行分割输出不同模态的融合预测结果；待训练的分割网络包括不同mri模态独立的特征提取部分、用于将特征提取部分得到的不同模态的模态特征融合在一起的不同模态之间的相关性建模部分、用于将相关性建模部分输出的模态相关性特征表示进行相关性特征增强的相关性特征增强部分、用于将模态相关性特征增强后的融合模态进行目标区域分割的融合模态目标区域分割部分，以及用于将特征提取部分得到的不同模态的模态特征分别进行特征恢复，以得到不同模态独立的分割结果的独立模态目标区域分割部分；所述独立模态目标区域分割部分用于辅助训练以防止缺失模态下模型的不平衡训练。

2.根据权利要求1所述的模态自适应的mri图像分割方法，其特征在于，所述特征提取部分由cnn组成；所述相关性建模部分由交叉注意力实现，所述相关性特征增强部分由多头自注意力机制来实现，所述融合模态目标区域分割部分以及独立模态目标区域分割部分均由cnn组成。

3.根据权利要求1所述的模态自适应的mri图像分割方法，其特征在于，所述分割网络的训练包括：将3d多模态mri数据集输入到待训练的分割网络，进行逐层特征提取以及特征恢复，迭代训练分割网络，得到最优权重参数的网络模型作为训练好的分割网络。

4.根据权利要求3所述的模态自适应的mri图像分割方法，其特征在于，训练过程中，所述特征提取部分对不同模态的特征进行独立提取，然后将提取的模态特征进行缺失标记，以模拟各种模态组合，通过所述相关性建模部分将所有模态特征融合在一起，得到模态相关性特征表示，通过相关性特征增强部分后输入融合模态目标区域分割部分以得到最终的融合模态分割结果；独立模态目标区域分割部分对未进行缺失标记的模态特征分别进行特征恢复，得到不同模态独立的独立模态分割结果；对于融合模态分割结果和独立模态分割结果，均计算与地面真值之间的差异并反向传播来迫使每个模态的编码器学习目标区域的鉴别特征，所述编码器包括特征提取部分、相关性建模部分以及相关性特征增强部分。

5.根据权利要求4所述的模态自适应的mri图像分割方法，其特征在于，与地面真值之间的差异使用dice损失以及加权的交叉熵损失表示的分割损失来衡量，在最小化分割损失的过程中逐渐得到最优权重参数。

6.根据权利要求5所述的模态自适应的mri图像分割方法，其特征在于，在每次迭代中，通过计算训练集以及验证集的分割损失来判断网络训练过程中是否出现了过拟合情况，若出现过拟合情况，则停止网络训练，并保存最优参数；所述过拟合判断条件为：由训练集计算的分割损失减小，验证集计算的分割损失增大。

7.根据权利要求3所述的模态自适应的mri图像分割方法，其特征在于，所述3d多模态mri数据集为经过预处理的数据集，所述预处理包括重新采样、去除背景区域、随机裁剪、归一化以及数据增强。

8.根据权利要求3所述的模态自适应的mri图像分割方法，其特征在于，所述3d多模态mri数据集中的图像包括flair、t1ce、t1、和t2模态。

9.根据权利要求3所述的模态自适应的mri图像分割方法，其特征在于，训练过程中，采用adam优化器来对网络进行优化，学习率lr的衰减方式为：

10.根据权利要求3所述的模态自适应的mri图像分割方法，其特征在于，所述分割网络的训练还包括网络测试过程，在网络测试过程中，通过结合网络所保留的最优参数来得到分割结果，并使用重合度系数以及豪斯多夫距离来衡量网络的分割结果与地面真值之间的相似性，以评价网络的分割性能。

技术总结
本发明属于医学图像分割技术领域，具体涉及一种模态自适应的MRI图像分割方法。本发明对不同MRI模态的特征进行独立提取，并通过交叉注意力机制建模不同模态特征之间的相关性；同时，通过多头自注意力机制加强所建模的模态相关性特征表示，以突出有用的特征信息；此外，采用模态特定的解码器来分别得到不同模态的分割结果，从而使得每个模态的编码器在特征提取的过程中都能够根据其分割损失来学习目标区域的鉴别特征，避免了模态不完整时网络的不平衡训练问题。本发明所提出的方法能够使网络实现模态自适应，以至于在任何MRI模态组合下都可以进行有效的图像分割，解决了不完全模态情况下图像分割精度下降的问题，且无需图像合成。

技术研发人员：焦春霞,杨铁军,闫阳辉,杨澳林,樊超,苗建雨,张自豪,任笑真,张慧瑶,王恒,樊家成,张文杰,季明珠
受保护的技术使用者：河南工业大学
技术研发日：
技术公布日：2025/2/20