基于肿瘤原型驱动与多专家集成的多模态MRI脑肿瘤分割方法

本发明涉及基于肿瘤原型驱动与多专家集成的多模态mri脑肿瘤分割方法，属于医学图像处理。

背景技术：

1、尽早地发现和诊断肿瘤并制定高效的治疗计划是提高患者存活率的关键。虽然医生能够通过人工标注mri 影像的肿瘤区域来确定肿瘤的位置和大小，但是人工标注往往耗时耗力且带有很大的主观性。为了提高诊断的一致性、准确性和高效性，基于深度神经网络的肿瘤分割算法得到越来越多的关注。然而，目前基于深度神经网络的肿瘤分割方法仍存在一些问题，如肿瘤区域相互包含所造成的信息混叠对性能的影响，且未采取有针对性的措施来凸显对应肿瘤特征作用，限制了分割性能的进一步提升。针对该图像分割问题，提出了一种基于肿瘤原型驱动与多专家集成的多模态mri脑肿瘤分割方法。

技术实现思路

1、为了解决现有方法的不足，本发明针对肿瘤区域相互包含所造成的信息混叠，无法实现对不同的肿瘤特征进行有针对的增强，从而影响肿瘤分割结果的准确性，提出了一种基于肿瘤原型驱动与多专家集成的多模态mri脑肿瘤分割方法。

2、本发明的技术方案是：基于肿瘤原型驱动与多专家集成的多模态mri脑肿瘤分割方法，所述方法的具体步骤如下：

3、步骤1：获取用于多模态mri肿瘤分割模型的训练数据集；

4、步骤2：将不同模态的肿瘤图像输入肿瘤原型构建模块中，实现不同模态特征的相互传递，并根据信息交互后的特征来构建肿瘤原型；具体操作如下：

5、将多模态mri肿瘤图像输入到肿瘤原型构建模块后，先利用四个模态特定编码器分别对每个模态提取特征，然后将提取的特征分别进行自注意力操作；接着，使用交叉注意力的原理实现不同模态的信息交互；之后，将每个模态信息交互后的特征再通过前馈网络提取特征后，送入到原型特征生成模块中生成肿瘤原型。

6、步骤3：将获得信息完整的肿瘤原型特征传输到原型驱动的特征表示与融合模块中，增强每个模态中肿瘤区域的特征，并得到不同模态的融合特征；具体操作如下：

7、将每个模态的肿瘤原型特征与步骤2中经过前馈网络提取的特征送入到特征表示与融合模块后，先分别将每个模态的特征与对应的肿瘤原型送入到原型驱动模块中，然后得到不同肿瘤区域的激活图；之后，将每个模态上不同的肿瘤区域激活图分别与当前模态特征进行点积操作后再拼接融合，得到肿瘤信息丰富的特征，最后，将不同模态上的肿瘤信息丰富的特征先经过卷积降维后再拼接，并经过多头自注意力得到不同模态最终的融合特征。

8、步骤4：将不同模态的肿瘤图像拼接后输入多专家集成的关键信息整合模块中，实现不同深度层上的特征直接辅助肿瘤区域的识别与定位，具体操作如下：

9、将多模态mri肿瘤图像拼接后送入到多专家集成的关键信息整合模块，然后利用与步骤2中结构相同的编码器进行特征提取；之后，将编码器不同阶段的输出特征送入到多专家集成的关键信息整合模块中的不同的专家网络提取肿瘤关键特征。

10、步骤5：构建解码网络，输出肿瘤的分割结果图。

11、进一步地，所述步骤1中每个mri图像都由flair、t1、t1c和t2四种模态的图像组成；每个模态的mri图像中包含背景（bg）区域，坏疽和非强化肿瘤区域（ncr/net），瘤周水肿（ed）和增强肿瘤(et)四种类别，且每个mri图像的尺寸大小为 240*240*155，然后对采集的mri图像数据进行预处理，预处理的方法具体为，首先对数据进行裁剪，裁剪后的图像大小为128*128*128，对裁剪后的图像进行归一化。

12、所述步骤2中，肿瘤原型构建模块包括编码器、自注意力层、多模态信息交互层和原型特征生成模块；肿瘤原型构建模块用于实现不同模态特征的相互传递，并根据信息交互后的特征来构建肿瘤原型。

13、进一步地，所述步骤2中，给定不同模态的肿瘤图像，分别输入参数不共享的编码器，其中编码器采用unet结构来设计，得到的特征为，其中m，表示肿瘤数据的四种模态，h、w为输入图像的高和宽，d是切片数，c是通道数，然后每个模态的输出特征经过自注意力层得到特征。

14、进一步地，所述步骤2中，多模态信息交互使用了交叉注意力的原理来实现不同模态间的信息交互，此过程实现如下:

15、在多模态信息交互中，设表示当前模态，表示除之外的其他模态，表示模态的信息向流动，的过程表示为：

16、

17、其中，表示第j个注意力头的结果，，，，为线性映射的参数矩阵，ln为层归一化，在得到第j个注意力头的特征之后，的完整表示为：

18、<mstyle displaystyle="true" mathcolor="#000000"><msubsup><mi>f</mi><mrow><msub><mi>t</mi><mi>c</mi></msub><mi>←</mi><msub><mi>t</mi><mi>o</mi></msub></mrow><mrow /></msubsup><mi>=</mi><mrow><mo>[</mo><mrow><msubsup><mi>f</mi><mrow><msub><mi>t</mi><mi>c</mi></msub><mi>←</mi><msub><mi>t</mi><mi>o</mi></msub></mrow><mn>1</mn></msubsup><mi>,</mi><msubsup><mi>f</mi><mrow><msub><mi>t</mi><mi>c</mi></msub><mi>←</mi><msub><mi>t</mi><mi>o</mi></msub></mrow><mn>2</mn></msubsup><mi>,...,</mi><msubsup><mi>f</mi><mrow><msub><mi>t</mi><mi>c</mi></msub><mi>←</mi><msub><mi>t</mi><mi>o</mi></msub></mrow><msub><mi>n</mi><mi>h</mi></msub></msubsup></mrow><mo>]</mo></mrow><msubsup><mi>w</mi><mrow><msub><mi>t</mi><mi>c</mi></msub><mi>←</mi><msub><mi>t</mi><mi>o</mi></msub></mrow><mrow /></msubsup></mstyle>

19、其中，为线性映射矩阵，为头的个数，将其设置为8，当遍历完除之外的所有模态后，便能实现其它模态信息与的交互，然后，综合所有模态所携带的信息，定义为：

20、

21、其中，为除之外互不相同的三个模态，特征经过由线性层、激活函数gelu以及dropout构成的前馈网络提取特征后，经过重塑得到特征，h、w为输入图像的高和宽，d是切片数， 是重塑后的特征通道数。

22、进一步地，所述步骤2中，原型特征生成（pfg）模块用于实现如下功能:

23、重塑得到的特征经过卷积、softmax和split之后得到用于表示肿瘤不同区域类别的概率图,和，上述过程公式化为:

24、

25、由此得到特定模态肿瘤不同区域的原型：

26、

27、其中，表示当前模态肿瘤区域的第类的原型，表示矩阵的点乘，h、w为输入图像的高和宽，d是切片数， 是重塑后的特征通道数。

28、进一步地，所述步骤3中，原型驱动的特征表示与融合模块包括原型驱动模块、卷积、relu激活和多头自注意力；

29、所述步骤3中，原型驱动模块增强每个模态中肿瘤区域的特征，此过程实现如下:

30、将经线性映射和扩充操作得到与重塑得到的特征维度相同的矩阵表示，并将与在通道方向进行拼接来强化与共有的肿瘤特征，对拼接后的特征进行卷积和relu激活，得到特征激活图，中数值的大小反映了相同位置处的特征隶属于肿瘤区域第i类的程度；然后通过点积操作，实现对肿瘤第i个类别区域进行增强，定义为：

31、

32、从而获得，和，并对其进行拼接，送入卷积层得到当前模态肿瘤完整区域的特征表示，定义为：

33、

34、其中，代表拼接操作，，最后将送入的卷积层进行特征整合，并将不同模态的结果进行拼接，送入多头注意力层得到融合后的特征，定义为：

35、

36、其中，为卷积操作, 表示多头自注意力。

37、进一步地，所述步骤4中多专家集成的关键信息整合模块实现对肿瘤区域的识别与定位，由编码器和专家网络构成；

38、所述步骤4中多专家集成的关键信息整合模块中的编码器采用与编码器相同的结构；

39、所述步骤4中多专家集成的关键信息整合模块中的专家网络包括卷积层、softmax以及split操作；专家网络学习过程如下：

40、经过卷积、softmax和split后得到用于表示肿瘤不同区域类别的概率图,和，定义为：

41、

42、根据,和对肿瘤信息进行增强与整合，定义为：

43、

44、所述步骤4中多专家集成的关键信息整合模块实现过程如下：

45、将所有模态肿瘤图像拼接输入，的第个编码块输出结果记为，将送入第个专家网络来学习ncr/net、ed、et三个肿瘤区域的特征，得到为专家网络学习到的肿瘤关键特征。

46、进一步地，所述步骤5中，将步骤2中编码器不同阶段输出的特征与步骤4中对应的专家网络学习到的肿瘤关键特征融合后，采用跳跃连接，送到解码器，得到最终的分割结果，解码器采用unet的解码器；

47、在解码网络中，采用上采样操作将步骤3中得到的融合特征进行解码，其中，在解码过程中，首先对特征图进行上采样，得到采样后的特征图，然后解码网络将这些特征图与步骤4专家网络的输出的肿瘤关键特征进行融合，之后，将步骤2中编码器相同分辨率下的特征图拼接后通过跳越连接进行融合，最后，解码网络将拼接的特征图通过卷积进行融合，经过4次上采样操作后，得到与输入图像分辨率一致的分割结果图。

48、本发明的有益效果是：

49、1、本发明通过构建能表达肿瘤特定特征的原型，并利用该原型来实现肿瘤特征判别性的增强，克服了已有方法对肿瘤区域分类与定位的不准确性，解决了肿瘤区域相互包含所造成的信息混叠对性能的影响；

50、2、本发明通过在肿瘤特征中植入原型特征，并以此产生特征的激活图来凸显与原型类别一致的特征；

51、3、本发明通过在不同深度层上植入多专家网络来预测特征所属的类别概率，利用该预测结果实现相关特征的增强，并将该特征补充到解码器中，以辅助肿瘤区域的识别与定位，提升了分割性能；

52、4、本发明肿瘤原型驱动与多专家集成的肿瘤分割方法，通过一种信息交互机制，实现不同模态特征的相互传递，解决了单模态图像特征单一的问题，实现了肿瘤原型的构建；

53、5、本发明为有效利用网络不同深度层上的特征所表现出来的不同特性，利用原型驱动的特征表示与融合方法，通过嵌入肿瘤原型特征实现了对应特征判别性的增强，解决了无法有针对性地对肿瘤不同区域进行特征凸显的困难。

54、6、本发明多专家集成的关键特征整合方法，利用了不同网络深度上的特征来参与肿瘤区域的识别与定位，进一步改善了特征的判别性，提升了肿瘤分割结果的准确性。

55、7、实验结果表明，本发明提出的方法能有效分割肿瘤，比现有方法性能更好。