融合频域感知的医学图像中多器官分割方法、系统、设备

本发明属于医学检测领域，具体涉及一种融合频域感知的医学图像中多器官分割方法及对应的融合频域感知的多器官分割系统和设备。

背景技术：

1、随着医疗水平的提高，各类先进的医学诊断设备和仪器能够帮助医生对病患进行深层次的检查，发现很多无法人工诊断的早期疾病。这种新技术的发展也实现了与人们日益增长的健康意识和需求相适配。目前，基于各类医疗设备获取的医学影像已经成为医生进行辅助诊断和术前术后评估的主要手段。

2、在基于医学图像的诊断中，为了节省医生的精力，通过由计算机先进行辅助分析，在计算机辅助分析过程，医学图像分割是其中的一个关键步骤，医学图像分割是为了从包含多种器官的医学图像(如腹腔检查和胸腔检查的医学图像)中准确分辨出每一类器官，以便有针对性地对各个器官进行进一步的检查分析。医学图像中的器官分割的精确性能够为后续的分析和治疗奠定良好的基础。

3、医学图像分割是一项密集的预测任务，它对给定的医学图像(如ct、mri、内镜、oct等)中的器官或病变的像素进行分类。u-net及其变体因其更好的性能和复杂的体系结构而被广泛应用于医学图像分割任务中。其中，多器官的医学图像分割一直是医学图像中一项具有挑战性的任务。器官之间或器官与周围组织之间的边界纹理难以区分，其大小和形状因个体而迥异，在分割任务中经常存在相似器官间误分或者错分等现象。u-net是一种编码器-解码器架构，其中编码器的特征与解码器的上采样特征聚合，以产生高分辨率的分割图。随着计算机视觉的发展，resnet体系结构已被广泛采用作为医学图像分割的骨干。金字塔池和扩张卷积也用于病变和器官分割。

4、在此基础上，基于transformer的方法在医学图像分割中也取得了巨大的成功。因此，各种卷积和transformer的结合体被开发出来。例如transunet，它使用混合cnn转换器编码器来捕获远程依赖关系，并使用级联cnn上采样器作为解码器来捕获像素之间的局部上下文关系。例如swin-unet，这是一个基于swin transformer的纯变压器架构。swin-unet在编码器和解码器中都使用了变压器，这不会导致性能改进。

5、但是，现有的各类方法均依赖医学图像中空间域中的尺寸、颜色、纹理等特征实现器官分类和图像分割，这导致图像分割的精度非常容易受到医学图像质量的影响。另外，器官之间或器官与周围组织之间的边界纹理难以区分，大小、形状各异，错分、漏分现象普遍。例如，图1展示了在synapse数据集的腹部多器官医学图像上的部分典型分割案例，在腹部多器官中，由于左肾和右肾形状极为相似，采用目前一些流行的图像分割方法进行分割的时候，极容易出现将两者错认的现象(即：将左肾误认为右肾，将右肾误认为左肾)。此外，不同病患的生理特征差异也会影响到最终分割结果的精度，例如部分病患的器官因疾病或手术后发生占位改变，也会导致器官分割精度显著下降。

技术实现思路

1、为了解决现有技术医学图像分割技术在多器官分割场景下仍存在精度不足的问题，本发明提供一种融合频域感知的医学图像中多器官分割方法及对应的融合频域感知的多器官分割系统和设备。

2、本发明采用以下技术方案实现：

3、本实施例提供一种融合频域感知的医学图像中多器官分割方法，其用于对包含多个器官的医学图像中的各个器官进行识别和图像分割。其包括如下步骤：

4、s1：构建一个融合图像特征和频域感知的用于对医学图像中多个器官进行分割的图像分割网络，过程如下：

5、s11：设计一个采用pvt模块作为初始骨干的u型网络，u型网络中的编码器采用四层的pvt模块进行下采样，解码器采用四层pe模块进行上采样。

6、s12：在编码器中四层pvt模块构成分支以外增加一个由五层taf模块构成的特征融合分支，taf模块用于提取频域特征并将其与空间特征融合。

7、改进后的编码器将每一层的pvt模块提取的空间特征与上一层taf模块提取到频域特征交叉融合，并经n次迭代后传递到下一层taf。

8、s13：在解码器中增加3层sra模块，sra模块用于在相邻pe模块间对上采样结果添加相对位置编码后，再通过两层注意力计算得到细化后的特征；

9、改进后的解码器中的pe模块和taf模块各阶段的输出通过跳跃连接在通道上级联，然后输入到对应尺度的sra模块中处理；所述sra模块用于在传统注意力计算的基础上，引入相对位置编码和语义引导的相对位置嵌入。

10、s2：获取大量包含多个器官的医学图像样本，对每张医学图像样本中的器官进行人工标记，构成所需的数据集；并将数据集分为训练集和测试集。

11、s3：利用图像分割网络构建一个待训练的多器官分割模型。

12、多器官分割模型的输入为原始医学图像，输入的原始医学图像在多器官分割模型中分为两个分支，一路经过stem模块处理后输入到图像分割网络第一层的taf模块中，另一路经裁切、卷积和归一化处理后输入到图像分割网络第一层的pvt模块中。图像分割网络的解码器中的最后一层sra模块的输出经pe模块上采样后，再经分类头形成分类掩码，进而输出生成的器官分割结果。

13、s4：采用包含交叉输入损失和像素级约束损失的损失函数作为训练阶段的损失函数l，并采用训练集、测试集和验证集对多器官分割模型进行训练和测试。

14、s5：保存经过训练且验证最佳的多器官分割模型的模型参数，并利用该多器官分割模型对医学图像进行处理，实现对医学图像中的各个器官进行识别和分割。

15、作为本发明进一步的改进，步骤s1中构建的图像分割网络中的5个taf模块分别为taf1～taf5，其中，taf2～taf5模块中的数据处理过程如下：

16、(1)将上一层taf提取的融合特征tafi-1分成两路并进行3×3卷积处理。

17、(2)将上一层taf提取的空间特征pvti-1分成两路，一路进行3×3卷积处理，另一路经spectral transform模块处理。

18、(3)将3×3卷积处理后的tafi-1和pvti-1相加，然后经ln标准化处理后得到频域特征mi-1。

19、(4)将3×3卷积处理后的tafi-1和经spectral transform模块处理后的pvti-1相加；然后经ln标准化处理后得到空间特征ti-1。

20、(5)对从特征tafi-1到特征mi-1，以及从特征pvti-1到特征ti-1的两路特征变换过程迭代n次，然后对结果进行通道连接；

21、(6)将上步骤通道连接后的特征输入到前馈网络ffn中处理，得到下一层所需的融合特征tafi。

22、第一层的taf1模块中采用与taf2～taf5模块相同数据处理策略，区别在于：将stem模块输出的特征在通道上分为两等份，然后将二者经卷积处理后作为taf1模块所需的两个原始输入。

23、作为本发明进一步的改进，taf模块中的数据处理过程的表达式为：

24、

25、上式中，下标j表示迭代轮次，xi,j和xi,j+1分别表示迭代前后的上一层tafi-1模块的融合特征；yi,j和yi,j+1分别表示迭代前后的上一层pvt i-1模块的空间特征；tafi表示当前层的taf模块输出的融合特征；表示特征间的通道连接；conv3×3表示卷积处理；spect表示spectral transform模块的频谱变换处理；relu和gelu分别表示对应的激活函数；ln表示layernorm标准化，dwconv表示前馈网络ffn的处理；xi,n表示经过n轮迭代后的融合特征；yi,n表示经过n轮迭代后空间特征。

26、作为本发明进一步的改进，spectral transform模块中依次包括快速傅里叶变换层、卷积归一化激活函数层和反快速傅里叶变换层；在spectral transform模块中，原始特征图像首先被从空间域转换到频域，然后在频域中更新权重，最后再将权重更新后的频域特征转换回空间域。

27、作为本发明进一步的改进，图像特征在spectral transform模块的三个不同功能层中的尺度变换过程如下：

28、

29、上式中，rh×w×c表示原始输入的图像特征，其中，h、w、c分别表示特征图像的长度、宽度及维度；realfft2d表示快速傅里叶变换层；relu表示激活函数，bn表示批归一化；conv1×1表示卷积核为1的卷积操作；inverserealfft2d表示反快速傅里叶变换层。

30、作为本发明进一步的改进，步骤s1中构建的图像分割网络中的3个sra模块分别为sra1～sra3，sra模块由用于提取相对位置编码和相对位置嵌入的位置索引单元和自注意力机制构成；sra模块的数据处理过程如下：

31、(1)通过自注意力机制将原始特征向量线性转换到qkv空间，得到查询向量q、键向量k和值向量v。

32、(2)通过位置索引单元根据原始多尺度特征图像中像素在坐标层中的绝对位置，提取出一个二维的相对位置编码rpos和两个对应高度方向和宽度方向上的一维的相对位置索引rh和rw。

33、(3)利用相对位置索引rh和rw，以及查询向量q，通过下式计算得到两个对应高度和宽度方向上的基于语义引导的相对位置嵌入

34、

35、(4)根据两个相对位置嵌入和通过下式计算出一个一维的相对位置偏移量spos：

36、

37、(5)将获得的相对位置编码rpos和语义引导的相对位置嵌入视为相对位置信息，并在自注意力机制中将他们加入到qkt中，表达式如下：

38、

39、上式中，d为表征缩放比例的参数。

40、作为本发明进一步的改进，步骤s4中损失函数l的表达式如下：

41、

42、上式中，p表示分割结果中的标签值，表示原始图像中的人工标签；lce表示基于像素级约束的交叉熵损失；ldice表示用于语义分割问题的样本相似度损失；β和γ分别表示交叉熵损失和样本相似度损失的权重。

43、作为本发明进一步的改进，步骤s11中，编码器中的四层pvt模块采用中带有金字塔结构的transformer，每层pvt模块都对输入图像进行下采样处理，并进行注意力的计算。

44、解码器中的四层pe模块采用transformer中的patch expanding block，每层的pe模块分别对下一层的taf模块输入的融合特征进行上采样，上采样的结果输入到sra模块中处理，sra模块处理的结果再传递到上一层的pe模块中。

45、且/或

46、taf模块中的频域特征和空间特征的迭代次数均设置为2。

47、本发明还包括一种融合频域感知的多器官分割系统，其采用如前述的融合频域感知的医学图像中多器官分割方法，对包含多个器官的医学图像中的各个器官进行识别和图像分割。多器官分割系统包括：图像获取单元、预处理单元、图像分割网络和分类模块。

48、图像获取单元用于获取待分割的包含多个器官的原始医学图像。

49、预处理单元中包括第一预处理子单元和第二预处理子单元；第一预处理子单元采用stem模块将输入的原始医学图像经过一个步长为2的卷积下采样1/2后，经过1*1卷积分支和池化分支，并把2分支的输出concat，得到1/2的特征图。第二预处理子单元采用transformer常用的预处理方式，首先把原始输入图像根据预定的大小尺寸切块处理，然后根据切块后得到的patch，计算总数，根据总数设置卷积的卷积核大小，并对原始输入图像进行卷积处理，之后通过层归一化后，得到1/4的特征图。

50、图像分割网络采用如前述的融合频域感知的医学图像中多器官分割方法中的图像分割网络。图像分割网络由4个pvt模块、5个taf模块、4个pe模块和3个sra模块构成，为一个包含双分支编码器的u型网络。其中，4个pvt模块构成解码器骨干网络的空间域特征提取分支。5个taf模块构成解码器骨干网络中的频域特征提取分支，并在每个尺度上实现空域特征与频域特征的融合。4个pe模块构成解码器，每两个pe模块之间传递的特征图像经一个sra模块进行基于相对位置编码的语义相对位置嵌入以及注意力计算。第一预处理子单元和第二预处理子单元输出的预处理后的特征分别输入到所述图像分割网络中第一个taf模块和第一个pvt模块中。

51、分类模块，其用于获取图像分割网络中最后一个pe模块输出的上采样结果，并通过分类头形成分类掩码，进而生成按照器官进行图像分割后的医学图像。

52、本发明还包括一种融合频域感知的多器官分割设备，其包括存储器、处理器以及存储在存储器上并在处理器上运行的计算机程序。处理器执行计算机程序时，创建出如前述的融合频域感知的多器官分割系统，进而实现对输入的原始医学图像进行目标识别和图像分割，输出按照器官进行图像分割后的医学图像。

53、本发明提供的技术方案，具有如下有益效果：

54、本发明提出了一种基于融合频域额空间域的新型多器官分割网络，该网络模型中采用5个多尺度taf作为编码器中新增的频域特征提取分支，通过taf模块将提取到的频域特征与预训练的pvt模块提取的空间域特征融合。在taf模块中也使用了卷积层来更好地学习局部信息，进而使得编码器端能够同时学习局部信息和全局信息。

55、为了弥补频域位置的损失并考虑了器官之间的相对位置关系，本发明方案还在解码器端使用了三个sra(语义相对位置注意)模块。以在传统注意力计算的基础上，引入相对位置编码和语义引导的相对位置嵌入。

56、本发明借助频域和空间域特征的融合以及引入的相应的位置编码，最终实现了对具有丰富纹理细节的多器官医学图像进行精准分割，克服了现有方案的不足。