一种基于分散注意力的SwinUnet变体医学图像分割方法

本发明属于图像分割，涉及到一种基于分散注意力的swin unet变体医学图像分割方法。

背景技术：

1、医学图像是医学领域中广泛使用的一种技术，它可以为医生和临床医学专家提供有关疾病的重要信息，帮助他们制定准确的诊断和治疗计划。医学图像可以来自多种来源，包括mri、ct、x光和超声等成像技术，以及组织样本的显微镜图像等。这些图像可以提供关于肿瘤、病变和损伤等疾病的结构和功能信息，支持医生诊断和治疗的决策。医学图像的应用领域广泛，包括癌症、心血管疾病、神经系统疾病等多种疾病的诊断和治疗。传统的医学图像的处理方法通常是医学专家手动分析，所以图像的处理结果与医学专家的经验是息息相关的。而现代的医学图像分析不仅能够准确的处理医学图像，而且耗时很少，给医学专家提供了极大的便利。除了传统的手动分析外，现代医学图像通常利用计算机视觉和机器学习等技术进行自动化分析，以提高诊断的准确性和效率。其中计算机辅助诊断得到了临床医学的高度重视，其主要依赖于医学图像分割技术的支持。稳定且准确的医学图像分割算法对于帮助医生实时的监控疾病以及后续的治疗起到不可忽略的作用。

2、现今，医学图像分割已经成为计算机视觉的主要挑战之一。与图像分类和检测任务不同，图像分割的目的是将图像的指定部分从背景中分离出来，能够为患者提供更加准确的，更加详细的病理分析。

3、近年来，随着深度学习技术的发展，基于深度神经网络的生物医学图像分割方法取得了很大的进展。例如，u-net模型采用对称的编码器-解码器结构，通过跳跃连接实现特征图的传输，可以有效地解决分割过程中信息丢失的问题。掩码局域卷积神经网络(maskr-cnn)将快速区域卷积神经网络(faster r-cnn)目标检测其与全卷积网络结合，实现了同时进行目标检测和分割的功能。此外，一些改进的网络结构也被提出，如稠密连接网络(densenet)和残差网络(resnet)，这些网络在分割任务中展现出更好的性能和鲁棒性。但是，这些网络结构虽然在分割任务中体现优秀的成果，但是卷积层的局部性限制了这些网络捕获形状和结构信息的表示能力，这对医学图像分割至关重要。为了解决这些局限性，基于transformer的各种网络结构随之提出，例如vit(vision transformer)和swin unet通过多头自注意机制，这使得网络能够捕获长期依赖关系。

4、基于以上内容，在医学图像上准确分割出目标区域仍然是一项具有挑战性的任务：1.医学图像的过程：医学图像在分割过程上还存在着一定的难度，尤其在提取图像特征时会比提取普通的rgb图片要困难，因为医学图像往往会受到诸如噪声，模糊，对比度低等问题，此外病灶区域的形状和大小的不同也会对分割的结果有着影响；2.医学图像的获取：医学图像不像自然图像，关联着患者信息，造成数据安全是医院的大忌。因此想通过正常途径拿到医院的医学图像数据是非常困难。此外，想拿到有专业人员的图像标注也非常困难。而与诊断相关的内容还要搭配临床数据，影像-临床数据打通难度更高。3.医学图像的标注：在获取数据的基础上，深度学习结合先验知识对模型进行训练，训练集需要事先标注。由于大多数标注依赖人工识别，因此数据标注将耗费较大量人力和时间，在医疗影像领域获取具有高可靠性的标注数据也成为挑战之一。

技术实现思路

1、本发明的目的就是提供一种基于分离注意力的swin unet变体医学图像分割方法，用于准确分割医学图像中的病灶部分。

2、本发明具体实现步骤如下：

3、步骤一、对医学图像的数据进行预处理和增强：

4、收集医学图像，对这些图像进行预处理，扩大样本数量，并对样本图像进行归一化处理；

5、步骤二、构建分割模型sasunet：

6、基于u-net的编码器-解码器结构构建分割模型sasunet，分割模型sasunet包括编码器、解码器和跳过交叉连接模块scca。

7、编码器部分为swin unet中的编码器部分，解码器部分包括分散注意力模块csa。

8、在编码器中：

9、将输入的医学图像分割成非重叠的补丁块，之后每个补丁块被传递到线性嵌入层，在线性嵌入层经过处理得到新的嵌入特征表示。线性嵌入层的输出通过多个连续的swin transformer块处理后，将补丁的特征信息输入补丁合并层。

10、补丁合并层连接相邻的补丁，通过补丁合并层中线性层将相邻补丁的特征信息整合在一起，将补丁的数量减少一半，并将通道维度扩大为原来的两倍；补丁合并层的输出通过多个连续的swin transformer块。

11、swin transformer块的作用是将输入的特征图转换为更高级别的特征表示，从而使模型更好地理解输入数据。通过四次补丁合并层+swin transformer块的处理，逐渐提取出输入图像中的高级别特征，增加模型的深度和宽度使模型具有更强的表示能力和更好的泛化性能；有效的减少计算复杂度，提高模型的效率和速度。用于更好地处理大尺度的图像，从而提高图像分割的准确性和效率。

12、swin transformer块包括归一化层ln、基于窗口的多头自注意力模块w-msa、位移的基于窗口的多头自注意力模块sw-msa，残差连接和具有激活函数gelu非线性的双层多层感知机层mlp。其计算公式如下：

13、

14、

15、其中，和zl分别表示第l层w-msa和mlp的输出；和zl+1分别表示第l+1层sw-msa和mlp的输出；

16、w-msa和sm-msa的自注意力计算为：其中，表示查询、键和值矩阵；m2和d分别代表窗口的补丁块数和查询矩阵或键矩阵的维度；b的值取自偏置矩阵

17、解码器块包括多个分散注意力块csa和连接层，连接层与补丁合并层对应设置，每个补丁合并层的输出特征经多个连续的swin transformer块处理后，通过跳过交叉连接模块scca转发给对应的连接层。

18、在解码器中：

19、每个连接层的输出特征x1均作为下一级csa块的输入特征，编码器最后一个swintransformer块的输出特征作为解码器第一个连接层的输入特征。

20、csa块的输出特征通过连接层与对应跳过交叉连接模块scca的输出特征连接后作为下一个csa块的输入特征，最后一个csa块的输出特征经过一层1*1conv卷积和激活函数sigmoid转换为二进制分割掩模，这个掩模用于与标注数据进行比较，从而计算损失并更新模型参数。

21、所述的跳过交叉连接模块scca交叉参与编码器和解码器的特征，以更有效地保存底层特征，帮助模型更好地感知和捕捉重要特征，从而提高医学图像分割的准确性和鲁棒性。

22、跳过交叉连接模块scca应用了有效注意机制，查询向量的输入为每个跳过连接模块转发的多个连续的swin transformer块的输出x2。

23、将每个连接层的输出特征x1通过csa块内的线性层缩放到与对应跳过连接模块转发的多个连续swin transformer块的输出x2相同的嵌入维度的向量x′1。将x′1映射到键向量和值向量的子空间，计算出像素点的键向量和值向量的权重dk和dv，而x2映射到查询向量q的子空间，计算出像素点的查询向量的权重dq。

24、然后，将值向量k代表的权重向量dk和查询向量q代表的权重向量dq进行点乘操作得到全局上下文向量g:dq*dk；

25、最后全局上下文向量g与键向量v代表的权重向量dv进行点乘操作得到输出向量e。

26、所述的csa模块通过设置两个特征组，以减少整个网络的参数数量。

27、通过将输入特征通过1×1卷积后，分为两组：一组为，另一组为f2，两组特征均经过一次3×3卷积；f2的输出特征图将与f1的结果结合，再进行一次3×3卷积，接收来自两个分裂组的语义信息，扩大网络的接受场，从而具有更强的从特征图中提取全局和局部信息的能力。

28、将经上述处理的输入特征通过全局平均池化生成的通道统计信息收集全局空间信息：通过空间维度压缩转换输出和通过计算得到的第c个分量，其中第c个分量是基于信道软注意，通过分割加权组合捕获特征图中的关键信息。

29、最后将得到的向量加权结果进行残差连接，并进行规范化和激活操作，得到输出特征图。步骤三、设置训练策略和损失函数，对模型进行训练；

30、将经过预处理的数据集划分为训练集、测试集和验证集；使用dice损失和bce损失的组合来训练所有模型，同时采用正则化策略防止过拟合；sasunet网络模型中使用反向传播算法对网络中的权重和偏置进行更新；训练迭代过程中利用损失函数进行参数的更新；

31、步骤四、验证已训练好的网络模型：

32、将已经分割好的验证集输入训练好的分割模型sascaunet，经过模型的分割后将医学图像中的病变部分分割出，将分割好的图像与专家判断的病变区域进行对比评估，对网络模型进行验证。

33、步骤五、将任意医学图像输入至验证合格的模型中，分割出病灶部分。

34、本发明采用以上技术方案与现有技术相比，具有以下技术效果：

35、本发明有效的结合swin unet和cnn，将transformer能远程依赖捕捉全局信息的功能与cnn能捕捉更加详细的局部信息的功能进行结合，以增强传统编码器-解码器架构的功能性和灵活性，并应用到了医学图像分割领域，实现了将病灶部分从医学图像中自动分割。

36、本发明的编码器部分应用了swin unet部分。其中swin-unet的多尺度表示增强了特征的表示能力，但在此过程中空间上下文仍然受到限制。为了增强sasunet的多尺度表示，构建了一个具有注意机制的多分支特征组的分散注意力模块csa。csa块主要有两个组，每个组由不同数量的卷积组成，并使用注意力机制突出有意义的特征。因此，csa块可以组合不同接收野的特征图以输出具有不同接受域大小组合的特征映射。

37、使用跳过连接模块scca通过应用有效注意力机制来保存更多更有效的底层特征，为解码器提供更多、更有效的空间信息，以便它可以在生成输出掩码时恢复细粒度的细节；在医学图像中，病灶区域可能具有边界不规则和不连续的形状，因此生成的医学分割图像可能会出现模糊和对比度低的问题。而图像的空间信息是病灶区域代表性特征的重要信息，因此是使用跳过连接模块以提取更多、更有效的空间信息。