一种多尺度通道型交叉注意力特征融合的轻量化图像分割方法

本发明属于计算机视觉领域，具体涉及一种多尺度通道型交叉注意力特征融合的轻量化图像分割方法。

背景技术：

1、随着深度学习的技术不断发展，计算机视觉领域已经渗透的生活的各个行业。在临床疾病诊断中，使用计算机视觉可以辅助医生更加精准的分析病情。由于病变区域的形状、大小具有不确定性，部分病变区域与背景之间的对比度低，以及其他干扰物会影响分割的精准度。所以，研究出更加精准的图像分割模型是具有深刻意义的。

2、在医学图像分割领域中，ronneberger等人提出的u-net网络，其编码器-解码器结构在有医学图像分割中获得首批成功，并在接下来的几年中引起了极大的关注。随后还提出了其他具有编码器-解码器结构的网络(如unet++、unet3+、resunet++等)。为例解决cnn在特征提取中获取全局上下文信息的局限性，transformer在各种计算机视觉任务中运用，医学图像分割也从中受益。

3、在医学图像分割的在近几年的研究中，具有巨大的突破。2022年，吴惠思等人提出pat-net网络在皮肤镜分割中表现显著，该模型是cnn和transformer的双编码器,跳过连接中嵌入三个特征适应模块(fam基本组成是一个3×3卷积和一个1×1卷积的跳跃连接),解码器前加入挤压和激励(squeeze&excitation)模块,解码器由卷积层组成。该模型的优点是双编码器有效地捕获远程依赖关系和全局上下文信息。同时具有内存高效的特征自适应模块，通过激活有效信道和抑制无关背景噪声来增强邻接级特征之间的特征融合。同年，河北大学的冯凯丽等人提出slt-net,该模型使用cswinunet作为编解码来建模特征之间的长距离依赖性，使用多尺度上下文转换器(mct)作为跳跃连接来实现通道维度上跨级别的跳跃连接之间的信息交换。由于自注意机制在远距离信息处理中的能力，弥补了卷积运算中感受野有限的缺点，并在通道和空间维度上提高网络的表现和筛选。以上的图像分割模型虽然在分割精度上表现出优秀的性能，但是计算量过于庞大。

4、对于上述的问题，本医学图像分割模型使用特征通道型交叉融合transformer可以计算不同尺度特征的全局元素之间的相关性，星型窗口自注意力机制可以在有效减少计算量基础上，从全局把握图像信息，sk attention可以有效增强关键信息，从而提高分割精度。在分割精度变化不大的情况下，减少计算量。

技术实现思路

1、为了解决传统医学影像分割中对图像上下文信息的联系足和注意力计算的计算量庞大的问题，提供一种多尺度通道型交叉注意力特征融合的轻量化图像分割方法，本发明采用如下技术方案：

2、.本发明提供了一种多尺度通道型交叉注意力特征融合的轻量化图像分割方法，其特征在于，包括如下步骤：步骤s1，医学图像依次进行旋转、翻转和均一化数据预处理；步骤s2，图像经过以cnn为基础连续下采样的编码器，并加入星型窗口自注意力机制，得到不同尺度的特征图t1、t2、t3、t4；步骤s3，不同尺度的特征图经过通道交叉融合transformer的跳跃阶段得到四个特征融合后的特征图o1、o2、o3、o4；步骤s4，特征图和特征融合后的特征图o1、o2、o3、o4拼接后经过以cnn为基础的特征解码器，同时经过sk attention模块；经过特征解码，最后得到分割后的图片。

3、本发明提供了一种多尺度通道型交叉注意力特征融合的轻量化图像分割方法，还可以具有这样的技术特征，以cnn为基础的连续下采样的编码器，其中含有星型窗口自注意力机制。

4、编码器由resnet-50作为cnn分支主干，原图片的尺寸为448×448，经过四次下采样得到四个不同尺寸的特征图，分别为224×224(t1)、112×112(t2)、56×56、28×28。其中56×56和28×28的特征图通过星型窗口自注意力机制之后得到t3和t4。星型窗口自注意力中，星型窗口自注意力机制中计算公式为：

5、

6、

7、上式中，输入特征图为zl-1，通过layernorm层和start-shaped window self-attention的输出与zl-1特征相加得到之后再通过layernorm层和多层感知器(mlp)层得到的与相加得到zl。start-shaped window self-attention(ssw-msa)是具有移动窗口的msa层。其中注意力计算公式为：

8、

9、上式中，q，k，v是输入特征分别乘以三个矩阵得到的，q表示要查询的信息，k表示被查询的信息，v表示查询得到的值，d表示特征划分区域的数量和通道维度，b中的值来自偏置矩阵。

10、ssw-msa将特征图分为h1…hk/4，hk/4+1…hk/4，hk/2+1…h3k/4，h3k/4+1…hk四组，其中hi，i＝1,2,3…k表示特征图的第i层通道特征图，k表示该特征图的通道维度。第一组对中间竖条部分进行注意计算，第二组对左对角线条纹进行注意计算，第三组对左对角线条纹进行注意计算，第四组对中间横条部分进行注意力计算；计算结束时，将四组并行计算的结果串联输出。通过编码器对样本医学影像进行四次编码输出四种不同尺度的样本影像特征。四组样本影像特征的通道维度分别为64、128、256、512，其特征尺度分别为224、112、56、28。经过不同次数编码层的四种不同尺度的样本影像特征图，标记为ti，i＝1、2、3、4。

11、本发明提供的一种多尺度通道型交叉注意力特征融合的轻量化图像分割方法，还可以具有这样的技术特征，步骤s3中，对于不同尺度的特征图经过通道交叉融合transformer的跳跃阶段得到四个特征融合后的四个图像特征标记为oi，i＝1、2、3、4。通道交叉融合transformer的跳跃阶段包括三个步骤：多尺度特征嵌入、多头通道交叉注意计算和多层感知器(mlp)。其中ti，i＝1、2、3、4，首先将特征图根据它们的通道尺寸进行拼接，计算公式如下：

12、qi＝tiwqi

13、k＝t∑wk

14、v＝t∑wk

15、上式中，，qi表示要查询的信息，k表示被查询的信息，v表示查询得到的值，qi，i＝1，2，3，4，k，v进行多头注意力计算，计算公式如下：

16、

17、上式中，cai，i＝1,2,3,4表示计算得出的单个通道交叉注意力，ψ(.)表示实例归一化函数，表示softmax函数，多头注意力计算公式如下：

18、

19、上式中，n表示多头注意力计算中头的数量；mcai，i＝1,2,34表示多头注意力计算后的结果。

20、最后经过layernorm层和多层感知器(mlp)层得到最后的特征图，公式如下：

21、oi＝mcai+mlp(ln(qi+mcai))

22、上式中oi，i＝1,2,3,4表示跳跃阶段的输出。

23、本发明提供的一种多尺度通道型交叉注意力特征融合的轻量化图像分割方法还可以具有这样的技术特征，步骤s4中，sk attention中，sk是selective kernel的缩写，表示选择融合不同尺度大小的卷积核。sk attention由split、fuse和select三部分组成。将c×h×w的特征图输入sk attention模块中，在split部分分别对输入图像进行3×3和5×5的卷积操作，得到u1和u2两个特征图，将两个特征相加得到特征图u。在fuse部分，先对特征图u进行全局平均池化，得到c×1×1的特征向量sc，然后经过batch normalization和relu激活函数得到特征图z，最后通过softmax进行归一化，生成每个通道的权重特征向量a和特征向量b。最后select部分对fuse操作生成的尺度权重，动态的选择并融合不同的尺度特征，计算公式如下：

24、u＝u1+u2

25、

26、z＝relu(bn(sc))

27、

28、上式中，u1，u2，u表示特征图，sc表示全局平均池化后的特征向量，bg表示batchnormalization的简称，表示softmax函数。