基于精细化全局注意力机制图像特征提取方法和分割方法

本申请涉及图像分割，尤其涉及医学图像分割。

背景技术：

1、自2015年引入用于医学图像分割的u-net以来，已经提出了许多基于编码器-解码器架构的变体模型。研究者们通过重新设计跳跃连接，合并残差/密集卷积块，注意力机制等来改进它。

2、为了更加充分的利用医学图像中提供的信息，提高医学图像分割的准确率，并且不明显增加参数量，科研人员想到了在神经网络中引入当下备受关注的注意力机制。注意力机制简单来讲，就是模仿人类视觉系统这一性质，告诉神经网络要重点注意什么和重点注意图片的哪里。这样可以更好的利用图片中包含的语义信息，是一种比较新颖，对网络的性能有相当提升作用的方法。因此，在用于医学图像分割的基础网络模型中引入注意力机制获得了与医学图像处理有关的计算机视觉领域越来越多科研学者的关注。

3、注意力机制一般可以分为两大类：（1）通道注意力机制；（2）空间注意力机制。通道注意力机制可以看作一种通道区域的自适应校准机制，它告诉网络要注意什么。空间注意力机制可以看作一种空间区域选择机制，它告诉网络要注意哪里。注意力机制在医学图像分割领域的有效性已经被证实。虽然目前很多的医学图像分割方法都使用到了注意力机制，但目前即插即用的注意力机制对于通道注意力和空间注意力的提取还存在对于特征的提取不充分，参数量过多等问题。

技术实现思路

1、本发明目的是为了解决现有图像分割的神经网络中注意力机制对于特征的提取不充分以及参数量过多的问题，提供了基于精细化全局注意力机制的图像特征提取方法、分割方法、设备、存储介质和产品。

2、本发明是通过以下技术方案实现的，本发明一方面，提供一种基于精细化全局注意力机制的图像特征提取方法，所述方法包括：

3、获取卷积神经网络生成的特征图；

4、利用精细化全局注意力机制对所述特征图进行特征提取，所述精细化全局注意力机制，具体包括：

5、精细化通道注意力机制，对特征图进行具有不同空洞大小的空洞卷积，所述不同空洞大小的空洞卷积共享权重；

6、将深度可分离卷积中的逐通道卷积与空洞卷积结合，每一个空洞卷积核只对一个通道的特征进行计算，获取图像特征，再根据所述图像特征，获取精细化通道注意力；

7、精细化空间注意力机制，将特征图切分成若干组，每组分别计算注意力权重，获取精细化空间注意力；

8、将所述精细化通道注意力与所述精细化空间注意力进行点乘，得到精细化全局注意力。

9、进一步地，所述对特征图进行具有不同空洞大小的空洞卷积，所述不同空洞大小的空洞卷积共享权重，具体包括：

10、对特征图进行空洞大小为1，2，4的逐通道空洞卷积，卷积核大小均为，步长为1，并且三个逐通道空洞卷积共享权重。

11、进一步地，所述将深度可分离卷积中的逐通道卷积与空洞卷积结合，每一个空洞卷积核只对一个通道的特征进行计算，获取图像特征，再根据所述图像特征，获取精细化通道注意力，具体包括：

12、将使用不同空洞大小的空洞卷积操作后输出的若干个特征图逐元素加和，对所述加和结果再进行一次逐通道卷积融合不同尺度的特征，再经过全局平均池化、全连接层压缩特征通道数量、全连接层还原通道数量和sigmoid函数非线性激活，获取精细化通道注意力。

13、进一步地，所述精细化通道注意力的计算公式为：

14、

15、其中，设一个特征图为，其中w表示宽度，h表示高度，c表示通道维度；表示sigmoid函数；和分别表示两个全连接层，前者用来压缩特征通道数量，后者用来还原通道数量；

16、表示对每一个通道做全局平均池化；

17、表示对x进行特征浓缩操作，其公式为：

18、

19、其中，表示步长为1，卷积核大小为的逐通道空洞卷积，空洞大小为表示步长为2，卷积核大小为的逐通道卷积。

20、进一步地，所述将特征图切分成若干组，具体包括：

21、将特征图平均切分成若干通道数量相同的组。

22、进一步地，所述每组分别计算注意力权重，具体包括：

23、对每一组特征图采取沿通道平均池化，将每一组池化后得到的特征图都沿高度h和宽度w方向分别计算一维注意力，再将计算得到的注意力权重进行点乘，得到的二维空间注意力。

24、第二方面，本发明提供一种基于精细化全局注意力机制的图像分割方法，所述方法包括：

25、获取目标图像；

26、利用基于精细化全局注意力机制的神经网络，对所述目标图像进行分割，其中，所述基于精细化全局注意力机制的神经网络具体包括：

27、以u-net网络作为骨干网络，并将如上文所述的一种基于精细化全局注意力机制的图像特征提取方法中的精细化全局注意力机制添加在所述u-net网络的跳跃连接处。

28、第三方面，本发明提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时执行如上文所述的一种基于精细化全局注意力机制的图像特征提取方法的步骤。

29、第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质中存储有多条计算机指令，所述多条计算机指令用于使计算机执行如上文所述的一种基于精细化全局注意力机制的图像特征提取方法。

30、第五方面，本发明提供一种计算机程序产品，所述计算机程序被处理器执行时实现如上文所述的一种基于精细化全局注意力机制的图像特征提取方法。

31、本发明的有益效果：

32、综上，本发明针对现有技术中存在的问题进行了优化改进，提出了一种用于医学图像分割的精细化全局注意力机制。

33、首先，在通道注意力中引入空洞卷积以充分提取利用图像的特征信息，引入深度可分离卷积和空洞卷积核的共享权重以减少参数量。由于只需要浓缩每一层通道的特征，因此将深度可分离卷积中的逐通道卷积与空洞卷积结合，使得每一次卷积操作只需要在一个通道上进行计算，而无需作用于整个特征图，这样大大减少了参数量。在进行特征浓缩时引入了具有不同空洞大小的空洞卷积，以增大感受野，对每一个通道的特征进行更充分的提取。

34、其次，在空间注意力中对原先单纯使用卷积计算的特征图进行分组计算，并在最后计算注意力权重时采用senet的处理方法，以得到更精细化注意力权重。每一组生成的注意力图只对各自组进行权重赋予，从而缓解了不同通道同一位置权重需求不同的问题。

35、最后将精细化通道注意力与精细化空间注意力进行点乘，得到精细化全局注意力模块。

36、本发明适用于医学图像的特征提取，提取的特征用于医学图像分割，提高医学图像分割的准确率。

技术特征：

1.一种基于精细化全局注意力机制的图像特征提取方法，其特征在于，所述方法包括：

2.根据权利要求1所述的一种基于精细化全局注意力机制的图像特征提取方法，其特征在于，所述对特征图进行具有不同空洞大小的空洞卷积，所述不同空洞大小的空洞卷积共享权重，具体包括：

3.根据权利要求2所述的一种基于精细化全局注意力机制的图像特征提取方法，其特征在于，所述将深度可分离卷积中的逐通道卷积与空洞卷积结合，每一个空洞卷积核只对一个通道的特征进行计算，获取图像特征，再根据所述图像特征，获取精细化通道注意力，具体包括：

4.根据权利要求3所述的一种基于精细化全局注意力机制的图像特征提取方法，其特征在于，所述精细化通道注意力的计算公式为：

5.根据权利要求1所述的一种基于精细化全局注意力机制的图像特征提取方法，其特征在于，所述将特征图切分成若干组，具体包括：

6.根据权利要求1所述的一种基于精细化全局注意力机制的图像特征提取方法，其特征在于，所述每组分别计算注意力权重，具体包括：

7.一种基于精细化全局注意力机制的图像分割方法，其特征在于，所述方法包括：

8.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，当所述处理器运行所述存储器存储的计算机程序时执行权利要求1至6中任一项所述的方法的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有多条计算机指令，所述多条计算机指令用于使计算机执行权利要求1至6中任一项所述的方法。

10.一种计算机程序产品，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法。

技术总结
基于精细化全局注意力机制图像特征提取方法和分割方法，属于图像分割技术领域，解决图像分割的神经网络中注意力机制对于特征的提取不充分以及参数量过多问题。本发明的方法包括：在计算精细化通道注意力时，在进行特征浓缩时引入了具有不同空洞大小的空洞卷积；将不同空洞大小的空洞卷积共享权重；将深度可分离卷积中的逐通道卷积与空洞卷积结合，使得每一次卷积操作只需要在一个通道上进行计算；在计算精细化空间注意力时，将特征图进行了分组，每一组分别计算注意力权重，最后每一组都能得到一个注意力图。每一组生成的注意力图只对各自组进行权重赋予。本发明适用于医学图像的特征提取和分割。

技术研发人员：刘萍萍,代创业,宁港军,商文理,周求湛
受保护的技术使用者：吉林大学
技术研发日：
技术公布日：2024/1/13