一种图像分割方法、系统及设备与流程

本发明涉及计算机视觉与图像分析领域，更具体地，涉及一种图像分割方法、系统、设备、计算机可读存储介质及其应用。

背景技术：

1、近年来，基于深度学习的医学图像分割任务也变得活跃起来。虽然在过去的研究中已经取得了许多有效的成果，但是依然存在一些问题。基于cnn的编码器-解码器结构在许多医学图像分割任务中发挥重要作用。但是由于医学图像数据的复杂性和特异性，往往会遇到许多困难。例如，目前脑胶质瘤的治疗方案主要是通过手术切除手段，并以放疗、化疗作为辅助手段来进行治疗，但是在术中极易出现因边界不清导致病灶难以切除干净的问题，造成术后容易复发，故精准地分割脑胶质瘤区域是关键的一步。然而，肿瘤区域分割主要是由专家手工判定，不但容易出错且易受分割者主观影响，耗费时间长并且花费昂贵。

2、目前，传统的编码器解码器结构缺乏对复杂医学影像数据的特征挖掘能力，且cnn容易忽略全局特征，无法实现高效准确的分割或分类识别。

技术实现思路

1、本技术的目的在于，针对上述问题本技术实施例提供一种图像分割方法、系统、设备、计算机可读存储介质及其应用，其旨在通过构建分割网络，有效解决对复杂医学图像数据的特征挖掘能力问题，发掘其在复杂图像中的自动分析能力和潜在应用价值。

2、根据本技术第一方面，本技术一实施例提供了一种图像分割方法，其包括：获取待分割图像；将所述待分割图像输入到分割网络中，得到分割预测结果，所述分割网络包括密集注意力模块、编码器模块和多尺度特征融合模块，所述密集注意力模块用于对所述图像进行特征提取得到高层语义特征，所述编码器模块用于对所述高层语义特征和所述图像进行特征映射得到不同尺度的全局特征，所述多尺度特征融合模块用于提取所述全局特征中的细粒度特征并融合所述全局特征，进而得到分割预测结果。

3、进一步，所述密集注意力模块通过密集连接和注意力机制构建，所述密集连接通过有限个卷积层、归一化层、激活层、池化层连接实现，所述注意力机制通过通道注意力和空间注意力联合控制；优选的，所述密集注意力模块的结构组成包括有限个密集连接模块、通道注意力模块、空间注意力模块。

4、进一步，所述密集连接模块由多个卷积块和卷积层组成，所述卷积块用于提取所述图像的特征，所述卷积层用于限制密集连接模块的特征输出通道数量。

5、再进一步，优选的，所述密集连接模块由3个卷积块和1个1×1的卷积层组成，通过设置参数k来逐步增加卷积核数量，3个卷积块进行特征映射的通道数变化为c+k，c+2k，c+3k，再由1×1的卷积层恢复至原始通道数量c，得到特征映射。

6、再进一步，可选的，所述卷积块由3×3的卷积层、bn和relu串联而成。

7、进一步，在一些优选的实施方案中，所述通道注意力模块、空间注意力模块按照通道注意力优先、空间注意力次之的顺序结构对所述特征映射进行特征学习，得到高层语义特征；其中，所述特征学习的过程如下公式所示：

8、f′＝ac(f)⊙f

9、f”＝as(f′)⊙f′

10、其中，⊙表示逐点素相乘操作，ac(*)代表计算经过通道注意力模块生成的通道注意力，as(*)代表计算经过空间注意力模块生成的空间注意力，f为特征映射，f′为f经过通道注意力加权的特征集，再将f′输入到空间注意力模块生成空间注意力，经过空间注意力加权输出得到f”，即高层语义特征。

11、进一步，所述密集注意力模块还包括将所述图像分割成固定大小的多个小块图像再进行特征提取得到高层语义特征。

12、优选的，所述密集注意力模块还包括将得到的高层语义特征进行目标分类。

13、进一步，通过所述编码器模块进行特征映射，得到不同尺度的全局特征。优选的，所述不同尺度的全局特征包括h*w，h/2*w/2，h/4*w/4，h/8*w/8。

14、再进一步，可选的，所述编码器模块基于下列结构中的任意一种或几种实现：vgg、segnet、transformer。

15、再进一步，优选的，所述编码器模块通过嵌入位置特征信息和多个transformer构建，每个transformer由多头注意力块和前馈网络组成，多个串联的transformer的第l层(l∈[1,2,…,l])输出的计算公式如下：

16、z′l＝mha(ln(zl-1))+zl-1

17、zl＝ffn(ln(z′l))+z′l

18、其中，ln(*)表示层归一化操作，zl是transformer第l层的输出，z′l是transformer第l-1层的输出，当l＝1时，zl-1为位置特征嵌入ftp∈rc×n，mha表示多头注意力块的操作，ffn为进行前馈网络操作。

19、进一步，在一些实施例中，所述多尺度特征融合模块通过添加多次卷积提取全局特征中的细粒度特征，然后通过注意力引导将提取的细粒度特征和所述全局特征进行融合，得到预测结果。

20、再进一步，所述多次卷积的过程包括：首先对所述全局特征进行上采样，接着进行卷积、激活和归一化组合运算，将运算结果与上一级特征拼接融合，重复上述操作直至特征分辨率恢复至原始图像分辨率，得到细粒度特征。其中，所述上采样包括下列方法中的任一种或几种：双线性插值、反池化和转置卷积。

21、再进一步，所述注意力引导的过程包括：通过添加通道注意力模块、空间注意力模块对提取的细粒度特征和所述全局特征进行融合解码得到感兴趣区域特征，再通过卷积和激活对所述感兴趣区域特征进行预测得到分割预测结果。

22、再进一步，所述注意力引导基于通道自注意力和空间自注意力融合解码的方式实现融合；可选的，所述融合解码通过下列模型中的任意一种或几种实现：深度自注意力模型、图谱特征注意神经网络、递归注意力卷积神经网络、lrr模型、attentionto scale、refinenet、pspnet、icnet、lcnet。

23、进一步，所述分割网络基于深度学习网络构建。可选的，所述深度学习网络包括下列模型中的任意一种或几种组合：cnn、swintransformer、mt-unet、halonet、point-bert、unet++、u-net3+、refinenet、deeplab。

24、进一步，在一些实施例中，所述分割网络的构建过程：

25、获取图像，对所述图像进行标注，得到训练样本；

26、基于所述深度学习网络模型将获取的图像输入到构建的密集注意力模块，得到高层语义特征；通过所述编码器模块对所述高层语义特征和所述图像进行特征映射，得到不同尺度的全局特征；再通过多尺度特征融合模块提取所述全局特征中的细粒度特征并融合所述全局特征，得到预测结果，计算所述预测结果和所述训练样本标注信息之间的损失值，根据损失值对深度学习网络模型进行训练并优化网络参数和网络结构，得到训练好的分割网络。

27、进一步，优选的，所述优化采用下列优化器中的任意一种或几种：adam、adamw、adagrad、lars、sgd、velo。

28、进一步，可选的，所述损失值通过下列损失函数的任意一种或几种计算得到：对数损失函数、kl散度函数、交叉熵损失函数、softmax损失函数、dice损失函数。

29、优选的，所述损失值的计算过程如下：

30、

31、

32、lloss＝α*ldice+β*lbce

33、其中，lbce为基于二分类交叉熵损失函数计算的损失值，ldice为基于dice损失函数计算的损失值，lloss为总的损失值，n表示输入数据的总像素数量，yi表示像素i的真实值，yi∈{0,1}，pi是分割网络对于像素i的预测结果，pi∈(0,1)，ε是平滑因子，α和β是平衡损失函数的权重系数。

34、再进一步，优选的，α＝0.5，β＝1.0，ε＝1。

35、再进一步，在一个具体实施例中，所述分割网络为adt-unet分割网络，其构建过程：获取图像，对所述图像进行标注，得到训练样本；基于所述深度学习网络模型将获取的图像输入到构建的多个串联的密集注意力模块，得到高层语义特征，然后将其输入到基于多层transformer结构构建的编码器模块，得到不同尺度的全局特征，再将其传递至基于多个串联的密集注意力模块构建的解码器，同时在解码器上采样过程中，通过添加多次卷积和注意力引导的多尺度特征融合模块进行图像的细粒度特征提取和特征融合，得到预测结果，计算所述预测结果和训练样本标注信息之间的损失值，根据损失值对深度学习网络模型进行训练并优化网络参数和网络结构，得到训练好的adt-unet分割网络。

36、优选的，所述多层transformer结构中添加了位置特征嵌入，通过直接相加的方法与输入序列相融合并产生位置特征嵌入ftp∈rc×n(n＝h×w)，即一个与输入序列长度一致的可学习向量，所述ftp的计算过程如下：

37、ftp＝ft+pe＝r(f)+pe

38、其中，r(*)表示进行特征维度转换操作，pe∈rc×n表示位置编码，ftp将被输入到多个串联的transformer，经过多个串联的transformer输出序列被重塑为fout∈rc×h×w，即不同尺度的全局特征，使其与输入的特征映射f具有相同的维度。

39、进一步，优选的，所述transformer的结构由多头注意力块和前馈网络组成。

40、再进一步，所述多个串联的transformer第l层(l∈[1,2,…,l])输出计算公式如下：

41、z′l＝mha(ln(zl-1))+zl-1

42、zl＝ffn(ln(z′l))+z′l

43、其中，ln(*)表示层归一化操作，mha表示多头注意力块的操作，ffn表示前馈网络操作，zl是transformer第l层的输出，z′l是transformer第l-1层的输出，当l＝1时，zl-1为位置特征嵌入ftp∈rc×n。

44、根据本技术第二方面，本技术一实施例提供了一种图像分割系统，其包括计算机程序，当所述计算机程序被执行时，实现所述方法。

45、进一步，所述系统的结构构成还包括：图像获取模块，用于获取待分割图像；分割预测模块，用于将待分割图像输入到分割网络中，得到分割预测结果。

46、进一步，所述分割网络包括密集注意力模块、编码器模块和多尺度特征融合模块，所述密集注意力模块用于对所述待分割图像进行特征提取得到高层语义特征，所述编码器模块用于对所述高层语义特征和所述待分割图像进行特征映射得到不同尺度的全局特征，所述多尺度特征融合模块用于提取所述全局特征中的细粒度特征并融合所述全局特征，进而得到分割预测结果。

47、进一步，所述密集注意力模块通过密集连接和注意力机制构建，所述密集连接通过有限个卷积层、归一化层、激活层、池化层连接实现，所述注意力机制通过通道注意力和空间注意力联合控制；优选的，所述密集注意力模块的结构组成包括有限个密集连接模块、通道注意力模块、空间注意力模块。

48、进一步，所述密集连接模块由多个卷积块和卷积层组成，所述卷积块用于提取所述图像的特征，所述卷积层用于限制密集连接模块的特征输出通道数量。

49、在一些优选的实施方案中，所述通道注意力模块、空间注意力模块按照通道注意力优先、空间注意力次之的顺序结构对所述特征映射进行特征学习，得到高层语义特征。

50、再进一步，所述密集注意力模块还包括将所述图像分割成固定大小的多个小块图像再进行特征提取得到高层语义特征。

51、进一步，所述多尺度特征融合模块通过添加多次卷积提取全局特征中的细粒度特征，然后通过注意力引导将提取的细粒度特征和所述全局特征进行融合，得到预测结果。

52、再进一步，所述多次卷积的过程包括：首先对所述全局特征进行上采样，接着进行卷积、激活和归一化组合运算，将运算结果与上一级特征拼接融合，重复上述操作直至特征分辨率恢复至原始图像分辨率，得到细粒度特征。其中，所述上采样包括下列方法中的任一种或几种：双线性插值、反池化和转置卷积。

53、再进一步，所述注意力引导的过程包括：通过添加通道注意力模块、空间注意力模块对提取的细粒度特征和所述全局特征进行融合解码得到感兴趣区域特征，再通过卷积和激活对所述感兴趣区域特征进行预测得到预测结果。

54、更进一步，所述注意力引导基于通道自注意力和空间自注意力融合解码的方式实现融合。其中，所述融合解码通过下列模型中的任意一种或几种实现：深度自注意力模型、图谱特征注意神经网络、递归注意力卷积神经网络、lrr模型、attention to scale、refinenet、pspnet、icnet、lcnet。

55、进一步，所述分割网络基于深度学习网络模型构建。可选的，所述深度学习网络模型包括下列模型中的任意一种或几种组合：cnn、swin transformer、mt-unet、halonet、point-bert、unet++、u-net3+、refinenet、deeplab。

56、在一些实施例中，所述分割网络的构建过程：获取训练样本图像以及标注信息，基于所述深度学习网络模型将获取的图像输入到构建的密集注意力模块，得到高层语义特征；通过所述编码器模块对所述高层语义特征和所述图像进行特征映射，得到不同尺度的全局特征；再通过多尺度特征融合模块提取所述全局特征中的细粒度特征并融合所述全局特征，得到预测结果，计算所述预测结果和所述训练样本标注信息之间的损失值，根据损失值对深度学习网络模型进行训练并优化网络参数和网络结构，得到训练好的分割网络。

57、进一步，所述优化采用下列优化器中的任意一种或几种实现：adam、adamw、adagrad、lars、sgd、velo；可选的，所述损失值通过下列损失函数的任意一种或几种计算得到：对数损失函数、kl散度函数、交叉熵损失函数、softmax损失函数、dice损失函数。

58、根据本技术的第三方面，本技术一实施例提供了一种计算机分析设备，其包括：存储器和/或处理器；所述存储器用于存储程序指令，所述处理器用于调用程序指令，当程序指令被执行时，根据上述方法实现分割网络的构建以及分割预测。

59、根据本技术的第四方面，本技术一实施例提供了一种计算机可读存储介质，其上存储有计算机程序，当计算机程序被处理器执行时，实现上述方法。

60、上述的设备或系统在对图像分割中进行智能预测分析的应用；

61、上述的设备或系统在图像特征挖掘中提供了新思路，并展示了通过密集连接以及通道自注意力和空间自注意力融合解码等构建分割网络有潜在指导意义；

62、上述的设备或系统在辅助肿瘤分割或分类分析提供更充分和精细化的支持；例如，脑胶质瘤区域的精确定位和分割是进行脑胶质瘤手术切除关键的一步，通过分割网络实现肿瘤区域分割，为手术切除提供更智能化的支持。

63、本发明涉及一种分割网络，用于完成复杂医学图像数据的分割任务。该分割网络包括密集注意力模块、编码器模块和多尺度特征融合模块，其中，密集连接的存在使得网络的信息流通能力大大增加，分割网络按照通道注意力优先、空间注意力次之的注意力引导方式构建，并且通过位置特征嵌入和多次卷积来提升特征挖掘能力。本发明可以有效地完成复杂医学图像数据的分割任务，具有很强的创新性，对医学图像数据的分析产生有益的推动作用。

64、本技术的优点：

65、1.本技术创新性的通过构建的有限个密集注意力模块、编码器模块和多尺度特征融合模块构建分割网络，以完成复杂医学图像数据的分割任务，所述分割网络按照通道注意力优先、空间注意力次之的注意力引导构建，通过构建的分割网络提取高层语义特征和多尺度全局特征，同时通过位置特征嵌入并经过多次卷积挖掘细粒度特征，客观地提高了数据分析的精度和深度；

66、2.本技术创新性的通过构建的密集注意力模块提升特征挖掘能力，所述密集注意力模块通过密集连接和通道注意力和空间注意力双重引导的注意力机制构建，密集连接的存在使得网络的信息流通能力大大增加，双重引导得到的高层语义特征能够大力提升分割网络的特征挖掘能力；另外，构建的所述密集注意力模块还包括将得到的高层语义特征进行目标分类任务，时效明显；

67、3.本技术创造性的公开了结合全局上下文信息和细粒度特征信息进行图像分割，基于多个串联的transformer构建编码器模块能够提取全局上下文信息；在分割网络的上采样过程中，提出注意力引导的所述特征融合模块能够挖掘特征的空间细节信息，即图像像素的细粒度特征，有效提升分割的准确性、全面性，使得本技术在应用于与影像数据有关疾病发生发展的辅助分析方面更有利。