融合混合注意力机制的肠息肉分割方法、系统及介质

本发明涉及医学图像机器视觉处理，具体涉及一种融合混合注意力机制的肠息肉分割方法、系统及介质。

背景技术：

1、当今社会，肠癌是胃肠道常见的恶性肿瘤疾病，是全球三大癌症之一，已成为威胁人类生命健康的主要杀手。大部分的肠癌主要是由肠息肉演变而来，而肠息肉是在肠黏膜表面异常生长的组织，因此，在肠癌的早期诊断和治疗的过程中，肠息肉的准确分割起着至关重要的作用。目前，内窥镜图像是肠息肉检测的主要方式之一。然而肠息肉表面模糊、边界不清晰、形状不规则等以及肠息肉个体的差异较大，使得肠息肉的准确分割带来了巨大的挑战。

2、传统的肠息肉分割方法很大程度上取决于临床医生的技术水平，手动提取肠息肉的大小、颜色等特征，即使是丰富经验的临床医生也会遗漏一些不明显的肠息肉。因此，这种方法不仅费时费力，而且肠息肉的分割精度较低。

3、目前基于深度学习的分割方法在一定程度上提高了肠息肉的分割精度且释放了人力和物力，如基于transformer的方法广泛应用在医学图像分割任务中，获得了令人满意的分割性能。然而，这种方法过于依赖于大量带有标签的数据，数据集样本大小较小是医学图像数据的特点之一，导致在医学图像处理领域中很难得到满足。

4、综上，现有技术存在分割精度低、依赖大量带有标签数据集的技术问题。

技术实现思路

1、本发明提出的一种融合混合注意力机制的肠息肉分割方法、系统及设备，可至少解决背景技术中的技术问题之一。

2、为实现上述目的，本发明采用了以下技术方案：

3、一种融合混合注意力机制的肠息肉分割方法，包括以下步骤，

4、s1、收集多种类型基于内窥镜下的肠息肉图像作为初始数据构成数据集，随后进行数据增强和自适应阈值的肠息肉目标区域提取，按照1:3的数据量组成测试集和训练集；

5、s2、基于标准的transformer模块构建多种注意力机制融合的神经网络模块，其中，注意力机制包括：门控轴向注意力机制模块、滑动窗口注意力机制模块和旁路注意力机制模块，所述的门控轴向注意力机制模块由一个在高度轴上的注意力计算和一个在宽度轴上的注意力计算构成；滑动窗口注意力机制模块由两个连续的swin-transformer模块构成，其中第一个swin-transformer模块由window的多头注意力机制层和多层增强感知机层组成，所述的window的多头注意力机制层和多层增强感知机层均使用残差连接，多层增强感知机层使用了深度卷积网络。第二个swin-transformer模块由sw-transformer模块和多层增强感知机层组成，它们也均使用了残差连接；卷积自注意力机制模块，将旁路卷积引入transformer模块中，所述模块包括旁路卷积模块、msa模块和前馈网络模块，通过残差连接共同组成；

6、s3、构建一个融合的神经网络，所述的融合的神经网络包括特征令牌金字塔模块、全局特征提取模块、特征注入模块和多尺度融合模块；所述的融合的神经网络输入为基于内窥镜的肠息肉图像，输出为相对应的肠息肉图像中目标区域的分割结果图；肠息肉图像的输入分为两路，第一路输入到特征令牌金字塔模块，第二路输入到全局特征提取模块，随后将第一路得到的特征通过语义注入模块进行特征融合，再通过多尺度融合模块获取从元素角度对所有尺度特征令牌进行融合的特征，第二路得到的全局特征与多尺度融合模块输出的特征一起输入到上采样的解码器模块完成解码，得到最终的分割结果；

7、s4、利用训练样本训练所述的肠息肉分割神经网络，并优化网络参数，确定网络参数以得到最佳肠息肉分割模型；

8、s5、利用采集到的测试样本输入至所述的神经网络模型中，计算输出肠息肉分割图像，得到最终的分割结果并进行评估。

9、进一步地，步骤s1具体过程如下：

10、s11、收集内窥镜下的肠息肉图像数据；

11、s12、利用线性插值方法将所有获取的图像分辨率调整为224×224或384×384；

12、s13、对采集到的数据集进行数据增强包括随机对比度增强、0~360度的随机旋转、以及0.70~1.20倍随机多尺度缩放；

13、s14、利用自适应阈值的方法对所述数据增强后的数据集进行区域提取，即提取内窥镜图像中肠息肉所在区域，并划分训练集和测试集。

14、进一步地，步骤s2中构建多中注意力机制模块，包括门控轴向注意力机制模块、滑动窗口注意力机制模块和旁路注意力机制模块。具体过程如下：

15、s21、构建了门控轴向注意力机制模块：对初始的自注意力机制模块分为两个部分。第一部分在高度轴方向进行计算，而第二部分在宽度轴方向进行计算。这种设计模式不仅保持自注意力机制的工作原理，还很大程度上降低了计算复杂度，节约计算成本。同时，引入相对位置，增加模块对位置信息的敏感度。即：

16、,

17、其中，w表示高度，q、k和v都是通过训练得到的参数，分别表示为查询向量、键向量和值向量，、和分别表示为宽度轴向中的查询、键和值向量相对应位置的偏置。此外，表示在i{1,...h}与j{1,...w}中任意位置的查询向量，、分别表示为某一宽轴上i{1,...h}中的任意位置的健向量和值向量；

18、为了更有效的在特征图中学习更为丰富的位置信息，使用门控机制来控制位置信息的权重。即：

19、,

20、其中，、、和是坎坷学习的控制参数，共同创建门控机制；

21、s22、构建滑动窗口注意力机制模块：主要由基于滑动窗口注意力多头机制模块、基于移动窗口的多头注意力机制模块组成和前馈网络模块构成，即：

22、=w_msa(norm())+，

23、=ffn(norm(z`i))+，

24、=sw_msa(norm())+，

25、=ffn(norm(z`i))+

26、其中，norm表示为归一化层，ffn为前馈网络，i表示为某一中间模块标识符，为lth基于窗口的多头注意力模块输出的特征表示，表示基于移动窗口的多头自注意力模块输出的特征图像。

27、s23、构建旁路卷积自注意力机制模块：将旁路卷积引入视觉变压器模块中，因此该模块包括旁路卷积模块、多头注意力机制模块和前馈网络模块，通过残差连接共同组建。对于第层模块可以表示为：

28、=msa(norm())+byconv(norm())，

29、=ffn(norm())+byconv(norm())，

30、其中，byconv表示旁路卷积模块，主要包括2个卷积核为1×1的卷积层：，其中，表示为（l+1）th层的第nth个特征图，相应的表示为第l层的第mth个特征图，w表示权重矩阵，*表示2d卷积操作，而b为相对应的偏置，每个所述的1×1的卷积层后添加gelu激活函数。此外在所述2个卷积层之后引入1个卷积核大小为3×3的深度卷积。

31、进一步地，步骤s3中的特征令牌金字塔生成模块、全局特征提取模块、语义注入模块和多尺度融合模块构建的具体过程如下：

32、s31、构建特征令牌金字塔模块：每个输入内窥镜肠息肉图像x，其中，h、w分别表示输入图像的高度和宽度尺寸，c表示相对的通道数，r表示像素所在的空间区域。堆叠的特征令牌生成模块共同构成特征令牌金字塔模块，其中，所述的特征令牌生成器主要由2个卷积核为1×1的卷积层和1个卷积核大小为3×3的深度卷积组成，此外，在第1、2个卷积操作后引入非线性激活函数prelu6。即：

33、=prelu6（conv1（x）），

34、=prelu6（deconv（）），

35、=liner（conv1（）），

36、通过所述模块在获取丰富的语义特征和较大的接收域，同时采用更少的模块来构建局部特征令牌金字塔模块。通过所述构建的模块产生出一系列局部特征令牌{，…，}，其中，n表示尺度数，随后令牌{，…，}被平均池化到目标大小，随后将来自不同尺度的特征令牌沿着通道维度连接起来，以产生新的特征标记输入到所述的旁路卷积自注意力机制模块，生成特征图。即：

37、=byvit（），

38、其中，byvit表示使用堆叠（×12）的旁路卷积注意力机制模块作为编码器，学习、提取输入的特征令牌，获得局部尺度感知语义。

39、s32、构建语义注入模块：将每个通道获得的尺度语义与特征令牌金字塔模块生成的多通道局部令牌作为语义注入模块的输入，来弥补令牌{，…，}之间存在显著的语义差距差异。

40、s33、构建全局特征提取模块：将所述门控轴向注意力机制模块和滑动窗口注意力机制模块共同作为全局特征提取分支的编码器模块。

41、s34、构建多尺度融合模块：将不同尺度下的聚合的特征令牌进行融合，挖掘更精细的边界信息、获取更丰富的空间信息和语义信息，增强网络对边界模糊的肠息肉分割的能力。

42、进一步地，步骤s4具体过程如下：

43、s41、构建融合混合注意力机制的肠息肉分割模型，使用初始学习率为0.001的adam优化算法进行训练。

44、s42、利用混合损失函数缓解基于内窥镜的肠息肉图像中实例不平衡的问题。网络的损失函数为：

45、=α，

46、（）=l={,…,,

47、

48、其中，p表示分割网络预测的肠息肉图像，g表示肠息肉图像的真实结果，ω表示为图像域，α和β表示两种损失函数的约束权重，n表示训练集中的实例数，（）表示二分类交叉熵损失，表示第n个样本对应的loss，表示设置的超参数；此外，是一种创新的损失函数，用于解决语义分割中的问题，尤其针对基于内窥镜肠息肉图像的情境；该方法对于纠正类间实例分布不平衡问题，这是因为在大部分分割目标呈现出相连性并且易于预测；

49、s43、利用所述的训练样本多所述分割模型进行训练，优化参数，得到最佳的神经网络模型。

50、进一步地，步骤s5具体过程如下：

51、s51、利用所述测试样本验证训练后的分割模型的分割性能；

52、s52、使用水平集函数对分割图像想优化；

53、s53、将最终的分割结果与所述测试样本的标签进行对比，以评估分割模型的分割性能。

54、另一方面，本发明还包括一种融合混合注意力的肠息肉图像分割系统，该分割系统采用了前文所述的基于融合混合注意力的肠息肉分割方法，对肠息肉图像数据进行分割，进而得到最终的分割预测结果。

55、该内窥镜图像的肠息肉分割系统包括：特征令牌金字塔模块，全局特征提取模块、多尺度融合模块以及解码器模块。

56、其中，特征令牌金字塔模块用于丰富基于内窥镜的肠息肉图像的语义信息。使用较少的模块来构建特征令牌金字塔模块，获得不同尺度的语义信息。

57、全局特征提取模块是两种特定的注意力机制模块的组合。将所述门控轴向注意力机制模块和滑动窗口注意力机制模块共同作为全局特征提取分支的编码器模块。其中，门控轴向注意力机制模块：对初始的自注意力机制模块分为两个部分。第一个部分在高度轴方向进行计算，而第二部分在宽度轴方向进行计算。这种设计模式不仅保持自注意力机制的工作原理，还很大程度上降低了计算复杂度，节约计算成本，同时，引入相对位置，增加模块对位置信息的敏感度。为了更有效的在特征图中学习更丰富的位置信息，通过使用门控机制来控制位置信息的权重。滑动窗口注意力机制模块：主要由基于滑动窗口注意力多头机制模块、基于移动窗口的多头注意力机制模块组成和前馈网络模块构成。输入的肠息肉图像通过全局特征提取模块的处理后，输出为标记序列融合特征；

58、多尺度融合模块使不同尺度下的聚合的特征令牌进行融合，学习更精细的特征信息，获取更丰富的空间，增强网络对边界模糊的肠息肉分割的能力。

59、解码器模块接收多尺度融合模块输出的特征和特征融合网络模块与语义融合模块融合输出的特征进行融合，然后将二者解码，得到所需的医学图像的语义分割结果。

60、再一方面，本发明还包括了一种融合混合注意力的肠息肉图像分割装置，该装置包括了：

61、全局特征信息融合单元，利用门控轴向注意力机制模块和滑动窗口注意力机制模块对输入样本进行全局特征信息提取并融合，得到全局特征令牌表示。

62、多尺度特征提取单元，利用深度神经网络对输入肠息肉图像进行多尺度特征提取，用于得到更精细的特征信息，得到更丰富的空间特征和语义信息，以丰富目标的局部特征信息。

63、语义信息聚合单元，利用注意力门控机制模块和旁路注意力机制模块对得到的多尺度特征信息进行特征提取，得到相对应的特征图表示并与多尺度特征进行融合，得到融合特征图。

64、多尺度融合单元，将得到的多尺度融合特征再次融合，以增强空间信息提高模型鲁棒性及优化特征表示。

65、优化单元，利用损失函数对所述的分割模型进行监督与优化，得到优化后的肠息肉图像的分割模型。

66、分割单元，利用所述分割模型对图像样本进行分割，得到分割结果。

67、又一方面，本发明还公开一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述方法的步骤。

68、再一方面，本发明还公开一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上方法的步骤。

69、由上述技术方案可知，本发明的一种融合混合注意力机制的肠息肉分割方法、系统及介质，包括以下内容：对基于内窥镜下的肠息肉图像进行预处理，包括数据增强、自适应阈值对分割目标的区域提取，用于增强分割模型的鲁棒性和挖掘更准确的目标的边界信息；构建特征令牌金字塔模块提高对肠息肉图像的语义信息提取能力，同时采用更少的模块来构建该特征令牌金字塔可以获取具有多尺度感知的语义信息；构建全局特征提取模块利用局部-全局训练策略降低分割模型对数据样本量的需求并进一步提高分割性能；构建特征注入模块缓解在融合不同尺度特征令牌之间的语义差异；构建多尺度融合模块从元素角度对所有尺度特征令牌进行融合，减少空间信息的损失并增强网络的鲁棒性。该分割模型在一定程度上解决了医学图像数据匮乏的问题。

70、具体的说，本发明优点如下：

71、（1）本发明对内窥镜下肠息肉图像进行了适当的预处理，包括数据增强和自适应阈值方法，通过数据增强的方式，加入了基于内窥镜图像中肠息肉的结构变化，包括增强对比度、随机旋转以及多尺度缩放，进而提高所述图像分割模型的鲁棒性，采用自适应阈值方的方法提取内窥镜图像中的目标区域，进一步挖掘目标的边界信息。

72、（2）本发明设计全局特征提取模块利用局部-全局训练策略，通过将门控轴向注意力机制模块和基于滑动窗口注意力机制模块融合机制，较低分割模型对数据样本数量的需求并进一步提高分割性能。

73、（3）本发明构建特征令牌金字塔模块对每一种尺度的图像进行特征提取，能够产生多尺度的特征表示，提高对肠息肉图像提取更丰富语义信息和使用更少的模块来构建特征令牌金字塔，以产生具有多尺度感知的语义信息。

74、（4）本发明构建特征注入模块缓解在融合不同尺度特征令牌之间的语义差异以及消除语义鸿沟的的现象；构建多尺度融合模块从元素角度对所有尺度特征令牌进行融合，减少空间信息的损失并提高分割网络的鲁棒性。