基于跨分支特征增强和不确定性引导的内窥镜息肉分割方法与流程

本发明涉及医学图像处理，特别涉及一种基于跨分支特征增强和不确定性引导的内窥镜息肉分割方法。

背景技术：

1、据研究报告显示，结直肠癌在所有癌症中的发病率排在第三位，对公共健康造成了极为严重的威胁。伴随着病情的持续恶化，大肠癌患者的生存率会显著降低，结直肠癌的发病率与死亡率亦呈急剧上升态势。就临床实践而言，结直肠癌的早期筛查对于大肠癌的预防极其关键。实现息肉自动分割是辅助诊断结直肠癌的关键手段，对结直肠癌的有效干预以及及时医治具有重要意义。

2、许多研究已经对基于深度学习框架用于息肉分割展开了探索，并取得了显著的性能。其中一些方法如polyp-pvt和ssformer运用金字塔视觉变换器充当特征提取的主干网络，构建起编码器-解码器结构以进行特征提取；一些方法如cfanet设计跨层特征聚合网络，将边界信息纳入分割网络。然而，受模型尺寸所限，现有的方法在特征表示以及提取能力方面依然稍显欠缺，特别是在应对息肉与背景的相似性以及息肉边界的复杂性上。此外，有限的数据集规模也会限制现有方法的多样性和普遍性。因此，如何提高深度学习模型的特征提取能力和泛化能力，以及如何充分利用有限的数据集进行息肉分割，仍然是一个重要的研究问题。

3、最近，分割一切模型(segmentanythingmodel，sam)展现出了巨大的潜能。sam在目前最大的分割数据集sa-1b上进行了预训练，其在各种下游任务中的显著分割能力得到了证明。这种创新性的方法，凭借其大型模型规模和海量数据量，为息肉分割领域带来了全新的视角。

4、然而，由于训练数据和内窥镜图像之间的领域差距，sam在息肉分割任务中的表现并不令人满意。为解决无监督域适应问题，已提出了一系列语义分割方法。例如，mic提出了掩码图像一致性模块，以鼓励学习目标域图像的上下文关系，以增强无监督域适应能力。此外，上下文感知域适应的方法利用一种新的交叉注意机制来促进域适应中上下文信息的可迁移性。然而，对于目标域的不确定性，仍需要进一步的研究。

技术实现思路

1、本发明的目的克服现有技术存在的不足，为实现以上目的，采用一种基于跨分支特征增强和不确定性引导的内窥镜息肉分割方法，以解决上述背景技术中提出的问题。

2、一种基于跨分支特征增强和不确定性引导的内窥镜息肉分割方法，包括以下步骤：

3、步骤s1、获取数据集并进行预处理；

4、步骤s2、基于视觉transformer结构的分割一切模型对跨分支特征增强模块和不确定性引导的预测正则化模块进行模型设计，并融合可训练的卷积神经网络编码器分支，得到内窥镜息肉分割模型；

5、步骤s3、基于交叉熵损失函数对得到的内窥镜息肉分割模型进行训练；

6、步骤s4、根据训练后的内窥镜息肉分割模型对测试集的息肉图像进行分割后，使用sigmoid函数提取分割结果，并验证模型的性能，得到最终的内窥镜息肉分割模型。

7、作为本发明的进一步的方案：所述步骤s1中的具体步骤包括：

8、步骤s11、获取数据集，并对数据集进行划分，得到训练集，以及测试集；

9、步骤s12、对训练集的数据进行数据增强，包括随机旋转、随机翻转，以及随机缩放等操作。

10、作为本发明的进一步的方案：所述步骤s2中的具体步骤包括：

11、步骤s21、跨分支特征增强模块：

12、基于视觉transformer结构对分割一切模型的结构进行了修改，删除其提示输入和提示编码部分，同时保留其视觉transformer编码器和掩码解码器部分；

13、引入一个并行的卷积神经网络分支，同时增加一个额外的多头跨分支注意力模块，用来融合分别来自卷积神经网络编码器的特征图fc和视觉transformer编码器的特征图fv，则多头跨分支注意力模块cba公式如下：

14、

15、其中，q＝fvwq，k＝v＝fcwk，d是fv的每个头的特征维度数量；

16、将编码器的深层上下文信息和浅层边界信息与分割一切模型的解码器的特征进行融合，以增强输出特征；

17、步骤s22、不确定性引导的预测正则化模块：

18、在视觉transformer编码器中选择性激活layernorm来增强模型的泛化能力；

19、同时，在训练过程中利用真实标签作为“提示”，纠正模型的置信度，对视觉transformer编码器的层归一化层进行微调；

20、通过分割一切模型输出一个置信度来评估模型的不确定性；

21、在训练过程中，当置信度较低时，利用真实标签作为“提示”帮助模型学习更准确的特征表示；将分割一切模型的置信度视为图像置信度ci，像素置信度的计算方法：

22、

23、式中，p表示模型的预测，最终置信度计算为图像级置信度ci和像素级置信度cp的总和，表示为：

24、

25、其中，置信度是通过伯努利分布决定是否利用真实标签作为“提示”；

26、如果置信度足够低，则模型需要一个特定的答案提示才能学习到正确的预测；否则没有必要提供提示；提示的权重由置信度c决定，预测表示为：

27、p′＝c·p+(1-c)·y

28、且引入置信损失来监督置信度c，当c→0时，置信损失会增加，置信损失定义为：

29、

30、作为本发明的进一步的方案：所述步骤s3中的具体步骤包括：

31、采用常见的交叉熵损失函数作为分割一切模型的损失函数，并加入置信度损失，λ是一个超参数，最终的损失函数为：

32、

33、作为本发明的进一步的方案：所述步骤s4中的具体步骤包括：

34、对测试集中的息肉图像进行分割，使用sigmoid函数从模型的输出概率图中提取二值化的分割结果，计算预测值和真实值的平均dice和平均iou，验证模型的性能，得到最终的内窥镜息肉分割模型。

35、与现有技术相比，本发明存在以下技术效果：

36、采用上述的技术方案，通过设计内窥镜息肉分割方法，能够根据公开的息肉分割数据集，划分训练集和测试集进行训练和验证。通过融合多尺度特征图和多层次特征图，能够跨分支增强特征，从而提高提取的息肉图像特征的多样性。同时，引入了不确定性引导的预测正则化模块，以缓解目标域训练过程中的不确定性，进而增强模型的泛化能力。并且，相较于以往的息肉分割方法和基于分割一切模型的方法，在息肉分割任务中实现了显著的性能提升，展现出显著的实用性。

技术特征：

1.一种基于跨分支特征增强和不确定性引导的内窥镜息肉分割方法，其特征在于，包括以下步骤：

2.根据权利要求1所述一种基于跨分支特征增强和不确定性引导的内窥镜息肉分割方法，其特征在于，所述步骤s1中的具体步骤包括：

3.根据权利要求1所述一种基于跨分支特征增强和不确定性引导的内窥镜息肉分割方法，其特征在于，所述步骤s2中的具体步骤包括：

4.根据权利要求1所述一种基于跨分支特征增强和不确定性引导的内窥镜息肉分割方法，其特征在于，所述步骤s3中的具体步骤包括：

5.根据权利要求1所述一种基于跨分支特征增强和不确定性引导的内窥镜息肉分割方法，其特征在于，所述步骤s4中的具体步骤包括：

技术总结
本发明公开了一种基于跨分支特征增强和不确定性引导的内窥镜息肉分割方法，包括获取数据集并进行预处理；基于视觉Transformer结构的分割一切模型对跨分支特征增强模块和不确定性引导的预测正则化模块进行模型设计，并融合可训练的卷积神经网络编码器分支，得到内窥镜息肉分割模型；基于交叉熵损失函数对得到的内窥镜息肉分割模型进行训练；根据训练后的内窥镜息肉分割模型对测试集的息肉图像进行分割后，使用Sigmoid函数提取分割结果，并验证模型的性能，得到最终的内窥镜息肉分割模型。本发明能够跨分支增强特征，从而提高提取的息肉图像特征的多样性。同时，引入了不确定性引导的预测正则化模块，以缓解训练过程中的不确定性，增强模型的泛化能力。

技术研发人员：张鼎文,李晖茜,韩军伟,姚洁茹,韩龙飞,冯晓绪
受保护的技术使用者：合肥综合性国家科学中心人工智能研究院（安徽省人工智能实验室）
技术研发日：
技术公布日：2025/1/28