基于多级门控融合网络的ESD手术分割方法及模型

本发明涉及深度学习的图像分割，具体地说，是涉及一种基于多级门控融合网络的esd手术分割方法及模型。

背景技术：

1、内镜黏膜下剥离术(endoscopic submucosal dissection, esd) 作为一种微创切除技术，在治疗消化道肿瘤方面发挥着重要作用。相比传统手术治疗，esd能较好地保留消化道生理功能，具有安全、微创、疗效好、痛苦少和费用低等优点。目前，esd已成为消化道早癌及癌前病变的首选治疗方法。esd的基本步骤通常分为标记、抬起、切缘、剥离和创面处理。剥离是esd的主要步骤，即将黏膜与固有肌层完全分离，完整切除病灶。内镜下清晰识别解剖层次，如黏膜下层、肌层和血管，是避免术中操作不当导致出血、穿孔等并发症的关键。然而内镜下视野狭小、视野易模糊等因素导致清晰识别解剖层次具有一定难度，对于缺乏esd经验的内镜医师来说则难度极大。近年来，人工智能技术飞速发展，在自动识别手术流程以及手术器械分割方面取得不错进展，表明计算机辅助手术系统具有简化流程、提高效率以及提高患者安全性的潜力。

技术实现思路

1、基于以上问题，本发明提供了一种基于多级门控融合网络的esd手术分割方法及模型，该方法能将esd的局部和全局依赖关系整合，并且利用多尺度信息，能扩大模型的感受野，增强模型的性能，从而构建一种端到端的自动分割网络。该网络可以分割出黏膜下层、手术器械、肌层和黏膜下血管，从而给医生提供评判依据。

2、为了达到上述技术效果，本发明提供如下技术方案：

3、一方面，一种基于多级门控融合网络的esd手术分割方法包括

4、收集标注esd数据进行预处理后为esd数据集；

5、构建多级门控融合网络分割模型，采用esd数据集训练验证所述分割模型；

6、输入待处理esd数据得到esd分割结果。

7、在较佳的实施例中，标注esd数据为对esd数据标注黏膜下层、手术器械、肌层和黏膜下血管；

8、标注esd数据的预处理包括对数据归一化处理及利用随机旋转、翻转、裁剪、平移、抖动来对esd数据集进行增强。

9、在较佳的实施例中，所述分割模型包括特征提取层、动态门控卷积单元、多级尺度注意力融合模块、解码层。

10、在较佳的实施例中，所述分割模型的构建方法为：

11、构建初始分割模型后，将预处理后的标注esd数据送入其中；

12、特征提取层包含多个特征提取模块，特征提取模块提取特征，送入动态门控卷积单元；

13、动态门控卷积单元包括门控卷积单元和动态门控路径；特征通过控卷积单元得到门控信息，通过动态门控路径得到补充esd信息的动态门控路径逐元素；将和相加得到具有局部和全局依赖关系的输出概率特征图 f；

14、将输出概率特征图 f送入多级尺度注意力融合模块得到具有辨别信息的特征图；

15、具有辨别信息的特征图送入解码层后输出esd分割结果。

16、在较佳的实施例中，特征通过控卷积单元后通过激活函数，学习esd特征表示，输出至少两个特征逐元素，将特征元素相乘得到门控信息；门控信息计算公式为：

17、

18、其中，为逐元素相乘，为输入特征，relu激活函数和sigmoid激活函数。

19、在较佳的实施例中，动态门控路径逐元素通过非线性门控函数g来补充门控卷积单元丢失的esd信息，计算公式如下：

20、

21、其中，为逐元素相乘，为动态门控信息，g为非线性门控函数，为神经网络中的激活函数，为卷积，为输入特征。

22、在较佳的实施例中，将输出概率特征图 f送入多级尺度注意力融合模块得到具有辨别信息的特征图包括：

23、通过二维卷积降维后，利用 r个扩展卷积来生成特征映射，确定扩展率；然后将r个扩展后的特征相乘后在相加得到尺度特征，计算公式如下：

24、

25、其中，为1×1的二维卷积，为第i个特征映射，属于， r为扩展卷积的数目，为尺度特征。

26、尺度特征经过sigmoid函数生成注意力图，然后将注意力图与具有局部和全局依赖关系的输出概率特征图逐元素相乘，从而具有辨别信息的特征图，计算公式如下：

27、

28、其中，为尺度特征，为逐元素相乘，为神经网络中的激活函数。

29、第二方面，基于多级门控融合网络的esd手术分割模型，其包括特征提取层、动态门控卷积单元、多级尺度注意力融合模块、解码层；

30、特征提取层包含二维卷积和最大池化层；

31、动态门控卷积单元包括门控网络的动态融合；

32、多级尺度注意力融合模块包括混合多层次的注意力来捕获和融合不同层级的门控esd信息；

33、解码层包含二维卷积和双线性插值。

34、第三方面，一种电子设备包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行基于多级门控融合网络的esd手术分割方法。

35、第四方面，一种计算机可读存储介质，所述可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行基于多级门控融合网络的esd手术分割方法。

36、与现有技术相比，本发明具有以下有益效果：

37、（1）本发明通过门控函数来丰富了esd数据的特征，使得动态门控卷积单元能更加有效的选择特征。与现有技术不同的是，本发明不仅利用门控单元选择特征，还设置了一个门控路径，实现特征的局部和全局聚合，能有效地避免特征的丢失。

38、（2）本发明的多级尺度注意力能生成具有判别信息的注意力图来校准不同尺度和视角的esd信息。该模块可以逐级引导网络输出具有尺度感知可辩别性的esd信息，保证网络在应对剥离步骤时候，能准确的分割出多个解剖层次。

39、（3）本发明从图像角度出发，提出了一个多级门控融合网络，动态的实现特征的局部、全局依赖关系整合，能引导网络输出更具有尺度感知的esd特征，提升模型的泛化性，辅助内镜医师快速准确的识别内镜下的解剖层级。

40、（4）对已完成训练的模型，可以快速实现esd解剖层次准确分割，节省了esd标注的人力物力，缓解了医生因内镜下视野狭小、视野易模糊等因素导致清晰识别解剖层次具有一定难度的负担，为医生辅助诊断提供更强有力的依据。

技术特征：

1.一种基于多级门控融合网络的esd手术分割方法，其特征在于，包括

2.根据权利要求1所述的基于多级门控融合网络的esd手术分割方法，其特征在于，

3.根据权利要求1所述的基于多级门控融合网络的esd手术分割方法，其特征在于，所述分割模型包括特征提取层、动态门控卷积单元、多级尺度注意力融合模块、解码层。

4.根据权利要求3所述的基于多级门控融合网络的esd手术分割方法，其特征在于，所述分割模型的构建方法为：

5.根据权利要求4所述的基于多级门控融合网络的esd手术分割方法，其特征在于，特征通过控卷积单元后通过激活函数，学习esd特征表示，输出至少两个特征逐元素，将特征元素相乘得到门控信息；门控信息计算公式为：

6.根据权利要求4所述的基于多级门控融合网络的esd手术分割方法，其特征在于，动态门控路径逐元素通过非线性门控函数g来补充门控卷积单元丢失的esd信息，计算公式如下：

7.根据权利要求4所述的基于多级门控融合网络的esd手术分割方法，其特征在于，将输出概率特征图f送入多级尺度注意力融合模块得到具有辨别信息的特征图包括：

8.根据权利要求1-7任一项所述的基于多级门控融合网络的esd手术分割模型，其特征在于，其包括特征提取层、动态门控卷积单元、多级尺度注意力融合模块、解码层；

9.一种电子设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行如权利要求1-7任一项所述的方法。

技术总结
本发明公开了一种基于多级门控融合网络的ESD手术分割方法及模型，包括收集标注ESD数据进行预处理后为ESD数据集；构建多级门控融合网络分割模型，采用ESD数据集训练验证所述分割模型；输入待处理ESD数据得到ESD分割结果；其中动态门控卷积单元和多级尺度注意力融合模块的多级门控融合网络。其中动态门控卷积单元通过动态门控路径来整合局部和全局的依赖关系，以便面ESD影像信息特征丢失。多级尺度注意力融合模块则通过逐级融合引导网络输出更多的尺度感知的ESD影像特征信息，扩大网络感受野，以提高网络的泛化性。

技术研发人员：袁湘蕾,胡兵,曾宪晖,刘瑞德,刘伟
受保护的技术使用者：四川大学华西医院
技术研发日：
技术公布日：2024/1/15