基于深度学习模型的内窥镜图像的去雾方法、训练方法

本发明涉及图像处理领域，特别涉及一种基于深度学习模型的内窥镜图像的去雾方法、训练方法。

背景技术：

1、随着外科手术技术的发展，微创手术得到了越来越广泛的应用。内窥镜是微创手术中一种广泛应用的医疗器械，在手术期间医生可以通过内窥镜来观察人体内的组织和器官来进行手术操作。因此，内窥镜图像显示是否清晰对手术的完成效果有着重要的作用。但是，手术过程中由于温度差、激光消融和烧灼产生的雾气会严重遮挡医生的视野，增加医生操作手术的风险。同时，烟雾也影响了后续的视觉任务处理，例如器械分割、三维场景重建、自动化手术等。因此，在手术过程中对内窥镜所拍摄的图像进行烟雾去除，可以有效的提高手术图像质量，为外科医生手术提供重要参考信息，以便提高微创手术的准确性、高效性以及安全性。

2、目前，内窥镜手术中去雾的方法主要分为两种。一种是基于机械方法，包括内窥镜透镜加热策略、防雾化材料和内窥镜镜头设备改造等方案。这些基于机械设计的方法增加了内窥镜研发的成本，需要采用特殊的内窥镜装置，不适合所有基于图像引导的内窥镜手术。另一种是基于视觉的去雾方法，通过计算机算法对内窥镜输出图像进行烟雾去除，但目前去雾算法主要是针对室外场景进行烟雾去除，针对内窥镜图像没有效果较为理想的去雾算法。

技术实现思路

1、鉴于上述技术问题，本发明提供了一种基于深度学习模型的内窥镜图像的去雾方法、训练方法。

2、为了实现上述目的，作为本发明的一个方面，提供了一种基于深度学习模型的内窥镜图像的去雾方法，所述深度学习模型包括特征提取模块、自注意力变换模块和特征还原模块；

3、所述方法包括：

4、将有雾内窥镜图像输入所述特征提取模块，得到浅层特征图；

5、将包括至少一个浅层特征子图的所述浅层特征图输入所述自注意力变换模块，得到深层特征图；

6、将所述浅层特征图和所述深层特征图进行融合，得到融合特征图；以及

7、将所述融合特征图输入所述特征还原模块，得到无雾内窥镜图像。

8、根据本发明的实施例，所述自注意力变换模块包括第一卷积层和m个变换子模块，第m个变换子模块包括第二卷积层和n个变换单元，第n个变换单元包括p个变换子单元，第p个变换子单元包括自注意力层，m、n和p均是大于或等于1的整数，m是大于或等于1且小于或等于m的整数，n是大于或等于1且小于或等于n的整数，p是大于或等于1且小于或等于p的整数；

9、其中，在m＞1且n＞1的情况下，所述将包括至少一个浅层特征子图的所述浅层特征图输入所述自注意力变换模块，得到深层特征图，包括：

10、响应于1＜m≤m且1＜n≤n，

11、在p＝1的情况下，

12、将第mn-1,p中间特征图输入第mn,p变换子单元，得到第mn,p中间特征图；

13、在1＜p≤p的情况下，

14、将第mn,p-1中间特征图输入第mn,p变换子单元，得到第mn,p中间特征图；

15、将第mn-1,p中间特征图和第mn,p中间特征图进行融合，得到第mn,p融合特征图；

16、将第mn,p融合特征图输入第m第二卷积层，得到第mn,p中间特征图；

17、将第mn，p中间特征图输入所述第一卷积层，得到所述深层特征图；

18、其中，所述将第mn,p-1中间特征图输入第mn,p变换子单元，得到第mn,p中间特征图，包括：

19、将所述第mn,p-1中间特征图划分为至少一个第mn,p-1中间特征子图；

20、将所述至少一个第mn,p-1中间特征子图输入第一mn,p自注意力层，得到第一mn,p自注意力特征图；以及

21、根据第一mn,p自注意力特征图，得到所述第mn,p中间特征图。

22、根据本发明的实施例，根据第一mn,p自注意力特征图，得到所述第mn,p中间特征图包括：

23、根据第一mn,p自注意力特征图和第mn,p-1中间特征图，得到第一mn,p融合特征图；

24、将所述第一mn,p融合特征图进行循环位移，得到第二mn,p融合特征图；

25、将所述第二mn,p融合特征图输入第二mn,p自注意力层，得到第二mn,p自注意力特征图；

26、根据第一mn,p自注意力特征图和第二mn,p自注意力特征图，得到所述第mn,p中间特征图。

27、根据本发明的实施例，将所述第一mn,p融合特征图进行循环位移，得到第二mn,p融合特征图包括：

28、将所述第一mn,p融合特征图依次沿第一方向和第二方向按照预设长度进行循环位移，其中所述预设长度小于第mn,p-1中间特征子图的划分大小，所述第一方向和第二方向相垂直。

29、根据本发明的实施例，在将所述至少一个第mn,p-1中间特征子图输入第一mn,p自注意力层之前，所述将第mn,p-1中间特征图输入第mn,p变换子单元，得到第mn,p中间特征图还包括：

30、对所述至少一个第mn,p-1中间特征子图输入到第一mn,p层归一化层，以进行归一化处理。

31、根据本发明的实施例，所述根据第一mn,p自注意力特征图和第mn,p-1中间特征图，得到第一mn,p融合特征图包括：

32、将第一mn,p自注意力特征图和第mn,p-1中间特征图进行融合，得到第三mn,p融合特征图；

33、将所述第三mn,p融合特征图依次输入第二mn,p层归一化层和第一mn,p全连接层进行处理，并将处理后的特征图与所述第三mn,p融合特征图进行融合，得到所述第一mn,p融合特征图。

34、根据本发明的实施例，在将所述第一mn,p融合特征图进行循环位移，得到第二mn,p融合特征图之前，所述根据第一mn,p自注意力特征图，得到所述第mn,p中间特征图还包括：

35、将所述第一mn,p融合特征图输入第三mn,p层归一化层，以进行归一化处理。

36、根据本发明的实施例，所述根据第一mn,p自注意力特征图和第二mn,p自注意力特征图，得到所述第mn,p中间特征图包括：

37、将所述根据第一mn,p自注意力特征图和第二mn,p自注意力特征图进行融合，得到第四mn,p融合特征图；

38、将所述第四mn,p融合特征图依次输入第四mn,p层归一化层和第二mn,p全连接层进行处理，得到所述第mn,p中间特征图。

39、作为本发明的第二个方面，还提供了一种基于深度学习模型的内窥镜图像的去雾训练方法，所述深度学习模型包括特征提取模块、自注意力变换模块和特征还原模块；

40、所述训练方法包括：

41、将原始无雾内窥镜样本图像输入三维渲染引擎中，通过烟雾生成算法，得到与所述原始无雾内窥镜样本图像对应的有雾内窥镜样本图像；

42、将所述有雾内窥镜样本图像输入所述特征提取模块，得到浅层特征样本图；

43、将包括至少一个浅层特征子样本图的与所述浅层特征样本图输入所述自注意力变换模块，得到深层特征样本图；

44、将所述浅层特征样本图和所述深层特征样本图进行融合，得到融合特征样本图；

45、将所述融合特征样本图输入所述特征还原模块，得到无雾内窥镜样本图像；

46、根据所述原始无雾内窥镜样本图像和所述无雾内窥镜样本图像，对所述深度学习模型的网络参数进行调节，得到训练后的深度学习模型。

47、作为本发明的第三个方面，还提供了一种电子设备，包括：

48、一个或多个处理器；

49、存储装置，用于存储一个或多个程序，

50、其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行上述的方法。

51、根据本发明的实施例，通过将至少一个浅层特征子图的所述浅层特征图输入自注意力变换模块，利用自注意力变换模块对各个浅层特征子图进行并行处理，减小了计算量，加快了图像的处理速度。