基于自监督光谱回归的显微高光谱图像判断方法及框架

本发明属于计算机视觉与计算机辅助诊断领域，特别是涉及一种基于自监督光谱回归的显微高光谱图像判断方法及框架。

背景技术：

1、由于显微高光谱图像包含了丰富的光谱信息，可以反映出rgb病理图像无法观察到的生化现象，因此在计算病理领域具有广泛的应用前景。然而，由于缺乏足够的精标注数据以及高光谱图像数据维度较大，传统的全监督深度学习算法极易发生过拟合现象。同时，高光谱成像系统中的分光装置(例如声光可调谐滤波器)会降低单色光的强度，进而导致部分波段被系统噪声污染。在需要精准定位的应用场景中，图像模糊带来的歧义性可能会严重影响深度学习算法的性能。

2、针对上述问题，目前常见的解决方法是使用自监督预训练以及针对高光谱数据的特点设计网络结构。现有的高光谱图像识别算法通常是微调主流rgb深度学习模型的输入层使其适应高光谱任务的要求，或直接使用3d卷积神经网络。尽管可以将高光谱图像视作一个特殊的空谱立方体，但在病理学诊断中，需要在保证空间信息优先的情况下，尽可能地保留光谱信息的特异性。直接改变模型的输入通道数会让所有单波段图像在模型的浅层直接融合，无法充分利用图像数据丰富的光谱信息；而直接使用3d卷积神经网络不仅不符合数据的物理特性，同时也显著增加了模型的计算量。

技术实现思路

1、本发明的目的是提供一种基于自监督光谱回归的显微高光谱图像判断方法及框架，以解决上述现有技术存在的问题。

2、为实现上述目的，本发明提供了一种基于自监督光谱回归的显微高光谱图像判断方法，包括：

3、获取高光谱图像，对所述高光谱图像进行处理，获得处理光谱图像；

4、基于深度可分离编码器对所述处理光谱提箱进行图像特征提取，获得提取图像；

5、对所述深度可分离编码器进行预训练，获得特征提取主干网络；

6、基于所述特征提取主干网络对所述高光谱图像进行编码后进行处理，获得数据类别；

7、对所述提取图像中的分割掩码进行处理，获得最终数据区域。

8、优选地，所述获得处理光谱图像的过程包括：

9、获取高光谱图像，将所述高光谱图像中的波段进行随机抽取，并向剩余波段添加屏蔽遮罩，获得所述处理光谱图像。

10、优选地，所述将所述高光谱图像中的波段进行随机抽取的表达式为：

11、yb＝conv1×1(cat(h3,h5,h7),ysum)；

12、其中yb表示抽取第b个波段作为还原目标，conv1×1表示1×1卷积，ysum是线性加权求和后的初步还原结果，hk＝convk×k(ysum)表示用k×k卷积微调还原目标。

13、优选地，所述获得提取图像的过程包括：

14、使用深度可分离编码器提取图像特征，并通过一个多尺度解码器还原被抽取的波段,获得所述提取图像。

15、优选地，所述获得特征提取主干网络的过程包括：

16、对所述深度可分离编码器计算重建损失后更新网络参数，获得特征提取主干网络。

17、优选地，所述获得数据类别的过程包括：

18、构建分类任务，基于所述特征提取主干网络对所述高光谱图像进行编码，并通过自注意力机制融合所述高光谱图像的波段特征，最终使用多层感知机映射得到所述数据类别。

19、优选地，使用多层感知机映射得到所述数据类别的表达式为：

20、p＝mlp(avgpoolb(msa(z)))；

21、其中p是数据类别概率，z是光谱特征，mlp表示多层感知机，avgpoolb是对通道做池化操作，msa表示多头自注意力机制。

22、优选地，所述获得最终数据区域的过程包括：

23、对所述提取图像进行采样，得到所有波段的分割掩码；

24、基于波段匹配机制对所述所有波段的分割掩码进行筛选，获得清晰数据区域波段和匹配分数；

25、将所述匹配分数作为加权系数对所述所有波段的分割掩码中的单波段分割掩码进行重新组合，获得所述最终数据区域。

26、为实现上述目的，本发明还提供了一种基于自监督光谱回归的显微高光谱图像判断框架，包括：数据获取模块，预训练模块，深度可分离编码器、分类模块、分割模块；

27、其中所述数据获取模块、所述预训练模块和所述深度可分离编码器依次连接，所述分类模块和所述分割模块分别与所述深度可分离编码器连接；

28、所述数据获取模块，用于获取光谱特征图像；

29、所述预训练模块，用于基于自监督光谱回归任务训练深度可分离编码器；

30、所述深度可分离编码器，用于提取图像特征，同时作为特征提取网络，结合人工标注使用全监督学习方法训练所述分类模块和所述分割模块；

31、所述分类模块，用于通过多层感知机映射对所述图像特征进行处理，获得数据类别；

32、所述分割模块，用于对所述提取图像中的分割掩码进行处理，获得最终数据区域。

33、本发明的技术效果为：

34、将高光谱图像的先验特性融合到了深度学习算法之中，并结合下游任务的特点，针对性地设计了两种识别算法，不仅在性能指标上优于传统基于自然图像的深度学习模型，同时拥有较强的泛化能力，在医学领域具有较高的应用潜力。

技术特征：

1.一种基于自监督光谱回归的显微高光谱图像判断方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于自监督光谱回归的显微高光谱图像判断方法，其特征在于，所述获得处理光谱图像的过程包括：

3.根据权利要求2所述的基于自监督光谱回归的显微高光谱图像判断方法，其特征在于，所述将所述高光谱图像中的波段进行随机抽取的表达式为：

4.根据权利要求1所述的基于自监督光谱回归的显微高光谱图像判断方法，其特征在于，所述获得提取图像的过程包括：

5.根据权利要求1所述的基于自监督光谱回归的显微高光谱图像判断方法，其特征在于，所述获得特征提取主干网络的过程包括：

6.根据权利要求1所述的基于自监督光谱回归的显微高光谱图像判断方法，其特征在于，所述获得数据类别的过程包括：

7.根据权利要求1所述的基于自监督光谱回归的显微高光谱图像判断方法，其特征在于，使用多层感知机映射得到所述数据类别的表达式为：

8.根据权利要求1所述的基于自监督光谱回归的显微高光谱图像判断方法，其特征在于，所述获得最终数据区域的过程包括：

9.一种基于自监督光谱回归的显微高光谱图像判断框架，其特征在于，包括：数据获取模块，预训练模块，深度可分离编码器、分类模块、分割模块；

技术总结
本发明公开了一种基于自监督光谱回归的显微高光谱图像判断方法及框架，包括：获取高光谱图像，对所述高光谱图像进行处理，获得处理光谱图像；基于深度可分离编码器对所述处理光谱提箱进行图像特征提取，获得提取图像；对所述深度可分离编码器进行预训练，获得特征提取主干网络；基于所述特征提取主干网络对所述高光谱图像进行编码后进行处理，获得数据类别；对所述提取图像中的分割掩码进行处理，获得最终数据区域。本发明将高光谱图像的先验特性融合到了深度学习算法之中，并结合下游任务的特点，针对性地设计了两种识别算法，不仅在性能指标上优于传统基于自然图像的深度学习模型，同时拥有较强的泛化能力，在医学领域具有较高的应用潜力。

技术研发人员：王妍,谢星然,李庆利
受保护的技术使用者：华东师范大学
技术研发日：
技术公布日：2024/1/13