一种基于高光谱图像深度学习的智能识别方法、装置及介质与流程

本发明涉及图像处理，具体为一种基于高光谱图像深度学习的智能识别方法、装置及介质。

背景技术：

1、高光谱成像技术起源于多光谱成像技术，最早应用于遥感方面。高光谱成像技术是结合光谱技术和传统成像技术，获取被拍摄物体的二维空间信息和一维光谱信息，因此具有“图谱合一”的特性。随着科技的发展与学科间的交叉融合，高光谱成像技术在农业领域、食品领域、军事等领域均有较大的研究成果。而病理图像本身的复杂性及医学图像处理对医学数据信息量的需求，在医学图像处理领域，高光谱成像技术同样得到了快速的发展。对于生物组织而言，正常组织与癌变区域除了具有人眼所能见到的物理特性的差异外，还在化学成分和分子结构等肉眼所不能见的生化特性上具有一定的差别。由于其成分结构对不同频率光的透射的比例不同，即便是物理形态上看起来相近的组织，也会具有不同的光谱特性。对组织的病理切片进行显微高光谱成像，可以同时获得组织的二维空间信息和所有位置在选定波长范围内的光谱曲线，这是传统数字图像所不能呈现的促进医学影像进步。

2、如中国专利cn111145149b公开了一种基于深度学习的图像识别方法、装置及存储介质，方法为：首先实时获取超声影像，截取超声影像中的图像区域作为超声图像；接着采用深度卷积神经网络算法对超声图像进行自动识别，判断超声图像中是否包含中央区淋巴结。

3、但现有技术中，在对病理切片进行图像采集并识别的学习过程中，是卷积神经网络对图像进行自动识别，而高光谱图像不仅具有二维空间信息，还在第三个维度上也拥有丰富的光谱信息，传统的采集识别方法，会在网络中引入大量可训练参数，进而降低网络的训练速度，而对原始图像进行波段选择或采用主成分分析等方式对光谱维度进行降维，减少数据量的同时，也会不可避免地造成光谱维度上的信息损失，从而在一定程度上对图像识别准确率造成影响。

技术实现思路

1、本发明的目的在于提供一种基于高光谱图像深度学习的智能识别方法、装置及介质，以解决上述背景技术提出的在对病理切片进行图像采集并识别的学习过程中，是卷积神经网络对图像进行自动识别，而高光谱图像不仅具有二维空间信息，还在第三个维度上也拥有丰富的光谱信息，传统的采集识别方法，会在网络中引入大量可训练参数，进而降低网络的训练速度，而对原始图像进行波段选择或采用主成分分析等方式对光谱维度进行降维，减少数据量的同时，也会不可避免地造成光谱维度上的信息损失，从而在一定程度上对图像识别准确率造成影响的问题。

2、为实现上述目的，本发明提供如下技术方案：一种基于高光谱图像深度学习的智能识别方法，包括：

3、s1、制备深度学习样本；

4、s2、采集样本高光谱图像；

5、s3、样本高光谱图像预处理；

6、s4、显微高光谱图像识别训练并输出图像；

7、s41、将采集图像首先输入3d残差卷积神经网络，进行特征提取；

8、s42、将特征提取后的数据输入2d卷积神经网络；

9、s43、2d卷积神经网络针对二维图像信息的问题将常规全连接神经网络的网络层进行替换，通常替换成为卷积层、池化层，部分层的输出会经过激活函数处理，2d卷积神经网络整体由多层上述单元堆叠而成，最终经全连接层进行特征汇总后得到网络输出。

10、优选的，所述步骤制备深度学习样本，具体包括：

11、s11、取材固定，根据具体要求来选取合适的组织部位，并保证所取组织的新鲜度，在取得组织后及时将组织固定；

12、s12、脱水透明，利用脱水剂对组织进行脱水，常用的脱水剂是一组不同浓度的酒精，再利用透明剂使其透明；

13、s13、浸蜡包埋，将组织浸渍于熔化的石蜡中，使石蜡渗入组织，替代组织中原有的透明剂，起到支撑的作用，再将浸蜡后的组织置于装有熔化的石蜡的包埋框中，冷却凝固后，得到含有组织的蜡块；

14、s14、切片，根据组织的大小切去组织周围多余的石蜡，修整成规则的形状，使用切片机上切成薄片；

15、s15、染色，使用he染色法，苏木精是一种碱性染料，将细胞核等嗜碱性物质染为蓝紫色，伊红则是一种酸性染料，将细胞质及细胞质外基质等嗜酸性物质染为粉红色。

16、优选的，所述步骤采集样本高光谱图像，具体包括：

17、s21、固定染色的样本，并调节光源；

18、s22、打开采集装置并调节相关参数；

19、s23、移动载物台，对样本某个区域进行图像采集；

20、s24、移动载物台，采集空白区域校准图像。

21、优选的，所述样本高光谱图像预处理，具体包括：

22、s31、光谱校正，通过获取显微镜光源透过生物组织的图像与透过空白玻片的图像，对生物组织显微高光谱图像的每个波段进行光谱校正；

23、s32、高光谱图像滤波，中值滤波作为图像处理领域常见的非线性滤波的方法，对给定的滤波窗口内的像素值进行排序，并取像素值的中值来代替中心像素点本身的值，消除图像中孤立的噪声。

24、一种基于高光谱图像深度学习的装置，包括声光可调谐滤波器、驱动器、彩色及高光谱成像设备、光学显微成像系统和计算机组成。

25、优选的，所述彩色及高光谱成像设备包括cmos相机和scoms相机，所述cmos相机负责彩色成像，所述scoms相机负责高光谱成像。

26、优选的，所述cmos相机和所述scoms相机均通过usb3.0数据接口与计算机实现信息传输，所述声光可调谐滤波器与所述计算机电性连接。

27、一种基于高光谱图像深度学习的介质，包括存储介质和处理器介质，所述存储介质中存储相关算法及程序，所述处理器介质用于执行步骤样本高光谱图像预处理和步骤显微高光谱图像识别训练并输出图像。

28、与现有技术相比，本发明的有益效果是：

29、1、本发明中，3d残差卷积神经网络与2d卷积神经网络相比，在卷积层、池化层、全连接层上均针对高光谱图像区域识别任务进行了针对性调整，其组成单元包括普通3d卷积层、带空洞结构的3d卷积层、用跨步卷积实现的池化层及全连接层，在高光谱图像上做3d残差卷积可以更充分地对光谱维度进行特征提取，利用3d卷积替代传统2d卷积可以直接将高光谱数据块送入网络训练，无需前期降维等操作，避免了高光谱图像信息量的损失；同时提取其空间和光谱信息进行模型训练；在图像数量较少的情况下依旧可以达到不错的训练效果；综上，提高图像识别准确率。

30、2、本发明中，在高光谱图像上做3d残差卷积可以更充分地对光谱维度进行特征提取。由于高光谱图像的数据量较多，若将整张高光谱图像当做单个样本送入网络进行训练，一方面容易遇到内存、显存等硬件存储瓶颈，另一方面冗余信息过多导致计算效率低下，故先使用将采集图像首先输入3d残差卷积神经网络，进行特征提取，尽可能地提高数据采集量，避免光谱维度上的信息损失，将图像块作为最小数据单元以减少空间维度上的参数量，在网络的参数量合理的情况下尽量利用光谱维度和空间维度上的信息，进行分析，进行在一定程度上提高图像识别准确率，多余的数据再利用2d卷积神经网络进行分析，合理分配数据量，提高计算效率。