一种基于深度网络模型融合的视网膜OCT图像分类方法与流程

本发明涉及一种视网膜oct图像分类方法，具体涉及一种基于深度网络模型融合的视网膜oct图像分类方法，属于深度学习、计算机视觉、医学图像处理的。

背景技术：

1、oct(optical coherence tomography)，即光学相干断层扫描技术，是一种三维成像模式，能够以非接触式和非侵入式的方式获得人体视网膜的高分辨率横截面重建图像。oct的轴向分辨能力可以达到显微分辨的精度，其不仅可以观察视乳头和黄斑的形态特征、视网膜和神经纤维层厚度的变化，还可观察角膜、虹膜、晶状体等前部组织。因此，oct目前已经成为诊断大部分眼部疾病的标准临床工具。

2、而在临床上，对常见的视网膜疾病如玻璃膜疣（drusen）、脉络膜新生血管（cnv）、糖尿病性黄斑水肿（dme）的鉴别主要通过医生对oct图像进行人工辨识。虽然oct成像技术发展迅速，但oct图像的识别分析技术却没有出现实质性的进步。近年来，随着人们对眼部健康的关注度不断上升，临床上可获取的的oct图像数据越来越多，这意味通过传统方式对这些图像分类需要耗费越来越多的人力和时间。为了节省医疗资源，急需一种高效准确的视网膜oct图像自动分类方法来辅助医生进行诊断。

3、传统上的医疗图像识别方法主要通过人工设计的特征描述子去提取图像特征，然后使用机器学习的方法对提取到的特征进行分类，其分类性能主要受特征描述子的影响，因此模型的泛化能力有限，性能也较差。近年来，随着深度学习的发展，出现了许多基于深度卷积网络的图像分类算法。深度网络可以自动提取图像中的特征，而无需手动设计，故利用深度卷积网络可以高效的完成图像特征提取及图像分类，且分类性能良好。深度学习需要大量的数据支持，否则可能出现过拟合的情况，由于oct技术的不断发展为我们提供了大量可使用的oct图像数据，另外通过该问题得到了一定程度上的解决，因此使用深度学习方法可以较好的解决oct图像的分类问题。

技术实现思路

1、本发明的目的是针对现有技术的缺陷，提供一种基于深度网络模型融合的视网膜oct图像分类方法，用于对视网膜疾病的分类鉴别，可以实现视网膜oct图像的自动分类，且满足一定的准确率要求。

2、为实现上述目的，本发明采用的技术方案为：一种基于深度网络模型融合的视网膜oct图像分类方法，包括如下步骤，

3、步骤1，从公开数据集octminst中获取视网膜oct图像数据，并对所述视网膜oct图像数据进行预处理；

4、步骤2，对预处理后的图像数据构建深度网络模型；

5、步骤3，设计模型融合方案，对步骤2中选取的网络模型进行模型融合；

6、步骤4，使用oct图像数据对模型进行训练；

7、步骤5，通过前述步骤中训练完成的模型对视网膜oct图像进行分类。

8、进一步的，所述步骤1中，采用高斯滤波方法进行预处理；将高斯函数作为模板，与输入图像做卷积运算，即对整体图像进行加权平均，去除掉图像中的高频分量。

9、进一步的，所述高斯函数的一维表达式为：

10、，

11、二维表达式为：

12、。

13、进一步的，所述步骤2中， 采用xception网络和resnet v2网络构建深度网络模型； xception网络可通过深度可分离卷积替换inceptionv3中的卷积，同时引入了残差模块xception；resnet v2网络是在resnet为基础上提出的新的残差结构。

14、进一步的，所述步骤2的具体流程为：输入信号x并进行归一化操作，其次relu激活函数后进行卷积运算；再次进行归一化操作、relu激活函数并卷积运算的顺序运算后，再与恒等映射的输入信号相加，相加后的结果不需要再经过relu激活函数。

15、进一步的，为提高分类精度，模型引入注意力机制cbam，使模型将更多的注意力留给有用的特征区域，一定程度上屏蔽无效信息，可以获取更高价值的特征信息。

16、进一步的，所述步骤3中，用全局平均池化层进行维度的调整，维度调整一致后，使用concatenate操作进行模型融合。模型的分类器单元由三个dense层和softmax层搭配组成，dense层将特征融合单元的输出向量的通道数进行调整，最后接softmax进行分类。

17、进一步的，所述步骤4中，将预处理之后的oct图像数据分为训练集和测试集，使用训练集进行模型训练，使用测试集进行验证；

18、使用正确率（accuracy）和损失率（loss）作为判定指标；为了提高训练速率，选用imagenet预训练参数初始化两个深度学习模型；在模型编译完成后，在经过预处理的octminst数据集上进行训练。

19、进一步的，所述步骤4中，采用交叉熵来充当分类任务中的损失函数，它的公式如下所示，

20、。

21、与现有技术相比，本发明的有益效果为：本发明用于对视网膜疾病的分类鉴别，可以实现视网膜oct图像的自动分类，且满足一定的准确率要求。

技术特征：

1.一种基于深度网络模型融合的视网膜oct图像分类方法，其特征在于：包括如下步骤，

2.根据权利要求1所述的基于深度网络模型融合的视网膜oct图像分类方法，其特征在于：所述步骤1中，采用高斯滤波方法进行预处理；将高斯函数作为模板，与输入图像做卷积运算，即对整体图像进行加权平均，去除掉图像中的高频分量。

3.根据权利要求2所述的基于深度网络模型融合的视网膜oct图像分类方法，其特征在于：所述高斯函数的一维表达式为：

4.根据权利要求1所述的基于深度网络模型融合的视网膜oct图像分类方法，其特征在于：所述步骤2中， 采用xception网络和resnet v2网络构建深度网络模型； xception网络可通过深度可分离卷积替换inceptionv3中的卷积，同时引入了残差模块xception；resnetv2网络是在resnet为基础上提出的新的残差结构。

5.根据权利要求4所述的基于深度网络模型融合的视网膜oct图像分类方法，其特征在于：所述步骤2的具体流程为：输入信号x并进行归一化操作，其次relu激活函数后进行卷积运算；再次进行归一化操作、relu激活函数并卷积运算的顺序运算后，再与恒等映射的输入信号相加，相加后的结果不需要再经过relu激活函数。

6.根据权利要求4所述的基于深度网络模型融合的视网膜oct图像分类方法，其特征在于：为提高分类精度，模型引入注意力机制cbam，使模型将更多的注意力留给有用的特征区域，一定程度上屏蔽无效信息，可以获取更高价值的特征信息。

7.根据权利要求1所述的基于深度网络模型融合的视网膜oct图像分类方法，其特征在于：所述步骤3中，用全局平均池化层进行维度的调整，维度调整一致后，使用concatenate操作进行模型融合。模型的分类器单元由三个dense层和softmax层搭配组成，dense层将特征融合单元的输出向量的通道数进行调整，最后接softmax进行分类。

8.根据权利要求1所述的基于深度网络模型融合的视网膜oct图像分类方法，其特征在于：所述步骤4中，将预处理之后的oct图像数据分为训练集和测试集，使用训练集进行模型训练，使用测试集进行验证；

9.根据权利要求1所述的基于深度网络模型融合的视网膜oct图像分类方法，其特征在于：所述步骤4中，采用交叉熵来充当分类任务中的损失函数，它的公式如下所示，

技术总结
本发明公开了一种基于深度网络模型融合的视网膜OCT图像分类方法，首先获取视网膜OCT图像数据，并对所述视网膜OCT图像数据进行预处理；对预处理后的图像数据构建深度网络模型；设计模型融合方案，对选取的网络模型进行模型融合；使用OCT图像数据对模型进行训练；最终通过前述步骤中训练完成的模型对视网膜OCT图像进行分类。通过本发明的方法可以实现视网膜OCT图像的自动分类，且满足一定的准确率要求。

技术研发人员：史本军,孙圣力,张荣卓,李青山
受保护的技术使用者：南京博雅证链科技有限公司
技术研发日：
技术公布日：2024/1/22