基于神经网络的眼底病分类方法及装置

本发明涉及神经网络，尤其涉及一种基于神经网络的眼底病分类方法、装置、电子设备及计算机可读存储介质。

背景技术：

1、随着科学技术的发展，神经网络在生活中的应用越来越广泛。神经网络是按照一定规则将多个神经元连接起来的网络，是一种模仿人类神经系统的计算模型，通过对大量数据的学习和处理，实现对于各种类别事物的识别、分类和预测，在人工智能和机器学习领域中扮演着重要作用。

2、当前主要是通过单一的卷积神经网络对眼底病图像进行分类，通过对大量的已标记的眼底病图像进行训练，从而实现眼底病的分类。但是对于图结构数据分类问题，利用单一的卷积神经网络可能无法直接处理，并且单一的卷积神经网络常被认为是黑盒模型，分类过程的可解释性差。因此当前通过卷积神经网络对眼底病图像进行分类存在着分类效果差、效率低的问题。

技术实现思路

1、本发明提供一种基于神经网络的眼底病分类方法、装置及计算机可读存储介质，其主要目的在于解决当前通过卷积神经网络对眼底病图像进行分类存在着分类效果差、效率低的问题。

2、为实现上述目的，本发明提供的一种基于神经网络的眼底病分类方法，包括：

3、获取原始眼底图像集，对所述原始眼底图像集进行数据预处理，得到目标眼底图像集，将目标眼底图像集划分为训练集、验证集和测试集；

4、分别利用预构建的图神经网络模型及卷积神经网络模型对训练集进行特征提取，得到图神经特征向量及卷积特征向量；

5、将所述卷积特征向量和图神经特征向量进行融合，得到目标特征向量，利用所述卷积神经网络模型对目标特征向量进行分类，得到训练集眼底病类别；

6、基于训练集眼底病类别，利用预设的链式法则和随机梯度下降法调整卷积神经网络模型的模型参数，得到改良卷积神经网络模型；

7、基于验证集对所述改良卷积神经网络模型进行评估并调优，得到优化卷积神经网络模型；

8、基于测试集对所述优化卷积神经网络模型进行测试并评估所述优化卷积神经网络模型的泛化性和准确性，得到目标卷积神经网络模型；

9、接收当前待分类眼底图像，利用图神经网络模型和目标卷积神经网络模型对所述当前待分类眼底图像进行眼底病分类，得到当前眼底病类别。

10、可选地，所述对所述原始眼底图像集进行数据预处理，得到目标眼底图像集，包括：

11、删除原始眼底图像集中非眼底病图像、重复图像以及清晰度低的图像，得到初始眼底图像集；

12、将初始眼底图像集中的图像大小调整至预设尺寸，并删除所述初始眼底图像集中与眼底病不相关的区域，得到标准眼底图像集；

13、从所述标准眼底图像集中依次选出彩色图像，将所述彩色图像转换为灰色图像，得到通道数为1的目标灰色图像集；

14、获取眼底病类别标签集，根据所述眼底病类别标签集指定目标灰度图像集中目标灰度图像对应的眼底病类别标签，得到标定眼底病图像集；

15、将所述标定眼底病图像集的像素值缩放至[0,1]区间，并利用预设的数据增强技术增加标定眼底病图像集的多样性和鲁棒性，得到目标眼底图像集。

16、可选地，所述将目标眼底图像集划分为训练集、验证集和测试集，包括：

17、将目标眼底图像集进行随机洗牌，得到随机眼底图像集；

18、按照8:1:1的比例将随机眼底图像集划分为训练集、验证集和测试集。

19、可选地，所述分别利用预构建的图神经网络模型及卷积神经网络模型对训练集进行特征提取，得到图神经特征向量及卷积特征向量，包括：

20、加载预构建的图神经网络模型，其中，所述图神经网络模型包括输入层、隐藏层和输出层，隐藏层包括图卷积层；

21、利用预设的八邻域从训练集中获取图像像素之间的邻接关系，以图像像素为节点、图像像素之间的邻接关系为边构建初始图结构；

22、从训练集中提取目标眼底图像的像素值，将所述目标眼底图像的像素值作为初始图结构的节点的原始特征值，得到目标图结构；

23、依次识别目标图结构中的节点，从目标图结构中提取所述节点的邻居节点集并统计邻居节点集中邻居节点的节点个数；

24、将所述目标图结构输入所述图神经网络模型，在图神经网络模型中利用预设的平均池化法计算邻居节点集的原始特征值的均值，得到目标特征值，其中，所述平均池化法为：

25、

26、其中，f表示目标特征值，w表示节点个数，ht表示第t个邻居节点的原始特征值，t表示邻居节点的序号；

27、将所述目标图结构所有节点的目标特征值进行汇聚，得到目标眼底图像的图神经特征向量；

28、加载预构建的卷积神经网络模型，其中，所述卷积神经网络模型包括输入层、隐藏层和输出层，隐藏层包括卷积层、池化层、全连接层和交叉熵损失函数，输出层包括softmax激活函数；

29、识别卷积神经网络模型的顶部卷积层和顶部池化层，将所述顶部卷积层和顶部池化层作为目标层；

30、将训练集输入所述卷积神经网络模型中进行前向传播，利用目标层对所述训练集中的目标眼底图像执行卷积和池化，得到目标特征图；

31、提取并汇聚所述目标特征图的图像特征，得到卷积特征向量。

32、可选地，所述将所述卷积特征向量和图神经特征向量进行融合，得到目标特征向量，包括：

33、提取卷积特征向量的最大元素和最小元素；

34、基于卷积特征向量的最大元素和最小元素，利用预设的归一化公式对所述卷积特征向量进行归一化处理，得到卷积归一化向量，其中归一化公式为

35、

36、其中，a表示卷积归一化向量，xj表示卷积特征向量的第j个元素，b表示卷积特征向量的最小元素，c表示卷积特征向量的最大元素；

37、统计卷积归一化向量的元素个数，基于所述卷积归一化向量的元素个数，利用预设的标准化公式对所述卷积归一化向量进行标准化处理，得到卷积标准化向量，其中标准化公式为

38、

39、其中，d表示卷积标准化向量，r表示卷积归一化向量中元素的序号，zr表示卷积归一化向量的第r个元素，k表示卷积归一化向量的元素个数；

40、利用预设的矩阵乘法法则将卷积标准化向量转化为与图神经特征向量维度相同的目标卷积向量；

41、将所述目标卷积向量和图神经特征向量进行逐元素相加，得到目标特征向量

42、可选地，所述利用所述卷积神经网络模型对目标特征向量进行分类，得到训练集眼底病类别，包括：

43、将目标特征向量展平为一维向量，得到一维目标向量；

44、调用卷积神经网络模型的全连接层，将所述一维目标向量输入所述卷积神经网络模型的全连接层；

45、利用全连接层将一维目标向量映射到所述眼底病类别标签；

46、调用卷积神经网络模型的softmax激活函数，利用所述softmax激活函数输出所述眼底病类别标签的概率分布，得到训练集眼底病类别。

47、可选地，所述基于训练集眼底病类别，利用预设的链式法则和随机梯度下降法调整卷积神经网络模型的模型参数，得到改良卷积神经网络模型，包括：

48、调用卷积神经网络模型的交叉熵损失函数，利用交叉熵损失函数计算训练集的眼底病类别标签与训练集眼底病类别的损失值，其中交叉熵损失函数为：

49、

50、其中，loss表示损失值，yi表示训练集的第i个眼底病类别标签，表示训练集中第i个眼底病类别，n表示训练集的图像数目，i表示训练集中目标眼底的图像序号；

51、根据所述损失函数，利用预设的链式法则逐层计算所述卷积神经网络模型中模型参数的参数梯度；

52、指定随机梯度下降法的学习率，基于所述参数梯度、损失值以及学习率，利用预设的随机梯度下降法更新卷积神经网络模型的模型参数，得到改良卷积神经网络模型。

53、可选地，所述基于验证集对所述改良卷积神经网络模型进行评估并调优，得到优化卷积神经网络模型，包括：

54、将验证集输入图神经网络模型，利用图神经网络模型提取验证集的图像特征，得到图验特征向量；

55、将验证集输入所述改良卷积神经网络模型，利用所述改良卷积神经网络模型提取验证集的图像特征，得到卷验特征向量；

56、融合所述图验特征向量和卷验特征向量，得到验证特征向量；

57、利用所述改良卷积神经网络模型对验证特征向量进行分类并输出，得到验证集眼底病类别；

58、根据所述验证集眼底病类别对所述改良卷积神经网络模型进行超参数调节，得到优化卷积神经网络模型。

59、可选地，所述利用图神经网络模型和目标卷积神经网络模型对所述当前待分类眼底图像进行眼底病分类，得到当前眼底病类别，包括：

60、将待分类眼底图像输入图神经网络模型，利用图神经网络模型提取所述待分类眼底图像的图像特征，得到待测图特征向量；

61、将所述待分类眼底图像输入目标卷积神经网络模型，利用目标卷积神经网络模型提取所述待分类眼底图像的图像特征，得到待测卷积特征向量；

62、融合所述待测图特征向量和待测卷积特征向量，得到待测特征向量；

63、利用所述目标卷积神经网络模型对待测特征向量进行分类，得到当前眼底病类别。

64、为了解决上述问题，本发明还提供一种基于神经网络的眼底病分类装置，所述装置包括：

65、数据预处理模块，用于获取原始眼底图像集，对所述原始眼底图像集进行数据预处理，得到目标眼底图像集，将目标眼底图像集划分为训练集、验证集和测试集；

66、卷积神经网络训练与优化模块，用于分别利用预构建的图神经网络模型及卷积神经网络模型对训练集进行特征提取，得到图神经特征向量及卷积特征向量；将所述卷积特征向量和图神经特征向量进行融合，得到目标特征向量，利用所述卷积神经网络模型对目标特征向量进行分类，得到训练集眼底病类别；基于训练集眼底病类别，利用预设的链式法则和随机梯度下降法调整卷积神经网络模型的模型参数，得到改良卷积神经网络模型；基于验证集对所述改良卷积神经网络模型进行评估并调优，得到优化卷积神经网络模型；基于测试集对所述优化卷积神经网络模型进行测试并评估所述优化卷积神经网络模型的泛化性和准确性，得到目标卷积神经网络模型；

67、眼底病分类模块，用于接收当前待分类眼底图像，利用图神经网络模型和目标卷积神经网络模型对所述当前待分类眼底图像进行眼底病分类，得到当前眼底病类别。

68、为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：

69、至少一个处理器；以及，

70、与所述至少一个处理器通信连接的存储器；其中，

71、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以实现上述所述的基于神经网络的眼底病分类方法。

72、为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现上述所述的基于神经网络的眼底病分类方法。

73、相比于背景技术所述：本发明实施例为方便运用卷积神经网络模型对眼底病进行分类，通过数据预处理原始眼底图像集，得到训练集、验证集和测试集，为提高卷积神经网络模型分类的准确性和效率，分别利用图神经网络模型和卷积神经网络模型提取出训练集、验证集和测试集的图神经特征向量和卷积特征向量，融合所述图神经网络模型和卷积特征向量得到目标特征向量，利用卷积神经网络模型对所述目标特征向量进行分类，得到训练集眼底病类别，运用链式法则和随机梯度下降法调整卷积神经网络模型的参数，得到改良卷积神经网络模型，基于验证集眼底病分类和测试集眼底病分类的准确率，调整改良卷积神经网络模型的超参数，从而得到目标卷积神经网络模型，利用目标卷积神经网络模型实现眼底病分类。因此本发明提出的基于神经网络的眼底病分类方法、装置、电子设备及计算机可读存储介质，可以解决当前通过卷积神经网络对眼底病图像进行分类存在着分类效果差、效率低的问题。