利用眼底图像的基于深层神经网络的眼病诊断装置及方法

1.本发明涉及一种利用眼底图像的眼病诊断装置及方法，更详细地，涉及一种通过包括缩小感兴趣区域(region of interest：roi)、平面限制对比度自适应直方图均衡化(plane contrast limited adaptive histogram equalization)及数据增强等的图像预处理来对学习数据集进行归一化，并能够通过适用深层神经网络来诊断正常(nomal)、包括青光眼(glaucoma：glc)、年龄相关性黄斑变性(age related macula degeneration：amd)、糖尿病性视网膜病变(diabetic retinopathy：dr)的多种眼病的利用眼底图像的基于深层神经网络的眼病诊断装置及方法。


背景技术：

2.在全世界范围内，糖尿病性视网膜病变(diabetic retinopathy：dr)、青光眼(glaucoma：glc)、年龄相关性黄斑变性(age related macula degeneration：amd)是导致视力丧失和失明的主要原因。
3.糖尿病性视网膜病变作为视网膜的血管并发症，会对视网膜造成损害，由此，如果不立即进行治疗，则会导致严重视力丧失。
4.从2000年到2030年，全球糖尿病人口增长率估计从2.8％增长至4.4％，这相当于患有糖尿病的患者数量约有1亿7100万至1亿9500万。糖尿病患者中有2％的患者具有失明的危险，以及往后15年，约10％的患者具有视力减退(vision loss)的危险。
5.另外，青光眼(glc)是因眼球内压差的影响而产生的，其中上述眼球内压差会导致视神经乳头损伤以及视力减退。
6.年龄相关性黄斑变性(amd)也提供了导致60岁以上的老人视野缺损和失明的原因，并示出对60岁以上的老人造成较大影响。
7.许多这些患者可能因视力(人类五种基本感官之一)而在生活中经历困难。
8.专家或医生所描述的诊断眼病的方法具有多种技术，该技术是通过利用眼底图像来判断眼病，其中上述眼底图像是通过光学相干层析成像(oct)(截面图像拍摄)和眼底图像拍摄来进行拍摄的。
9.另外，为了对眼病进行快速诊断和准确诊断，针对dr、glc、amd的每个诊断区域，正在研究和开发根据适用多种人工智能模型的图像分类的眼病诊断装置。
10.已表明，可以通过根据定期筛查糖尿病性视网膜病变的早期检测和适当治疗来将由糖尿病性视网膜病变引起的失明风险降低50％程度。
11.通常，为了诊断眼病，通过进行光学相干层析成像(optical coherence tomography：oct)和眼底图像拍摄等来获取眼底图像。
12.眼底图像用于诊断和检查糖尿病性视网膜病变(diabetic retinopathy：dr)、青光眼(glaucoma)、年龄相关性黄斑变性(age-related maculas degeneration：amd)等许多眼科疾病。因此，眼底图像的质量可能影响临床医生能够进行准确检查及诊断的能力。
13.尽管可以通过这种方式从眼底图像诊断多种眼科疾病，但是传统的应用了人工智
能的眼科疾病诊断装置从眼底图像中仅能够检测出一种特定的眼科疾病。
14.即，传统的利用人工智能的眼病诊断装置具有如下问题：其从眼底图像中仅仅检测出一种眼病，而不能检测出两个以上的眼病。
15.现有技术文献
16.专利文献
17.专利文献1：韩国公开专利第10-2020-0065923号(公开于2020年06月09日)


技术实现要素：

18.发明所要解决的问题
19.因此，本发明的目的在于，提供一种利用眼底图像的基于深层神经网络的眼病诊断装置及方法，其能够通过包括缩小感兴趣区域、平面限制对比度自适应直方图均衡化及数据增强等的图像预处理来对学习数据集进行归一化，并能够通过适用深层神经网络来诊断正常(nomal)、包括青光眼(glaucoma：glc)、年龄相关性黄斑变性(age related macula degeneration：amd)、糖尿病性视网膜病变(diabetic retinopathy：dr)的多种眼病。
20.用于解决问题的方案
21.根据用于达成如上所述目的的本发明的利用眼底图像的基于深层神经网络的眼病诊断装置包括：眼底图像获取部，其获取并输出学习数据集，上述学习数据集包括对两个以上的眼病中每一个眼病的多个眼底图像和专家对每个眼底图像相应眼病的专家的注解；深层学习部，其包括深层神经网络人工智能模型，通过将从上述眼底图像获取部接收的学习数据集适用于上述深层神经网络(dnn)人工智能模型中来进行学习，从而输出针对糖尿病性视网膜病变、年龄相关性黄斑变性、青光眼及正常进行学习的深层神经网络人工智能模型；诊断图像获取部，获取并输出待诊断的诊断对象眼底图像；及眼病诊断部，接收并驱动上述深层神经网络人工智能模型，并通过将上述诊断对象眼底图像适用于上述深层神经网络人工智能模型中，从而输出上述诊断对象眼底图像中眼病的存在情况，且当存在眼病时，输出相应眼病诊断结果。
22.上述学习数据集，其特征在于，包括：糖尿病性视网膜病变学习数据，其具有患有糖尿病性视网膜病变的多个眼底图像和针对上述糖尿病性视网膜病变的注解；年龄相关性黄斑变性学习数据，具有患有年龄相关性黄斑变性的眼底图像和针对上述年龄相关性黄斑变性的注解；青光眼学习数据，具有患有青光眼的眼底图像和针对上述青光眼的注解；及正常学习数据，包括正常眼底图像。
23.上述利用眼底图像的基于深层神经网络的眼病诊断装置，其特征在于，还包括：图像预处理部，以对上述学习数据集的眼底图像、上述诊断对象眼底图像的尺寸及数量进行调节的方式进行图像预处理来输出。
24.上述图像预处理部，其特征在于，包括：感兴趣区域获取部，从上述学习数据集的眼底图像和上述诊断对象眼底图像中提取感兴趣区域，并调节上述感兴趣区域的尺寸；及图像增强部，通过调节从上述感兴趣区域获取部输出的眼底图像的一个以上的参数来增加针对上述眼底图像的图像数量。
25.上述感兴趣区域获取部，其特征在于，包括：通道选择部，提取上述眼底图像的红色通道和绿色通道的眼底图像；尺寸调节部，将包括上述红色通道和绿色通道的眼底图像
调节为仅包含感兴趣区域的尺寸来输出；及限制对比度自适应直方图均衡化部，通过对已进行尺寸调节的眼底图像适用限制对比度自适应直方图均衡化来进行输出。
26.上述利用眼底图像的基于深层神经网络的眼病诊断装置，其特征在于，还包括：验证部，将由上述图像预处理而生成的学习数据集分为学习集和验证集，然后，根据上述验证集，对上述学习的上述深层神经网络人工智能模型进行k-折交叉验证，从而输出验证结果。
27.根据用于达成如上所述目的的本发明的利用眼底图像的基于深层神经网络的眼病诊断方法，其特征在于，包括：眼底图像获取步骤，眼底图像获取部获取并输出学习数据集，上述学习数据集包括对两个以上的眼病中每一个眼病的多个眼底图像和针对每个眼底图像的相应眼病的专家的注解；深层学习步骤，深层学习部包括深层神经网络人工智能模型，通过将从上述眼底图像获取部接收的学习数据集适用于上述深层神经网络(dnn)人工智能模型中来进行学习，从而针对糖尿病性视网膜病变、年龄相关性黄斑变性、青光眼及正常，输出已进行学习的深层神经网络人工智能模型；诊断图像获取步骤，诊断图像获取部获取并输出待诊断的诊断对象的眼底图像；及眼病诊断步骤，眼病诊断部接收并驱动上述深层神经网络人工智能模型，并通过将上述诊断对象眼底图像适用于上述深层神经网络人工智能模型中，从而输出上述诊断对象眼底图像中眼病的存在情况，且当存在眼病时，输出相应眼病诊断结果。
28.上述学习数据集，其特征在于，包括糖尿病性视网膜病变学习数据，其具有患有糖尿病性视网膜病变的多个眼底图像和针对上述糖尿病性视网膜病变的注解；年龄相关性黄斑变性学习数据，具有患有年龄相关性黄斑变性的眼底图像和针对上述年龄相关性黄斑变性的注解；青光眼学习数据，具有患有青光眼的眼底图像和针对上述青光眼的注解；及正常学习数据，包括正常眼底图像。
29.上述利用眼底图像的基于深层神经网络的眼病诊断方法，其特征在于，还包括：图像预处理步骤，图像预处理部以对上述学习数据集的眼底图像、上述诊断对象眼底图像的尺寸及数量进行调节的方式进行图像预处理来输出。
30.上述图像预处理步骤，其特征在于，包括：感兴趣区域获取步骤，上述图像预处理部通过感兴趣区域获取部从上述学习数据集的眼底图像和上述诊断对象眼底图像中提取感兴趣区域，并调节上述感兴趣区域的尺寸；及图像增强步骤，上述图像预处理部通过图像增强部来调节从上述感兴趣区域获取部输出的眼底图像的一个以上的参数来增加针对上述眼底图像的图像数量。
31.上述感兴趣区域获取步骤，其特征在于，包括：通道选择步骤，提取上述眼底图像的红色通道和绿色通道的眼底图像；尺寸调节步骤，将包含上述红色通道和绿色通道的眼底图像调节为仅包含感兴趣区域的尺寸来输出；限制对比度自适应直方图均衡化步骤，通过对已进行尺寸调节的眼底图像适用限制对比度自适应直方图均衡化来进行输出。
32.上述利用眼底图像的基于深层神经网络的眼病诊断方法，其特征在于，还包括：验证步骤，验证部将由上述图像预处理而生成的学习数据集分为学习集和验证集，然后，根据上述验证集，对上述学习的上述深层神经网络人工智能模型进行k-折交叉验证，从而输出验证结果。
33.发明效果
34.本发明具有如下效果：通过适用深层神经网络(deep neural networks：dnn)来从
眼底图像中学习正常、包括青光眼、年龄相关性黄斑变性、糖尿病性视网膜病变的眼病，因此可以从眼底图像，对两个以上的眼病进行分类并进行诊断。
35.另外，本发明具有如下效果：通过适用限制对比度自适应直方图均衡化(clahe)的数据预处理来，能够从线性累计分布函数(cdf)，克服最低平均绝对误差率。
36.另外，本发明具有如下效果：由于本发明进行k-折交叉验证，因此在具有更多数量特征的模型中进行验证，从而能够提供更好的验证结果。
37.另外，本发明具有如下效果：通过数据增强来增加真实图像的数量，而非假图像的数量，从而能够提高眼病的诊断准确度。
附图说明
38.图1是示出根据本发明的利用眼底图像的基于深层神经网络的眼病诊断装置的结构的图。
39.图2是示出根据本发明的执行了图像预处理的眼底图像的图。
40.图3是示出根据本发明的执行了图像增强的图像预处理的眼底图像的图。
41.图4是示出根据本发明的利用眼底图像的基于深层神经网络的眼病诊断方法的流程图。
42.图5是示出根据本发明的利用眼底图像的基于深层神经网络的眼病诊断方法中的图像预处理方法的流程图。
43.附图标记说明：
44.100：眼底图像获取部；
ꢀꢀ
200：诊断图像获取部；
45.300：图像预处理部；
ꢀꢀꢀꢀ
310：感兴趣区域获取部；
46.311：通道选择部；
ꢀꢀꢀꢀꢀꢀ
312：尺寸调节部；
47.313：限制对比度自适应直方图均衡化部；
48.320：图像增强部；
ꢀꢀꢀꢀꢀꢀ
400：深层学习部；
49.500：交叉验证部；
ꢀꢀꢀꢀꢀꢀ
600：眼病诊断部。
具体实施方式
50.以下，参照附图，对根据本发明的利用眼底图像的基于深层神经网络的眼病诊断装置的结构及运行进行详细的描述，并且对上述装置中的利用眼底图像的眼病诊断方法进行详细的描述。
51.图1是示出根据本发明的利用眼底图像的基于深层神经网络的眼病诊断装置的结构的图。图2是示出根据本发明的执行了图像预处理的眼底图像的图。图3是示出根据本发明的执行了图像增强的图像预处理的眼底图像的图。以下，通过参照图1之图3来进行描述。
52.根据本发明的利用眼底图像的基于深层神经网络的眼病诊断装置包括：眼底图像获取部100、诊断图像获取部200、深层学习部400及眼病诊断部600，并且根据实施例还可以包括：图像预处理部300和交叉验证部500。
53.眼底图像获取部100获取并输出学习数据集，上述学习数据集包括对两个以上的眼病中每一个眼病的多个眼底图像和对每个眼底图像的相应眼病的专家的注解。
54.本发明中，多个正常眼底图像、多个青光眼眼底图像、多个年龄相关性黄斑变性眼
底图像、多个糖尿病性视网膜病变眼底图像及每个眼底图像中包括与相应眼病对应的注解。
55.例如，在本发明中，可以获取总共2335个眼底图像来用于学习，在上述2335个眼底图像中可以包括1195个正常眼底图像、168个青光眼眼底图像、65个年龄相关性黄斑变性眼底图像、907个糖尿病性视网膜病变眼底图像。每个眼底图像均可以包括由专家记录的注解信息。
56.上述眼底图像能够从origa(-light)1、idrid2、messidor3、aria4、stare5等数据库中收集。每个数据库是通过存储一个以上针对特定眼病的眼底图像来进行管理。
57.诊断图像获取部200可以从眼底相机和oct相机中获取诊断对象眼底图像(待诊断的对象的眼底图像)，也可以通过从存储单元加载诊断对象眼底图像来获取上述诊断对象眼底图像，还可以通过通讯单元来接收诊断对象眼底图像来获取上述诊断对象眼底图像。
58.图像预处理部300将从上述眼底图像获取部100接收的学习数据集的眼底图像进行图像预处理并输出到深层学习部400，或者将从上述诊断图像获取部200接收的诊断对象眼底图像进行图像预处理并输出到眼病诊断部600。
59.上述图像预处理部300包括感兴趣区域获取部310和图像增强部320，上述感兴趣获取部310包括通道选择部311、尺寸调节部312和限制对比度自适应直方图均衡化部313。
60.感兴趣区域获取部310从眼底图像中仅提取感兴趣区域并进行输出。
61.具体地，如下述数学式1所示，通道选择部311提取基于25、13临界值的红色通道和绿色通道，并对整体眼底图像进行标准化来进行输出。上述绿色通道是互补层。
62.【数学式1】
[0063][0064]
其中，i
max
是图像宽度，j
max
是图像高度。
[0065]
尺寸调节部312将上述所提取的通道的眼底图像调节为384*384的尺寸。
[0066]
限制对比度自适应直方图均衡化部313在亮度(luminance)平面上对上述尺寸调节部312中调节尺寸的眼底图像进行直方图均衡化。上述限制对比度自适应直方图均衡化部313在亮度平面上进行直方图均衡化，从而可以从线性累计分布函数(cdf)中克服最低的平均绝对误差率。
[0067]
感兴趣区域获取部310在图2左侧的原始眼底图像中仅提取如图2的中间图像所示的感兴趣区域(roi)，并且，通过进行如图2右侧图像所示的限制对比度自适应直方图均衡化(isol-clahe)来改善仅提取roi的眼底图像的质量。
[0068]
图像增强部320通过调节从上述感兴趣区域获取部310输出的眼底图像的至少一个以上的参数来增加并输出针对上述眼底图像的图像数量。
[0069]
上述图像增强在不生成假图像的同时，在20％以内扩大眼底图像的尺寸(参数)，或者将眼底图像旋转至规定角度(参数)，或者在25％以内改变亮度，来增加眼底图像的数量。
[0070]
例如，如图3所示，左侧图像是原始眼底图像，中间左侧图像是对原始眼底图像进
行+25％的亮度调节和逆时针方向旋转80度的眼底图像；中间右侧图像是对原始眼底图像进行+25％的亮度调节、20％推远缩小(缩小)、水平翻转、逆时针旋转40度等的图像；最右侧图像是对眼底图像进行+25％的亮度调节、20％拉近放大(放大)、水平翻转的增强图像。
[0071]
图像增强可以防止由amd的很小的数据集大小及nr和dr的很大的数据集而产生的性能差异。
[0072]
但是，当增强上述眼底图像时，必须包括所有功能，即视神经盘、黄斑和血管，因此移动不能适用于参数。
[0073]
深层学习部400将所输入的眼底图像的形状配置为最优形状384*384*384*383，并配置适用了4级连接softmax预测概率的深层神经网络(dnn)人工智能模型。上述深层学习部400通过将进行图像预处理的学习数据集的眼底图像适用于上述深层神经网络人工智能模型中来使其学习，并将学习的深层神经网络人工智能模型输出到交叉验证部500和眼病诊断部600。
[0074]
本发明的深层学习部400适用了神经网络优化器，该神经网络优化器在形成权重值并进行学习方面起着重要作用，并且损失函数引导优化器向正确的方向移动。在本发明中，适用了称为adadelta的自适应梯度扩展优化器来防止学习鲁棒性和学习速度的变化。上述adadelta的学习率在0.001以内，并且使用分类交叉熵损失函数。
[0075]
从图像预处理器300输出的数据集中仅80％用于学习，10％用于测试，并且10％用于验证。
[0076]
交叉验证单元500将上述10％的验证用数据集输入到从上述深层学习部400中进行学习的深层神经网络人工智能模型中，并进行k-折交叉验证，特别是10倍交叉验证。如果验证失败，则优选地，深层学习部400被设置为进行再学习。
[0077]
眼病诊断部600将已进行图像预处理的诊断对象的眼底图像适用于通过上述交叉验证部500成功验证的学习的深层神经网络人工智能模型中，来对眼病进行分类，并输出所分类的眼病。
[0078]
图4是示出根据本发明的利用眼底图像的基于深层神经网络的眼病诊断方法的流程图。
[0079]
参照图4，眼底图像获取部100通过从上述多个数据库中获取眼底图像学习数据集并输出到图像预处理部300，其中上述眼底图像学习数据集包括：根据本发明所需要的眼底图像和针对每个眼底图像的专家的注解(s111)。
[0080]
图像预处理部300对所输入的学习数据集的眼底图像进行图像预处理，并将已进行图像预处理学习数据集提供到深层学习部400(s113)。
[0081]
深层学习部400通过将从图像预处理部300中接收的学习数据集的眼底图像(已进行图像预处理)适用于深层神经网络人工智能模型中进行学习，并生成眼病诊断模型，从而将其提供到交叉验证部500和眼病诊断部600(s115)。
[0082]
交叉验证部500通过将验证用数据集适用于所生成的眼病诊断模型中，并进行k-折交叉验证来判断成功与否(s117)。
[0083]
如果成功，则眼病诊断部600将从深层学习部400接收的眼病诊断模型(深层神经网络人工智能模型)进行驱动，并监测是否从诊断图像获取部200获取并通过预处理部300输入诊断对象眼底图像(s119)，当接收诊断对象眼底图像时，将其适用于眼病诊断模型中
(s123)，并输出诊断结果(s125)。
[0084]
图5是示出根据本发明的利用眼底图像的基于深层神经网络的眼病诊断方法中的图像预处理方法的流程图。
[0085]
参照图5，首先，图像预处理部300的感兴趣区域获取部310通过通道选择部311来仅提取所接收的学习数据集每个眼底图像的红色通道和绿色通道，并输出到尺寸调节部312(s211)。
[0086]
尺寸调节部312将上述红色通道的眼底图像的尺寸调节为384像素，然后将其输出到限制对比度自适应直方图均衡化部313(s213)。
[0087]
限制对比度自适应直方图均衡化部313将已进行尺寸调节的眼底图像，在亮度平面上进行直方图均衡化，并将其输出到图像增强部320(s215)。
[0088]
图像增强部320对所接收的每个眼底图像进行参数变更的同时，生成针对上述眼底图像的增强图像，并将生成增强图像的学习数据集提供到深层学习部400(s220)。
[0089]
一方面，本领域技术人员能够容易地理解，本发明不限于上述典型的优选实施例，而是在不脱离本发明主旨的范围内，可以以改进、改变、替换或附加等各种方式来实施。如果通过这样的改进、改变、替换或附加而实现的实施落入所附权利要求的范围内，那么其技术思想也应该属于本发明。