眼底OCT图像识别方法及设备与流程
本发明涉及眼科图像检测领域，具体涉及一种眼底oct图像识别方法及设备。
背景技术：
机器学习技术在医学领域得到了广泛的应用，尤其以深度学习为代表的机器学习技术在医疗影像领域被广泛关注。在眼底图像检测和眼部疾病鉴别诊断方面，深度学习技术已经被用于青光眼、糖尿病视网膜病变这样的单一病种的检测，并取得了良好效果。
眼部图片所能提示的疾病种类多、数量大，且病变的表现形式非常不同，有大面积的眼底出血，也有非常微小的出血、渗出。眼底图像可以提示的疾病包括视网膜病变(包括糖尿病性视网膜病变等多种疾病)、动脉硬化/高血压眼底病变(包含动脉硬化、视盘水肿等病变)、青光眼、黄斑变性、玻璃体病变、视网膜血管病变、视神经疾病、屈光不正、病理性近视等多种眼部及非眼部疾病。
眼部oct图像具有无创、高速、高分辨率、三维成像等优点，在诊断多种眼部疾病中得到广泛的应用。现有技术可以利用神经网络对oct图像进行分类得到关于某种疾病的识别结果，这种方案具有一定的准确性，但这种识别结果临床应用价值较小，实用性较差。
技术实现要素：
有鉴于此，本发明提供一种眼底oct图像识别方法，包括：
利用神经网络对眼底oct图像进行识别，得到关于病变和中心凹的识别结果；
根据所述识别结果确定感兴趣区域；
根据感兴趣区域的位置和/或尺寸确定病变程度。
可选地，所述神经网络包括分类网络，所述识别结果包括分类结果，所述分类结果表示正常或属于各种疾病类型，以及有中心凹或无中心凹。
可选地，当所述分类结果表示有疾病时，所述感兴趣区域包括根据所述分类网络提取的特征信息确定的疾病热力图。
可选地，当所述分类结果表示有中心凹时，所述感兴趣区域包括根据所述分类网络提取的特征信息确定的中心凹热力图。
可选地，根据感兴趣区域的位置和/或尺寸确定病变程度，包括：
根据多次扫描的眼底oct图像中所述疾病热力图的热力区域面积、所述oct图像的面积确定病变体积；
根据所述病变体积确定病变程度。
可选地，当所述感兴趣区域包括所述疾病热力图和所述中心凹热力图时，根据感兴趣区域的位置和/或尺寸确定病变程度，包括：
分别确定所述疾病热力图和所述中心凹热力图的形心，并确定二者间的距离；
根据所述距离和图像标尺确定实际距离；
根据所述实际距离确定病变对视力的影响程度。
可选地，所述神经网络包括分割网络，所述识别结果包括分割结果，所述分割结果指示各种病变区域以及中心凹区域。
可选地，所述感兴趣区域包括分割结果指示的病变区域。
可选地，所述感兴趣区域包括分割结果指示的中心凹区域。
可选地，根据感兴趣区域的位置和/或尺寸确定病变程度，包括：
根据多次扫描的眼底oct图像中的病变区域的面积、所述oct图像的面积确定病变体积；
根据所述病变体积确定病变程度。
可选地，当所述感兴趣区域包括所述病变区域和所述中心凹区域时，根据感兴趣区域的位置和/或尺寸确定病变程度，包括：
确定所述中心凹区域的凹点和所述病变区域的形心，并确定所述凹点和所述形心的距离；
根据所述距离和图像标尺确定实际距离；
根据所述实际距离确定病变对视力的影响程度。
可选地，所述神经网络包括分类网络和分割网络，其中所述分类网络输出所述分类结果，表示正常或属于各种疾病类型，以及有中心凹或无中心凹；所述分割网络输出分割结果，指示各种病变区域以及中心凹区域；
所述识别结果是所述分类结果和所述分割结果的结合。
相应地，本发明还提供一种眼底oct图像识别设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述眼底oct图像识别方法。
根据本发明实施例提供的眼底oct图像识别方法及设备，通过神经网络对眼底oct图像进行分类和/或分割，由此可以鉴别多种眼底疾病，在对病变进行识别的同时还识别中心凹，根据病变和中心凹相关的感兴趣区域的位置和面积可有效地评估病变的程度，为医生对疾病进行诊断提供辅助数据，提高医生的阅片效率，使得本方案具有较强的实用性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中的一个分类网络的示意图；
图2为本发明实施例中的热力图可视化效果图；
图3为本发明实施例中利用分割网络得到的分割结果的示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本发明实施例提供一种眼底oct图像识别方法，在本方法中使用了神经网络对眼底oct图像进行识别，本方法包括如下步骤：
s1a，利用神经网络对眼底oct图像进行识别，得到关于病变和中心凹的识别结果。本步骤中所使用的神经网络可包括分类网络和分割网络中的至少一个。
在本实施例中使用分类网络，相应的识别结果为分类结果，分类结果表示输入的眼底oct图像为正常(不存在病变)或属于某一种或多种疾病类型，以及有中心凹或无中心凹。该分类网络学习的样本图像的标签为正常、疾病1、疾病2、……、疾病n、有中心凹、无中心凹，则在此步骤中针对输入的眼底oct图像的识别结果则为上述标签中的至少一种。
图1示出了一个分类网络的示例，该网络包括一些隐层和分类模块，分类模块输出的疾病类型可包括活动性cnv、非活动性cnv、黄斑前膜、黄斑囊样水肿、黄斑裂孔、地图样萎缩等等，以及其它病变类。
例如分类结果可以是属于“疾病i”这一种类型，或者可以是属于“疾病i”和“有中心凹”这两种或更多种类型等等，即分类网络可以被配置为执行多标签分类任务或者单一标签的分类任务，分类结果至少用于表示图像是否体现出一种或多种疾病，此外还可以表示图像中是否体现出中心凹。
在一个优选的实施例中，神经网络在输出决策时，针对不同标签(类型)采用不同的阈值来给出风险提示，进而提高检测的敏感度。
s2a，根据识别结果确定感兴趣区域。感兴趣区域是疾病类型对应病变的区域，或者中心凹所在的区域，具体根据识别结果而定。一个眼底oct图像可同时包含多个感兴趣区域，也可能只有一个感兴趣区域。
需要说明的是，本实施例针对存在异常的眼底进行介绍，如果步骤s1a中识别结果表示属于正常并且无中心凹，则不存在感兴趣区域；如果识别结果表示属于正常并且有中心凹，则只有一个感兴趣区域，即中心凹区域。针对这两种情况可以输出表示该图像属于正常的识别结果，不需要进行后续操作。
在一个实施例中，当分类结果表示属于某一种或多种疾病时，相应的感兴趣区域是根据分类网络提取的特征信息确定的疾病热力图；当分类结果表示有中心凹时，相应的感兴趣区域是根据分类网络提取的特征信息确定的中心凹热力图。
关于上述热力图的生成方式，具体是提取分类网络最后全连接层的所有通道权重参数w和oct图像经过分类网络得到的所有通道特征图f，每一个通道的特征图对应模型预测的一个标签(类型)，当分类网络预测的某一标签的概率pi∈p大于设定的阈值thresi时，将该标签对应通道的特征图fi和权重参数wi做矩阵相乘得到模型对于该预测标签的热力图cami，并对cami上的每个元素vj,k按照thresj进行阈值激活，公式如下：
将所有类型对应的cami相加，即可得到关于所有感兴趣区域的热力图cam：
例如一个分类结果表示属于一种疾病并且有中心凹，根据上述方式可生成疾病热力图cam1和中心凹热力图cam2，将它们相加并与眼底oct图像原图相结合即可得到如图2所示的结果，其中位于左侧的是疾病热力图cam1，位于中部的是中心凹热力图cam2。可以对用户输出这一叠加的结果，达到分类结果可视化的目标，由此证实分类结果的可信性，并可以提示用户重点查看热力图覆盖的位置，辅助医生进行诊断。
s3a，根据感兴趣区域的位置和/或尺寸确定病变程度。病变程度总体可分为两种，第一种是疾病的严重程度，第二种是疾病对视力的影响程度，确定方式需要根据感兴趣区域的类型而定。
本领域技术人员应当理解，在对眼球进行oct扫描时，是对一个目标区域进行多次扫描，由此得到针对一个目标区域的多张眼底oct图像，用户可以选择目标区域，一般情况下是黄斑区域或者视盘区域，当然也可以是其它区域。
本发明提供的方案可以针对某一张眼底oct图像进行处理，在步骤s1a中得到这一张图像的识别结果，在步骤s2a中得到这一张图像的感兴趣区域，并在步骤s3a中得到这一张图像所反映的病变程度；
本发明提供的方案也可以针对某一次扫描的多张或者全部图像进行处理，在步骤s1a中分别得到多张图像的识别结果，在步骤s2a中分别得到多张图像的感兴趣区域，并在步骤s3a中根据各个图像的感兴趣区域的融合结果，得到多张图像所反映的病变程度。
在一个实施例中，当分类结果表示属于一种或多种疾病时(感兴趣区域包括疾病热力图)，步骤s3a包括如下步骤：
根据多次扫描的眼底oct图像中疾病热力图的热力区域面积、oct图像的面积确定病变体积vi。具体地
其中i为第i类疾病，例如cnv、黄斑囊样水肿等疾病种类。n为oct图像数量，在计算体积时需要使用多张眼底图像，n是针对一个目标区域多次扫描的oct图像的数量，一般为19张，也可以更多。si,j为第j次扫描的第i类疾病热力区域面积，δd为设备每两次扫描间隔(距离)。根据上式得到的面积是图像面积，为了使结果更加直观，还可以根据oct图片的标尺计算出实际体积。
然后根据病变体积确定病变程度，例如θi＝∑wv-i*vi,其中wv-i为第i类疾病评估权重，vi第i类疾病病变体积，由此得到的θi是第i类疾病的病变程度。权重的取值可根据病变疾病类别进行设置，具体可根据临床情况而定，由此使得对于不同的疾病种类，病变体积的大小对相应的病变程度评估结果的影响不相同，实现量化识别结果提高实用性的目的。
又如
为了向用户呈现出更加直观的结果，可以对上述θ或者θi进行分级，向用户输出分级结果。例如θ＝0为无病变；0<θ<0.5为病变一级；0.5<θ<1为病变二级；1<θ<1.5为病变三级；1.5<θ为病变四级；等级越高，病变越严重。
本实施例综合考虑了病灶区域与中心凹的影响，病灶离中心凹越近，中心凹形态越容易遭到破坏，即检测出的中心凹区域体积越小，θ值越大。
在一个实施例中，当分类结果表示属于一种或多种疾病，并且有中心凹时(感兴趣区域包括疾病热力图和中心凹热力图)，步骤s3a包括如下步骤：
分别确定疾病热力图和中心凹热力图的形心，并确定二者间的距离。形心是指热力图的峰值位置，热力图表达的是分类网络对于每个像素的soft-confidence(置信度)，confidence最大处即为热力图的形心，也即感兴趣区域的中心。
具体可通过中心凹和各个病灶区域的形心，计算出各病灶与中心凹之间的像素距离，此距离为形心距离。然后进一步确定两种形心连线与病灶区域边缘的交点，计算出该交点与中心凹形心的距离，此为最近距离。
根据距离和图像标尺确定实际距离，并根据该实际距离确定病变对视力的影响程度。根据oct图片的标尺，估算出真实距离，评估病变区域的危害程度，例如实际距离越小对应的影响程度越大，二者间可以是线性或非线性的对应关系。
具体可以采用对距离分级的方式将分级结果作为影响程度，例如对于cnv，其病变区域与中心凹区域的实际距离为1-199um,则为近中心凹型cnv，视力影响程度为三级；实际距离200-250um,则为旁中心凹型cnv，对视力影响程度为二级；实际距离大于250um,则为中心凹外型cnv,对视力影响程度为一级。
根据本发明实施例提供的眼底oct图像识别方法，通过神经网络对眼底oct图像进行分类，由此可以鉴别多种眼底疾病，在对病变进行分类的同时还识别中心凹，根据病变类型和中心凹相关的感兴趣区域的位置和面积可有效地评估疾病变的程度，为医生对疾病进行诊断提供辅助数据，提高医生的阅片效率。
本发明实施例提供一种眼底oct图像识别方法，在本方法中使用了神经网络对眼底oct图像进行识别，与上述实施例的不同之处在于本实施例基于分割网络进行识别和处理。本方法包括如下步骤：
s1b，利用神经网络对眼底oct图像进行识别，得到关于病变和中心凹的识别结果。在本实施例中使用分割网络，相应的识别结果为分割结果，分割结果指示各种病变区域以及中心凹区域。图3示出了一个分割结果示意图，分割网络对左侧的眼底oct图像进行识别，得到右侧的分割结果图像，其中展示出三种区域，分别为两种病变区域和中心凹区域。
需要说明的是，本实施例针对存在异常的眼底进行介绍，如果识别的图像是正常并且无中心凹的，则在此不会得到分割结果，也不需要进行后续处理；如果识别的图像是正常但是有中心凹，在此会得到关于中心凹形态的分割结果。
s2b，根据识别结果确定感兴趣区域。在本实施例中，分割结果指示的病变区域以及中心凹区域即为感兴趣区域。
s3b，根据感兴趣区域的位置和/或尺寸确定病变程度。病变程度总体可分为两种，第一种是疾病的严重程度，第二种是疾病对视力的影响程度，确定方式需要根据感兴趣区域的类型而定。
在一个实施例中，当分割结果指示存在一个或多个疾病区域时(感兴趣区域包括病变区域)，步骤s3b包括如下步骤：
根据多次扫描的眼底oct图像中的病变区域的面积、oct图像的面积确定病变体积。具体地，首先可以计算病变区域与图像总面积的比值，即分别计算分割网络预测出的各种病变区域的像素总数与图像所有像素总数之比，然后计算各种病变体积。进而根据病变体积确定病变程度。
关于病变体积的计算以及整体病变程度评估与上述实施例中基于分类网络的处理方式相同，此处不再赘述。
在一个实施例中，当分割结果指示存在一个或多个疾病区域并且存在中心凹区域时(感兴趣区域包括病变区域和中心凹区域)，步骤s3b包括如下步骤：
确定中心凹区域的凹点和病变区域的形心，并确定凹点和型心的距离。其中凹点为中心凹最深处，即分割网络测出的所有属于中心凹形态边缘的像素点坐标(x,y)中y值最大处。本实施例中的形心即为病变区域的中心，分割结果中的病变区域一般是不规则形状，确定不规则形状中心的方式有多种，本发明可以使用任一种现有方式确定其形心。
然后根据距离和图像标尺确定实际距离，进而根据实际距离确定病变对视力的影响程度。此步骤可参照上述实施例中基于分类网络的处理方式相同，此处不再赘述。
根据本发明实施例提供的眼底oct图像识别方法，通过神经网络对眼底oct图像进行分割，由此可以得到多种眼底疾病的病变区域，在对病变进行分割的同时还对中心凹进行识别和分割，根据病变区域和中心凹区域的位置和面积可有效地评估疾病变的程度，为医生对疾病进行诊断提供辅助数据，提高医生的阅片效率。
本发明实施例提供一种眼底oct图像识别方法，本方法同时使用上述分类网络和分割网络进行识别和处理，在各个步骤中将分别根据这两种网络的输出结果进行处理。该方法包括如下步骤：
s1c，利用分类网络和分割网络分别对眼底oct图像进行识别，其中分类网络输出分类结果，表示正常或属于各种疾病类型，以及有中心凹或无中心凹；分割网络输出分割结果，指示各种病变区域以及中心凹区域。具体可参照上述步骤s1a和步骤s1b，此处不再赘述。
结合分类结果和分割结果，得到关于病变和中心凹的识别结果。具体可以将两种网络的结果加权后得到关于图像的疾病风险整体评估。加权参数可根据需要调整，也可以在数据中自适应学习后得到。本系统整合多种网络，既考虑了图像级别的整体特征，也结合了像素级别的细粒度特征，多层级图像特征可保证高精度以及强泛化能力。
s2c，根据识别结果确定感兴趣区域。在本实施例中保留基于两种网络确定的感兴趣区域，具体可参照上述步骤s2a和步骤s2b。并可进一步将基于两种网络确定的感兴趣区域进行整合，保留整合后的感兴趣区域。
s3c，根据感兴趣区域的位置和/或尺寸确定病变程度。在本实施例中分别基于两种网络确定的感兴趣区域确定病变程度，具体可参照上述步骤s3a和步骤s3b，并可进一步将基于两种网络确定的病变程度进行整合，最终向用户提供整合后的病变程度评估结果。
根据本发明实施例提供的眼底oct图像识别方法，通过分类网络和分割网络对眼底oct图像进行识别，整合两种网络，既考虑了图像级别的整体特征，也结合了像素级别的细粒度特征，多层级图像特征可保证高精度以及强泛化能力，由此可以提高识别结果的准确性。
上述各个实施例中所使用的的神经网络的架构可以是2d或者3d的，并包含卷积层、池化层、batchnorm层、dropout层和全连接层。该神经网络优选为卷积深度神经网络，具体可以是如vgg，inception，resnet,u-net及其变体等现有的网络结构，也可以是上述网络的组合。神经网络的权重初始化可以来自于经过公开数据集预训练的参数，也可以来自于随机初始化。
在利用神经网络进行分类或者分割之前应当使用大量的样本数据及其标签对网络进行训练。在训练过程中，首先可以进行数据处理，包含针对标签和图片的整理，例如针对标签：对于矛盾标签的清理、结合领域内的医学知识对于多个带有/不带有一定层级特性的标签的简化。例如针对样本图片：数据整理包括通过截取和缩放的方式对图片尺寸的统一，通过扭曲、平移、镜像、高斯平滑、和旋转等来对不均衡样本如黄斑囊样水肿、黄斑裂孔等样本进行扩增，最终效果尽可能的模拟视网膜oct扫描时的各种形态，也包括采用针对同一图片多个不同缩放比例下的相同和不同尺寸裁剪，提取图片的一个或多个通道，如g通道。
将经过整理的图片和标签输入到神经网络中，经过训练即可得到上述分类网络和分割网络。用于训练分类网络的图片的标签即为类型信息，用于训练分割网络的图片的标签即为对病变区域或中心凹的标注内容。
作为优选的实施方式，神经网络采用层级损失函数来提高预测的准确性，在对应的层级损失函数中，再设置加权损失函数来促进网络的学习，其中加权损失函数为希望各个分类在最终的损失函数中所贡献的比例，公式如下：losstotal＝w1loss1+…wclossc,i＝1...c，其中lossi为网络输出层第i个标签的损失函数，wi为针对第i个标签设置的权重。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
- 还没有人留言评论。精彩留言会获得点赞！