眼底图像中玻璃膜疣自动分割方法、装置及可读存储介质

1.本申请涉及图像处理技术领域，特别是涉及一种眼底图像中玻璃膜疣自动分割方法、装置及计算机可读存储介质。


背景技术：

2.近年来，人口老龄化的问题越来越严重，65岁及以上的人口比例不断增长，这也让越来越多的人群患上年龄相关性黄斑变性amd。根据中国国家统计局的数据，截止到2018年，中国已经有近2000万的amd患者。到2025年，这一数据将会超过4000万。如果想尽可能早地检出amd，只能通过定期的amd筛查，但是amd筛查是一项费时费力的工作，并且需要有经验的眼科医生来操作。在中国，眼科医生的数量不能满足大规模的amd筛查。所以需要一种准确率高的辅助诊断方法，以帮助眼科医生高效筛查。
3.根据年龄相关眼病研究组areds的研究报告，玻璃膜疣可以作为诊断早期amd的依据。可以根据玻璃膜疣的大小、出现的区域、类型等指标对amd的严重性做诊断。例如：在早期amd中，玻璃膜疣较小，形状呈圆形，数量较少；在中期amd中，小尺寸的玻璃膜疣逐渐增多，大尺寸的玻璃膜疣开始出现；在晚期amd中，大尺寸的玻璃膜疣数量也逐渐增多，并且伴随着融合现象，从硬性玻璃膜疣转向软性玻璃膜疣。
4.检测玻璃膜疣的方法通常有两类：一类是使用传统的数字图像处理方法来进行玻璃膜疣的检测。这类方法大致分成两种思路：(1)使用基于阈值分割的方法来检测玻璃膜疣，例如halt算法、基于自适应阈值的玻璃膜疣分割方法；(2)使用基于频域信息分割的方法来检测玻璃膜疣，例如am
‑
fm方法、基于傅里叶变换的方法、基于小波变换的方法。另外一类是使用现在流行的深度学习方法来进行玻璃膜疣的分割。比如：deepseenet使用了三个子网络来分别检测玻璃膜疣的三种不同特征，以此来使不同形状的玻璃膜疣都能被很好地分割出来。grassmann使用了6个不同的网络组成随机森林来提升玻璃膜疣分割的准确性。ren提出了一种sfl方法来学习玻璃膜疣最有代表性的特征，并且使用这种特征来分割玻璃膜疣。liu使用一种多实例分割的方法来检测早期amd。waseem设计了一种能够模拟人类视觉系统的网络结构，提取玻璃膜疣中的特征，并利用提取出来的特征对玻璃膜疣进行分割。
5.传统的玻璃膜疣检测方法虽然在速度上优于人工分类的方法，但容易受光照、伪影、眼中杂质等因素的影响，存在鲁棒性差、精度低、灵活性差等问题，导致检测效果不如人意，进而导致诊断结果出现偏差。而基于深度学习的方法在很多方面领先于传统的计算机视觉技术，但也存在着诸多弊端：deepseenet使用了三个子网络来进行分类，虽然提升了检测结果，但是增加了计算资源，同时研究人员需要对这三个网络分别调参，加大了实验难度。grassmann对6种基础网络进行组合，形成随机森林，来进行玻璃膜疣的分割，但只对基础网络进行组合有些单一。ren提出了一种监督学习的方法，能够学习到分割玻璃膜疣时的关键特征。但是这种方法是基于glram和smr方法，所以仍然不如神经网络的方法灵活。liu使用一种多实例分割的方法来检测早期amd，该方法首先截取黄斑周围的区域，然后对截取的区域进行有重叠的分割，分成16块，形成一组子图，将每一组样本送进vgg网络中，如果某
一组里面出现阳性结果，就说明一定有一个区域是有玻璃膜疣出现的。这种方法可以提高效率，并且增加准确率，但是也会使假阳性率增加。


技术实现要素：

6.本申请提供了一种眼底图像中玻璃膜疣自动分割方法、装置及计算机可读存储介质，解决玻璃膜疣分割准确率不高的现状，有效提升从眼底图像中分割玻璃膜疣的准确率。
7.为解决上述技术问题，本发明实施例提供以下技术方案：
8.本发明实施例一方面提供了一种眼底图像中玻璃膜疣自动分割方法，包括：
9.预先基于深度学习算法、利用训练样本集训练玻璃膜疣分割模型；所述玻璃膜疣分割模型包括特征提取网络和图像分割网络，所述玻璃膜疣分割模型的目标损失函数为多种损失函数组合，所述目标损失函数至少包括用于衡量两个区域边界重合度的损失函数和用于解决数据不均衡的损失函数；
10.将待处理眼底图像输入至玻璃膜疣分割模型，得到所述待处理眼底图像中的玻璃膜疣的分割结果。
11.可选的，所述玻璃膜疣分割模型的目标损失函数l
drusen
为：
12.l
drusen
＝λ1l
f
+λ 2
log(l
b
+l
d
)+λ3l
boundary
；
13.式中，l
f
为焦点损失函数，l
b
为带有值约束的二分类交叉熵损失函数，l
d
为dice指数损失函数，l
boundary
为边界损失函数，λ1，λ2，λ3为常数。
14.可选的，所述玻璃膜疣分割模型的训练过程包括：
15.利用网络图像数据集对所述特征提取网络进行预训练，得到初始特征提取网络；
16.将所述初始特征提取网络嵌入至所述图像分割网络，得到初始框架模型；
17.利用所述训练样本集、基于所述目标损失函数对所述初始框架模型进行训练直至满足模型训练结束条件，得到所述玻璃膜疣分割模型。
18.可选的，所述特征提取网络为resnet101网络；所述图像分割网络为u
‑
net网络。
19.可选的，所述将待处理眼底图像输入至玻璃膜疣分割模型之前，还包括：
20.对原始眼底图像进行颜色空间转化处理和通道分离处理，以提取所述待处理眼底图像的g通道和v通道，得到g通道图像和v通道图像；
21.对所述g通道图像和所述v通道图像进行图像光照和偏色的校正处理；
22.将校正后的g通道图像和校正后的v通道图像按照预设比例进行融合，得到所述待处理眼底图像。
23.可选的，所述基于深度学习算法、利用训练样本集训练玻璃膜疣分割模型之前，还包括：
24.按照预设图像尺寸对所述训练样本集中的每张样本图像进行裁切处理，得到裁切区域图像；
25.判断所述裁切区域图像中是否包含玻璃膜疣图像；
26.若所述裁切区域图像中包含玻璃膜疣图像，按照预设裁切方向依次裁切所述裁切区域图像周围的多张图像，得到多种相关图像；
27.将所述裁切区域图像和各相关图像放入所述训练样本集，以用于扩增所述训练样本集。
28.可选的，所述将待处理眼底图像输入至玻璃膜疣分割模型之前，还包括：
29.判断原始眼底图像的图像尺寸是否小于预设输入图像尺寸；
30.若所述原始眼底图像的图像尺寸小于所述预设输入图像尺寸，利用图像缩放方法对所述原始眼底图像进行图像放大处理；
31.将放大处理的图像作为所述待处理眼底图像。
32.本发明实施例另一方面提供了一种眼底图像中玻璃膜疣自动分割装置，包括：
33.模型训练模块，用于基于深度学习算法、利用训练样本集训练玻璃膜疣分割模型；所述玻璃膜疣分割模型包括特征提取网络和图像分割网络，所述玻璃膜疣分割模型的目标损失函数为多种损失函数组合，所述目标损失函数至少包括用于衡量两个区域边界重合度的损失函数和用于解决数据不均衡的损失函数；
34.图像分割模块，用于将待处理眼底图像输入至玻璃膜疣分割模型，得到所述待处理眼底图像中的玻璃膜疣的分割结果。
35.本发明实施例还提供了一种眼底图像中玻璃膜疣自动分割装置，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述眼底图像中玻璃膜疣自动分割方法的步骤。
36.本发明实施例最后还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有眼底图像中玻璃膜疣自动分割程序，所述眼底图像中玻璃膜疣自动分割程序被处理器执行时实现如前任一项所述眼底图像中玻璃膜疣自动分割方法的步骤。
37.本申请提供的技术方案的优点在于，结合玻璃膜疣的数据特点，玻璃膜疣分割模型的目标损失函数结合不同的损失函数特点，目标损失函数中的解决数据不均衡的损失函数会给数量较多、学习较容易的样本赋予一个较小的权重；给数量少、不容易学习的样本赋予较大的权重，从而起到抑制样本不均衡所带来的问题，有利于提升玻璃膜疣分割模型的准确度，进而提高玻璃膜疣的分割准确率。目标损失函数中的衡量两个区域边界重合度的损失函数可以让玻璃膜疣的边界分割得更加精确，提升玻璃膜疣的整体分割准确度；将复合的损失函数应用在复合的神经网络中能够在保证训练稳定性的同时，提升玻璃膜疣的分割准确率。
38.此外，本发明实施例还针对眼底图像中玻璃膜疣自动分割方法提供了相应的实现装置及计算机可读存储介质，进一步使得所述方法更具有实用性，所述装置及计算机可读存储介质具有相应的优点。
39.应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。
附图说明
40.为了更清楚的说明本发明实施例或相关技术的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
41.图1为本发明实施例提供的一种眼底图像中玻璃膜疣自动分割方法的流程示意图；
42.图2为本发明实施例提供的一个示例性应用场景的框架示意图；
43.图3为本发明实施例提供的眼底图像中玻璃膜疣自动分割装置的一种具体实施方式结构图；
44.图4为本发明实施例提供的眼底图像中玻璃膜疣自动分割装置的另一种具体实施方式结构图。
具体实施方式
45.为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
46.本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。
47.在介绍了本发明实施例的技术方案后，下面详细的说明本申请的各种非限制性实施方式。
48.首先参见图1，图1为本发明实施例提供的一种眼底图像中玻璃膜疣自动分割方法的流程示意图，本发明实施例可包括以下内容：
49.s101：预先基于深度学习算法、利用训练样本集训练玻璃膜疣分割模型。
50.在本步骤中，玻璃膜疣分割模型包括特征提取网络和图像分割网络。特征提取网络用于提取输入图像的图像特征，图像分割网络用于基于特征提取网络提取的图像特征将所需特征即玻璃膜疣分割出来。经过试验研究可值u
‑
net在多种医学影像的分割中都取得了很好的效果，作为一种可选的实施方式，图像分割网络可为u
‑
net网络。resnet因为它特有的残差模块，可以解决网络过深带来的训练问题，所以也被许多实例分割的网络作为基础网络来使用。作为一种可选的实施方式，特征提取网络例如可为resnet101网络。也即玻璃膜疣分割模型使用u
‑
net作为网络的整体框架，在特征提取部分，使用resnet101作为特征提取的骨架网络。
51.为了更好地分割玻璃膜疣，本申请结合多种损失函数设计了自己的损失函数，该损失函数能够在保证训练稳定性的同时，进一步提升玻璃膜疣边缘的分割效果。玻璃膜疣分割模型的目标损失函数为多种损失函数组合，目标损失函数至少包括用于衡量两个区域边界重合度的损失函数和用于解决数据不均衡的损失函数。作为一种可选的实施方式，该损失函数包括带有值约束的二分类交叉熵损失函数bce with logits loss，dice指数损失函数dice loss，焦点损失函数focal loss以及边界损失函数boundary loss。其中，bce with logits loss是在二分类交叉熵损失函数bce loss的基础上加上sigmoid函数得来的，它在二分类的分割问题中非常常见。近年来，越来越多的人开始在医学影像的问题中使用dice loss作为损失函数，因为dice指数也是衡量医学影像问题的一个重要指标，而dice loss可以直接对dice指数做优化，这是其他损失函数不具备的优势。focal loss可以解决数据不均衡带来的问题，它给数量较多、学习较容易的样本赋予一个较小的权重；给数量
少、不容易学习的样本赋予较大的权重，从而起到抑制样本不均衡所带来的问题。boundary loss是衡量两个区域边界重合度的损失函数，加入boundary loss可以让玻璃膜疣的边界分割得更加精确。根据以上的分析，本实施例的玻璃膜疣分割模型的目标损失函数l
drusen
可表示为：
52.l
drusen
＝λ1l
f
+λ
2 log(l
b
+l
d
)+λ3l
boundary
；
53.式中，l
f
为focal loss，l
b
为bce with logits loss，l
d
为dice loss，l
boundary
为boundary loss，λ1，λ2，λ3为常数。
54.s102：将待处理眼底图像输入至玻璃膜疣分割模型，得到待处理眼底图像中的玻璃膜疣的分割结果。
55.在本发明实施例提供的技术方案中，结合玻璃膜疣的数据特点，玻璃膜疣分割模型的目标损失函数结合不同的损失函数特点，目标损失函数中的解决数据不均衡的损失函数会给数量较多、学习较容易的样本赋予一个较小的权重；给数量少、不容易学习的样本赋予较大的权重，从而起到抑制样本不均衡所带来的问题，有利于提升玻璃膜疣分割模型的准确度，进而提高玻璃膜疣的分割准确率。目标损失函数中的衡量两个区域边界重合度的损失函数可以让玻璃膜疣的边界分割得更加精确，提升玻璃膜疣的整体分割准确度；将复合的损失函数应用在复合的神经网络中能够在保证训练稳定性的同时，提升玻璃膜疣的分割准确率。
56.需要说明的是，由于受到设备的限制，步骤s101的模型的训练过程和步骤s102中的利用模型给出分割结果是不可以同时执行的，需要先训练模型再检测结果。可以在一段时间后，利用新的眼底样本图像继续训练已有的玻璃膜疣分割模型，再重新部署到设备上，从而获得更好的结果。
57.为了进一步提升玻璃膜疣分割模型的训练精度，让玻璃膜疣分割模型的特征提取网络具有更好的特征提取能力，基于上述实施例，本实施例还提供了模型训练的一种实施方式，可包括：
58.利用网络图像数据集对特征提取网络进行预训练，得到初始特征提取网络；
59.将初始特征提取网络嵌入至图像分割网络，得到初始框架模型；
60.利用训练样本集、基于目标损失函数对初始框架模型进行训练直至满足模型训练结束条件，得到玻璃膜疣分割模型。模型训练结束条件例如可为到达迭代次数，还可为玻璃膜疣分割准确度达到预设准确度阈值，例如还可为模型训练效果最好，所属领域技术人员可根据实际情况进行确定。
61.在本实施例中，例如可先使用imagenet数据集对resnet101网络进行预训练，使用imagenet做预训练是为了让网络先具备一定的特征提取能力，防止用医学图片直接训练时网络的表示性不够好，有利于提升玻璃膜疣分割模型的训练效果。
62.可以理解的是，眼科医生使用光学相机为患者检查眼底，这种相机对环境光照非常敏感，所以一般拍摄的照片会出现过曝或者欠曝的现象。眼底图像的拍摄效果对后续玻璃膜疣分割效果有一定的影响，为了进一步提高玻璃膜疣分割的准确度，基于上述实施例，在获取待处理眼底图像之后，还可对眼底图片的光照情况进行预处理，图像预处理过程可包括：
63.对原始眼底图像进行颜色空间转化处理和通道分离处理，以提取待处理眼底图像
的g通道和v通道，得到g通道图像和v通道图像。
64.对g通道图像和v通道图像进行图像光照和偏色的校正处理。其中，可采用任何一种图像光照和偏色的校正处理方法对通道图像进行处理，本申请对此不做任何限定。
65.将校正后的g通道图像和校正后的v通道图像按照预设比例进行融合，得到待处理眼底图像。
66.通常的眼底图像都是rgb图像，对于rgb图像来说，g通道具有更多的有效信息。除了rgb通道，传统的图像处理中还会用到hsv通道，这种颜色通道比rgb通道更加符合人类视觉系统。并且hsv通道将图片的光照信息与颜色信息做了分离，有利于在处理光照时保持颜色信息。所以在图片预处理过程中，本申请选取了rgb通道中的g通道和hsv中的v通道。
67.为了更好地提取眼底图像中的玻璃膜疣的特征，本实施例分别使用了校正眼底图片光照和偏色的方法，比如图像归一化，限制自适应对比度直方图均衡化clahe，同态滤波，伽马校正等算法，经过多次实验研究发现伽马校正的图片玻璃膜疣的信息最为突出，并且在最终的网络分割结果上，同样是伽马校正的图片效果最好。
68.本实施例先对不同通道的图像做线性变换，然后将变换后的图像进行融合，在保证玻璃膜疣的细节同时，提高图片的质量。相比相关技术采用原始的灰度图减去经过高斯模糊的灰度图，再将这张图做线性变换，得到了最终的预处理图片的方法来说，该方法会引入伪影并且还会引入干扰物，比如血管也具备一定的玻璃膜疣的特征，干扰物如血管中的玻璃膜疣的特征极易会被错认为玻璃膜疣，所以伪影和干扰的引入会让网络的预测准确率有所下降，增大了网络的误识别率。相比这种现有方法来说，本实施例提供的技术方案可有效提升玻璃膜疣分割的准确度。
69.本实施例采用rgb中的g通道和hsv中的v通道，将这两种通道的图片做高斯模糊，去掉一些干扰，然后对两种图像分别做自适应的伽马校正。经过多轮实验的比较，作为一种可选的实施方式，可确定g通道的目标平均值是60，v通道的目标平均值是100。但是做了伽马校正只能解决图片的偏色及对比度的问题。针对图片的光照问题，可采用将伽马校正后的g通道图片和伽马校正后的v通道图片按比例相加，这是因为在实验中发现，g通道的图片背景比较亮，但是玻璃膜疣的细节不够丰富；而v通道的图片玻璃膜疣的细节比较丰富，但是图片的背景比较暗。通过两者的融合，可以吸收两者的优点，又避免了两者的缺点。由于不同的数据集中图片的分辨率不同导致玻璃膜疣的细节不同，并且图片整体亮度也有偏差，所以两者的比例并不能通过计算得出，在实际应用过程中，所属领域技术人员可根据实际应用场景选择将伽马校正后的g通道图片和伽马校正后的v通道图片的比例。为了取得更好的切割效果，本申请分别以四种不同比例进行图片合成，伽马校正后的g通道图片和伽马校正后的v通道图片的比例分别为0.7：0.3、0.75：0.25、0.8：0.2、0.9：0.1，通过比较最后的分割结果，g通道的图片比例为0.8，v通道的图片比例为0.2时，分割结果表现最好。
70.为了验证本实施例的有效性，本申请还对融合前后局部眼底图像进行热力图分析，通过结果对比可知，融合之后的图片能更精确地提取到玻璃膜疣的区域，并且减少了背景带来的影响。
71.由上可知，本实施例通过对输入眼底图像进行图像预处理，使用伽马校正解决眼底图像的偏色问题，使用不同通道的线性组合解决眼底光照不均的问题。从而能够解决光照不均以及偏色问题，将眼底图片尽量处理成一种风格，有效抑制图像偏色问题，并在极大
程度上保持了玻璃膜疣的细节，减少光照及色彩对玻璃膜疣检测、分割结果的干扰，提高模型检测的准确率。
72.众所周知，基于深度学习算法的网络模型，在训练过程中所采用的训练样本集中的数据量在一定范围内，网络模型训练效果随着训练样本数据量的增加而越好。而在眼底图片数据集中，由于眼底疾病的特殊性，会带来数据集不平衡的问题。首先眼底图片的患病图片数目比正常图片要少得多，这是图片层面的数据不均衡问题；其次是患病图片中，患病区域比正常区域要小的多，导致如果图片的裁切尺寸过小，那么就会出现几十张局部图片都是正常的，只有几张是患病图片，这是患病区域层面的数据不均衡问题。这两个问题都会极大地影响后续的网络训练。
73.为了解决上述这两种原因导致训练模型样本集数据量较少的问题，本申请提出了一种训练样本数据扩增处理方案，可包括下述内容：
74.按照预设图像尺寸对训练样本集中的每张样本图像进行裁切处理，得到裁切区域图像。预设图像尺寸可根据实际应用场景进行选择，本申请对此不做任何限定。
75.判断裁切区域图像中是否包含玻璃膜疣图像。
76.若裁切区域图像中包含玻璃膜疣图像，按照预设裁切方向对裁切区域图像周围的多张图像依次裁切，得到多种相关图像。预设裁切方向例如可为顺时针的方向或逆时针方向，还可为其他方向，所属领域技术人员可根据实际需求进行确定，这均不影响本申请的实现。相关图像的总张数可根据预设图像尺寸大小、样本图像的尺寸和实际应用场景进行选择。
77.将裁切区域图像和各相关图像放入训练样本集，以用于扩增训练样本集。
78.在本实施例中，用某一种固定的尺寸如512
×
512去裁切眼底图片，当裁切的部位存在玻璃膜疣的时候，进而按照顺时针的方向依次裁切当前图片周围的16张图片。
79.作为一种可选的实施方式，可在使用上述图像预处理后的图像进行数据扩增处理，使得扩增得到的图像样本更有利于提高模型训练准确度。也即在步骤按照预设图像尺寸对训练样本集中的每张样本图像进行裁切处理，得到裁切区域图像之前，还可包括：
80.对每张样本图像进行颜色空间转化处理和通道分离处理，以提取样本图像的g通道和v通道，得到g通道图像和v通道图像；对每张样本图像的g通道图像和v通道图像进行图像光照和偏色的校正处理；将校正后的g通道图像和校正后的v通道图像按照预设比例进行融合，得到处理后的样本图像。
81.本实施例提高对眼底图像进行环绕裁切，能有效地提高玻璃膜疣样本的图片数量，有效地提升正样本的数量，并且能够在很大程度上抑制负样本的生成，有效扩增模型训练样本数据中的训练样本数据，解决数据不均衡问题，减轻数据不均衡给网络训练带来的影响。
82.可以理解的是，如果输入模型的图片的尺寸太小，那么最后的编码层的尺寸太小，不利于学习特征；如果图片的尺寸太大，那么可供训练和测试的图片数量会比较少，同样不利于训练。可预先设置训练效果最好时的输入图像的尺寸值，也即预设输入图像尺寸，预设输入图像尺寸例如可为512
×
512。将预设输入图像尺寸存储至系统中，在将图像输入玻璃膜疣分割模型之前，对每张样本图像和待处理眼底图像进行判断，对于输入尺寸不合格的图片，例如可使用双线性插值的方法来进行补充。以待处理眼底图像为例阐述这个过程：
83.判断原始眼底图像的图像尺寸是否小于预设输入图像尺寸；
84.若原始眼底图像的图像尺寸小于预设输入图像尺寸，利用图像缩放方法对原始眼底图像进行图像放大处理；将放大处理的图像作为待处理眼底图像。
85.在本实施例中，图像缩放方法可为现有一种可实现图像尺寸的缩放的方法，例如双线性插值方法，利用图像缩放方法将原始眼底图像的图像尺寸放大至预设输入图像尺寸。
86.为了验证本申请所设计的眼底图像玻璃膜疣分割模型相比现有方法具有显著效果，本实施例利用本申请技术方案即图2所示的流程对采集一定量的数据对进行实验，处理过程可为：对原始眼底图像即源图片进行玻璃膜疣的特征融合处理得到预处理图片，图像预处理过程为首先需要将输入图像的g通道和v通道通过颜色空间转换和通道分离提取出来，接着对两幅通道图片进行自适应的伽马校正，最后通过两者按比例融合得到预处理的图片。然后对预处理图片进行环绕裁切处理，然后利用玻璃膜疣分割模型drusennet进行玻璃膜疣分割得到分割结果，也即得到眼底图像中玻璃膜疣的预测二值图像。下面分别从数据集和评价指标、整个模型的实验细节及结果和比较评估的相关实验来阐述，可包括下述内容：
87.本实施例使用公开的stare数据集作为实验数据集，该数据集采用topcontrv
‑
50眼底相机拍摄，成像覆盖35
°
的视网膜区域，每张图片的尺寸是700
×
605，其中63张图片被眼科医生确认含有玻璃膜疣，本实施例选取33张图片来进行实验。
88.为了更好的衡量分割玻璃膜疣的准确率，本实施例采用了五种不同的评价指标，分别为准确率，敏感性，特异性，精确性，dice指数。
89.其中，准确率是衡量预测对的部分占整个图片的比例，一般而言，当准确率越高时，算法的分割效果越好。但是当数据集是区域不均衡的数据时，即有效部分只占少数，多数是背景或无关部分，那么准确率会很高，但是区分度就会下降。在本实施例中，对stare数据集上的数据计算准确率。准确率的定义可如下：
[0090][0091]
其中，tp表示实际是玻璃膜疣，预测也为玻璃膜疣的像素数量；tn表示实际不是玻璃膜疣，预测也为不是玻璃膜疣的像素数量；fp表示实际不是玻璃膜疣，预测为玻璃膜疣的像素数量；fn表示实际是玻璃膜疣，预测为不是玻璃膜疣的像素数量。
[0092]
敏感性也叫做召回率，是衡量预测是玻璃膜疣的部分占实际是玻璃膜疣的部分的比例，敏感性常用于医学图像分割结果的衡量。敏感性的定义可如下：
[0093][0094]
特异性是衡量预测是非玻璃膜疣的区域占实际是非玻璃膜疣的区域的比例，特异性对分割部分的尺寸大小比较敏感，所以并不常用于图像分割问题，但是一些现有玻璃膜疣分割工作中用特异性来作为衡量指标，所以在stare数据集上计算了相应的特异性数值。特异性的定义可如下：
[0095]
[0096]
精确性是衡量实际是玻璃膜疣的区域占预测是玻璃膜疣的区域的比例。精确性的定义如下：
[0097][0098]
dice指数近年来被一些医学图像分割论文所采用，dice指数可以看成是精确性和敏感性的调和平均数，也就是说，它既能反应精确性，也能反映敏感性。dice指数的定义如下：
[0099][0100]
本实施例使用的cpu为inter(r)xeon(r)e5
‑
2678，gpu为nvidia geforce gtx1080ti 11gb，内存为64g。
[0101]
首先使用imagenet数据集对resnet101进行预训练，其中训练集为1281167张图片，训练集包括1000种类别，验证集为50000张图片。接着，将预训练的resnet101嵌入到u
‑
net结构中，使用stare数据集再次进行训练。在训练过程和测试过程，输入到网络中的图片尺寸为512
×
512，对于输入尺寸不到512
×
512的图片，可使用双线性插值的方法来进行补充。训练时候的batchsize设置为16，使用adam作为随机梯度下降的优化器。初始的学习率设置为3
×
10
‑4，训练轮数为200轮。
[0102]
采用ren、kaur、yan这三种现有方法分别用其自身所提出的方法在stare数据集上同样做了相应测试，将这三种方法与本申请的测试结果如表1所示：
[0103]
表1不同方法在stare数据集上的结果
[0104]
方法敏感性特异性准确率ren90.12％96.84％96.56％kaur89.81％99.00％96.17％yan92.02％97.30％97.13％本申请95.40％99.13％99.79％
[0105]
通过表1可以看出，本申请所提供的技术方案在敏感性、特异性、准确率，相比现有技术都有所提升。
[0106]
为了验证网络结构和损失函数的有效性，本申请还提供了不同的消融实验，drusenloss表示本申请提出的整体损失函数，w.o.表示去除损失函数的某一部分，实验结果如表2所示：
[0107]
表2消融实验结果
[0108]
骨干网络损失函数dice敏感性特异性resnet50drusenloss92.02％91.57％92.49％resnet101w.o.bce94.96％92.89％97.14％resnet101w.o.dice95.13％93.10％97.26％resnet101w.o.focal96.05％93.91％98.29％resnet101w.o.boundary96.32％94.05％98.71％resnet101drusenloss97.22％95.40％99.13％
[0109]
从表2中可以看出，损失函数无论缺失哪个，网络预测的效果都会受到影响。也从
侧面反映出本申请所提供的损失函数是能够起到提升分割表现的效果的。
[0110]
由上可知，本实施例能够高效、准确实现玻璃膜疣的分割。与现有的分割方法相比，本申请所采用技术方案在效率和识别精度都具有良好的表现。
[0111]
本发明实施例还针对眼底图像中玻璃膜疣自动分割方法提供了相应的装置，进一步使得所述方法更具有实用性。其中，装置可从功能模块的角度和硬件的角度分别说明。下面对本发明实施例提供的眼底图像中玻璃膜疣自动分割装置进行介绍，下文描述的眼底图像中玻璃膜疣自动分割装置与上文描述的眼底图像中玻璃膜疣自动分割方法可相互对应参照。
[0112]
基于功能模块的角度，参见图3，图3为本发明实施例提供的眼底图像中玻璃膜疣自动分割装置在一种具体实施方式下的结构图，该装置可包括：
[0113]
模型训练模块301，用于基于深度学习算法、利用训练样本集训练玻璃膜疣分割模型；玻璃膜疣分割模型包括特征提取网络和图像分割网络，玻璃膜疣分割模型的目标损失函数为多种损失函数组合，目标损失函数至少包括用于衡量两个区域边界重合度的损失函数和用于解决数据不均衡的损失函数。
[0114]
图像分割模块302，用于将待处理眼底图像输入至玻璃膜疣分割模型，得到待处理眼底图像中的玻璃膜疣的分割结果。
[0115]
可选的，在本申请的一种实施方式中，上述模型训练模块301可用于利用网络图像数据集对特征提取网络进行预训练，得到初始特征提取网络；将初始特征提取网络嵌入至图像分割网络，得到初始框架模型；利用训练样本集、基于目标损失函数对初始框架模型进行训练直至满足模型训练结束条件，得到玻璃膜疣分割模型。
[0116]
作为本实施例的一种可选的实施方式，上述模型训练模块301还可包括样本扩增子模块，该子模块用于：
[0117]
按照预设图像尺寸对训练样本集中的每张样本图像进行裁切处理，得到裁切区域图像；判断裁切区域图像中是否包含玻璃膜疣图像；若裁切区域图像中包含玻璃膜疣图像，按照预设裁切方向依次裁切裁切区域图像周围的多张图像，得到多种相关图像；将裁切区域图像和各相关图像放入训练样本集。
[0118]
可选的，在本申请的另一种实施方式中，上述装置例如还可包括图像预处理模块，图像预处理模块用于在图像输入玻璃膜疣分割模型之前，对图像进行预处理。具体可用于：
[0119]
对原始眼底图像进行颜色空间转化处理和通道分离处理，以提取待处理眼底图像的g通道和v通道，得到g通道图像和v通道图像；对g通道图像和v通道图像进行图像光照和偏色的校正处理；将校正后的g通道图像和校正后的v通道图像按照预设比例进行融合，得到待处理眼底图像。
[0120]
作为另外一种可选的实施方式，上述装置例如还可包括图像放大处理模块，该模块用于在图像输入至玻璃膜疣分割模型之前进行尺寸放大处理，具体可用于：
[0121]
判断原始眼底图像的图像尺寸是否小于预设图像尺寸；若原始眼底图像的图像尺寸小于预设图像尺寸，利用图像缩放方法对原始眼底图像进行图像放大处理；将放大处理的图像作为待处理眼底图像。
[0122]
本发明实施例所述眼底图像中玻璃膜疣自动分割装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描
述，此处不再赘述。
[0123]
由上可知，本发明实施例可有效解决眼底图像的偏色和眼底光照不均的问题，还能解决样本数据不平衡的问题，能够在保证训练稳定性的同时，提升玻璃膜疣的分割准确率。
[0124]
上文中提到的眼底图像中玻璃膜疣自动分割装置是从功能模块的角度描述，进一步的，本申请还提供一种眼底图像中玻璃膜疣自动分割装置，是从硬件角度描述。图4为本申请实施例提供的另一种眼底图像中玻璃膜疣自动分割装置的结构图。如图4所示，该装置包括存储器40，用于存储计算机程序；处理器41，用于执行计算机程序时实现如上述任一实施例提到的眼底图像中玻璃膜疣自动分割方法的步骤。
[0125]
其中，处理器41可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器41可以采用dsp(digital signal processing，数字信号处理)、fpga(field
‑
programmable gate array，现场可编程门阵列)、pla(programmable logic array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器41也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称cpu(central processing unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器41可以在集成有gpu(graphics processing unit，图像处理器)，gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器41还可以包括ai(artificial intelligence，人工智能)处理器，该ai处理器用于处理有关机器学习的计算操作。
[0126]
存储器40可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器40还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器40至少用于存储以下计算机程序401，其中，该计算机程序被处理器41加载并执行之后，能够实现前述任一实施例公开的眼底图像中玻璃膜疣自动分割方法的相关步骤。另外，存储器40所存储的资源还可以包括操作系统404和数据403等，存储方式可以是短暂存储或者永久存储。其中，操作系统402可以包括windows、unix、linux等。数据403可以包括但不限于眼底图像中玻璃膜疣自动分割结果对应的数据等。
[0127]
在一些实施例中，眼底图像中玻璃膜疣自动分割装置还可包括有显示屏42、输入输出接口43、通信接口44、电源45以及通信总线46。
[0128]
本领域技术人员可以理解，图4中示出的结构并不构成对眼底图像中玻璃膜疣自动分割装置的限定，可以包括比图示更多或更少的组件，例如还可传感器47。
[0129]
本发明实施例所述眼底图像中玻璃膜疣自动分割装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
[0130]
由上可知，本发明实施例可有效解决眼底图像的偏色和眼底光照不均的问题，还能解决样本数据不平衡的问题，能够在保证训练稳定性的同时，提升玻璃膜疣的分割准确率。
[0131]
可以理解的是，如果上述实施例中的眼底图像中玻璃膜疣自动分割方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介
质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read
‑
only memory，rom)、随机存取存储器(random access memory，ram)、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd
‑
rom、磁碟或者光盘等各种可以存储程序代码的介质。
[0132]
基于此，本发明实施例还提供了一种计算机可读存储介质，存储有眼底图像中玻璃膜疣自动分割程序，所述眼底图像中玻璃膜疣自动分割程序被处理器执行时如上任意一实施例所述眼底图像中玻璃膜疣自动分割方法的步骤。
[0133]
本发明实施例所述计算机可读存储介质的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
[0134]
由上可知，本发明实施例可有效解决眼底图像的偏色和眼底光照不均的问题，还能解决样本数据不平衡的问题，能够在保证训练稳定性的同时，提升玻璃膜疣的分割准确率。
[0135]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0136]
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0137]
以上对本申请所提供的一种眼底图像中玻璃膜疣自动分割方法、装置及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。