对称全卷积神经网络模型构建方法、眼底图像血管分割方法、装置、计算机设备及存储介质与流程

文档序号:17777949发布日期:2019-05-28 20:29阅读:220来源:国知局
对称全卷积神经网络模型构建方法、眼底图像血管分割方法、装置、计算机设备及存储介质与流程
本发明涉及人工智能
技术领域
,尤其涉及一种对称全卷积神经网络模型构建方法、眼底图像血管分割方法、装置、计算机设备及存储介质。
背景技术
:眼底图像中视网膜血管的健康状况对于医生及早诊断糖尿病和心脑血管疾病及多种眼科疾病具有重要意义。但是由于视网膜血管自身结构的复杂性和特殊性,使得视网膜血管的特征提取在医学图像处理领域历来都是一项极具挑战的任务。依靠医疗人员手动分割视网膜血管,不仅工作量巨大,而且具有极大的主观性。不同的医疗人员,对同一图眼底图像中血管的分割结果可能存在差异。随着计算机技术的发展,视网膜血管的自动分割技术应运而生。由于视网膜血管的特殊性,目前视网膜图像中的血管分割存在诸多难点:1)眼底图像中血管与背景之间的对比度低。由于眼底照相机采集设备和采集环境的影响如光照不均等因素,造成对比度低的情况;2)血管自身结构特征复杂。视网膜血管的弯曲程度、形状不一,呈树状分布,使得分割起来有一定的困难;3)目前大多数分割方法所得到的血管存在断点,导致分割精度不高。技术实现要素:本发明实施例提供一种对称全卷积神经网络模型构建方法、眼底图像血管分割方法、装置、计算机设备及存储介质,可提高对称全卷积神经网络模型的泛化能力,同时提高眼底图像血管分割的准确度和精度。第一方面,本发明实施例提供了一种对称全卷积神经网络模型构建方法,该方法包括:对原始眼底图像进行分块处理;对分块处理后的原始眼底图像进行白化处理以得到原始眼底图像块;将原始眼底图像块输入到预设的对称全卷积神经网络中进行训练,以得到预设的对称全卷积神经网络模型,其中,预设的对称全卷积神经网络模型中的每一个隐藏层实现对本层输入的特征图进行处理,同时对本层之前所有输出的特征图进行处理,以实现输入为原始眼底图像块,输出为与原始眼底图像块对应的每个像素的眼底血管分割结果。第二方面,本发明实施例提供了一种眼底图像血管分割方法,所述方法包括:对目标眼底图像进行分块处理;对分块处理后的目标眼底图像进行白化处理以得到目标眼底图像块;将目标眼底图像块输入到如第一方面所述的方法构建的预设的对称全卷积神经网络模型中,以得到目标眼底图像块的每个像素的眼底血管分割结果;将目标眼底图像块的每个像素的眼底血管分割结果重新拼接以得到目标眼底图像的眼底血管分割结果。第三方面,本发明实施例提供了一种装置,该眼底图像血管分割装置包括用于执行上述第一方面所述的方法对应的单元或者用于执行上述第二方面所述的方法对应的单元。第四方面,本发明实施例提供了一种计算机设备,所述计算机设备包括存储器,以及与所述存储器相连的处理器;所述存储器用于存储计算机程序,所述处理器用于运行所述存储器中存储的计算机程序,以执行上述第一方面所述的方法或者以执行上述第二方面所述的方法。第五方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时,实现上述第一方面所述的方法或者实现上述第二方面所述的方法。本发明实施例通过预设的对称全卷积神经网络中每一个隐藏层实现对本层输入的特征图进行处理,同时对本层之前所有输出的特征图进行处理,以实现输入为原始眼底图像块,输出为与原始眼底图像块对应的每个像素的眼底血管分割结果的预设的对称全卷积神经网络模型。本发明实施例的构建的预设的对称全卷积神经网络模型中每一个隐藏层除了对上一层的输出进行处理外,还会对本层之前所有输出的特征图进行处理。如此避免了其他全卷积神经网络中的将上一层的输出作为下一层的输入而导致的网络层数加深到一定程度之后,前层与后层之间的连接就会随着变长而减弱,可能造成的梯度消失的问题。同时训练得到的预设的对称全卷积神经网络模型可以解决其他的神经网络的分类器直接依赖于网络最后一层的输出,如此很难得到一个具有很好泛化性能的决策函数而产生的过拟合问题,即本发明实施例中的预设的对称全卷积神经网络模型可以解决过拟合的问题,提高了模型的泛化能力。使用本发明实施例中构建的预设的对称全卷积神经网络模型来进行眼底图像血管分割,可以提高眼底图像血管分割的准确度和精度。附图说明为了更清楚地说明本发明实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。图1是本发明实施例提供的对称全卷积神经网络模型构建方法的流程示意图;图2是本发明实施例提供的对称全卷积神经网络模型构建方法的子流程示意图;图3是本发明实施例提供的对称全卷积神经网络模型构建方法的子流程示意图;图4是本申请实施例提供的分块处理后的原始眼底图像和进行白化处理的眼底图像的对比图;图5是本发明实施例提供的结构对称的全卷积神经网络的结构示意图;图6是本发明实施例提供的稠密连接网络的结构示意图;图7是本发明实施例提供的预设的对称全卷积神经网络的结构示意图;图8是本发明实施例提供的预设的对称全卷积神经网络的隐藏层分解示意图;图9是本发明实施例提供的对称全卷积神经网络模型构建方法的子流程示意图;图10是本发明实施例提供的gamma校正的示意图;图11是本发明实施例提供的对称全卷积神经网络模型训练的子流程示意图;图12是本发明实施例提供的图11的子流程示意图;图13是本发明实施例提供的图11的子流程示意图;图14是本发明实施例提供的卷积算子的可视化示意图;图15为本发明实施例提供的眼底图像血管分割方法的示意性流程图;图16是本发明实施例提供的对称全卷积神经网络模型构建装置的示意性框图;图17是本发明实施例提供的训练单元的示意性框图;图18是本发明实施例提供的眼底图像血管分割装置的示意性框图;图19是本发明实施例提供的计算机设备的示意性框图。具体实施方式下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。图1是本发明实施例提供的对称全卷积神经网络模型构建方法的流程示意图。如图1所示,该方法包括s101-s103。s101,对原始眼底图像进行分块处理。其中,原始眼底图像可以是彩色图像,也可以是灰度图像等。一般采用彩色图像,如rgb三个通道的彩色图像等。原始眼底图像可以是从预设数据集中获取的原始眼底图像,如drive库训练集中的眼底图像。在一实施例中,也可以是根据预设数据集中的眼底图像进行数据增广后得到的,如将drive库训练集中的眼底图像进行数据增广后得到的。在一实施例中,如图2所示,步骤s101包括以下步骤s1011-s1013。s1011,确定数据规模。如通过测试实验选定数据规模,如需要将drive库训练集中所有原始图像总共分割成多少图块。如分成500000个图块等。s1012,根据数据规模确定每一幅原始眼底图像需要分割的图块数目和大小。即根据数据规模确定每一幅原始眼底图像需要分割成多少个图块,分割成的图块的大小和数目。s1013,将原始眼底图像和预设的已进行眼底血管分割的标准图像按照所确定的图块数据和大小随机分割。预设的已进行眼底血管分割的标准图像指的是预设数据集中的专家手动分割的标准图像,drive库训练集中的专家手动分割的标准图像。每一张原始眼底图像都对应有一张预设的已进行眼底血管分割的标准图像,将原始眼底图像和预设的已进行眼底血管分割的标准图像都进行分割。如假定数据规模为n,原始眼底图像大小为w*h,图块大小为a*b。则每一幅原始大小的原始眼底图像需要随机分割成n/60个图块,其中图块间可能有重合部分。图块的中心点应该满足:(a/2)<x_center<(w-a/2)(b/2)<y_center<(h-b/2)随机选取中心点后,则图块的取值范围应该为:patch=(x_center-a/2:x_center+a/2,y_center-b/2:y_center+b/2)其中:x_center、y_center分别为图块的中心点x轴坐标值和y轴坐标值;w、h分别为原始眼底图像的长和宽;a、b分别为图块的长和宽。s102,对分块处理后的原始眼底图像进行白化处理以得到原始眼底图像块。分块处理后的原始眼底图像即为所对应的图块。通常情况下眼底图像会受采集环境中光照强度、中心线反射和采集设备等因素的影响。容易引入噪声,并使得血管和背景的对比度降低。为了降低这些因素带来的影响,提取图片中的恒定信息,需要对眼底图像做白化处理,以将眼底图像的像素值转化为零均值和单位方差。在一实施例中,如图3所示,步骤s102包括以下步骤s1021-s1022。s1021,计算分块处理后的原始眼底图像不同通道下的像素平均值和方差。如计算分块处理后的原始眼底图像各个通道的像素平均值μ和方差δ2。其中,计算各个通道的像素平均值μ和方差δ2的计算公式如下:其中r、g、b分别为红、绿、蓝通道像素点的个数;r、g、b分别为红、绿、蓝通道当前像素点;zr、zg、zb分别为当前像素点的值;μr、μg、μb分别为红、绿、蓝通道像素平均值。s1022,将分块处理后的原始眼底图像不同通道中的每一个像素值减去该通道下的像素平均值,除以该通道下的标准差,如此,以得到原始眼底图像块。其中,计算公式如公式(7)。图4是本申请实施例提供的分块处理后的原始眼底图像和进行白化处理的眼底图像的对比图。如图4所示,图4a为分块处理后的原始眼底图像,图4b为对应的分块处理后的原始眼底图像经过白化处理后的图像。可以看到经过处理之后的图像中血管与背景的对比度得到了明显的增强。在某些光照昏暗,噪声过大的图像中,原始眼底图像中的某些微小血管几乎难以用肉眼进行识别,但是经过白化之后血管依然能够变得清晰可见,这对后期提高血管的分割精度具有重要作用。进行白化处理后,增强了某些光照昏暗或者病灶的图片中微小血管和背景的对比度,对提升血管的分割精度起到了重要作用。使得模型最终在病灶图像和光照昏暗不均图像上的精度得到了提升。s103,将原始眼底图像块输入到预设的对称全卷积神经网络中进行训练,以得到预设的对称全卷积神经网络模型,其中,预设的对称全卷积神经网络模型中的每一个隐藏层实现对本层输入的特征图进行处理,同时对本层之前所有输出的特征图进行处理,以实现输入为原始眼底图像块,输出为与原始眼底图像块对应的每个像素的眼底血管分割结果。预设的对称全卷积神经网络是一个结构对称,连接稠密的全卷积神经网络。图5是本发明实施例提供的结构对称的全卷积神经网络的结构示意图。如图5所示,结构对称的全卷积神经网络中包括输入层、隐藏层、输出层,其中,除了输入层和输出层,其他都是隐藏层,隐藏层中多个层是对称结构。隐藏层分为下采样部分和上采样部分,下采样部分由若干卷积层和池化层交替组合而成,在网络的训练中能够对输入图像进行路径收缩从而捕捉到全局信息。上采样本分由若干卷积层和反卷积层交替组合而成,在网络训练中对下采样的特征图进行路径扩张,从而精确定位每一个像素点。不同于一般的卷积神经网络,预设的对称全卷积神经网络中不含全连接层,只有输出层,输出层通过预设激活函数,如softmax激活函数将上采样之后与原始图像尺寸相同的特征图中的每一个像素点进行一个二分类操作(计算像素点是背景点和血管点的概率各是多少)。结构对称的全卷积神经网络是一个端到端的网络,即输入的是一幅图像,输出也是一幅与之对应的相同尺寸的图像。图6是本发明实施例提供的稠密连接网络的结构示意图。如图6中可以看出每一层会对上一层输出的特征图进行处理,同时也会对本层之前所有输出的特征图进行处理。在对称结构的全卷积神经网络模型网络模型的基础上,引入稠密连接机制具有以下优点:(1)在深度学习网络模型的隐藏层中,一般将上一层的输出做为下一层的输入,那么网络中有n个隐藏层就存n个连接层。但是当网络层数加深到一定程度之后,前层与后层之间的连接就会随着变长而减弱,这样就可能造成梯度消失的问题。而稠密连接机制下,隐层中的每一层输入都是前面所有层输出的集合,同样当前层的特征图也会直接传递给后面所有的网络层作为输入,这样网络中如果有n个隐藏层就存在n*(n+1)/2个连接。这就很好的解决了梯度消失的问题。(2)能一定程度上解决过拟合的问题。本文研究所采用的眼底图像数据库中数据量相对匮乏,在网络的训练过程中容易出现过拟合的问题。深度学习网络中每一层的特征都是对输入数据的一个非线性的变换,随着网络层数的增加,变换的复杂度随之增加,在网络的最后一层复杂度将积累到一个较大的程度。而一般的神经网络的分类器都直接依赖于网络最后一层的输出,这样很难得到一个具有很好泛化性能的决策函数,过拟合问题随之产生。而稠密连接机制下网络综合的利用到了靠近输入层中具有低复杂度的特征,使得网络更容易得到一个具有更好泛化性能的决策函数。图7是本发明实施例提供的预设的对称全卷积神经网络的结构示意图。该预设的对称全卷积神经网络,在整体呈现对称结构,隐藏层同样由下采样部分和上采样部分组成,不同的是网络每一层的输入是上层所有输出特征图的叠加,这样每一层更深的网络层都能重复利用前层中提取的特征。在模型的隐藏层中下采样部分和上采样部分分别由多个循环单元组成,如图8所示,为本发明实施例提供的预设的对称全卷积神经网络的隐藏层分解示意图。其中,下采样部分有三个下采样循环单元,上采样部分有三个上采样循环单元。每个下采样循环单元对应一个隐藏层,每个上采样循环单元也对应一个隐藏层。在一实施例中,若预设数据集中的眼底图像的数量不够充足,那么需要增加数据集中的眼底图像的数量。如图1所示,在步骤s101之前,所述方法还包括:s101a,获取预设数据集中的眼底图像,并将所获取的眼底图像进行增广处理,以得到原始眼底图像。在一实施例中,如图9所示,步骤s101a包括以下步骤s1011a-s1013a。s1011a,将预设数据集中的每一幅眼底图像速记旋转一个角度。s1012a,将旋转之后的每一幅眼底图像使用gamma校正调整图片的亮度。s1013a,将调整亮度后的每一幅眼底图像和预设数据集中的眼底图像作为原始眼底图像。其中,预设数据集可以为drive库训练集。其中,gamma校正的公式为:f(imgi)=imgiγ,其中imgi表示某一点i的像素值。图10是本发明实施例提供的gamma校正的示意图。结合图10可得出gamma校正的作用:1)当γ<1时,如图10中的虚线所示,在低灰度区域内,动态范围变大,进而图像的对比度增强;在高灰度区域内,动态范围变小,同时图像整体的灰度值变大。如0.5<γ<1。2)当γ>1时,如图10中的实线所示,低灰度区域的动态范围变小,高灰度区域的动态范围变大,降低了低灰度区域图像的对比度,提高了高灰度区域图像的对比度,同时图像整体的灰度值变小。如1<γ<1.5。数据经过增广之后训练集中的每一幅图片扩充为三幅:训练集中的原图像,γ<1时得到的增广图像,γ>1时得到的增广图像。假设获取训练集中的20幅图像,那么经过增广处理后可得到60幅图像,以用作模型的训练。在一实施例中,如图11所示,步骤s103包括以下步骤s1031-s1038。s1031,从原始眼底图像块中随机抽取预设比例的眼底图像块作为训练样本。如假设在模型训练阶段,总共包含570000个图像块,每一轮训练中随机选取其中90%的数据用于训练,训练时可以分批次的将数据输入到预设的对称全卷积神经网络当中以减少训练时长。将剩余10%的数据用作验证。假设图像块大小为48*48,由于保留了图像中彩色空间的信息,即获取了不同通道的图像,因此图像块的尺寸为48*48*3。s1032,将所获取的训练样本输入到预设的对称全卷积神经网络中的多个下采样循环单元进行处理,其中,每个下采样循环单元对应于预设的对称全卷积神经网络中的一个隐藏层,每个下采样循环单元对本层输入的特征图进行卷积处理,并对本层之前所有输出的特征图进行卷积处理,将经过卷积处理之后的所有特征图进行池化处理。每个下采样循环单元对应于预设的对称全卷积神经网络中的一个隐藏层。其中,将经过多个下采样循环单元处理后的特征图输入到与下采样循环单元对称的上采样循环单元进行处理的步骤,包括:将所获取的训练样本输入到第一个下采样循环单元进行处理;将第一个下采样循环单元处理后的特征图输入到第二个下采样循环单元进行处理,将第二个下采样循环单元处理后的特征图输入到第三个下采样循环单元进行处理,......。其中,每个下采样循环单元的具体处理过程都一样。每个下采样循环单元对本层输入的特征图进行卷积处理,并对本层之前所有输出的特征图进行卷积处理,将经过卷积处理之后的所有特征图进行池化处理。具体地,以将所获取的训练样本输入到第一个下采样循环单元进行处理的步骤为例,来进行说明每个下采样循环单元的具体处理过程。每个下采样循环单元的具体处理过程可以参看图8和图12。图8中每个下采样循环单元分别包括:conv2d(下采样第一卷积层)、add(叠加处理)、batch_normalization(标准化处理)、activation(激活函数进行处理)、conv2d(下采样第二卷积层)、max_pooling(下采样池化层)。如图12所示,将所获取的训练样本输入到第一个下采样循环单元进行处理的步骤包括以下步骤s1032a-s1032f。s1032a,将所获取的训练样本输入到该下采样循环单元中的下采样第一卷积层,以进行卷积处理。该下采样第一卷积层对上一层输出的特征图提取特征。如卷积核大小可以为3*3。s1032b,获取本层之前的所有输出的特征图,并将所获取的特征图叠加。叠加理解为将所获取的特征图作为一个整体,一起进行处理。s1032c,对叠加后的特征图进行标准化。标准化是为了对于每个隐层神经元,把逐渐向非线性函数映射后向取值区间极限饱和区靠拢的输入分布强制拉回到均值为0方差为1的比较标准的正态分布,使得非线性变换函数的输入值落入对输入比较敏感的区域,以此避免梯度消失问题,提升网络的收敛速度。s1032d,将经过标准化的特征图使用激活函数进行激活。其中,激活函数是目前深度学习中最常用的‘relu’激活函数。s1032e,将激活后的特征图输入到该下采样循环单元中的下采样第二卷积层,以进行卷积处理。第二次卷积对前层所有输入的叠加提取特征,卷积核大小如可以为3*3。s1032f,将经过下采样第一卷积层处理后的特征图和经过下采样第二卷积层处理后的特征图输入到该下采样循环单元中的下采样池化层以进行池化处理,如此,完成一个下采样循环单元的处理。其中,下采样池化池使用的是最大池化法来进行池化。其中,在每个下采样循环单元中,包含两次卷积操作,第一次卷积对上一层输入提取特征,第二次卷积对前层所有输入的叠加提取特征。卷积核大小为3*3,这是因为卷积核大小必须大于1才有提升感受野的作用,而大小为偶数的卷积核即使对称地在特征图两边加padding也不能保证输入特征图的尺寸和输出特征图的尺寸不变,所以一般都选用3*3大小的卷积核。每次下采样操作之后原始图像块大小缩小为原来的1/4。s1033,将经过多个下采样循环单元处理后的特征图输入到与下采样循环单元对称的上采样循环单元进行处理,其中,每个上采样循环单元对应于预设的对称全卷积神经网络中的一个隐藏层,每个上采样循环单元对本层输入的特征图进行上采样处理,并对上采样处理后的特征图进行卷积处理,对本层之前所有输出的特征图进行卷积处理。每个上采样循环单元对应于预设的对称全卷积神经网络中的一个隐藏层。其中,将经过多个下采样循环单元处理后的特征图输入到与下采样循环单元对称的上采样循环单元进行处理的步骤,包括:将经过多个下采样循环单元处理后的特征图输入到第一个上采样循环单元进行处理;将第一个上采样循环单元处理后的特征图输入到第二个上采样循环单元进行处理,将第二个上采样循环单元处理后的特征图输入到第三个上采样循环单元进行处理,......。其中,每个上采样循环单元的具体处理过程都一样。每个上采样循环单元对本层输入的特征图每个上采样循环单元对本层输入的特征图进行上采样处理(也可以称为反卷积处理),并对上采样处理后的特征图进行卷积处理,对本层之前所有输出的特征图进行卷积处理。具体地,以将所获取的训练样本输入到第一个上采样循环单元进行处理的步骤为例,来进行说明每个上采样循环单元的具体处理过程。每个上采样循环单元的具体处理过程可以参看图8和图13。图8中每个上采样循环单元分别包括:up_samping(上采样处理)、conv2d(上采样第一卷积层)、add(叠加处理)、batch_normalization(标准化处理)、activation(激活函数进行处理)、conv2d(上采样第二卷积层)。如图13所示,将所获取的训练样本输入到第一个下采样循环单元进行处理的步骤包括以下步骤s1033a-s1033f。s1033a,将所获取的特征图进行上采样处理。其中,上采样处理也可以理解为反卷积处理,上采样处理可使用插值算法对所获取的特征性进行插值。如使用双线性插值。s1033b,将所获取的特征图输入到该上采样循环单元中的上采样第一卷积层,以进行卷积处理。该上采样第一卷积层对上一层输出的特征图提取特征。如卷积核大小可以为3*3。s1033c,获取本层之前的所有输出的特征图,并将所获取的特征图叠加。s1033d,对叠加后的特征图进行标准化。其中,标准化的目的和作用请参看上文中的描述,在此不再赘述。s1033e,将经过标准化的特征图使用激活函数进行激活。其中,激活函数是目前深度学习中最常用的‘relu’激活函数。s1033f,将激活后的特征图输入到该上采样循环单元中的上采样第二卷积层,以进行卷积处理,如此,完成第一个上采样循环单元的处理。第二次卷积对前层所有输入的叠加提取特征。卷积核大小如可以为3*3。上采样循环单元与下采样循环单元相对应,内部结构相似。每次上采样操作之后将图像块大小增大为上一层的1/4。如假设预设的对称全卷积神经网络中包括三个下采样循环单元,三个上采样循环单元,输入的图像块大小为48*48。那么第一个下采样循环单元输入的图像块大小48*48,经过第一个下采样循环单元处理后得到的特征图大小为24*24,即第二个下采样循环单元输入的图像块大小为24*24,经过第二个下采样循环单元处理后得到的特征图大小为12*12,即第三个下采样循环单元输入的图像块大小为12*12。如此,经过三个下采样循环单元处理后的特征图,再输入到第一个上采样循环单元处理时,输入的特征图的大小为12*12,经过第一个上采样循环单元处理后得到的特征图大小为24*24,即第二个上采样循环单元输入的图像块大小为24*24,经过第二个上采样循环单元处理后得到的特征图大小为48*48,即第三个上采样循环单元输入的图像块大小为48*48。其中,每个下采样循环单元和每个上采样循环单元中的每个卷积层的卷积核大小为3*3。具体地数据请参看表1,表1为每个隐藏层输入参数。其中,layer_1,layer_2,layer_3分别对应一个循环单元。表1隐藏层输入参数下采样层特征图大小上采样层特征图大小卷积核大小layer_148*48layer_112*123*3layer_224*24layer_224*243*3layer_312*12layer_348*483*3s1034,将经过多个上采样循环单元处理后的特征图输入到预设的对称全卷积神经网络中的输出层进行处理,以得到训练样本中每个像素对应的预测值。s1035,根据训练样本中每个像素对应的预测值和训练样本每个像素的真实标签计算误差。其中,计算误差时使用交叉熵代价函数计算误差。交叉熵代价函数为:a=σ(z)(9)z=∑(wj*xj+b)(10)其中:n为训练集的总数、x为输入,w为输入的权重,b为偏置值,z为输入的带权和,σ为激活函数,a为神经元实际的输出,y为期望的输出,c为交叉熵代价函数。s1036,判断误差是否已达到最小化。s1037,若误差未达到最小化,通过梯度下降算法来更新预设的对称全卷积神经网络中的网络参数,将更新了网络参数的对称全卷积网络称为预设的对称全卷积神经网络。接着返回执行步骤s1031。在训练神经网络过程中,通过梯度下降算法来更新w和b,因此需要计算代价函数对w和b的导数:然后更新w、b:之后通过反向传播法更新网络每一层的权重:使用下一层的误差δl+1来表示当前层的误差δl为:δl=((wl+1)tδl+1)⊙σ'(zl)(15)公式(13)-(16)为权重和偏置更新的过程,(13)(14)中各个字母含义同上;其中,l表示网络层δ表示误差,则δl表示第l层的误差,表示从(l-1)层的k个神经元到l层的j个神经元的连接上的权重。s1038,若误差已达到最小化,将训练得到的对称全卷积神经网络模型作为预设的对称全卷积神经网络模型。为了了解预设的对称全卷积神经网络模型到底学习到了什么样的结果,将学习到的卷积算子可视化如图14所示。每一个卷积算子相当于是为了提取图像中的一种特征,卷积算子里面的参数(就是计算出来的w)就是为了使得和输入值做卷积操作时,弱化不感兴趣的输入,强化感兴趣的输入。通过图14可以看出,这个卷积算子大致为血管的网状结构,白色的部分代表大的权重,黑色的部分代表小的或者负的权重。所以该卷积算子其实是想要给血管形状部分的像素更大的权值,而惩罚背景点。最后通过softmax预测该像素点为血管点的概率。上述方法实施例通过预设的对称全卷积神经网络中每一个隐藏层实现对本层输入的特征图进行处理,同时对本层之前所有输出的特征图进行处理,以实现输入为原始眼底图像块,输出为与原始眼底图像块对应的每个像素的眼底血管分割结果。本发明实施例构建的每一个隐藏层除了对上一层的输出进行处理外,还会对本层之前所有输出的特征图进行处理。如此避免了其他全卷积神经网络中的将上一层的输出作为下一层的输入而导致的网络层数加深到一定程度之后,前层与后层之间的连接就会随着变长而减弱,可能造成的梯度消失的问题。同时训练得到的预设的对称全卷积神经网络模型可以解决其他的神经网络的分类器直接依赖于网络最后一层的输出,如此很难得到一个具有很好泛化性能的决策函数而产生的过拟合问题,即本发明实施例中的预设的对称全卷积神经网络模型可以解决过拟合的问题,提高了模型的泛化能力。图15为本发明实施例提供的眼底图像血管分割方法的示意性流程图。如图15所示,该方法包括s201-s204。s201,对目标眼底图像进行分块处理。其中,目标眼底图像可以是预设数据集中的测试图像,如drive中测试集中的图像。如获取drive中测试集中的20幅原始图像按照顺序从左到右,从上到下将图像分割成若干图块,图块大小与步骤s101中图块大小相同。图块与图块之间没有重叠部分,则每一幅完整大小的图像被分割成n个小的图块,则:其中,new_w、new_h分别为原始图像的宽和高,a、b分别为图块的宽和高;进一步的,new_w和new_h的值是按以下规则确定的:ifw%a=0,则new_w=w;w是原始图像的宽,%为取余操作。elsenew_w=(w/a+1)*a;除法为地板除法,即除法操作的结果只取商的整数部分;同理,ifh%b=0,则new_h=h;h是原始图像的宽;elsenew_h=(h/b+1)*b。即确定的方式如下:如果w%a=0,那么确定new_w=w;如果w%a=0不成立,则new_w=(w/a+1)*a,其中,w/a为地板除法;如果h%b=0,那么确定new_h=h;如果h%b=0不成立,那么确定new_h=(h/b+1)*b。将处理后得到的总共20*n个图块按照顺序放入到一个数组中。s202,对分块处理后的目标眼底图像进行白化处理以得到目标眼底图像块。分块处理后的目标眼底图像即为对应的图块。其中,白化处理的具体方法请参看上文中的描述,在此不再赘述。s203,将目标眼底图像块输入到构建的预设的对称全卷积神经网络模型中,以得到目标眼底图像块的每个像素的眼底血管分割结果。其中,构建的预设的对称全卷积神经网络模型可以是上述任意实施例构建得到的预设的对称全卷积神经网络模型。s204,将目标眼底图像块的每个像素的眼底血管分割结果重新拼接以得到目标眼底图像的眼底血管分割结果。即将通过预设的对称全卷积神经网络模型输出得到的20*n个特征图按照原始图像的尺寸重新拼接起来,以得到目标眼底图像的眼底血管分割结果。该方法实施例通过上文中得到预设的对称全卷积神经网络模型来得到眼底血管分割结果,由于预设的对称全卷积神经网络模型的精度和泛化能力提高,因此提高了眼底血管分割结果的准确度和精度。图16是本发明实施例提供的对称全卷积神经网络模型构建装置的示意性框图。如图16所示,该装置包括用于执行上述对称全卷积神经网络模型构建方法所对应的单元。具体地,如图16所示,该装置30包括分块处理单元301、白化处理单元302以及训练单元303。分块处理单元301,用于对原始眼底图像进行分块处理。在一实施例中,分块处理单元301,包括规模确定单元、图块大小确定单元、图像分块处理单元。其中,规模确定单元,用于确定数据规模。图块大小确定单元,用于根据数据规模确定每一幅原始眼底图像需要分割的图块数目和大小。图像分块处理单元,用于将原始眼底图像和预设的已进行眼底血管分割的标准图像按照所确定的图块数据和大小随机分割。白化处理单元302,用于对分块处理后的原始眼底图像进行白化处理以得到原始眼底图像块。在一实施例中,白化处理单元302包括均值方差计算单元、均值方差处理单元。其中,均值方差计算单元,用于计算分块处理后的原始眼底图像不同通道下的像素平均值和方差。均值方差处理单元,用于将分块处理后的原始眼底图像不同通道中的每一个像素值减去该通道下的像素平均值,除以该通道下的标准差,如此,以得到原始眼底图像块。训练单元303,用于将原始眼底图像块输入到预设的对称全卷积神经网络中进行训练,以得到预设的对称全卷积神经网络模型,其中,预设的对称全卷积神经网络模型中的每一个隐藏层实现对本层输入的特征图进行处理,同时对本层之前所有输出的特征图进行处理,以实现输入为原始眼底图像块,输出为与原始眼底图像块对应的每个像素的眼底血管分割结果。在一实施例中,如图16所示,所述对称全卷积神经网络模型构建装置还包括图像增广单元301a。其中,图像增广单元301a,用于获取预设数据集中的眼底图像,并将所获取的眼底图像进行数据增广处理,以得到原始眼底图像。在一实施例中,图像增广单元301a包括旋转单元、校正调整单元、原始图像确定单元。其中,旋转单元,用于将预设数据集中的每一幅眼底图像速记旋转一个角度。校正调整单元,用于将旋转之后的每一幅眼底图像使用gamma校正调整图片的亮度。原始图像确定单元,用于将调整亮度后的每一幅眼底图像和预设数据集中的眼底图像作为原始眼底图像。在一实施例中,如图17所示,训练单元303包括样本获取单元3031、下采样单元3032、上采样单元3033、输出单元3034、计算单元3035、判断单元3036、更新单元3037以及模型确定单元3038。其中,样本获取单元3031,用于从原始眼底图像块中随机抽取预设比例的眼底图像块作为训练样本。下采样单元3032,用于将所获取的训练样本输入到预设的对称全卷积神经网络中的多个下采样循环单元进行处理,其中,每个下采样循环单元对应于预设的对称全卷积神经网络中的一个隐藏层,每个下采样循环单元对本层输入的特征图进行卷积处理,并对本层之前所有输出的特征图进行卷积处理,将经过卷积处理之后的所有特征图进行池化处理。上采样单元3033,用于将经过多个下采样循环单元处理后的特征图输入到与下采样循环单元对称的上采样循环单元进行处理,其中,每个上采样循环单元对应于预设的对称全卷积神经网络中的一个隐藏层,每个上采样循环单元对本层输入的特征图进行上采样处理,并对上采样处理后的特征图进行卷积处理,对本层之前所有输出的特征图进行卷积处理。输出单元3034,用于将经过多个上采样循环单元处理后的特征图输入到预设的对称全卷积神经网络中的输出层进行处理,以得到训练样本中每个像素对应的预测值。计算单元3035,用于根据训练样本中每个像素对应的预测值和训练样本每个像素的真实标签计算误差。判断单元3036,用于判断误差是否已达到最小化。更新单元3037,用于若误差未达到最小化,通过梯度下降算法来更新预设的对称全卷积神经网络中的网络参数,将更新了网络参数的对称全卷积网络称为预设的对称全卷积神经网络。接着触发样本获取单元3031。模型确定单元3038,用于若误差已达到最小化,将训练得到的对称全卷积神经网络模型作为预设的对称全卷积神经网络模型。其中,下采样单元3032包括多个下采样循环单元。其中,一个下采样循环单元用于将所获取的训练样本输入到预设的对称全卷积神经网络中的第一个下采样循环单元进行处理。该下采样循环单元包括:下采样第一卷积单元、第一叠加单元、第一标准化单元、第一激活单元、下采样第二卷积单元以及池化单元。其中,下采样第一卷积单元,用于将所获取的训练样本输入到该下采样循环单元中的下采样第一卷积层,以进行卷积处理。第一叠加单元,用于获取本层之前的所有输出的特征图,并将所获取的特征图叠加。第一标准化单元,用于对叠加后的特征图进行标准化。第一激活单元,用于将经过标准化的特征图使用激活函数进行激活。下采样第二卷积单元,用于将激活后的特征图输入到该下采样循环单元中的下采样第二卷积层,以进行卷积处理。池化单元,用于将经过下采样第一卷积层处理后的特征图和经过下采样第二卷积层处理后的特征图输入到该下采样循环单元中的下采样池化层以进行池化处理,如此,完成一个下采样循环单元的处理。上采样单元3033包括多个上采样循环单元。其中,一个上采样循环单元,用于将经过多个下采样循环单元处理后的特征图输入到一个上采样循环单元中进行处理。该上采样循环单元包括:上采样处理单元、上采样第一卷积单元、第二叠加单元、第二标准化单元、第二激活单元以及上采样第二卷积单元。其中,上采样处理单元,用于将所获取的特征图进行上采样处理。上采样第一卷积单元,用于将经过上采样处理的特征图输入到该上采样循环单元中的上采样第一卷积层,以进行卷积处理。第二叠加单元,用于获取本层之前的所有输出的特征图,并将所获取的特征图叠加。第二标准化单元,用于对叠加后的特征图进行标准化。第二激活单元,用于将经过标准化的特征图使用激活函数进行激活。上采样第二卷积单元,用于将激活后的特征图输入到该上采样循环单元中的上采样第二卷积层,以进行卷积处理,如此,完成第一个上采样循环单元的处理。图18是本发明实施例提供的眼底图像血管分割装置的示意性框图。如图18所示,该装置包括用于执行上述眼底图像血管分割方法所对应的单元。具体地,如图18所示,该装置40包括分块处理单元401、白化处理单元402、模型使用单元403以及拼接单元404。分块处理单元401,用于对目标眼底图像进行分块处理。白化处理单元402,用于对分块处理后的目标眼底图像进行白化处理以得到目标眼底图像块。模型使用单元403,用于将目标眼底图像块输入到构建的预设的对称全卷积神经网络模型中,以得到目标眼底图像块的每个像素的眼底血管分割结果。拼接单元404,用于将目标眼底图像块的每个像素的眼底血管分割结果重新拼接以得到目标眼底图像的眼底血管分割结果。上述装置可以实现为一种计算机程序的形式,计算机程序可以在如图19所示的计算机设备上运行。图19为本发明实施例提供的一种计算机设备的示意性框图。该设备为终端等设备,如移动终端、pc终端、ipad等。该设备50包括通过系统总线501连接的处理器502、存储器和网络接口503,其中,存储器可以包括非易失性存储介质504和内存储器505。该非易失性存储介质504可存储操作系统5041和计算机程序5042。该非易失性存储介质中所存储的计算机程序5042被处理器502执行时,可实现上述所述的对称全卷积神经网络模型构建方法。该处理器502用于提供计算和控制能力,支撑整个设备的运行。该内存储器505为非易失性存储介质中的计算机程序的运行提供环境,该计算机程序被处理器502执行时,可使得处理器502执行上述所述的对称全卷积神经网络模型构建方法。该网络接口503用于进行网络通信。本领域技术人员可以理解,图19中示出的结构,仅仅是与本发明方案相关的部分结构的框图,并不构成对本发明方案所应用于其上的设备的限定,具体的设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。其中,所述处理器502用于运行存储在存储器中的计算机程序,以实现上述所述对称全卷积神经网络模型构建方法的任一实施例。本发明另一实施例还提供了一种计算机设备的示意性框图。在本实施例中,该设备为终端等设备,如移动终端、pc终端、ipad等。具体请参看图19,该计算机设备包括与图19所示计算机设备相同的结构。该计算机设备与图19所示计算机设备的不同在于,该计算机设备中非易失性存储介质所存储的计算机程序被处理器502执行时,可实现上述所述的眼底图像血管分割方法的任一实施例。应当理解,在本发明实施例中,所称处理器502可以是中央处理单元(centralprocessingunit,cpu),该处理器还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor,dsp)、专用集成电路(应用程序licationspecificintegratedcircuit,asic)、现成可编程门阵列(field-programmablegatearray,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成。该计算机程序可存储于一存储介质中,该存储介质可以为计算机可读存储介质。该计算机程序被该计算机系统中的至少一个处理器执行,以实现上述方法的实施例的流程步骤。因此,本发明还提供了一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序,该计算机程序当被处理器执行时,以实现前述所述的对称全卷积神经网络模型构建方法的任一实施例。在本发明的另一实施例中还提供了一种存储介质,该存储介质可以为计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序当被处理器执行时,以实现前述所述的眼底图像血管分割方法的任一实施例。所述存储介质可以是u盘、移动硬盘、只读存储器(read-onlymemory,rom)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。在本发明所提供的几个实施例中,应该理解到,所揭露的装置、设备和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的装置、设备和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本
技术领域
的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1