视网膜OCT体数据识别方法及装置与流程

本发明实施例涉及医学图像分析技术领域，尤其涉及一种视网膜oct体数据识别方法及装置。

背景技术：

视网膜oct(opticalcoherencetomography，光学相干断层扫描)图像识别技术是通过给定视网膜oct三维体数据，从而判断体数据为正常或异常。现有技术往往先利用机器学习的方法，对三维体数据的二维切片图像进行逐张诊断，再通过投票等方式汇总得到oct体数据的识别结论。然而，现有技术中的训练分类器需要的是二维级别的标签，而原生的oct三维体数据仅仅具有三维体数据标签。目前获得二维级别标签的方法主要有两种，一种是人工标注，另一种是直接用体数据的标签作为体数据内所有二维级别的标签。而体数据往往拥有上百张的二维图片，人工标注起来非常困难，且效率低下。而直接用体数据级别标签作为二维级别标签的方法也是一种不可靠的手段，因为往往体数据中只会有部分二维图像含有异常特征，此时那些不含异常特征的二维图像会被赋予不准确甚至是错误的标签。

目前仍没有针对该问题对已有方法进行改进的方法。

技术实现要素：

针对现有技术存在的问题，本发明实施例提供一种视网膜oct体数据识别方法及装置。

本发明实施例提供一种视网膜oct体数据识别方法，包括：

获取待识别图像，所述待识别图像为视网膜oct体数据图像；对所述待识别图像进行处理，获得目标待识别图像，所述目标待识别图像为视网膜oct体数据的多个二维切片图像；

根据目标卷积神经网络对所述目标待识别图像进行识别，获得所述目标待识别图像的识别结果；根据待识别图像的每个目标待识别图像的识别结果，给出待识别图像的识别结果；所述待识别图像的识别结果用于表征待识别图像为正常或异常，所述目标卷积神经网络是基于样本二维切片图像、对应的识别结果标签和基于自监督迭代学习的卷积神经网络训练算法预先训练得到。

本发明实施例提供一种视网膜oct体数据识别装置，包括：

获取模块，用于获取待识别图像，所述待识别图像为视网膜oct体数据图像；对所述待识别图像进行处理，获得目标待识别图像，所述目标待识别图像为视网膜oct体数据的多个二维切片图像；

识别模块，用于根据目标卷积神经网络对所述目标待识别图像进行识别，获得所述目标待识别图像的识别结果；根据待识别图像的每个目标待识别图像的识别结果，给出待识别图像的识别结果；所述待识别图像的识别结果用于表征待识别图像为正常或异常，所述目标卷积神经网络是基于样本二维切片图像、对应的识别结果标签和基于自监督迭代学习的卷积神经网络训练算法预先训练得到。

本发明实施例提供的视网膜oct体数据识别方法及装置，通过在训练卷积神经网络的过程中，对体数据的二维切片图像的标签进行筛选和迭代更新，用标签更新后的二维切片图像再次训练卷积神经网络，从而获得训练好的卷积神经网络；通过训练好的卷积神经网络对视网膜oct体数据图像进行识别与分类，准确度更高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为根据本发明实施例提供的视网膜oct体数据识别方法流程图；

图2为根据本发明实施例提供的视网膜oct体数据识别装置结构示意图；

图3为根据本发明实施例提供的电子设备结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了解决现有技术存在的问题，本发明实施例提出了一种视网膜oct体数据识别方法及装置，首先将三维体数据拆分成多张二维切片图像，并以三维体数据标签标注二维切片图像，在训练卷积神经网络的过程中，利用自监督迭代学习的方法，先利用初始标签和训练样本训练卷积神经网络，再对训练样本图像进行重新分类，并结合聚类或阈值过滤等方法对训练样本图像进行重标签；反复迭代训练与重标签的流程，得到目标卷积神经网络，从而能够在仅有三维级别标签的图像的条件下，提高识别准确率。

图1为根据本发明实施例提供的视网膜oct体数据识别方法流程图，如图1所示，包括：

s1、获取待识别图像，所述待识别图像为视网膜oct体数据图像；对所述待识别图像进行处理，获得目标待识别图像，所述目标待识别图像为视网膜oct体数据的多个二维切片图像；

需要说明的是，首先获取视网膜oct(opticalcoherencetomography，光学相干断层扫描)体数据图像，视网膜oct体数据图像为待识别图像。由于视网膜oct体数据图像为三维级别的图像，因此，需要对其进行处理，即将三维体数据图像拆分，获取多张二维切片图像。根据卷积神经网络要求的输入的图像大小，将所有二维切片图像放缩至同一尺寸，例如224*224的大小，从而获取的二维切片图像即为目标待识别图像。

应当理解的是，选取卷积神经网络可以有多种选择，例如深度残差网络(deepresidualnetwork，resnet)等，本发明实施例对卷积神经网络的模型选取不作限制。

s2、根据目标卷积神经网络对所述目标待识别图像进行识别，获得所述目标待识别图像的识别结果；根据待识别图像的每个目标待识别图像的识别结果，给出待识别图像的识别结果；所述待识别图像的识别结果用于表征待识别图像为正常或异常，所述目标卷积神经网络是基于样本二维切片图像、对应的识别结果标签和基于自监督迭代学习的卷积神经网络训练算法预先训练得到。

需要说明的是，将得到的二维切片图像输入至已训练好的目标卷积神经网络中，利用该卷积神经网络对多张二维切片图像进行识别与分类。目标卷积神经网络对于每张二维切片图像输出识别结果，识别结果为“正常”或者“异常”，若为“异常”则还需给出对应的“异常”类型。

本发明实施例提供的视网膜oct体数据识别方法，通过将三维体数据拆分成多张二维切片图像，并以训练好的卷积神经网络对二维切片图像进行识别与分类，再根据各二维切片图像的识别结果，得到三维体数据的识别结果，准确度更高。

可以理解的是，实际应用中仍存在人为实时识别的检测方式，不仅耗费人力精力，还容易疏忽出错。为了解决这些问题，本发明实施例采用机器学习的方式，利用卷积神经网络和样本二维切片图像，预先训练卷积神经网络；然后利用训练好的卷积神经网络对二维切片图像进行识别与分类，大大地提高了识别的准确率。

应当清楚的是，神经网络学习训练首先应该得到携带有识别结果标签的图像组成的训练样本集，然后对该训练样本集进行处理，使得该训练样本集中的图像具有统一的某些特性，以便支持神经网络对处理后的训练样本集进行识别训练，进而利用训练好的目标卷积神经网络对二维切片图像进行识别与检测。因此，在上述实施例的基础上，作为一种可选的实施例，利用自监督迭代学习的方法对卷积神经网络进行训练、以获得目标卷积神经网络的训练过程包括如下步骤：

s21、获取训练样本集，所述训练样本集包括多个样本视网膜oct体数据图像；

s22、对所述训练样本集中的图像进行处理，获得目标训练样本集；所述目标训练样本集包括多个样本二维切片图像，所述样本二维切片图像具有初始标签；

s23、利用自监督迭代学习的方法，利用训练样本图像和初始标签训练卷积神经网络，获得候选卷积神经网络；

s24、利用候选卷积神经网络对训练样本图像进行重新分类，根据聚类或阈值过滤的方法，对训练样本图像进行重标签；

s25、反复迭代训练与重标签的流程，直至满足训练终止条件，得到最终的目标卷积神经网络；

其中，所述训练条件包括：

与上一个迭代步相比，当前迭代步所得的候选卷积神经网络在目标训练样本集上的识别正确率的提高幅度小于阈值；其中，所述识别正确率是根据目标验证样本集中的图像的识别结果标签和目标验证样本集中的图像的识别结果获得的；所述目标验证样本集包括多个验证样本二维切片图像。

需要说明的是，获取训练样本集后，对训练样本集中的图像进行处理，获得目标训练样本集；将目标训练样本集中的图像输入至卷积神经网络中进行训练。应当理解的是，选取卷积神经网络可以有多种选择，例如深度残差网络等；为了说明方便，本发明实施例以深度残差网络为例。利用事先在imagenet数据集上预训练的权重，对深度残差网络进行初始化，然后利用带动量的随机梯度下降法，将s22中得到的带初始标签的样本二维切片图像输入至深度残差网络中进行有监督训练，从而获得初步训练好的深度残差网络模型，即候选卷积神经网络。其中，带动量的随机梯度下降法的公式如下：

wt＝wt-1-αvt；(2)

式中wt和wt-1分别为第t步和第t-1步中深度残差网络的权重，为损失函数l关于wt-1的梯度，β为动量因子。本发明实施例中，β的值设为0.9。vt和vt-1分别为第t步和第t-1步中利用公式(1)计算得到的带动量的梯度，α为学习率。其中，α的取值范围通常在10^-3至10^-4之间，本发明实施例可以根据实际情况进行调整。

利用候选卷积神经网络对训练样本图像进行重新分类，可选的，可以利用聚类或阈值过滤的方法对训练样本图像进行重标签，将重标签后的样本二维切片图像输入候选卷积神经网络进行迭代训练，直至候选卷积神经网络满足训练终止条件。此时，将满足训练终止条件的候选卷积神经网络作为目标卷积神经网络，该目标卷积神经网络用以在应用阶段对二维切片图像和oct体数据图像进行识别与分类。

需要说明的是，需要对候选卷积神经网络反复进行迭代训练与重标签的流程，直至满足训练终止条件，最后才得到最终的目标卷积神经网络。本发明实施例中，训练终止条件包括：与上一个迭代步相比，当前迭代步所得的候选卷积神经网络在目标训练样本集上的识别正确率不再显著提高，即提高幅度小于阈值。验证样本集包括多个验证样本二维切片图像，用来验证候选卷积神经网络的识别正确率。具体的，可以通过将验证样本集中的图像的识别结果标签和验证样本集中的图像的识别结果进行比对，获得识别正确的体数据个数，从而计算得到识别正确率(分类准确率)。其计算公式如下：

其中，ncorrect为识别正确的体数据个数，ntotal为体数据的总个数，ccr为识别正确率。

需要说明的是，s22中为了使训练样本集中的图像具有统一的某些特性，一般在训练过程中，都包括预处理和归一化处理的步骤。预处理的目的是消除图像中的无关信息，提高后续图像识别训练的可靠性和稳定性。本发明实施例中，可以通过水平镜像变换等处理，或者增加数据的数量，以增强训练的鲁棒性。归一化处理的目的是消除图像中由于拍摄环境等干扰因素影响而产生的差异，消除图像之间的量纲影响；同时，归一化处理让神经网络学习的模型更加符合实际情况，从而获得更好的训练结果。因此，基于上述实施例，作为一种可选的实施例，对所述训练样本集中的图像进行处理，获得目标训练样本集，包括如下步骤：

s221、对训练样本集中的图像进行预处理，获得预处理训练样本集；

s222、对预处理训练样本集中的图像进行归一化处理，获得归一化训练样本集；

s223、对归一化训练样本集中的各个图像设置对应的识别结果标签，获得目标训练样本集；

需要说明的是，首先获得训练样本集中的图像，该图像为三维体数据图像。将三维体数据图像拆分为多张二维切片图像，所有的二维切片图像组成了预处理训练样本集。对预处理训练样本集中的二维切片图像作归一化处理，例如包括尺寸处理，本发明实施例可以将二维切片图像归一化尺寸为224*224的大小，以获得归一化训练样本集。然后将归一化训练样本集中的二维切片图像的识别结果标签，设置为其所述的体数据的标签，从而获得目标训练样本集；其中，二维切片图像的识别结果标签用于监督卷积神经网络的训练。对应地，对待识别图像进行处理，获得目标待识别图像，包括：

s11、对待识别图像进行预处理，获得预处理图像；

s12、对待识别图像进行归一化处理，获得归一化图像；

s13、对归一化图像设置对应的识别结果标签，获得目标待识别图像。

利用候选卷积神经网络对样本二维切片图像进行重标签时，对于每个体数据对应的所有二维切片图像，根据二元性先验理论，可利用聚类或阈值过滤等方法，对各二维切片图像进行重标签。因此，在上述实施例的基础上，作为一种可选的实施例，本发明实施例利用候选卷积神经网络对训练样本图像进行重新分类，根据聚类或阈值过滤的方法，对训练样本图像进行重标签，可以包括如下步骤：

s2401、将目标训练样本集中的图像输入至候选卷积神经网络重新进行分类，获得识别结果标签类别的置信概率；

s2402、对于识别结果标签为异常的目标训练样本集图像，若置信概率超过预设阈值，则保持识别结果标签不变；否则，则将识别结果标签更新为正常；对于识别结果标签为正常的目标训练样本集图像不作处理。

需要说明的是，对于各体数据的所有二维切片图像，若其所属的识别结果标签所属类别的置信概率超过预设阈值，则保持其标签不变；例如，本发明实施例中，可以将阈值设置为0.8。若其所属的识别结果标签所属类别的置信概率未超过预设阈值，更新其标签为正常类别。对于原本识别结果标签为正常的二维切片图像，则不做任何处理。

应当清楚，本发明实施例利用标签筛选方法对二维切片图像的标签进行更新，可选择多种方法，例如聚类方法、阈值过滤方法等，上述实施例给出了采用阈值过滤方法进行重标签的步骤。同样，可采用聚类方法。若采用聚类方法对训练样本图像进行重标签，可以包括如下步骤：

s2411、将目标训练样本集中的图像分为两组，获取每组图像的平均置信概率；

s2412、对于平均置信概率较高的组，维持组内图像的识别结果标签不变；对于平均置信概率较低的组，将组内图像的识别结果标签更新为正常。

需要说明的是，将目标训练样本集中的图像输入至候选卷积神经网络重新进行机器学习训练，获得识别结果标签类别的置信概率。然后利用例如k-means聚类方法，将一个体数据的所有二维切片图像的标签分成两部分，然后对于二维切片图像标签所属类别的平均置信概率较高的那一部分，维持其中所有二维切片图像的标签不变，而将另外一部分中所有二维切片图像的标签更新为正常类别。

需要说明的是，对卷积神经网络进行训练，需要预先设置一定的参数，以使得训练符合要求。因此，在上述实施例的基础上，预设卷积神经网络训练参数包括：预设分类器类型和预设训练终止条件；预设分类器类型为多分类。

本发明实施例提供的视网膜oct体数据识别方法，首先将三维体数据拆分成多张二维切片图像，并以三维体数据标签标注二维切片图像，在训练卷积神经网络的过程中，对二维切片图像的标签进行筛选和迭代更新，用标签更新后的二维切片图像再次训练卷积神经网络，从而获得训练好的卷积神经网络；通过训练好的卷积神经网络对视网膜oct体数据图像进行识别与分类，显著地提高了准确度。

图2为根据本发明实施例提供的视网膜oct体数据识别装置结构示意图，如图2所示，包括获取模块201和识别模块202，其中：获取模块201用于获取待识别图像，待识别图像为视网膜oct体数据图像；对待识别图像进行处理，获得目标待识别图像，目标待识别图像为视网膜oct体数据的多个二维切片图像；识别模块202用于根据目标卷积神经网络对目标待识别图像进行识别，获得目标待识别图像的识别结果；根据待识别图像的每个目标待识别图像的识别结果，给出待识别图像的识别结果；待识别图像的识别结果用于表征待识别图像为正常或异常，目标卷积神经网络是基于样本二维切片图像、对应的识别结果标签和基于自监督迭代学习的卷积神经网络训练算法预先训练得到。

需要说明的是，首先获取视网膜oct(opticalcoherencetomography，光学相干断层扫描)体数据图像，视网膜oct体数据图像为待识别图像。由于视网膜oct体数据图像为三维级别的图像，因此，需要对其进行处理，即将三维体数据图像拆分，获取多张二维切片图像。根据卷积神经网络要求的输入的图像大小，将所有二维切片图像放缩至同一尺寸，例如224*224的大小，从而获取的二维切片图像即为目标待识别图像。然后将得到的二维切片图像输入至已训练好的目标卷积神经网络中，利用该卷积神经网络对多张二维切片图像进行识别与分类。目标卷积神经网络对于每张二维切片图像输出识别结果，识别结果为“正常”或者“异常”。

本发明实施例提供的视网膜oct体数据识别装置，通过将oct体数据拆分成多张二维切片图像，并以训练好的卷积神经网络对二维切片图像进行识别与分类，准确度更高。

在上述实施例的基础上，作为一种可选的实施例，本发明实施例还包括训练模块，用以对目标卷积神经网络进行基于自监督迭代学习的训练。训练模块包括：

训练样本获取单元，用于获取训练样本集，所述训练样本集包括多个样本视网膜oct体数据图像；

预处理单元，用于对所述训练样本集中的图像进行处理，获得目标训练样本集；所述目标训练样本集包括多个样本二维切片图像，所述样本二维切片图像具有初始标签；

训练单元，用于利用自监督迭代学习的方法，利用训练样本图像和初始标签训练卷积神经网络，获得候选卷积神经网络；

重标签单元，用于利用候选卷积神经网络对训练样本图像进行重新分类，根据聚类或阈值过滤的方法，对训练样本图像进行重标签；

迭代单元，用于反复迭代训练与重标签的流程，直至满足训练终止条件，得到最终的目标卷积神经网络；

其中，所述训练条件包括：与上一个迭代步相比，当前迭代步所得的候选卷积神经网络在目标训练样本集上的识别正确率的提高幅度小于阈值；其中，所述识别正确率是根据验证样本集中的图像的识别结果标签和验证样本集中的图像的识别结果获得的；所述验证样本集包括多个验证样本二维切片图像。

本发明实施例是用于执行上述各方法实施例的，具体流程和详细内容请参照上述实施例，此处不再赘述。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

举个例子如下：

图3示例了一种服务器的实体结构示意图，如图3所示，该服务器可以包括：处理器(processor)310、通信接口(communicationsinterface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行如下方法：获取待识别图像，待识别图像为视网膜oct体数据图像；对待识别图像进行处理，获得目标待识别图像，目标待识别图像为视网膜oct体数据的多个二维切片图像；根据目标卷积神经网络对目标待识别图像进行识别，获得目标待识别图像的识别结果；根据待识别图像的每个目标待识别图像的识别结果，给出待识别图像的识别结果；待识别图像的识别结果用于表征待识别图像为正常或异常，目标卷积神经网络是基于样本二维切片图像、对应的识别结果标签和基于自监督迭代学习的卷积神经网络训练算法预先训练得到。

此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令使计算机执行上述实施例所提供的视网膜oct体数据识别方法，例如包括：获取待识别图像，待识别图像为视网膜oct体数据图像；对待识别图像进行处理，获得目标待识别图像，目标待识别图像为视网膜oct体数据的多个二维切片图像；根据目标卷积神经网络对目标待识别图像进行识别，获得目标待识别图像的识别结果；根据待识别图像的每个目标待识别图像的识别结果，给出待识别图像的识别结果；待识别图像的识别结果用于表征待识别图像为正常或异常，目标卷积神经网络是基于样本二维切片图像、对应的识别结果标签和基于自监督迭代学习的卷积神经网络训练算法预先训练得到。

另外，本领域内的技术人员应当理解的是，在本发明的申请文件中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本发明的说明书中，说明了大量具体细节。然而应当理解的是，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本发明公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。

然而，并不应将该公开的方法解释呈反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。