一种基于生成对抗网络的病理图像检测算法的制作方法

本发明涉及数字图像分析、病理学和机器学习技术领域，尤其是一种基于生成对抗网络的病理图像检测算法。

背景技术：

癌症是常见的恶性肿瘤之一，病理诊断是癌症确诊的重要手段，有临床肿瘤的“金标准”之称。病理图像分析在癌症诊断的研究中已经受到了医学界广泛的重视和利用，例如对结肠癌常规组织学图像进行细胞检测、分割和分类，分析结肠癌组织图像，能够辅助医生进行癌症诊断，对于确诊是否患癌以及后期的治疗是非常有用的。其中对病理图像进行细胞核检测是其关键步骤之一，在癌症的诊断中起着重要作用。

在过去的几十年中，已经有许多用于病理图像检测的方法被提出。基于传统方法的病理图像分析如区域生长法，basavanhally等人利用区域生长算法结合最大后验估计和马尔科夫随机场进行细胞核检测。其依赖数字图像处理技术或计算机视觉技术，对于病理图像分析而言，这需要领域的专业知识来定义描述细胞核形态学特征、纹理特征；此外，研究者们大多利用方向梯度直方图特征、局部二值模式特征、sift特征，haar特征等计算机视觉领域常用的特征计算方法抽取得到图像的特征，然后用这些特征作为支持向量机svm、adaboost等分类器的输入练分类器。训练完成后就可以用得到的模型来做预测。但面对细胞核检测检测这样的问题，诸如sift特征、hog特征等特征对于细胞这样的形态差异巨大且密集堆积的小目标缺乏鲁棒的描述能力，因而对于细胞与背景乏足够的分辨能力，从而严重影响后续的分类与检测任务。而在深度学习中，我们可以靠深度学习的方法得到特征，且目前的一些研究工作表明了深度学习的可行性与潜力。在深度学习方法中，针对于病理图像检测的目前的一些研究为卷积神经网络及在上面的改进，如目前最优的采用sc-cnn对病理图像细胞核进行检测。该方法采用生成概率图的方法，即对于细胞核，其靠近它的位置具有更高的概率值，从而根据局部最大值得到细胞核。但是该方法只考虑到了像素级别的回归损失，没有考虑到结构损失，没有整体的结构一致性来约束它。

技术实现要素：

本发明所要解决的技术问题在于，提供一种基于生成对抗网络的病理图像检测算法，能够实现有效使用病理图像数据进行自动辅助疾病诊断。

为解决上述技术问题，本发明提供一种基于生成对抗网络的病理图像检测算法，包括如下步骤：

(1)对现有数据进行预处理；

(2)使用改进的ragan模型，将步骤(1)中得到的数据输入生成器rau-net中，得到输出为生成的原始图片每一个像素的检测为核的概率值，其大小为500*500矩阵；将真实的概率值与生成的概率值做比较，得到公式(3)像素损失；将原始病理图片以及生成器的输出或者是真实的概率图输入到判别器当中，判别器输出0/1判断其是否为生成的概率图或者是真实的概率图，从而得到公式(1)的对抗损失，然后将结果反向传递到生成器中；根据公式(2)，得到最后的损失函数；

(3)根据步骤(2)中得到的损失函数，使用反向传播的梯度下降法；随着每一次的梯度下降，训练集的损失会变得越来越小，当训练集损失到达设置的值或者指定的轮数时，并且算法稳定收敛即是训练完成；网络不断的更新参数，使得生成器生成更接近于真实的概率图，最后得到使得病理图像细胞核检测的效果更好的模型参数；将该模型应用到测试集上，直接输入同样为病理图像大小500*500的测试样本，得到生成的概率图，经过阈值筛选，就可以得到最后的核检测结果。

优选的，步骤(1)中，对现有数据进行预处理具体为：将现有的病理图像核的位置坐标数据进行处理，根据细胞核的位置坐标数据找到对应的矩阵位置，根据高斯函数，将其附近的位置放入概率值生成一个对应于原始图像大小500*500的矩阵，从而得到图像检测的细胞核的概率图；将其作为公式(1)中的y，作为额外的信息输入到模型当中。

优选的，对样本进行数据增强操作，对样本进行旋转(90°，180°，270°)以及翻转，以扩大数据的样本量。

优选的，步骤(2)中，损失函数具体为：

mingmaxdlra(g,d)＝lc(g,d)+αlpixel(g)(2)

其中lc(g,d)为对抗损失，lpixel(g)为像素损失，α为像素损失的权重；像素损失为：

其中，n为输入样本即输入的病理图像总像素点，m为分类数，wtarget为目标类的权重，pi^target为pi为目标类的概率值，pi^j为像素pi为每一类的概率值，其中，m＝2，设置阈值，大于阈值的为第零类，否则为第一类。

优选的，步骤(3)中，阈值筛选具体为：设置阈值，其中概率低于阈值的预测到的细胞核去除，高于阈值的我们根据连通性，如果非联通的，则为最后预测的细胞核，如果是联通的，则将联通的保留一个作为最后预测的细胞核。

本发明的有益效果为：(1)采用了生成对抗网络，将其应用到了病理图像检测上，相对于之前常用的卷积神经网络，生成对抗网络其加入的判别器对图像有结构一致性的约束，从而检测到的细胞核更具有结构一致性，检测的效果会更好；(2)改进生成对抗网络的生成器，生成器采用rau-net结构；u-net采用的是一个包含下采样和上采样的网络结构，下采样用来逐渐展现环境信息，而上采样的过程是结合下采样各层信息和上采样的输入信息来还原细节信息，并且逐步还原图像精度；此外，通过在u-net上添加attetion机制，加入残差注意力模块，让生成器更专注于找到输入数据中显著的与当前输出相关的有用信息，从而提高输出的质量，即使得生成器能够更好的捕抓好的特征，从而达到提升病理图像检测的效果；(3)对病理图像细胞核进行检测，损失函数中除了生成对抗损失，还有像素损失，其中对核与非核采用不同的权重来解决类别不均衡问题，从而达到更好的检测效果；(4)对数据进行预处理，将原始图像进行旋转和翻转，增大数据样本量；以及对细胞核坐标数据进行处理，采用高斯函数，将其转为为原始图像一一对应的细胞核概率图；生成了病理图像细胞核检测概率图后，我们设置阈值进行筛选，得到最后的检测出的核的图。

附图说明

图1为本发明的算法流程示意图。

具体实施方式

一种基于生成对抗网络的病理图像检测算法，包括如下步骤：

(1)对现有数据进行预处理；

(2)使用改进的ragan模型，将步骤(1)中得到的数据输入生成器rau-net中，得到输出为生成的原始图片每一个像素的检测为核的概率值，其大小为500*500矩阵；将真实的概率值与生成的概率值做比较，得到公式(3)像素损失；将原始病理图片以及生成器的输出或者是真实的概率图输入到判别器当中，判别器输出0/1判断其是否为生成的概率图或者是真实的概率图，从而得到公式(1)的对抗损失，然后将结果反向传递到生成器中；根据公式(2)，得到最后的损失；

(3)根据步骤(2)中得到的损失函数，使用反向传播的梯度下降法；随着每一次的梯度下降，训练集的损失会变得越来越小，当训练集损失达到设定的值并且算法稳定收敛即是训练完成；网络不断的更新参数，使得生成器生成更接近于真实的概率图，最后得到使得病理图像细胞核检测的效果更好的模型参数；将该模型应用到测试集上，直接输入同样为病理图像500*500的测试样本，得到生成的概率图，经过阈值筛选，就可以得到最后的核检测结果。

如图1所示，生成对抗网络：采用的基础模型为条件生成对抗网络，有

mingmaxdv(d,g)＝logd(x,y)+log(1-d(g(x),x)(1)

其中g为生成器，d为判别器，x为输入样本，在病理图像检测中，x为病理图像原始图像，生成器和判别器都增加额外信息y为条件，y可以是任意信息，例如类别信息或者其他模态的数据，在病理图像检测中，y为细胞核的概率图。通过将额外信息y输送给判别模型和生成模型，作为输入层的一部分，从而实现条件gan。在生成模型中，先验输入x和条件信息y联合组成了联合隐层表征。对抗训练框架在隐层表征的组成方式方面相当地灵活。类似地，条件gan的目标函数是带有条件概率的二人极小极大值博弈。在本发明中，生成对抗网络首次应用到病理图像细胞核检测中。

改进生成对抗网络：

在条件gan模型的基础上，我们进行改进，其中生成器以u-net模型为基础，对病理图像检测问题，选择合适的u-net模型，并在此基础上，借鉴残差注意网络的思想，在u-net模型上加入适用于病理图像检测的残差注意力模块，生成一个新的生成器rau-net。其结构为：两次卷积核大小为3*3的卷积作为操作1，池化和两次卷积核大小为3*3的卷积作为操作2，池化、两次卷积核大小为3*3的卷积，残差注意力模块为操作3，池化、两次卷积核大小为3*3的卷积，残差注意力模块以及上采样为操作4。对输入图像进行操作1，然后重复4次操作2，然后进行1次操作3和一次操作4，得到如图1rau-net所示的包含下采样的网络结构；连接对应的下采样的特征，进行两次卷积核大小为3*3的卷积和一次上采样作为操作5，如图1rau-net所示连接对应的下采样网络结构的特征两次卷积核大小为3*3的卷积和一次卷积核大小为1*1的卷积为操作6。对经过下采样网络结构得到的特征重复6次操作5然后进行1次操作6，得到如图1rau-net所示的包含上采样的网络结构。

其中，残差注意力模块细节如下：首先经过残差块，然后分为两个分支。其中左边分支经过两个残差块，右边分支经过下采样后再经过两个残差块，最后再进行上采样。左右两分支相加后经过两层卷积核大小为3*3的卷积层再与1相加，得到的结果与经过左分支得到的结果相乘，最后经过残差块，最到最后结果。具体示意图见图1的残差注意力块。

最后，我们的整个基于生成对抗网络的病理图像检测算法ragan框架如下：病理图像经过生成器rau-net得到预测到的对应的病理图像细胞核的概率图，输出为生成的原始图片每一个像素的检测为核的概率值，其大小为500*500矩阵；将真实的概率值与生成的概率值做比较，得到公式(3)像素损失；将原始病理图片以及生成器的输出或者是真实的概率图输入到判别器当中，判别器输出0/1判断其是否为生成的概率图或者是真实的概率图，从而得到公式(1)的对抗损失，然后将结果反向传递到生成器中；根据公式(2)，得到最后的损失函数。

损失函数：

整个损失函数为：

mingmaxdlra(g,d)＝lc(g,d)+αlpixel(g)

(2)

其中lc(g,d)为对抗损失，lpixel(g)为像素损失，α为像素损失的权重。对抗损失具体为公式(1)，其含义在公式(1)有详细介绍。像素损失为：

因为病理图像中，核和非核的比例不均衡。因此该方法对核与非核采用不同的权重来解决类别不均衡问题，其中，n为输入样本即输入的病理图像总像素点，m为分类数(在此算法中，m＝2，检测为核与非核，该方法中设置一个阈值，经过高斯核函数得到的概率图，其大于该阈值的设置为1，否则为0，我们将其作为每一个对应像素的细胞核检测的目标类)，wtarget为目标类的权重，pi^target为pi为目标类的概率值，pi^j为像素pi为每一类的概率值。

通过上述改进后的ragan模型以及损失函数，对于病理图像，可以得到更好的检测效果。

数据预处理：

原始的病理图像样本量较小，我们进行数据增强操作，将病理图像原始图像进行旋转(90°，180°，270°)以及翻转，可以增加样本数量。另外，原始数据为病理图像中细胞核对应的在原始图像中的坐标，我们对其进行处理，采用高斯函数：

其中zj表示yj的坐标，表示第m个核的中心坐标，d为常量。

得到细胞核在原始图像中对应位置的概率，将其存储为500*500的矩阵，与原始图像一一对应。

阈值设定：

经过ragan后，生成了检测到细胞核的概率图，我们设置阈值，其中概率低于阈值的预测到的细胞核去除，高于阈值的我们根据连通性，如果非联通的，则为最后预测的细胞核，如果是联通的，则将联通的保留一个作为最后预测的细胞核。

最后采用f1、准确率、召回率作为最后的评价指标，评价该算法。实验表明，该算法比目前所有的算法效果都要更好。

实现具体步骤：我们采用的数据为结肠癌常规组织学图像，它有病理图像样本以及对应的细胞核坐标。首先，对现有数据进行预处理。我们将现有的病理图像核的位置数据进行处理，其中根据细胞核的位置数据我们找到对应的矩阵位置，根据高斯函数，将其附近的位置放入概率值生成一个对应于原始图像大小500*500的矩阵，从而得到图像检测的细胞核的概率图。将其作为公式(1)中的y，作为额外的信息输入到模型当中。另外，因为样本量较小，所以需要对样本进行数据增强操作，我们对样本进行旋转(90°，180°，270°)以及翻转，以扩大数据的样本量。接着，按照上面的模型框架和损失函数编写神经网络代码，许多深度学习框架工具可以很方便的实现上述算法。具体来说，我们输入病理图像样本，其为500*500的矩阵，使用我们改进的ragan模型，将数据输入生成器rau-net中，我们得到输出，为生成的原始图片每一个像素的检测为核的概率值，其大小为500*500矩阵。我们将真实的概率值与生成的概率值做比较，可以得到公式(3)像素损失。如上图3将原始病理图片以及生成器的输出或者是真实的概率图输入到判别器当中，判别器输出(0/1)判断其是否为生成的概率图或者是真实的概率图，从而得到公式(1)的对抗损失，然后将结果反向传递到生成器中。根据公式(2)，得到最后的损失。根据损失函数，一般使用反向传播的梯度下降法，很多深度学习框架中都可以自动实现反向传播梯度下降法(包括改进的梯度下降法)减少损失。随着每一次的梯度下降，训练集损失会变得越来越小。当训练集损失最小的时候并且算法稳定收敛即是训练完成。网络不断的更新参数，使得生成器生成更接近于真实的概率图，最后得到使得病理图像细胞核检测的效果更好的模型参数。将该模型应用到测试集上，直接输入同样为病理图像500*500的测试样本，得到生成的概率图，经过阈值筛选，就可以得到最后的核检测结果。

实验完成细节：

神经网络结构在前面图中已展示，其中我们采用adam算法来进行参数优化，初始学习率设为0.0001，在训练集上的loss达到设定的值时即作为网络收敛的标志。

实验结果：

根据新提出的模型，得到如下结果：

表1实验结果

实验结果见表1。我们进行了一组实验，以证明所提出方法的有效性，特别是注意机制。我们在实验中使用了两个网络。1)一个ugan网络，它的生成器是u-net，没有注意力模块。2)我们提出的ragan。与ugan相比，ragan的f1分数从0.844提高到0.831。结果证明了残差注意力模块的有效性。此外，与其他方法相比，ragan和ugan都表现得更好。这些都显示了生成对抗模型的优越性。