基于深度学习的尿沉渣显微图像有形成分识别方法与流程

本发明涉及到医疗显微图像处理技术领域，具体地说，是一种基于深度学习的尿沉渣显微图像有形成分识别方法。

背景技术：

尿沉渣检查在肾脏疾病、泌尿系统疾病、循环系统疾病和感染性疾病的诊断和鉴别中具有重要的作用，是医院常规检查项目之一。目前，尿沉渣检查可以通过三种方式进行：干化学法、流式细胞检测法和影像式显微镜检测分析法，其中影像式显微镜检测分析法是目前比较常用和可靠的尿沉渣检查方法。由于医院每天的检查工作量很大，检查效率较低，因此摄像式尿沉渣自动分析仪便成为了医疗机构理想的选择。摄像式尿沉渣自动分析仪是利用图像识别软件完成有形成分的种类识别，目前对于有形成分识别的准确率有待提高，因此需要针对尿沉渣显微图像有形成分的识别部分进行更加深入的研究，提高准确率和稳定性。

尿沉渣显微图像有形成分识别分为特征提取和分类两部分。传统的尿沉渣显微图像特征提取方法需要手工设计特征算子，提取的特征与研究人员的先验知识有着密切关系，使得传统方法存在很大的局限性。而深度学习是一种多层次的自主学习方法，利用卷积核自主提取图像特征，具有很好的泛化能力。深度学习往往要求有大型数据集来训练卷积神经网络(convolutionneuralnetwork,cnn)模型，但是尿沉渣显微图像的样本量比较小，不足以训练模型。并且尿沉渣显微图像具有类间相似、类内差异大的特点，使得提取有判别性的特征比较困难。cnn模型提取的特征维数较多，传统分类器在处理高维特征时将耗费大量的机器内存和运行时间，对于多分类问题的计算复杂度更是成倍增加。

由此可见，设计出高效、准确的图像识别方法，解决尿沉渣显微图像中尿沉渣有形成分的自动识别问题，对实现尿沉渣显微图像的自动化分析意义重大。

技术实现要素：

针对现有技术的不足，本发明的目的是提供一种基于深度学习的尿沉渣显微图像有形成分识别方法，利用迁移学习解决尿沉渣显微图像样本不足的问题，利用集成的微调cnn模型对尿沉渣显微图像有形成分进行特征提取，通过级联特征增加更多具有判别性的特征，并利用全连接神经网络对高维特征进行分类。

为达到上述目的，本发明采用的技术方案如下：

本发明方法包括四个部分：改进alexnet模型为de-alexnet模型、迁移cnn模型权重、制定一种合理的微调学习率和级联特征的策略、集成de-alexnet模型、googlenet模型和resnet模型提取的特征并设计全连接神经网络模型作为分类器。

所述方法主要包括以下步骤：

步骤1：改进alexnet模型为de-alexnet模型，即将alexnet模型的fc7层去掉，添加两个全连接层fca1和fca2层，其中fca1的神经元数目为2048，fca2的神经元数目为1024。

步骤2：在imagenet数据集上预训练de-alexnet模型、googlenet模型和resnet模型并分别获取三个模型的权重。

步骤3：将三个预训练模型迁移至尿沉渣显微图像数据集上继续训练。

步骤4：可视化三个模型中的每一层卷积层提取的特征，按照提取特征的特性分别将每个模型的卷积层分为三个卷积块。

步骤5：将第一个卷积块的学习率设为0、将第二个卷积块的学习率设为0.001、将第三个卷积块的学习率设为0.01进行训练。

步骤6：将每个模型第二卷积块的最后一个卷积层提取的特征和第三卷积块最后两个卷积层提取的特征级联起来组成特征向量。

步骤7：将三个特征向量集成起来送入全连接神经网络模型中进行分类。

进一步，步骤4中所述可视化模型的具体步骤为：

步骤4-1：分别提取三个模型每一个卷积层的特征图，然后对特征图进行反卷积操作、反池化和反激活操作。

步骤4-2：将经过步骤4-1处理的特征图投影到屏幕上观察特征图响应的特征特性。

步骤4-3：分别将每个模型的卷积层按照提取特征的特性分为三个卷积块。

进一步，步骤7中所述的全连接神经网络模型是由三个全连接层fc1、fc2和fc3组成，其中fc1的神经元数目为4096，fc2的神经元数目为4096，fc3的神经元数目为7，分类的结果以概率的形式给出，具体的计算方式为：

其中，aj表示fc3输出的第j个值，t＝7表示尿沉渣显微图像有形成分的种类。e表示指数，pj表示有形成分的分类结果概率。

本发明的优点如下：

1、由于尿沉渣显微图像在alexnet模型上的泛化能力不足，导致识别率很低，本发明改进alexnet模型为de-alexnet模型，采用将alexnet模型的fc7层去掉，加入全新的两层全连接层fca1和fca2增加模型的泛化能力，并且设置神经元数目分别为2048和1024，减少冗余特征，使有效特征的比重增加。

2、由于尿沉渣显微图像样本不足且标记困难，难以训练卷积神经网络模型，因此本发明采用迁移学习将模型在大型数据集imagenet上学习到的特征权重迁移至尿沉渣显微图像数据集上。

3、本发明通过微调学习率，使模型更加适应尿沉渣显微图像，对于图像的通用特征减缓学习速率，对图像有判别性的特征加大学习速率。

4、本发明通过级联模型不同层的特征，增加更多有判别性的特征。

5、由于每个模型的卷积核和结构不同，因此它们提取的特征也不一样，本发明集成三个模型提取的特征有利于提高每一类有形成分的识别率，即将三个深度cnn分类器进行集成，并且级联不同卷积层的特征，学习到的图像特征更加丰富，更加有判别性。

与现有的尿沉渣显微图像有形成分识别方法相比，本发明识别准确率更高，操作更简洁，效率更优。

附图说明

图1是本发明的方法流程图；

图2(a)-图2(d)是本发明方法的主要阶段图，其中图2(a)是de-alexnet模型的结构图，图2(b)是可视化de-alexnet模型示意图，图2(c)是微调学习率的示意图，图2(d)是级联de-alexnet模型特征的示意图。

具体实施方式

下面结合附图对本发明的具体实施方式以及工作原理作进一步详细说明。

本方法由改进alexnet模型为de-alexnet模型、迁移cnn模型权重、微调学习率和级联特征以及集成三个卷积神经网络模型提取的特征并设计分类器四部分组成。

第一个部分将alexnet模型的fc7层维度4096的全连接层去掉，增加两层fca1，fca2层，维度分别为2048和1024的全连接层。

第二部分首先在imagenet数据集上预训练de-alexnet模型、googlenet模型和resnet模型以获取权重，然后将权重迁移至尿沉渣显微图像数据集上继续训练。

第三个部分通过对卷积神经网络模型可视化，观察网络模型不同层提取特征的特性，将每个卷积神经网络模型按照提取特征的特征分为不同的卷积块，对每个卷积块设置不同的微调学习率进行训练，由实验得出学习率设置为0,0.001和0.01，然后级联不同卷积层提取的特征形成特征向量。

第四部分集成上述三个卷积神经网络模型提取的特征向量，输入全连接神经网络模型中进行分类。

如图1所示，识别方法具体按照以下步骤进行：

步骤1：改进alexnet模型为de-alexnet模型；

如图2(a)所示，de-alexnet模型有5个卷积层，图像经过第一层卷积得到图像尺寸为55*55，通道数为96的特征图像，经过池化和第二层卷积后得到图像尺寸为27*27，通道数为96的特征图像，经过池化和第三层卷积后得到图像尺寸为13*13，通道数为384的特征图像，经过第四层卷积得到图像尺寸为13*13，通道数为384的特征图像，经过第五层卷积得到图像尺寸为13*13，通道数为256的特征图像，再经过池化和全连接后得到4096维的特征向量，经过fca1全连接层得到2048维特征向量，经过fca2全连接层得到1024维特征向量。

步骤2：在imagenet数据集上预训练de-alexnet模型、googlenet模型和resnet模型并分别获取三个模型的权重；

步骤3：将三个预训练模型迁移至尿沉渣显微图像数据集上继续训练；

步骤4：可视化三个模型每一层提取的特征，按照可视化模型的结果分别将每个模型的卷积层分为三个卷积块；具体步骤为：

步骤4-1：分别提取三个模型每一个卷积层的特征图，然后对特征图进行反卷积操作、反池化和反激活操作；

步骤4-2：将经过步骤4-1处理的特征图投影到屏幕上观察特征图响应的特征特性；

例如，将de-alexnet模型的每一个卷积层的特征提取出来，经过步骤4-1和步骤4-2的操作投影到屏幕上，得到的可视化de-alexnet模型如图2(b)所示，图中示意分别对管型、上皮细胞和白细胞的尿沉渣显微图像进行特征可视化，分别将三幅图像输入de-alexnet模型进行训练中，对模型中每一个卷积层提取的特征图进行可视化得到图2(b)的可视化特征图像，从左往右依次是卷积层1-5提取的特征可视化图像。

步骤4-3：将三个模型的所有卷积层按照提取的特征特性分为三个卷积块。

步骤5：分别对每个cnn模型调整三个卷积块的学习率进行训练；如图2(c)所示，分别将每个cnn模型的卷积层分为三个卷积块，第一个卷积块1的学习率设为0，使得模型的权重不变，第二个卷积块2的学习率设为0.001，使得模型的权重做出缓慢调整，第三个卷积块3的学习率设为0.01，使得模型的权重做出快速调整。

步骤6：将每个模型第二卷积块的最后一个卷积层提取的特征和第三卷积块最后两个卷积层提取的特征级联起来组成特征向量，具体在级联多层特征时，由于第二卷积块的最后一个卷积层提取的特征和第三卷积块最后两个卷积层提取的特征尺寸可能不一致，为了实现特征维度的叠加，要将三个特征统一为第三卷积块的最后一个卷积层特征尺寸，将与其不一致的特征送入最大池化层中调整特征尺寸。

步骤7：将三个特征向量集成起来送入全连接神经网络模型中进行分类。其中全连接神经网络模型是由三个全连接层fc1、fc2和fc3组成，其中fc1的神经元数目为4096，fc2的神经元数目为4096，fc3的神经元数目为7，分类的结果以概率的形式给出，具体的计算方式为：

其中，aj表示fc3输出的第j个值，t＝7表示尿沉渣显微图像有形成分的种类。

如图2(d)所示，以de-alexnet模型级联特征为例，尿沉渣显微图像数据集输入卷积层1-5中得到卷积层5中的特征图像，同时利用级联层融合卷积层3和卷积层4提取的特征图像，在级联层中对卷积层3、卷积层4和卷积层5提取的特征图像按通道数进行叠加，然后经过全连接层fc6、fca1和fca2得到1024维特征向量，然后经过softmax计算得到分类结果。

本例中，在对于尿沉渣显微图像进行识别时，分为三个阶段，首先将三个卷积神经网络模型在imagenet数据集上进行预训练，然后将模型的权重迁移至尿沉渣显微图像数据集上继续进行训练，训练过程中运用了微调学习率和级联特征的策略，提高了模型的识别准确率，最后将三个模型最后一个卷积层提取的特征进行集成，输入到全连接神经网络模型中进行分类。

发明在尿沉渣显微图像数据集上进行的实验证明：上述识别方法是有效的，与近几年具有代表性的方法相比，在识别的准确率上有很大的提高。