基于改进的FasterR-cnn的尿红细胞病变识别与统计方法和系统与流程

本发明属于医疗病理的人工智能辅助诊断领域，具体而言，涉及一种基于改进的fasterr-cnn的尿红细胞病变识别与统计方法和系统。

背景技术：

近年，以深度学习为代表的人工智能技术得到了显著的发展，其在病理学，医学影像诊断领域等应用也越来越得到关注。深度学习利用了多层人工神经网络，其通过组合低层特征来形成更加抽象的高层特征，以发现数据的分布式特征表示。深度学习能够更好地反映数据的本质特征，其效果明显优于专家系统等人为设计的特征。目前，深度学习等已经在乳腺癌病理检查、肺癌检测、心血管成像等医学成像领域得到了广泛的研究。

肾脏疾病常见的临床表现为尿液异常及腰痛。尿液异常又包括尿量异常、尿成分异常、排尿困难。尿液成分异常最先为肉眼发现，患者通过肉眼观察、体检或者出现一些相应症状到医院检查而发现血尿，这常常是患者就诊的直接原因。血尿在临床上是比较常见的症状，同种疾病大多具有相同临床特点及症状，但在不同的个体以及同一个体的不同疾病发展阶段，临床表现也不尽相同，检出血尿后需要进行鉴别的疾病比较繁多、复杂。多数患者以为出现血尿都是比较严重的肾脏疾病，需要进一步做相关检查以确定诊断，如有创肾活检、病理学检查等，这会给患者带来心理上和经济上的双重压力。由于引起血尿的病因复杂多样，因此，临床医生首先应该对血尿进行鉴别，目前临床上普遍认为，通过尿液红细胞形态筛查可定位血尿来源，其机制是：红细胞通过有病理改变的肾小球滤过膜，以及受到膜两侧ph和渗透压不同的影响，这些因素作用于红细胞膜时，使红细胞发生形态结构的改变即肾小球性血尿；而非肾小球性血尿，红细胞未受到以上因素作用，故红细胞形态基本正常。因此，可根据尿液红细胞形态差异将血尿分为肾小球源性和非肾小球源性，然后结合其他检查结果及病情需要做进一步检查，以确定诊断。尿液红细胞形态检查作为血尿来源的初筛实验，标本留取方便，检查费用较低，对患者无创损伤，可广泛应用于肾脏病的筛查。为了提高筛查的准确性，必须对尿标本的留取、尿沉渣操作流程进行标准化和规范化，特别强调检验人员应提高对尿液中正常红细胞和异形红细胞形态特点的认识鉴别能力，做出正确的鉴别筛查结果，指导临床进一步诊断治疗。

现有方法:要求患者正确留取新鲜中段尿，混匀后取10ml注入尿沉渣专用离心管，以相对离心力400×g离心5min，弃掉上清液，留取沉渣0.5ml，充分混匀后取20μl滴于洁净的载玻片上，盖上盖玻片，调节好相差显微镜，先用低倍镜观察全片，观察制片是否均匀、合格，有无管型；然后再用高倍镜观察分析红细胞形态并对畸形红细胞进行鉴别计数。

然而现有技术步骤严谨繁琐，需要耗费大量的人力资源，且对检验人员有很高的要求，在医疗资源相对匮乏的地区缺少这类检验人员，因此，为了快速准确的为患者进行诊断并减轻检验人员的工作负担，同时避免工作压力带来的影响，特提出基于改进的神经网络(fasterr-cnn)的尿红细胞病变识别与统计系统.

专利申请号为2017106967267的发明提出了一种尿红细胞畸形率检测方法及系统，其基于显微镜下尿红细胞的图像数据，使用图像平滑、锐化、边缘检测、中值滤波等数字图像处理算法对图片中的畸变尿红细胞进行检测与统计。但是传统的图像处理以及特征提取方法需要人为参与提取特征，存在极大的主观特性，仅仅基于上述方法对尿红细胞进行识别与统计会造成漏检，误检问题。因此，建立基于改进的神经网络(fasterr-cnn)的尿红细胞病变识别与统计系统，让网络主动学习更高层次，更精细准确且有效的特征，进而实现准确识别和统计，是一个亟待解决的研究创新方向。

技术实现要素：

针对尿红细胞畸形率智能化分类统计的迫切需求以及基于现存传统数字图像处理算法的尿红细胞畸形率算法存在的问题，本发明的目的在于提出一种基于改进的卷积神经网络(fasterr-cnn)的尿红细胞病变识别与统计方法和系统。

为了解决上述技术问题，本发明采用的技术方案为：一种基于改进的fasterr-cnn的尿红细胞病变识别与统计方法，包括以下步骤：

s1、采集若干张肾病患者的样本尿红细胞图像；

s2、通过类别标签对样本尿红细胞图像中的尿红细胞的类别进行标注，标注完成后，对标注数据进行图像去燥，利用对抗生成网络进行样本生成，样本生成后进行数据增强预处理，得到若干张带有标注的训练数据；

s3、将带有标注的训练数据作为初始训练数据输入改进的fasterr-cnn神经网络中进行训练；所述改进的fasterr-cnn神经网络的基础网络中加入了多个卷积核为1x1的卷积层，且网络中的bn层被gn层替代；

s4、训练结束后，将待识别尿红细胞图像输入改进的fasterr-cnn神经网络中进行特征提取，得到待识别尿红细胞图像中所有尿红细胞属于不同类别的概率，将拥有最大概率值的类别作为尿红细胞所属分类，对各个分类下的尿红细胞进行统计。

所述步骤s2中，通过类别标签对样本图像中的尿红细胞进行标注的具体方法为：将若干张肾病患者的尿红细胞图像数据首先被传输到标签软件中，并对图像中的每一个尿红细胞打上唯一对应的类别标签。

所述步骤s1中，采集肾病患者的样本尿红细胞图像的具体方法为：将尿液样本盖玻片固定在载物台上，随后变焦步进电机将带动相差显微镜的调焦轮使得显微镜物镜下降到距盖玻片2mm的位置,不断调节相差显微镜，ccd摄像头将收集到的视频信号传输至图像采集卡，转化为数字化信号传输给pc端，进行信息存储并在显示器上输出图像，同时在暗视野中观察尿红细胞形态，待视野中细胞形态清晰可见且细胞状态稳定时采集图像，即400倍下视野，平均一个患者采集30张左右。

所述改进的fasterr-cnn神经网络包括：

图像特征提取模块：用于通过图片分类模型提取尿红细胞图像的图像特征；

候选区域网络模块：用于根据提取得到尿红细胞图像的图像特征，得到候选区；

roipooling层：用于根据图像特征和候选区计算得到综合的候选区特征；

预测模块：用于根据候选区特征预测图像中尿红细胞的边界框以及所属类别，所述预测模块利用softmax函数层计算得到类别概率值。

此外，本发明还提供了一种基于改进的fasterr-cnn的尿红细胞病变识别与统计系统，包括：

图像采集模块：用于采集待测尿液样本，得到待识别尿红细胞图像；

图像预处理模块：采集若干张肾病患者的样本尿红细胞图像，并通过类别标签对样本图像中的尿红细胞进行标注，标注完成后，对标注数据进行图像去燥，利用对抗生成网络进行样本生成，样本生成后进行数据增强预处理，得到若干张带有标注的训练数据；

自动识别与统计模块：用于将带有标注的训练数据作为初始训练数据输入改进的fasterr-cnn神经网络中进行训练；所述改进的fasterr-cnn神经网络的基础网络中加入了多个卷积核为1x1的卷积层，且网络中的bn层被gn层替代；还用于将待识别尿红细胞图像输入改进的fasterr-cnn神经网络中进行特征提取，得到待识别尿红细胞图像中所有尿红细胞属于不同类别的概率，将拥有最大概率值的类别作为尿红细胞所属分类，对各个分类下的尿红细胞进行统计。

所述自动识别与统计模块中，改进的fasterr-cnn神经网络由32层卷积神经网络构成，包括：

图像特征提取模块：用于通过图片分类模型提取尿红细胞图像的图像特征；

候选区域网络模块：用于根据提取得到尿红细胞图像的图像特征，得到候选区；

roipooling层：用于根据图像特征和候选区计算得到综合的候选区特征；

预测模块：用于根据候选区特征预测尿红细胞的边界框以及所属类别，所述预测模块利用softmax函数层计算得到类别概率值。

改进的fasterr-cnn神经网络中，基础网络中每层卷积层中卷积核的大小是3*3，卷积步长是1，池化核是2*2，步长为2。

所述数据采集模块包括相差显微镜、ccd摄像头、图像采集卡、计算机和显示器。

本发明与现有技术相比具有以下有益效果：

1、本发明使用尿红细胞在显微镜下采集到的图像作为数据输入，通过卷积神经网络自主学习数据的低层，高层特征，无需任何人为参与对尿红细胞数据进行特征提取，例如某种形态，色泽，对光的折射率，光晕等特征进行单一且有限的提取。因此本发明对显微镜尿红细胞图像数据进行分析，通过学习尿红细胞图像不同层次，不同级别，以及各层次之间的特征相关性，进而实现更加准确的畸形尿红细胞分类与病变率统计。

2.使用基于改进的faster-rcnn卷积神经网络的反向传播算法实现尿红细胞的分类统计。由于畸形尿红细胞的种类繁多、形态复杂，且不同种类间相似度较高，传统的人工提取特征的方法难以进行精确地分类。改进后的faster-rcnn能够提取尿红细胞从整体到局部的多层特征，对尿红细胞这类特征多变的目标具有良好的识别与分类能力。

3.本发明在预处理阶段对背景较为复杂的图像进行噪声清理等操作，进而为神经网络提供高质量的数据输入，采集若干个尿红细胞图像使用对抗生成网络进行样本生成，增加样本数量，从而准确判定尿红细胞是否发生畸形以及畸形的种类。相较于已有的尿红细胞畸形率检测专利，本发明提出的系统可以获得更为快速准确的红细胞分类畸形率统计结果。

综上所述，本发明能够辅助医生对尿红细胞进行病变识别的诊断，大幅度地提高识别效率，而且特别适用于大范围的尿红细胞病变识别，筛查以及统计，有助于减轻检验人员的工作压力和负担，降低人力资源的消耗，同时解决专业检验人员短缺的问题，可以更好地为医疗资源紧缺的地区服务。

附图说明

图1为本发明实施例提供的一种基于改进的fasterr-cnn的尿红细胞病变识别与统计方法的流程示意图；

图2为本发明实施例中改进的fasterr-cnn神经网络的整体框架图；

图3为发明实施例提供的一种基于改进的fasterr-cnn的尿红细胞病变识别与统计系统的结构示意图；

图4为发明实施例中图像采集模块的结构示意图；

图5为本发明实施例中尿红细胞样本以及部分病变细胞的示意图，其中，图5中(a)、(b)和(c)展示出了不同尿液中提取的的尿红细胞样本的示例图，图5中(d)、(e)、(f)展示出了部分异常尿红细胞图像的示例图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，一种基于改进的fasterr-cnn的尿红细胞病变识别与统计方法，其特征在于，包括以下步骤：

s1、通过图像采集模块采集若干张肾病患者的样本尿红细胞图像。

采集肾病患者的样本尿红细胞图像的具体方法为：将尿液样本盖玻片固定在载物台上，随后变焦步进电机将带动相差显微镜的调焦轮使得显微镜物镜下降到距盖玻片2mm的位置,不断调节相差显微镜，ccd摄像头将收集到的视频信号传输至图像采集卡，转化为数字化信号传输给pc端，进行信息存储并在显示器上输出图像，同时在暗视野中观察尿红细胞形态，待视野中细胞形态清晰可见且细胞状态稳定时采集图像，即400倍下视野，平均一个患者采集30张左右。

s2、在图像预处理模块中，通过类别标签对样本尿红细胞图像中的尿红细胞的类别进行标注，标注完成后，对标注数据进行图像去燥，利用对抗生成网络进行样本生成，样本生成后进行数据增强预处理，得到若干张带有标注的训练数据。

所述步骤s2中，通过类别标签对样本图像中的尿红细胞进行标注的具体方法为：将5000张肾病患者的尿红细胞图像数据首先被传输到标签软件中，并通过专业医生对图像中的每一个尿红细胞打上唯一对应的类别标签。

s3、在自动识别与统计模块中，将带有标注的训练数据作为初始训练数据输入改进的fasterr-cnn神经网络中进行训练；所述改进的fasterr-cnn神经网络的基础网络中加入了多个卷积核为1x1的卷积层，且网络中的bn层被gn层替代。

所述改进的fasterr-cnn神经网络由32层卷积神经网络构成，所述改进的fasterr-cnn神经网络包括：图像特征提取模块、候选区域网络模块、roipooling层和预测模块，其中，图像特征提取模块用于通过图片分类模型提取尿红细胞图像的图像特征，一般使用改进的vgg网络或者其他效果较好的的图片分类模型提取图像特征；候选区域网络模块(rpn)用于根据提取得到尿红细胞图像的图像特征，得到候选区(proposals)；roipooling层用于根据图像特征和候选区(proposals)计算得到综合的候选区特征；预测模块用于根据候选区特征预测图像中尿红细胞的边界框(boundingbox)以及所属类别，所述预测模块利用softmax函数层计算得到类别概率值，并依据分类结果进行畸形率的统计。

其中，softmax用于多分类过程中，它将多个神经元的输出，映射到(0,1)区间内，可以看作概率来理解，从而来进行多分类。将类别看做一个数组v，vi表示v中的第i个元素即第i个类，那么这个元素的softmax值就是:

神经网络架构中基础网络主要有卷积层，池化层，全连接层组成，网络结构(简化表示)：-c1-c2-p3-gn-c4-c5-......-fc-，这里，c表示卷积层，p表示池化(pooling)层，fc表示全连接层。在基础网络中每层卷积层c1～c13中卷积核的大小是3*3，卷积步长是1，池化核是2*2，步长为2，也可以根据实际情况对卷积层和池化层进行合适的改进。

原有的神经网络的结构简单表示为：-c1-bn-c2-bn-p3-c4-bn-c5-bn-p6-c7-bn-c8-bn-c9-bn-p10-c11-bn-c12-bn-c13-bn-fc14-，本实施例中，对fasterr-cnn神经网络的最明显的改进就是基础网络中加入了小尺寸卷积核即1x1的卷积层，加入1x1卷积层的目的是为了实现跨通道的交互和信息整合，防止丢失信息，经过针对本专利数据检测识别更重要的是细节特征的特点。此外，本发明实施例中，对神经网络的改进还在于将fasterr-cnn神经网络原来卷积层之后的bn层改为gn层。

具体地，本发明实施例中，对fasterr-cnn神经网络的改进点为：在原有的第四，七，十三卷积层c4、c7、c13，第十四层全连接层fc14前增加了1×1的卷积层b1，在第八，九，十一卷积层c8、c9和c11，第十池化层p10后增加1x1的卷积层b1，一共增加了8个1x1卷积层，加入之后共有18层卷积层，改进后最终采用的结构简单表示为：-c1-gn-c2-gn-p3-b1-c4-gn-c5-gn-p6-b1-c7-gn-c8-b1-gn-c9-b1-gn-p10-b1-c11-b1-gn-c12-gn-b1-c13-gn-b1-fc14-。

当然，1x1卷积也可以尝试加在其他卷积层和池化层前后，可以达到94.8％的准确率。例如，在八到十三层卷积层c8、c9、c10、c11、c12、c13之后以及第14层池化层fc1之后加入1x1卷积层，尿红细胞识别的准确率也可以达到91.02％。卷积的作用之一是降维，减少运算量，作用二是增加神经网络非线性程度。增加非线性可以增加神经网络的复杂度，复杂的神经网络才可以更精确地逼近任意函数(或数学模型)，而1x1conv可以用较低运算成本通过改变通道(channel)维度为网络增加复杂度，进而提取更精细的特征。在这种情况下，对于采集的医学图像尺寸例如4632×3488的尿红细胞图像，可以更好的进行特征提取。

此外，本实施例中，将fasterr-cnn神经网络原来卷积层之后的bn层改为gn层，目的是为了减小训练误差并改善网络训练占用运行内存过大的问题。这里的bn(批量标准化)层是一种训练优化方法，在网络的每一层输入的时候，插入了一个归一化层，沿着batch(批量)维度进行归一化，归一化处理以后再进入网络的下一层。gn层则优化了bn在比较小的mini-batch(批量)情况下表现不太好的劣势。因为批量维度进行归一化(bn)存在以下问题，一是批量统计估算不准确导致批量变小时，bn层的误差会迅速增加。二是在训练大型网络和将特征转移到计算机视觉任务中(包括检测、分割和视频)，内存消耗限制了只能使用小批量的bn，因此，为了适应运行内存限制以及训练和测试数据分布差异带来的批量变化进而导致的误差增加的问题，使用gn层，组内进行数据标准化表现更好。传统的图像特征提取(特征工程)主要是基于各种先验模型，通过提取图像关键点、生成描述子特征数据、进行数据匹配或者机器学习方法对特征数据二分类或多分类实现图像的对象检测与识别。而卷积神经网络通过计算机自动提取特征(表示工程)实现图像特征的提取与抽象。

另外，在基础卷积网络中，池化(pooling)的方式可以使用最大池化(maxpooling)、平均池化(mean-pooling)、随机池化(stochastic-pooling)等。通过池化操作，一方面可以降低特征维度，提高运算效率，也可以使神经网络提取更加抽象的高层特征，以实现对尿红细胞更加精准的分类。最后通过全连接层对尿红细胞图像特征进行综合处理，以及对特征向量进行维度转换，从而输出检测结果。

s4、训练结束后，将待识别尿红细胞图像输入改进的fasterr-cnn神经网络中进行特征提取，得到待识别尿红细胞图像中所有尿红细胞属于不同类别的概率，将拥有最大概率值的类别作为尿红细胞所属分类，对各个分类下的尿红细胞进行统计。

本实施例中，特征提取主要通过网络中各个卷积层的卷积核与图像矩阵进行卷积操作进行，将输入的尿红细胞图像处理为数字矩阵，进行一系列的卷积，池化操作，赋予不同特征不同的权重，提取出关键特征。将网络不同层次的特征进行组合，归一化等处理，训练结束的32层卷积神经网络能够给出输入尿红细胞图像中所有尿红细胞的类别以及属于不同类别的概率，拥有最大概率值的类别就是尿红细胞所属分类。最后利用构建的模型对新的尿红细胞图像进行检测，分类识别模块会基于检测模型自动进行尿红细胞分类，并根据识别结果进行数量统计计算出对应畸变率。

如图3所示，本发明实施例还提供了一种基于改进的fasterr-cnn的尿红细胞病变识别与统计系统，包括：

图像采集模块：用于采集待测尿液样本，得到待识别尿红细胞图像；

图像预处理模块：采集若干张肾病患者的样本尿红细胞图像，并通过类别标签对样本图像中的尿红细胞进行标注，标注完成后，对标注数据进行图像去燥，利用对抗生成网络进行样本生成，样本生成后进行数据增强预处理，得到若干张带有标注的训练数据；

自动识别与统计模块：用于将带有标注的训练数据作为初始训练数据输入改进的fasterr-cnn神经网络中进行训练；所述改进的fasterr-cnn神经网络的基础网络中加入了1x1的卷积层，且网络第三层卷积层之后的bn层被gn层替代；还用于将待识别尿红细胞图像输入改进的fasterr-cnn神经网络中进行特征提取，得到待识别尿红细胞图像中所有尿红细胞属于不同类别的概率，将拥有最大概率值的类别作为尿红细胞所属分类，对各个分类下的尿红细胞进行统计。

具体地，本实施例中，自动识别与统计模块中，改进的fasterr-cnn神经网络由32层卷积神经网络构成，其具体结构为：-c1-gn-c2-gn-p3-b1-c4-gn-c5-gn-p6-b1-c7-gn-c8-b1-gn-c9-b1-gn-p10-b1-c11-b1-gn-c12-gn-b1-c13-gn-b1-fc14-，此外，该神经网络包括：

图像特征提取模块：用于通过图片分类模型提取尿红细胞图像的图像特征；

候选区域网络模块：用于根据提取得到尿红细胞图像的图像特征，得到候选区；

roipooling层：用于根据图像特征和候选区计算得到综合的候选区特征；

预测模块：用于根据候选区特征预测尿红细胞的边界框以及所属类别，所述预测模块利用softmax函数层计算得到类别概率值。

如图4所示，所述数据采集模块包括相差显微镜、ccd摄像头、图像采集卡、计算机和显示器。图5为本发明实施例中尿红细胞样本以及部分病变细胞的示意图，其中，图5中，(a)(b)、(c)展示出了不同尿液中提取的的尿红细胞样本的示例图，(d)、(e)、(f)展示出了部分异常尿红细胞图像的示例图。

本发明对显微镜尿红细胞图像数据进行分析，通过学习尿红细胞图像不同层次，不同级别，以及各层次之间的特征相关性,进而实现更加准确的畸形尿红细胞分类与病变率统计。改进后的faster-rcnn能够提取尿红细胞从整体到局部的多层特征，对尿红细胞这类特征多变的目标具有良好的识别与分类能力。此外，本你发明在预处理阶段对背景较为复杂的图像进行噪声清理等操作，进而为神经网络提供高质量的数据输入，对尿红细胞图像使用对抗生成网络进行样本生成，增加样本数量，从而准确判定尿红细胞是否发生畸形以及畸形的种类。相较于已有的尿红细胞畸形率检测专利，本发明提出的系统可以获得更为快速准确的红细胞分类畸形率统计结果。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。