一种基于FPN的FasterR-CNN肺结核征象检测系统及方法与流程

本发明涉及计算机视觉领域的目标检测任务，具体为一种基于特征金字塔网络(fpn)的fasterr-cnn肺结核征象检测系统及方法。

背景技术：

结核病是结核分枝杆菌引起的传染性疾病，主要通过空气在人与人之间传播并累及肺部。结核病是全球第十大致死疾病，甚至高于艾滋病。据who估算，2017年全球的结核病潜伏感染人群约17亿，潜伏感染率为23％，全球新发结核病患者约1000万，157万人死于结核病，包括30万人合并艾滋病毒感染而死亡，超过95％的结核病死亡发生在发展中国家，我国是结核病高负担国家之一。但如果患者在早期就可以被诊断并及时接受治疗，结核病患者的治愈率可达90％以上。

痰涂片与快速分子检测虽然在肺结核筛查和检测中应用广泛，但其检查成本高，耗时长。世界卫生组织推荐胸部x线平片(cxr)是筛选肺结核的敏感工具，许多国家的结核病流行率调查表明，胸部x线平片是肺结核最敏感的筛查工具。但许多结核病流行区、偏远山区和农村非常缺乏有结核病诊断经验的放射诊断医师，从而造成误诊或漏诊，导致目前死亡人数仍然很高。有效的自动化和低成本筛查工具可以很好地解决上述问题，并促进该疾病的早期发现。因此，开发准确可靠的计算机辅助诊断系统可以很大程度上降低全球结核病死亡率。

技术实现要素：

针对现有技术中存在的问题，本发明提供一种基于fpn的fasterr-cnn肺结核征象检测系统及方法，实现对肺结核病灶的自动检测、定位和概率预测，不仅提高了病灶检测的准确度，降低了肺结核患者延误治疗的风险，同时也降低了医务人员的劳动强度。

本发明是通过以下技术方案来实现：

一种基于fpn的fasterr-cnn肺结核征象检测系统，包括特征样本库、标注模块、fpn为后端的fasterr-cnn网络学习模块、输出模块和计算机终端；

特征样本库内保存有特征样本，特征样本为结核病患者的胸片影像；

标注模块，用于标注特征样本中病灶的外接矩形和病灶类别，形成供fpn为后端的fasterr-cnn网络学习模块训练学习的数据集；

fpn为后端的fasterr-cnn网络学习模块，用于对标注模块得到的数据集进行训练学习，训练学习后对待测试样本进行检测，并将检测结果发送给输出模块；

输出模块，用于将检测结果发送给计算机终端；

计算机终端，用于显示检测结果。

优选的，标注模块，由放射科医师对特征样本库中胸片影像数据集进行标注。

优选的，病灶类别包括活动性病灶、胸腔积液、钙化灶和胸膜钙化。

优选的，标注模块在标注后，对胸片影像进行随机增强，增强的方式为水平镜像、随机剪裁、放大或缩小，然后对标记坐标进行相应变换，最后将标注结果制作成pascal_voc数据集格式，输入fpn为后端的fasterr-cnn网络学习模块进行训练学习。

优选的，fpn为后端的fasterr-cnn网络学习模块包括基于fpn的区域推荐网络模块和fastr-cnn共享卷积模块；

基于fpn的区域推荐网络模块，用于生成候选区域，供fastr-cnn共享卷积层使用；

fastr-cnn共享卷积模块，用于计算每个候选区域的类别，及目标区域、是否目标的置信度。

进一步的，fpn结构为：从resnet下采样层抽出c1、c2、c3、c4、c5层，连接时去掉c1层，尺寸缩小2倍，c2层缩小4倍，c3层缩小8倍，c4层缩小16倍，c5层缩小32倍，把高层的低分辨强语义的feature最近邻上采样2倍相乘与低层语义相加，经过3×3卷积核之后，作为预测层，p6层为p5层的0.5倍降采，在p2至p6五个预测层上，分别独立的进行预测，最后将每层的预测结果进行连接，融合。

再进一步的，fpn结构的anchor采用三种宽高比1:1、2:1和1:2，5个预测层anchorscale大小分别为48、128、256、384和420。

进一步的，基于fpn的区域推荐网络模块生成的候选区域经过roipooling层之后，进入fasterr-cnn共享卷积模块。

进一步的，fastr-cnn共享卷积模块的正负样本比为1:3。

一种基于fpn的fasterr-cnn肺结核征象检测方法，基于所述的系统，包括以下步骤：

步骤1，对特征样本数据进行预处理：由放射科医师对特征样本数据集进行标注，标注病灶的外接矩形和类别，最后将标注结果制作成pascal_voc数据集格式；

步骤2，对pascal_voc数据集进行初步检测，将制作的pascal_voc数据集作为fpn为后端的fasterr-cnn检测网络进行训练学习，最终得到肺结核征象检测的初步模型；

步骤3，对待测x线胸片预处理及数据扩增，并调整图像大小后送入神fpn为后端的fasterr-cnn网络进行检测，输出检测到的病灶区域的外接矩形及置信度，对有检测到病灶的输出阳性，未检测到病灶的输出阴性。

与现有技术相比，本发明具有以下有益的技术效果：

本发明基于特征金字塔网络(fpn)在x线胸片上对肺结核自动检测系统，通过对肺结核x线胸片进行标注，采用fpn为后端的fasterr-cnn网络学习模块进行训练学习，掌握肺结核病灶征象，获得肺结核病灶征象的自动诊断检测能力，实现对肺结核病灶的自动检测、定位和概率预测，得出最终的肺结核检测结果。fpn作为检测网络后端，可以更好的结合多尺度的网络层中的语义特征，每层都进行独立预测，最后进行融合，可以更好的对不同尺度的病灶进行检测。本发明基于深度学习网络对数字图像的识别技术，实现对肺结核病灶的自动检测、定位和概率预测，不仅提高了病灶检测的准确度，降低了肺结核患者延误治疗的风险，同时也降低了医务人员的劳动强度。

进一步的，在rpn网络后加入roipooling，对候选区域进行采样，保证进入fastr-cnn网络图像大小的一致性。

附图说明

图1为fpn结构。

图2为fpn为后端的fasterr-cnn网络结构。

图3为待测样本检测流程。

具体实施方式

下面结合具体的实施例对本发明做进一步的详细说明，所述是对本发明的解释而不是限定。

本发明所述的基于fpn的fasterr-cnn肺结核征象检测系统，包括特征样本库、标注模块、fpn为后端的fasterr-cnn网络学习模块、输出模块和计算机终端；特征样本库内保存有特征样本；标注模块，用于标注特征样本中病灶的外接矩形和类别，形成供fpn为后端的fasterr-cnn网络学习模块训练学习的数据集；fpn为后端的fasterr-cnn网络学习模块，用于对标注模块得到的数据集进行训练学习，训练学习后对测试样本进行检测，并将检测结果发送给输出模块；输出模块，用于将检测结果发送给计算机终端；计算机终端，用于显示检测结果。

特征样本库中包含大量结核病患者的胸片影像。

标注模块由有丰富诊断经验的放射科医师对特征样本库中胸片影像数据集进行标注，人工标注的目的是得到图像标签，标注病灶的外接矩形和类别，病灶类别为：活动性病灶、胸腔积液、钙化灶和胸膜钙化；对胸片影像进行随机增强，增强的方式有：水平镜像、随机剪裁、放大、缩小等处理，然后对标记坐标进行相应变换，最后将标注结果制作成pascal_voc数据集格式，输入fpn为后端的fasterr-cnn网络学习模块进行训练学习。

本发明主要使用特征金字塔网络fpn来融合多层特征，改进了cnn特征提取(本发明中主网络为基础的resnets50网络模型)，将fpn网络嵌入到fasterr-cnn网络中，fpn为后端的fasterr-cnn网络学习模块，包括基于fpn的区域推荐网络rpn和fastr-cnn共享卷积层。基于fpn的区域推荐网络rpn，用于生成候选区域，供fastr-cnn共享卷积层使用；fastr-cnn共享卷积模块，用于计算每个候选区域的类别，及目标区域、是否目标的置信度。整体结构如图2，具体组成部分如下：

1)本发明使用的组合网络中的主网络是resnets50，用其来代替经典的cnn网络来提取肺结核胸片特征。

2)整体网络结构：将特征金字塔网络fpn应用在resnets50中，代替了传统的cnn中的网络结构，由此生成不同尺度的特征图并将这些特征图融合作为rpn网络的输入。具体结构为：从resnet几个下采样层抽出c1、c2、c3、c4、c5层。以本发明输入胸片图像1024×1024为例，c1至c5特征图大小依次为：256×256×64、256×256×256、128×128×512、64×64×1024、32×32×2048。连接时去掉c1层，尺寸(scale)缩小2倍，c2层缩小4倍，c3层缩小8倍，c4层缩小16倍，c5层缩小32倍，把高层的低分辨强语义的特征图与最近邻上采样2倍相乘并与低层语义相加，经过3×3卷积核之后，作为预测层。p6层为p5层的0.5倍降采。具体结构如图所示。以1024×1024图像大小为输入，最终p2、p3、p4、p5、p6这5个不同的尺度上进行推荐框生成，每个层做独立预测，达到多尺度融合的目的(图1)。

3)通过基于fpn的区域推荐网络rpn生成一系列的候选框。

4)针对基于fpn的区域推荐网络rpn生成每一个候选区域框的大小，与fpn上输出的特征图通过感兴趣区池化层进行感兴趣区域池化(roipooling)，然后通过一个全连接层和softmax函数计算每个候选区域的类别及目标区域、是否为目标的置信分数。

5)对预测的病灶区域置信度或交并比大于0.6的认为是目标，若胸片整图检测下，没有检出目标，认为为阴性，否则为疑似阳性。

特征金字塔网络fpn下，anchor采用三种宽高比1:1、2:1、1:2，根据病灶大小，5个预测层anchorscale大小分别为48、128、256、384和420，依据样本集中目标区域宽高分布给出。每层独立预测，一共15种不同尺度的anchor。

后面保留fasterr-cnn结构，区域建议的产生是训练rpn，得到建议框；网络结构为，在p2至p6五个预测层上，分别独立的进行预测。连接一层卷几层和两条卷积输出支路：左支路输出候选区域为目标的概率；右支路输出box相关参数，box相关参数为候选区域的左上角坐标和宽高；通过rpn的anchor机制，生成候选区域regionproposal。最后将每层的预测结果进行连接，融合。

区域建议的结果经过roipooling层之后，进入fasterr-cnn网络，其中fastr-cnn网络实现对建议区域的位置回归，及类别确定，最终得到分类类别及box的输出，即病灶区域的左上角坐标及宽高和病灶区域的类别，实现肺结核征象的检测。

fasterr-cnn网络结构中，主要由区域推荐网络rpn和fastr-cnn共享卷积层实现一个端到端的目标检测框架，通过区域推荐网络rpn生成候选框，将fastr-cnn阶段的正负样本比调整至接近1:3，提高分类的准确率，相比yolo、ssd这样的一阶段检测网络，查全率较高。加入fpn的rpn网络，进一步提升了对不同尺度的病灶的检出。

区域建议网络采用fpn结构，fpn作为检测网络后端，可以更好的结合多尺度的网络层中的语义特征，每层都进行独立预测，最后进行融合，可以更好的对不同尺度的病灶进行检测。并在rpn网络后加入roipooling，对候选区域进行采样，保证进入fastr-cnn网络图像大小的一致性。fastr-cnn预测通过一个全连接层和softmax计算每个候选区域的类别，及目标区域、是否目标的置信度。

基于fpn为后端的fasterr-cnn肺结核检测方法，包括以下步骤：

步骤1，对特征样本数据进行预处理，由有丰富诊断经验的放射科医师对特征样本数据集进行标注，人工标注的目的是得到图像标签。标注病灶的外接矩形和类别，病灶类别为：活动性病灶、胸腔积液、钙化灶、胸膜钙化。最后将标注结果制作成pascal_voc数据集格式；

步骤2，对pascal_voc数据集进行初步检测，将制作的pascal_voc数据集作为fpn为后端的fasterr-cnn检测网络进行训练、学习，最终得到肺结核征象检测的初步模型；

步骤3，对待测x线胸片预处理及数据扩增，并调整图像大小后送入神fpn为后端的fasterr-cnn网络进行检测，输出检测到的病灶区域的外接矩形及置信度，对有检测到病灶的输出阳性，未检测到病灶的输出阴性。如图3所示。

在步骤3中，对预测的病灶区域置信度大于0.6的认为是目标，若胸片整图检测下，没有检出目标，认为为阴性，否则为疑似阳性。

该发明公开了一种基于特征金字塔网络(fpn)在x线胸片上对肺结核自动检测方法，通过对肺结核x线胸片进行预处理、人工标注、数据训练及测试，得出最终的肺结核检测结果。该方法包括x线胸片预处理及数据扩增方法、并调整图像大小后送入神经网络，最终输出的图像包括病灶标注框和病灶概率预测值。由于肺结核具有高度传染性，而我国结核病流行地和偏远地区缺乏有经验的放射科医生，在大规模筛检及体检时容易对此病漏诊。本发明基于深度学习网络对数字图像的识别技术，实现对肺结核病灶的自动检测、定位和概率预测，不仅提高了病灶检测的准确度，降低了肺结核患者延误治疗的风险，同时也降低了医务人员的劳动强度。