一种利用掩膜进行局部数据处理的肺炎分类系统

本发明涉及分类，更具体的说是涉及一种利用掩膜进行局部数据处理的肺炎分类系统。

背景技术：

1、目前应用于肺炎分类的神经网络模型提取特征的方法有通过多尺度特征融合提取不同尺度的特征，利用图像金字塔方法来进行图像特征的提取，但是目前所提出的方法在提取特征时也会提取许多无用的特征，且肺炎病灶具有位置特定性，病灶外围的特征往往会影响其最终的分类精度。肺炎的x光片图像不仅具有局部血管扩张等局部特征，还具有大面积地面玻璃混浊等全局特征。它的特点是融合了局部和全局的特点。目前，提取具有相对复杂特征的图像特征仍然很困难，因此解决这类医学图像的分类问题更为迫切。

2、为了解决肺炎x光片图像的局部和全局特征提取问题，传统的方法是通过多尺度特征融合提取不同尺度的特征，最常用的方法是多尺度特征金字塔网络，它使用不同尺度卷积核的感受野来学习特征不同规模的。由于卷积核的局部感受野，该方法本质上仍然只是局部特征。另一种方法是使用级联分支网络。不同分支提取不同尺度的特征，最后进行特征融合，易于理解。然而，要提取全局特征的分支，需要更大的感受野，要么增加卷积核的大小，要么使用扩张卷积。问题是卷积核太大，这会降低网络的泛化能力。

3、对于图像金字塔方法。解决了不同尺度下的图像特征提取问题。以不同比例缩放图像以获得图像金字塔，然后从每一层图像中提取不同比例的特征以获得特征图。图像的金字塔是一组以金字塔形状排列的图像，其分辨率逐渐降低，并从相同的原始图像导出。它是通过一步一步向下采样获得的，直到满足某个终止条件时才停止采样。将图像逐层与金字塔进行比较。级别越高，图像越小，分辨率越低。不同尺度的特征可以高精度地包含丰富的语义信息，但不同尺度的图像特征的重叠对将降低处理速度并增加数据量。

4、因此提出一种利用掩膜进行局部数据处理的肺炎分类系统，来解决现有技术存在的困难，是本领域技术人员亟需解决的问题。

技术实现思路

1、有鉴于此，本发明提供了一种利用掩膜进行局部数据处理的肺炎分类系统，解决传统网络对于特征提取时无效特征的影响以及不同尺度特征层之间缺少联系的问题。

2、为了实现上述目的，本发明提供如下技术方案：

3、一种利用掩膜进行局部数据处理的肺炎分类系统，包括卷积与多层感知机的神经网络，其中神经网络包括：n层基于resnet-50的主干特征提取网络、局部通道数据注意力模块、肺部数据增强模块、多层空间注意力模块和局部空间注意力模块；

4、系统收集肺部的公开数据集，并得到其掩膜；将收集的肺部x光图像输入到基于resnet-50的主干特征提取网络中，基于resnet-50的主干特征提取网络提供特征提取得到特征图，局部通道数据注意力模块在两层resnet-50的主干特征提取网络之间，将每层特征层的肺部x光图像进行评级，对于包含有效特征较多的肺部x光图像赋予较大权值，反之对于含有效特征较少的肺部x光图像特征赋予较小的权值；

5、再将前n-1层的特征图输入到肺部数据增强模块进行数据的增强，同时进行下采样至统一尺寸与最终层的特征图进行融合；在多层空间注意力模块中将n层的特征图进行融合，得到注意力偏差的特征图；最终通过全连接层输出最终的预测结果。

6、上述的方法，可选的，系统收集肺部的公开数据集；并利用线性插值的方法对肺部x光图像进行分辨率的调整，全部转换为224*224，并将数据集分为训练数据集和测试数据集两部分；最后对训练数据集中的图像进行随机的数据增强。

7、上述的方法，可选的，n层基于resnet-50的主干特征提取网络的n为4。

8、上述的方法，可选的，基于resnet-50的主干特征提取网络构建的具体过程如下：

9、输入图片的大小和通道数为(3，224，224)，先通过一层由7*7的卷积核和一层maxpool层组成的stage0；再有一层1*1的卷积层、一层3*3的卷积层和一层3*3的卷积层为基础，重复三次构成stage1；重复4次构成stage2；重复6次构成stage3，重复3次构成stage4；

10、并且在resnet中的残差单元，残差单元的设计有两个，快捷连接和恒等映射，而恒等映射主要有两个：跳跃连接和激活函数；

11、h(x)＝f(x)+x

12、潜在映射表示为h(x)，我们让堆叠的非线性层拟合h(x)的另一个映射h(x)-x，原映射重构为：f(x)+x；

13、y＝f(x,{wi})+x

14、该函数表示要学习的残差映射；若只具有两层，则：其中σ表示relu函数；

15、f＝w2σ(w1)。

16、上述的方法，可选的，局部通道数据注意力模块进行数据处理的具体步骤如下：

17、将上一层的特征层作为输入端，并映入原始图片的掩膜调整至与特征图相同的大小，并使其与每一张特征图进行相乘,得到肺部部分特征数据；

18、再分别进入maxpool与avgpool，在通过下采样层与一层relu函数后进行上采样得到αmaxpool与αavepool；

19、αmaxpool＝cup(τrelu(cdown(σmaxpool·m))))

20、αavepool＝cup(τrelu(cdown(σavepool(x·m))))

21、x代表输入的特征图，m代表其原始图像对应的掩膜，σmaxpool与σavepool分别代表着最大池化层与平均池化层，cdown代表下采样，cup代表上采样，τrelu代表relu层；

22、αmaxpool与αavepool与进行相加融合通过sigmoid函数层进行输出；

23、αoutput＝sigmoid(αavepool+αmaxpool)

24、由此将输入x由b×c×h×w经过局部通道数据注意力模块后输出的的尺寸为b×c×1×1，再与输入的x进行融合，并为每一张特征图赋予一个权值。

25、上述的方法，可选的，肺部数据增强模块进行数据处理的具体步骤如下：

26、resnet-50和局部通道数据注意力模块组成的主干网络的前三层stage1，stage2，stage3分别通过该模块；先将输入的特征层与掩膜进行相乘，从而提取出属于肺部的特征，并对其求取平均值：

27、

28、wi就代表我们所保留的肺部数据，σi为统计非零数据的数量；

29、对于引入特征层的每一张特征图，都进行上述的数据操作得到最终的平均值后，将τmean作为阈值，来对每一个数据进行评估：若该值大于阈值，则将其值利用下面公式进行增强；相反，若低于阈值，则通过公式则将该值进行一定的抑制；

30、

31、对数据进行正则化，限制模型中参数；

32、将前三层尺寸大小分别为56×56×256、28×28×512、14×14×1024通过肺部数据增强模块后分别进行下采样，将所有的特征图的尺寸都调整为7×7×32，通过batch_normal层与relu层对数据进行整合，并对与前三层的输出特征进行叠加，并于stage4进行通道变化再进行组合形成最终的特征层，其大小为7×7×32的特征层，注意力特征图的输出为：

33、outattention＝relu(batchnor(cdown(x)))。

34、上述的方法，可选的，在局部空间注意力模块中获得特征矩阵的具体步骤如下：

35、在肺部数据增强模块中得到的注意力特征图是结合前三层特征层所提取出的；从注意力特征图中选择的每个单独的注意力图与最终的特征层stage4进行相乘，以产生具有注意力偏差的特征，再经过全局池化层，得到最终的特征矩阵；

36、pmatrix＝g_ave(ψout[i]·f[κ])

37、式中g_ave代表全局池化层，ψout代表之前获得的注意力特征图outattention，f[κ]代表着第四层特征层的每一张特征图。

38、上述的方法，可选的，将得到的pmatrix通过全连接层得到最终对于四分类的每类概率，以此得到预测结果；并在其中加入dropout层来进行随机丢失，丢掉不同的隐藏神经元，整个dropout过程就相当于对很多个不同的神经网络取平均。

39、上述的方法，可选的，在训练过程中，运用batch augmentation的训练方法，将outattention中是特征图按照其值的大小为概率，进行随机选取，组合成新的特征图传入网络进行训练。

40、经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种利用掩膜进行局部数据处理的肺炎分类系统，具有以下有益效果：

41、(1)基础的resnet-50的拥有四层网络层，在每两层的网络层之间采用局数通道数据注意力模块来对每层网络所提取出的特征进行评估，从而突出有效特征的权重；

42、(2)局部数据增强利用掩膜来对每张具体的特征图进行局部的数据增强，增强在肺部范围内的特征，并同时减弱肺部范围外特征的影响；

43、(3)局部空间注意力模块结合四层特征层并经过肺部数据增强模块后的结果进行融合，使其拥有不同尺度下的特征，从而提高最终分类结果的准确性。