基于深度融合卷积神经网络模型及其组织学图像分类方法与流程

本发明涉及图像处理方法技术领域，尤其涉及一种基于深度融合卷积神经网络模型及其组织学图像分类方法。

背景技术：

组织学图像的分类问题吸引越来越多人的关注，随着深度学习的发展，将深度学习的相关技术应用到组织学图像分类任务中是当今研究的主流方向。

组织学图像的特征提取和分类识别是一个难点问题，为了更好的完成组织学图像的分类，一个最核心的问题就是如何提取组织学图像的多尺度信息。

另外一个需要注意的问题时，深度卷积神经网络的训练需要大量的样本。由于组织学图像样本数量较少，因此从头训练一个深度卷积神经网络模型是不现实的。幸运的是，预训练的深度卷积神经网络模型，例如预训练的vgg19模型可以为特定领域(例如组织学图像分类领域)的深度卷积神经网络的权重学习提供一个初始的解。在这个基础上，对新构建深度卷积神经网络进行微调，从而摆脱了需要大量数据训练的问题。

本发明在基于预训练vgg19模型的基础上，提出一个深度融合卷积神经网络模型(fcnn)来解决组织学图像的多尺度信息问题。具体地，本发明提出的fcnn模型从预训练vgg19模型的“block2_pool”，“block3_pool”和“block5_pool”中提取了三个分支，然后进行合并以学习多尺度特征，包括核尺度，核组织和结构尺度特征。该模型可以很好地完成组织学图像分类任务，提高了效率和分类的准确性。

技术实现要素：

本发明所要解决的技术问题是如何提供一种可以提高分类准确性的图像分类方法。

为解决上述技术问题，本发明所采取的技术方案是：一种基于深度融合卷积神经网络模型的组织学图像分类方法，其特征在于包括如下步骤：

使用reinhard染色归一化对原始的组织学图像进行归一化；

通过具有50％重叠的滑动窗口在标准化图像上获取图像块；

在这些图像上训练fcnn模型以进行基于图像块的分类；

使用众数投票策略将一幅图像中所包括的图像块的分类结果进行整合，完成基于整幅图像的分类。

进一步的技术方案在于：所述fcnn模型融合了浅层，中间抽象层和抽象层，fcnn模型从不同的层中提取三个分支，然后进行合并以学习多尺度特征，所述多尺度特征包括核尺度，核组织和结构尺度特征。

本发明还公开了一种基于深度融合卷积神经网络模型，其特征在于：

包括vgg19_base模块，softmax分类器模块和以及blocks_branch模块，

vgg19_base模块包括input层和5个block，为block1-block5，每一个block包括多个卷积层和一个最大池化层，其中，卷积核大小为3×3，池化过滤器大小为2×2，所有的层都是顺序相连；

softmax分类器模块，该部分在得到所有的深度特征后，将学习到的深度特征送入到3层全连接层，从而完成分类任务；具体的，该部分包括dense_1,dense_2,以及dense_3，其中dense_1和dense_2层的大小是4096，dense_3的大小由最终的分类种类的个数来确定；

blocks_branch模块，所述模型能够融合浅层，中间层和深层所产生的特征，是通过进一步从block2_pool，block3_pool和block5_pool层来获得核尺度，核组织和结构尺度特征来实现的，具体地，

a)获得核尺度特征：在block2_pool层后，增加了block2_branch，该子组包括一个带有128个过滤器的批归一化bn_1层，和一个平均池化层avgpool_1其中，池化过滤器大小为8×8；

b)获得核组织特征：在block3_pool层后，增加block3_branch，该子组包括一个带有256个过滤器的bn_2层，和一个平均池化层avgpool_2，其中池化过滤器大小为4×4；

c)获得结构尺度特征：在block5_pool层后，增加了block5_branch，该子组包括一个带有512个过滤器的bn_3层；

d)将上述三个部分的最后一层进行连接，也就是将avgpool_1，avgpool_2，以及bn_3层拼装成一个带有896个过滤器的concatenate_1层，紧接着是一个带有896个过滤器的bn_4层，然后通过全局平均池化操作得到一个大小为896的gap层，最后该gap与softmax分类器层部分进行相连。

进一步的技术方案在于，所述模型中权重初始和训练方法如下：

在对所述模型进行训练时，vgg19_base部分的卷积层的权重由预训练的vgg19模型来初始，其他部分的网络层，包括全连接层的所有权重全部进行随机初始；在模型训练时，将vgg19_base模块的权重进行冻结，不包括block5的conv5_3和conv5_4两层，然后完成conv5_3和conv5_4两层和softmax分类器模块的权重的微调任务。

采用上述技术方案所产生的有益效果在于：本申请所述方法首先使用reinhard染色归一化对原始的组织学图像进行归一化，然后，通过具有50％重叠的滑动窗口在标准化图像上获取图像块；再次，在这些图像上训练fcnn模型以进行基于图像块的分类；最后，使用众数投票策略将一幅图像中所包括的图像块的分类结果进行整合，完成基于整幅图像的分类，提高了图像分类的准确性。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1是本发明实施例所述方法的流程图；

图2是本发明实施例所述方法中fcnn模型的原理框图；

图3是本发明实施例所述方法中图像处理图；

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

如图1所示，本发明实施例公开了一种基于深度融合卷积神经网络模型的组织学图像分类方法，包括如下步骤：

使用reinhard染色归一化对原始的组织学图像进行归一化；

通过具有50％重叠的滑动窗口在标准化图像上获取图像块；

在这些图像上训练fcnn模型以进行基于图像块的分类；

使用众数投票策略将一幅图像中所包括的图像块的分类结果进行整合，完成基于整幅图像的分类。

图像分类的关键问题是该模型应涵盖多尺度特征，包括核尺度，核组织和结构尺度特征。我们提出了一种基于预训练vgg19模型的融合卷积神经网络(简称fcnn，如图2所示。fcnn融合了浅层，中间抽象层和抽象层，以大致覆盖多尺度特征。

如图2所示，fcnn模型的网络结构。从“block2_pool”，“block3_pool”和“block5_pool”中提取了三个分支，然后进行合并以学习多尺度特征，包括核尺度，核组织和结构尺度特征。

如图3所示，中间层激活的可视化。从第一列到第四列分别显示了标准化的图像块，block2_pool的激活，block3_pool的激活和block5_pool的激活。总共显示了四个通道(索引从0开始)，编号分别是6、17、90和126。如前所述，鲁棒的组织学图像分类器应完全能够分析从一个核，多个核大小到整个组织结构的多尺度特征。换句话说，图像分类中应仔细认识与细胞核有关的，与细胞核组织有关的以及与整个结构有关的特征。众所周知，cnn的不同层将提取不同的“粒度”信息。将在浅层中探索“细节信息”，在中间层中探索“中间抽象信息”，并在深层中挖掘“抽象信息”。

如图3所示，block2_pool，block3_pool和block5_pool层的激活可以分别大致覆盖核尺度，核组织和结构尺度特征。受此假设的启发，设计了一种融合cnn模型(fcnn)，并努力融合浅层，中间层和深层所产生的特征，以探索乳腺癌组织学分类中的多尺度信息，深度融合卷积神经网络模型如表1所示。

从表1和图2中可以看出fcnn模型主要包括三个主要部分，即为vgg19_base部分，softmax分类器层部分，以及blocks_branch部分。

1)vgg19_base部分，该部分包括input层和5个block，即为block1-block5，每一个block包括多个卷积层(卷积核大小为3×3)和一个最大池化层(池化过滤器大小为2×2)，所有的层都是顺序相连。

2)softmax分类器层部分，该部分在得到所有的深度特征后，将学习到的深度特征送入到3层全连接层，从而完成分类任务。具体的，该部分包括dense_1,dense_2,以及dense_3，其中dense_1和dense_2层的大小是4096，dense_3的大小由最终的分类种类的个数来确定，在本发明中，该层的大小设定为4.

3)blocks_branch部分，fcnn模型能够融合浅层，中间层和深层所产生的特征，是通过进一步从block2_pool，block3_pool和block5_pool层来获得核尺度，核组织和结构尺度特征来实现的，具体地，

a)获得核尺度特征：在block2_pool层后，增加了block2_branch，该子组包括一个带有128个过滤器的批归一化bn_1层，和一个平均池化层avgpool_1(池化过滤器大小为8×8)；

b)获得核组织特征：在block3_pool层后，增加了block3_branch，该子组包括一个带有256个过滤器的bn_2层，和一个平均池化层avgpool_2(池化过滤器大小为4×4)；

c)获得结构尺度特征：在block5_pool层后，增加了block5_branch，该子组包括一个带有512个过滤器的bn_3层；

d)将上述三个部分的最后一层进行连接，也就是将avgpool_1，avgpool_2，以及bn_3层拼装成一个带有896个过滤器的concatenate_1层，紧接着是一个带有896个过滤器的bn_4层，然后通过全局平均池化操作得到一个大小为896的gap层，最后该gap与softmax分类器层部分进行相连。

fcnn模型中权重初始和训练情况说明：在对fcnn进行训练时，vgg19_base部分的卷积层的权重由预训练的vgg19模型来初始，其他部分的网络层，包括全连接层的所有权重全部进行随机初始；此外，为了完成fcnn模型的微调来学习特定领域的任务(例如组织学图像分类领域)，在模型训练时，将vgg19_base部分的权重进行冻结(除了block5的conv5_3和conv5_4两层)，然后完成conv5_3和conv5_4两层和softmax分类器层(包括gap层)的权重的微调任务，如图2中“fine-tune”部分所示。

表1