基于深度监督的密度回归细胞计数方法及系统

1.本发明属于图像处理技术领域，尤其涉及一种基于深度监督的密度回归细胞计数方法及系统。


背景技术：

2.现有的细胞计数方法中，主要分为两种，分别为直接检测方法和密度回归方法；在医学和生物学研究中，需要精确计算显微镜图像中的细胞数量，现有的图像处理方法中，尽管精确度有了明显的进步，但是由于各种图像采集技术水平存在差异，图像对比度低，组织背景比较复杂，细胞大小、形状的差别较大，以及二维显微图像中细胞间互相阻挡等原因，设计具有足够计数精度的高效自动方法仍然是一项具有挑战性的任务。
3.发明人发现，传统的神经网络模型的网络层是分层结构的，每一层的输出仅仅依赖于其直接相邻层的输出；这限制了神经网络模型为细胞计数工作制作更真实的密度图；此外，原始的神经网络的训练基于在最终输出层测量的单一损失，并且其所有中间层仅基于从该单一损失反向传播的梯度进行优化，梯度的降低可能会使中间层的优化陷入局部极小值，并会危及整体网络的性能。


技术实现要素：

4.本发明为了解决上述问题，提出了一种基于深度监督的密度回归细胞计数方法及系统，本发明使用非相邻层的快捷连接来连接多尺度特征的卷积神经网络，在这种级联的网络架构中，由沿着下采样路径的所有层提取的多尺度图像特征可以被集成到沿着上采样路径的层的输入中，以进一步提高模型性能；此外，通过深度监督学习策略，为设计的神经网络的中间层提供直接监督来增强它们的训练，从而提高了细胞计数工作精度。
5.为了实现上述目的，本发明是通过如下的技术方案来实现：
6.第一方面，本发明提供了一种基于深度监督的密度回归细胞计数方法，包括：
7.获取待处理的细胞图像；
8.根据所述细胞图像和预设的密度回归细胞计数模型，得到细胞图像中的细胞数；
9.其中，所述密度回归细胞计数模型为使用非相邻层方式连接多尺度特征的卷积神经网络；所述卷积神经网络中包括用于处理提取低维特征的多个第一网络区块、用于提取高度代表性特征的第二网络区块、与多个第一网络区块级联后用于恢复细胞图像分辨率的多个第三网络区块，以及根据恢复分辨率的图像获得密度图的第四网络区块；所述第三网络区块设置为上采样；还包括过为中间层提供直接监督的深度监督模块。
10.进一步的，所述第二网络区块提取代表性特征后，生成第一特征图；依据第一特征图，多个第三网络区块依次生成多个不同的特征图。
11.进一步的，所述深度监督模块使用多个卷积神经网络，在特征图生成过程中，生成多个对应的密度图，估计密度图和有注释图像之间的差异，对主干网络框架进行深度监督。
12.进一步的，所述密度回归细胞计数模型的训练包括：
13.将细胞图像输入到多个具有上采样、卷积和激活功能的第一网络区块，提取低维特征并生成低维特征图；
14.将所述低维特征图输入到具有卷积和激活功能的第二网络区块，生成第一特征图，并将第一特征图的信息输入辅助卷积网络中；
15.将第一特征图输入到三个具有上采样、卷积和激活功能的第三网络区块，分别生成第二特征图和第三特征图，通过三个第三网络区块得到恢复分辨率的图像；
16.训练损失函数参数，参考生成密度图和真实标注图之间的差异以及辅助卷积网络各网络区块中估计密度图和真实标注图之间的差异，训练整个主干网络；
17.将恢复分辨率的图像输入具有卷积和激活功能的第四网络层，获得输入的细胞图像所对应的密度图。
18.进一步的，所述第一网络区块包括卷积、激活和池化功能；第一网络区块中的每个池化层通过仅输出要素图中每个下采样区域的最大值，对输入要素图执行下采样操作，卷积层与一组可学习的核关联，并用于从其前一层的输出中提取局部特征，每个块中的激活层用来增加网络的非线性特性，不影响卷积层的感受野，将前一层的负响应设置为零，保持正响应不变。
19.进一步的，所述第二网络区块包括卷积和激活功能。
20.进一步的，所述第三网络区块包括上采样、卷积和激活功能；所述第四网络区块包括卷积和激活功能。
21.第二方面，本发明还提供了一种基于深度监督的密度回归细胞计数系统，包括：
22.数据采集模块，被配置为：获取待处理的细胞图像；
23.细胞计数模块，被配置为：根据所述细胞图像和预设的密度回归细胞计数模型，得到细胞图像中的细胞数；
24.其中，所述密度回归细胞计数模型为使用非相邻层方式连接多尺度特征的卷积神经网络；所述卷积神经网络中包括用于处理提取低维特征的多个第一网络区块、用于提取高度代表性特征的第二网络区块、与多个第一网络区块级联后用于恢复细胞图像分辨率的多个第三网络区块，以及根据恢复分辨率的图像获得密度图的第四网络区块；所述第三网络区块设置为上采样；还包括过为中间层提供直接监督的深度监督模块。
25.第三方面，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现了第一方面所述的基于深度监督的密度回归细胞计数方法的步骤。
26.第四方面，本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现了第一方面所述的基于深度监督的密度回归细胞计数方法的步骤。
27.与现有技术相比，本发明的有益效果为：
28.1、本发明使用非相邻层的快捷连接来连接多尺度特征的卷积神经网络，在这种级联的网络架构中，由沿着下采样路径的所有层提取的多尺度图像特征可以被集成到沿着上采样路径的层的输入中，以进一步提高模型性能；此外，通过深度监督学习策略，为设计的神经网络的中间层提供直接监督来增强它们的训练，从而提高了细胞计数工作精度；
29.2、本发明通过多层级串联模式的神经网络模型，对图像进行多级处理，该处理模
式可以融合多尺度特征，提高提取的特征粒度，有利于密度图的回归，促进了下采样路径中中间层的学习；
30.3、本发明在深度学习计数模型的基础上，使用了卷积神经网络辅助训练的方式，通过对其中间层的学习提供直接和深入的监督来提高细胞计数的性能；
31.4、本发明设置了多层串联的神经网络模型，有助于处理任意大小的细胞图像，并利用神经网络模型中的全卷积层来估计细胞图像的密度图，如果在训练图像中标注感兴趣的细胞类型，该方法也可以应用于含多种类型细胞的图像，这种深度监督的学习框架可以使得训练过程关注感兴趣的细胞类型，将其他类型的细胞作为背景，不计入结果数目中。
附图说明
32.构成本实施例的一部分的说明书附图用来提供对本实施例的进一步理解，本实施例的示意性实施例及其说明用于解释本实施例，并不构成对本实施例的不当限定。
33.图1为本发明实施例1的流程图；
34.图2为本发明实施例1的训练神经网络时设定的显微细胞数据集图像；
35.图3为本发明实施例1的网络结构示意图。
具体实施方式：
36.下面结合附图与实施例对本发明作进一步说明。
37.应该指出，以下详细说明都是示例性的，旨在对本技术提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本技术所属技术领域的普通技术人员通常理解的相同含义。
38.实施例1：
39.一种基于深度监督的密度回归细胞计数方法，包括：
40.获取待处理的细胞图像；
41.根据所述细胞图像和预设的密度回归细胞计数模型，得到细胞图像中的细胞数；
42.其中，所述密度回归细胞计数模型为使用非相邻层方式连接多尺度特征的卷积神经网络；所述卷积神经网络中包括用于处理提取低维特征的多个第一网络区块、用于提取高度代表性特征的第二网络区块、与多个第一网络区块级联后用于恢复细胞图像分辨率的多个第三网络区块，以及根据恢复分辨率的图像获得密度图的第四网络区块；所述第三网络区块设置为上采样；还包括过为中间层提供直接监督的深度监督模块。
43.如图1所示，本实施例中的细胞计数方法包括以下步骤：
44.s1、通过处理图像提取低维特征，得到低维特征图，输入到后续的网络层中，继续提取高维特征得到特征图；
45.s2、继续细化特征的同时，逐步恢复特征图的分辨率；
46.s3、设置辅助训练的卷积神经网络；
47.s4、训练主干网络及辅助卷积神经网络的损失函数，并进行反向传播，同时接受辅助卷积神经网络回馈的监督信息；
48.s5、将恢复分辨率的图像输入到最后的网络区块中，得到密度图y，通过密度回归函数处理密度图，计算得到图像中的细胞数。
49.具体的，步骤s1，将细胞图像输入神经网络中，本实施例中，第一网络区块设置为3个，为神经网络中的前三个块，每一个第一网络区块都包括卷积层、relu层和池化层，用于提取低维特征图。本实施例中，所述第二网络区块设置为1个，为神经网络中的第四块，所述第二网络区块包括卷积层和relu层，用于进一步提取高度代表性的特征。3个第一网络区块中的每个池化层通过仅输出要素图中每个下采样区域的最大值，对输入要素图执行下采样操作，卷积层与一组可学习的核关联，并用于从其前一层的输出中提取局部特征，每个块中的relu层被用来增加网络的非线性特性，而不影响卷积层的感受野，方法是将前一层的负响应设置为零，同时保持正响应不变，每个池化通过仅输出要素图中每个下采样区域的最大值，对输入要素图执行下采样操作；因此，随着输入特征图空间尺寸的减小，多尺度信息特征被逐步提取。
50.步骤s2中，本实施例中，第三网络区块设置为3块，位于神经网络中第5到第7块，用于在细化的同时逐渐恢复特征地图的分辨率提取的特征图；每一个第三网络区块都包括上采样层、卷积和relu层，向上层执行向上采样操作，以逐渐恢复最终估计密度图的分辨率，这种网络设计允许将特征提取集成到密度回归过程中。
51.步骤s3中，使用3个辅助卷积神经网络为学习主框架网络的中间层提供直接监督，将低维特征图输入到具有卷积、激活功能的网络区块，并将第一特征图的信息输入辅助卷积网络的第一辅助网络区块中；将特征图输入到三个具有上采样、卷积和激活功能的辅助网络区块，在第一辅助网络区生成第二特征图将信息输入辅助卷积网络的第二辅助网络区块中，在第二辅助网络区块生成第三特征图将信息输入辅助卷积网络的第三辅助网络区块中，每个辅助神经网络包含两个由卷积层和relu层组成的网络块，分别根据每个输入特征图估计低分辨率密度图，估计密度图和相关地面实况之间的差异被用来支持主干网络模型训练。
52.步骤s4中，将密度回归函数中的θ定义为θ＝(θ1，θ2，θ3，θ4)；其中，θ1表示前4个块中的可训练参数，θ2表示第5个块中的参数，θ3表示第6个块中的参数，θ4表示最后两个块中的参数。将定义为每个辅助神经网络输出的低分辨率密度图。
53.和通过组合损失函数的最小化被联合训练，损失函数公式如下：
54.55.其中，l(θ)表示密度图和相应的真实注释密度图之间的误差；表示测量由第k个辅助卷积神经网络估计的低分辨率密度图和相应的低分辨率真实注释密度图之间的误差，表示第k个辅助卷积神经网络中的参数向量；参数αk∈[0，1]控制第k个辅助神经网络的监督强度；参数λ控制l2损失惩罚的强度以减少过拟合。其中l2损失定义为差值平方的和，上式中表示为：
[0056][0057]
计算主干神经网络生成的估计密度图和真实注释密度图之间的误差，将其表示为损失函数和l(θ)定义为：
[0058][0059]
其中，yb表示训练数据xb关于训练图像b的全尺寸真实注释密度图；表示为由yb生成的低分辨率真实注释密度图。
[0060]
损失l
cmb
通过基于方程的动量随机梯度下降方法在数值上最小化，公式为：
[0061][0062]
其中，表示θk更新后的参数，t表示迭代次数；β表示控制前一次迭代结果贡献的动量参数，η表示决定参数更新速度的学习率。
[0063]
之后用反向传播算法来训练网络，公式为：
[0064][0065]
步骤s5中，对于给定的二维显微图像x∈rm×n包括nc个细胞，对应于x的密度图可以表示为y∈rm×n，y中的每个值代表的相应像素的单元数x，设是从x中提取的特征映射，密度回归函数可以定义为x到y的映射函数：
[0066][0067]
x中的细胞数目随后可以通过以下方式计算：
[0068][0069]
基于密度回归的方法的关键部分是从和相应的θ中学习
[0070]
在主干网络框架中，可以简化为f(x；θ)，因为它可以直接从x中学习，因此也可以用下述公式计算细胞数目：
[0071][0072]
其中，[f(x；θ)]i，j代表x中像素(i，j)的估计密度。
[0073]
实施例2：
[0074]
本实施例提供了一种基于深度监督的密度回归细胞计数系统，包括：
[0075]
数据采集模块，被配置为：获取待处理的细胞图像；
[0076]
细胞计数模块，被配置为：根据所述细胞图像和预设的密度回归细胞计数模型，得到细胞图像中的细胞数；
[0077]
其中，所述密度回归细胞计数模型为使用非相邻层方式连接多尺度特征的卷积神经网络；所述卷积神经网络中包括用于处理提取低维特征的多个第一网络区块、用于提取高度代表性特征的第二网络区块、与多个第一网络区块级联后用于恢复细胞图像分辨率的多个第三网络区块，以及根据恢复分辨率的图像获得密度图的第四网络区块；所述第三网络区块设置为上采样；还包括过为中间层提供直接监督的深度监督模块。
[0078]
所述系统的工作方法与实施例1的基于深度监督的密度回归细胞计数方法相同，这里不再赘述。
[0079]
实施例3：
[0080]
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现了实施例1所述的基于深度监督的密度回归细胞计数方法的步骤。
[0081]
实施例4：
[0082]
本实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现了实施例1所述的基于深度监督的密度回归细胞计数方法的步骤。
[0083]
以上所述仅为本实施例的优选实施例而已，并不用于限制本实施例，对于本领域的技术人员来说，本实施例可以有各种更改和变化。凡在本实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本实施例的保护范围之内。