轻量化细胞定位方法和系统与流程

1.本技术涉及细胞定位技术领域，具体涉及一种轻量化细胞定位方法和系统。


背景技术：

2.细胞定位，即预测图像中每个细胞核的具体位置。在生物学和医学中，显微图像分析是一个非常重要的研究领域，细胞定位便是其中一个重要分支。随着人工智能技术的发展，尤其是深度学习技术的普及，利用深度学习技术直接预测细胞的位置信息正逐渐成为一种新的辅助诊疗手段。
3.相关技术中，目前存在的一些细胞定位方法主要面临着两大难点：1、由于细胞往往存在着不均匀分布的情况，这与现有模型对图像中所有局部一视同仁的策略相矛盾；更具体来说，现有模型并未对细胞密集的区域倾注更多的注意力，导致了密集区域细胞的定位效果较差。2、现有细胞定位模型的参数量大小和推理速度都难以满足实际使用的需要；推理速度过慢限制模型的进一步应用，并且导致模型使用体验的下降。


技术实现要素：

4.为至少在一定程度上克服相关技术中存在的密集区域细胞的定位效果差、模型推理速度慢的问题，本技术提供一种轻量化细胞定位方法和系统。
5.根据本技术实施例的第一方面，提供一种轻量化细胞定位方法，包括：
6.将待处理图像输入细胞定位模型；其中，所述细胞定位模型是经过轻量化处理后得到的模型，且所述细胞定位模型中引入了差分卷积和注意力模块；
7.在所述细胞定位模型初始阶段的前端，通过差分卷积增强图像的梯度信息，获得包含梯度信息的特征图；
8.在所述细胞定位模型后续的各个阶段，对包含梯度信息的特征图进行多通道卷积，并通过注意力模块对特征图进行自适应优化，获得优化后的特征图；
9.基于优化后的特征图获得细胞定位信息。
10.进一步地，所述细胞定位模型的搭建方法是：采用u-net网络，在所述u-net网络中特征编码部分的最前端引入差分卷积，特征编码部分的每一个阶段末端引入注意力模块。
11.进一步地，在所述u-net网络中特征编码部分的最前端引入差分卷积，包括如下步骤：用差分卷积替换所述u-net网络最前端的两层卷积网络。
12.进一步地，所述注意力模块用于：对特征图进行优化，将优化后的特征图分别送入下一个阶段以及横向跳跃连接到对应的解码阶段。
13.进一步地，所述细胞定位模型的轻量化处理包括如下步骤：
14.将所述细胞定位模型中各个阶段进行卷积操作的通道数量进行裁剪；
15.将分组卷积引入到所述细胞定位模型的卷积操作中；
16.将ghost bottleneck模块引入所述细胞定位模型中。
17.进一步地，将所述细胞定位模型中各个阶段进行卷积操作的通道数量进行裁剪，
包括：
18.将所述细胞定位模型中各个阶段的通道数量裁剪为[3,32,64,128,256,512,256,128,64,32,1]。
[0019]
进一步地，将分组卷积引入到所述u-net网络的卷积操作中，包括如下步骤：
[0020]
将特征图按照通道均分为多组，再针对每一组进行卷积。
[0021]
根据本技术实施例的第二方面，提供一种轻量化细胞定位系统，包括：输入模块和细胞定位模型；所述细胞定位模型是经过轻量化处理后得到的模型，且所述细胞定位模型中引入了差分卷积和注意力模块；
[0022]
所述输入模块用于将待处理图像输入细胞定位模型；
[0023]
所述细胞定位模型用于在初始阶段的前端，通过差分卷积增强图像的梯度信息，获得包含梯度信息的特征图；在后续的各个阶段，对包含梯度信息的特征图进行多通道卷积，并通过注意力模块对特征图进行自适应优化，获得优化后的特征图；基于优化后的特征图获得细胞定位信息。
[0024]
根据本技术实施例的第三方面，提供一种计算机设备，包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器用于执行所述存储器中的计算机程序，以实现如上任意一种实施例所述方法的操作步骤。
[0025]
根据本技术实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上任意一种实施例所述方法的操作步骤。
[0026]
本技术的实施例提供的技术方案具备以下有益效果：
[0027]
本技术的方案通过将注意力模块引入细胞定位模型，使细胞定位模型能够注意到场景中密集的细胞部分，在增加少量计算成本的同时有效增强了模型的定位性能；将差分卷积引入到模型中，有效降低像素之间的绝对值差异，使得模型更加关注图像之间的梯度信息，进而增强模型对于颜色较浅的细胞的识别准确性；还对细胞定位模型进行轻量化处理，降低细胞定位模型的计算成本，使细胞定位模型能够应用到更多低算力场景。
[0028]
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
附图说明
[0029]
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。
[0030]
图1是本发明实施例示出的一种轻量化细胞定位方法的流程图。
[0031]
图2是本发明实施例示出的一种轻量化细胞定位模型结构图。
[0032]
图3是本发明实施例示出的一种基于u-net的轻量化细胞定位模型
[0033]
图4是本发明实施例示出的一种cbam注意力模块的示意图。
具体实施方式
[0034]
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附
权利要求书中所详述的、本技术的一些方面相一致的方法和系统的例子。
[0035]
针对现有细胞定位技术中存在的问题，本技术通过提出一个基于u-net的轻量化细胞定位模型，解决当前细胞定位领域中存在的细胞密度分布不均、模型臃肿等问题，进而提升细胞模型的定位性能。
[0036]
图1是根据一示例性实施例示出的一种轻量化细胞定位方法的流程图。该方法可以包括以下步骤：
[0037]
步骤s1、将待处理图像输入细胞定位模型；其中，所述细胞定位模型是经过轻量化处理后得到的模型，且所述细胞定位模型中引入了差分卷积和注意力模块；
[0038]
步骤s2、在所述细胞定位模型初始阶段的前端，通过差分卷积增强图像的梯度信息，获得包含梯度信息的特征图；
[0039]
步骤s3、在所述细胞定位模型后续的各个阶段，对包含梯度信息的特征图进行多通道卷积，并通过注意力模块对特征图进行自适应优化，获得优化后的特征图；
[0040]
步骤s4、基于优化后的特征图获得细胞定位信息。
[0041]
本技术的方案通过将注意力模块引入细胞定位模型，使细胞定位模型能够注意到场景中密集的细胞部分，在增加少量计算成本的同时有效增强了模型的定位性能；将差分卷积引入到模型中，有效降低像素之间的绝对值差异，使得模型更加关注图像之间的梯度信息，进而增强模型对于颜色较浅的细胞的识别准确性；还对细胞定位模型进行轻量化处理，降低细胞定位模型的计算成本，使细胞定位模型能够应用到更多低算力场景。
[0042]
应当理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0043]
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明的实施例作进一步详细描述。
[0044]
如图2所示，本发明提出了一种基于u-net的轻量化细胞定位模型的设计方案，具体包括三个部分：
[0045]
s100：差分卷积引入，将u-net编码部分的香草卷积替换为差分卷积，增强模型对于颜色较浅的细胞的识别能力；
[0046]
s200：注意力模块引入，将cbam注意力模块引入u-net网络结构中；使得模型能够注意到图像中细胞的分布信息，进而对密集的区域进行针对性优化；
[0047]
s300：轻量化设计，对模型进行轻量化处理，裁剪u-net模型，并引入ghostbottleneck模块和分组卷积。
[0048]
该方案能够快速且准确地定位图像中的细胞，进而进一步提升医疗辅助的效率。
[0049]
如图3所示，下面结合具体的应用场景，对本技术的方案进行拓展说明。
[0050]
在一些实施例中，所述细胞定位模型的搭建方法是：采用u-net网络，在所述u-net网络中特征编码部分的最前端引入差分卷积，特征编码部分的每一个阶段末端引入注意力模块。
[0051]
s100：基于差分卷积的u-net模型编码部分
[0052]
由于细胞在染色后的颜色深浅不同，导致现有的基于香草卷积的模型往往会忽略掉颜色较浅的细胞，从而降低定位性能。因此将差分卷积引入到u-net模型中，有效降低像素之间的绝对值差异，使得模型更加关注图像之间的梯度信息，进而增强模型对于颜色较浅的细胞的识别准确性。
[0053]
在实际应用中，在所述u-net网络中特征编码部分的最前端引入差分卷积，包括如下步骤：用差分卷积替换所述u-net网络最前端的两层卷积网络。
[0054]
为了有效增强图像的梯度信息，将差分卷积应用于u-net最前端的特征编码部分。如图3中所示，用其替换最前面的两层卷积网络，使得模型能够一定程度上忽略细胞的具体颜色(像素值)，更多的关注到细胞与背景之间的梯度信息。
[0055]
s200：基于cbam(convolutional block attention module，卷积模块的注意力机制模块)注意力模块的u-net模型
[0056]
其中，所述注意力模块用于：对特征图进行优化，将优化后的特征图分别送入下一个阶段以及横向跳跃连接到对应的解码阶段。
[0057]
由于细胞往往具有不均匀的分布情况，然而现有模型并未对细胞密集的区域倾注更多的注意力，导致了密集区域细胞的定位效果较差。对此，引入cbam注意力模块，使得模型能够注意到图像中细胞的分布信息，进而对密集的区域进行针对性优化。
[0058]
在s200 cbam注意力模块中，本发明仅采用了cbam注意力模块来缓解细胞中密度分布不均的问题，然而由于注意力方法众多，因此此处可以替换为其他的注意力模块。类似的添加注意力的方式与本发明没有实质上的区别。
[0059]
具体步骤如下：
[0060]
s210、cbam原理：通道注意力、空间注意力
[0061]
如图4中所示，cbam注意力机制主要由通道注意力模块和空间注意力模块组成。特征图首先输入通道注意力模块，将模块的输出与原特征图相乘进行通道自适应调整；然后再输入空间注意力模块，将模块的输出与特征图相乘进行空间自适应调整，最后输出优化后的特征图。cbam从通道和空间两个作用域出发，引入通道注意力和空间注意力两个分析维度，实现从通道到空间的顺序注意力结构。通道注意力用于处理特征图通道的分配关系，空间注意力可使神经网络更加关注图像中对分类起决定作用的像素区域而忽略无关紧要的区域，同时对两个维度进行注意力分配增强了注意力机制对模型性能的提升效果。
[0062]
s220：基于cbam的u-net
[0063]
如图3所示，将cbam模块引入u-net的编码部分。具体来说，将其引入到编码部分的每一个末端(除去第一个)，共4个cbam模块。每个模块对特征进行优化后，使得模型能够注意到图像中细胞的分布信息。最后，分别将特征图送入下一个阶段以及横向跳跃连接到对应的解码阶段。
[0064]
s300：模型轻量化处理：裁剪u-net并引入分组卷积和ghost bottleneck模块
[0065]
考虑到现有细胞定位模型的参数量和推理速度都难以满足实际使用的需要，因此对模型进行轻量化处理，同时保持模型的定位精度。具体步骤如下：
[0066]
s310、ghost bottleneck模块
[0067]
首先介绍ghost模块，然后介绍基于ghost的ghost bottleneck模块。在一个训练
好的深度神经网络中，通常会包含丰富甚至冗余的特征图，以保证对输入数据有全面的理解。ghost模块则通过巧妙的廉价操作来生成丰富的特征图，而不是通过复杂的卷积操作，因此节省了大量的计算量和参数量。
[0068]
具体来说，如图3所示，ghost模块将普通的卷积层分解为两个部分，第一部分是通道缩减后的正常卷积，然后对第一部分输出的特征图应用一系列简单的线性运算以生成更多特征图。与普通卷积神经网络相比，在不更改输出特征图尺寸的情况下，该ghost模块中所需的参数总数和计算复杂度均已降低。在ghost模块的基础上，研究人员又搭建了ghost bottleneck轻量化模块。该模块包含2个ghost模块和一个se通道注意力模块，第一个ghost模块在生成丰富的特征图时对特征的通道数进行变化。然后将达到的特征图送入se通道注意力模块，对通道特征进行自适应调整。最后将特征输入第二个ghost模块，并且与输入进行相加。
[0069]
s320、裁剪u-net并引入分组卷积
[0070]
原始u-net模型参数量和计算量分别达到了34.53m、65.47gflops，实际使用中推理速度较慢。首先对其通道数进行裁剪，原始每一个阶段通道数为[3,64,128,256,512,1024,512,256,128,64,1]，如附图3所示，对其进行裁剪后为[3,32,64,128,256,512,256,128,64,32,1]；其次，将分组卷积引入到u-net卷积操作中。由于分组卷积将特征图按照通道均分为多组，然后针对每一组进行卷积，以此降低参数量；然后，将ghost bottleneck模块引入u-net网络中；最后，将差分卷积和cbam引入网络，在几乎不增加计算量的情况下提升了模型的定位性能。具体参数量和计算量的变化过程如表1所示。
[0071]
表1基于u-net的轻量化模型的参数量和计算量的变化过程
[0072][0073]
综上所述，本技术的方案通过将cbam注意力模块引入u-net网络，使得u-net模型能够注意到场景中密集的细胞部分，在增加少量计算成本的同时有效增强了模型的定位性能；对u-net网络进行轻量化处理，包括分组卷积以及ghost bottleneck模块的引入，降低u-net模型的计算成本，使得模型能够应用到更多低算力场景。
[0074]
在一个实施例中，本技术还提供一种轻量化细胞定位系统，包括：输入模块和细胞定位模型；所述细胞定位模型是经过轻量化处理后得到的模型，且所述细胞定位模型中引入了差分卷积和注意力模块。
[0075]
所述输入模块用于将待处理图像输入细胞定位模型。所述细胞定位模型用于在初始阶段的前端，通过差分卷积增强图像的梯度信息，获得包含梯度信息的特征图；在后续的各个阶段，对包含梯度信息的特征图进行多通道卷积，并通过注意力模块对特征图进行自适应优化，获得优化后的特征图；基于优化后的特征图获得细胞定位信息。
[0076]
关于上述实施例中的系统，其中各个模块执行操作的具体步骤已经在有关该方法的实施例中进行了详细描述，此处不再详细阐述说明。上述轻量化细胞定位系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便
于处理器调用执行以上各个模块对应的操作。
[0077]
在一个实施例中，本技术还提供了一种计算机设备。该计算机设备包括通过系统总线连接的处理器、存储器。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机程序被处理器执行时以实现一种轻量化细胞定位方法：将待处理图像输入细胞定位模型；其中，所述细胞定位模型是经过轻量化处理后得到的模型，且所述细胞定位模型中引入了差分卷积和注意力模块；在所述细胞定位模型初始阶段的前端，通过差分卷积增强图像的梯度信息，获得包含梯度信息的特征图；在所述细胞定位模型后续的各个阶段，对包含梯度信息的特征图进行多通道卷积，并通过注意力模块对特征图进行自适应优化，获得优化后的特征图；基于优化后的特征图获得细胞定位信息。
[0078]
在一个实施例中，本技术还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现一种轻量化细胞定位方法：将待处理图像输入细胞定位模型；其中，所述细胞定位模型是经过轻量化处理后得到的模型，且所述细胞定位模型中引入了差分卷积和注意力模块；在所述细胞定位模型初始阶段的前端，通过差分卷积增强图像的梯度信息，获得包含梯度信息的特征图；在所述细胞定位模型后续的各个阶段，对包含梯度信息的特征图进行多通道卷积，并通过注意力模块对特征图进行自适应优化，获得优化后的特征图；基于优化后的特征图获得细胞定位信息。
[0079]
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
[0080]
需要说明的是，在本技术的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本技术的描述中，除非另有说明，“多个”的含义是指至少两个。
[0081]
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
[0082]
应当理解，本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
[0083]
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
[0084]
此外，在本技术各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模
块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
[0085]
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0086]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0087]
尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施例进行变化、修改、替换和变型。