一种基于自适应融合模块和跨阶段AU-Net网络的病理细胞图像分割方法及其系统

本发明属于计算机视觉，涉及利用深度学习方法对病理细胞图像进行分割，尤其是一种基于自适应融合模块和跨阶段au-net网络的病理细胞图像分割方法及其系统。

背景技术：

1、癌症是威胁人类生命的常见疾病之一，每年有数以百万的人确诊或死于癌症。根据中国国家癌症中心提供的数据，到2025年，中国的肺癌患者将会达到100万人，而每年死于肺癌的患者只占全球癌症死亡患者的五分之一。早期的癌症一般没有明显临床症状，但可以通过有经验的医生观察计算机断层扫描来进行诊断和治疗。在处理病理细胞图像过程中，去除会干扰病变分析的区域，例如组织液、脂肪等，仅保留病变相关异常区域，可以更好的帮助医生进行诊断治疗。

2、图像分割技术领域的大多数方法是基于传统的图像处理算法。其中，阈值法是实现图像分割的最常用方法之一。然而，病理细胞图像中有许多部位的灰度值与体外相似，仅通过阈值法不可能获得更好的效果。近年来深度学习兴起，u-net网络被广泛用于病理细胞图像分割。中国专利申请(cn201910069034.9)“一种基于unet的宫颈病理组织分割方法”，通过扫描拼接、降噪、区域划分、unet模型训练等步骤帮助医生快速、精确地标识出病变组织。但是该方法存在以下问题：(1)网络在下采样过程中损失大量有用信息，使得网络的特征学习能力降低；(2)病理细胞图像分割精度不足，网络结构的分割精度难以应对病理细胞复杂的特征分布，会造成大量的误分割情况。

技术实现思路

1、本发明的目的在于克服现有技术的缺陷，提供一种基于自适应融合模块和跨阶段au-net网络的病理细胞图像分割方法及其系统，将待分割的病理细胞图像送入网络进行分割，经过跨阶段模块、自适应融合模块、密集空洞卷积块，可有效增强网络的学习能力，提升网络的分割精度，辅助医生更好的诊断和治疗。

2、为解决上述技术问题，本发明采用以下技术方案。

3、本发明的一种基于自适应融合模块和跨阶段au-net网络的病理细胞图像分割方法，包括以下步骤：

4、步骤1、搭建基础的u-net网络，包含一条编码路径和一条解码路径，其编码路径、解码路径均包含卷积操作和采样操作；所述的u-net网络包括四层，将u-net网络的左边四层称为编码路径，右边四层称为解码路径；编码路径里每一层对病理细胞图像进行卷积操作，层与层之间进行下采样操作；解码路径里每一层也对病理细胞图像进行卷积操作，层与层之间进行上采样操作；

5、步骤2、搭建跨阶段模块，并将跨阶段模块分别应用到u-net网络的编码路径和解码路径中；

6、步骤3、搭建自适应融合模块，包括两个输入：解码路径上的上采样特征g、通过跳跃连接传输的具有相同分辨率的编码特征xl；在步骤2网络里的解码路径中引入自适应融合模块；

7、步骤4、采用密集空洞卷积块来替换步骤3网络里的连接编码路径和解码路径所用的卷积块；

8、步骤5、将加入跨阶段模块、自适应融合模块、密集空洞卷积块后的u-net网络称为au-net网络；使用au-net网络进行病理细胞图像的分割：获取标注好的计算机断层扫描的病理细胞影像数据集，使用au-net网络模型进行训练，训练至模型收敛后，将待分割的病理细胞图像送入模型进行分割。

9、具体地，所述的步骤1包括：

10、1-1.在编码路径部分，输入一张128×128尺寸的病理细胞图像，经过64个3×3的卷积核进行卷积，再通过relu函数后得到64个128×128的特征通道，得到第一层的处理结果128×128×64的特征图；通过最大池化操作，对第一层的处理结果128×128×64的特征图进行下采样为原来大小的一半，同时将通道数变为2倍即64×64×128；

11、后续的下采样过程与上述相同，每一层都会经过卷积来提取图像特征；每下采样一层，均会使图片减小一半，通道数目增加一倍；最终下采样的结果为16×16×512；

12、1-2.在解码路径部分：从下往上进行3次上采样；从最下层开始，把16×16×512的特征图经过上采样，上采样中通过步长为2的双线性插值使图像尺寸翻倍，再经过卷积核数量减半的卷积操作使通道数量减半，完成上采样过程，把图像大小变为32×32×256，在卷积过程中模型会提取特征；重复上述过程，每一层都会进行卷积操作来提取特征，每上采样一层，都会把图片扩大一倍、通道数目减少一半；最终上采样的结果是128×128，即与原图像大小相同的图片。

13、具体地，所述的步骤2包括：

14、2-1.跨阶段模块的搭建：首先对输入的特征图进行一个3×3的卷积操作，并将跨阶段模块的内部结构分成两条路径：其路径a直接与路径b的输出串联而形成一种残差网络结构；所述的路径a为跳跃连接，路径b先经过一个卷积核数量减半的3×3卷积操作，使得通道数减半且参数量减少，随后路径b内部衍生出一条含有3×3卷积操作的并联支路；将路径b里内部衍生出的3×3卷积操作的并联支路的输出与路径b原本路径的输出串联；最后将路径b内部串联后得到的特征与路径a的输出特征进行串联融合；跨阶段模块的计算公式为：

15、csp(x)＝bn([p(a)，p(b)])    (1)

16、其中x为输入图像特征，p(a)表示路径a的输出结果，p(b)表示路径b的输出结果，csp(x)表示该模块最终输出结果；bn层用于解决反向传播过程中梯度方向锯齿问题；

17、bn层的计算为

18、

19、其中x表示输入节点的值，μ(x)、σ(x)表示求该向量的均值和方差，ε为防止除0引入的极小值，γ、β为待学习的缩放比例和偏移值参数；

20、2-2.编码路径和解码路径均有4层；编码路径一侧中的前三层的每一层均含有两个卷积块，其中第二个卷积块是第一个卷积块使用跨阶段模块得到；当每一层的图像进入编码路径中第二个卷积块时，跨阶段模块将前一个卷积块的输入特征连接起来作为后面的输入；解码路径一侧中的跨阶段模块的输入信息是融合上采样信息和跳跃连接得到，上采样操作中通过步长为2的双线性插值使图像大小翻倍，再经过卷积核数量减半的卷积操作使通道数量减半，完成上采样过程；自适应融合模块包含一条来自编码器部分的跳跃连接，该跳跃连接横跨在相同层级的编码路径和解码路径之间。

21、具体地，所述的步骤3包括：

22、3-1.搭建自适应融合模块，包括两个输入：一个解码器路径上的上采样特征g、通过跳跃连接传输的具有相同分辨率的编码特征xl，其中上采样特征g可视为增强xl学习能力的门控信号；解码器路径上的上采样特征g和通过跳跃连接传输的具有相同分辨率的编码特征xl的两个输入首先经过1×1×1的卷积运算，分别获得和随后，对此两个结果相加再进行relu(σ1)激活；融合后的特征将再次进行卷积运算，并经过s形激活函数sigmoid(σ2)，得到注意力系数α，即：

23、

24、

25、式中bg∈r，代表偏差项，代表1×1×1大小的卷积核；最后，用编码特征乘以注意力系数α，逐像素合并输出xl；

26、3-2.在编码-解码模式的标准au-net网络中，自适应融合模块通过注意力系数α进行权衡，使输出信息既包含低级精确的空间信息也包含高级判别语义信息；其中，注意力系数α以动态加权的方式突出感兴趣的区域，增加关键区域的权重，突出显著特征，抑制输入图像中不相关的区域；自适应融合模块接收的信息来自下一层上采样得来的特征；自适应融合模块有一条来自编码部分的跳跃连接，跳跃连接横跨在相同层级的编码路径和解码路径之间；在利用级联操作进行特征融合时相似的浅层特征不应该被重复提取。

27、具体地，所述的步骤4包括：

28、4-1.构建密集空洞卷积块：密集空洞卷积块包括五个级联分支，每个级联分支中空洞卷积的数量逐个增加，对应的感受野分别是3、7、9、19；同时，每个级联分支均使用一个1×1卷积用于relu激活；第一个级联分支引入残差网络中的快捷连接将原始特征与其他特征融合在一起；第二个级联分支有一个扩张率为1的空洞卷积块；第三个级联分支有一个扩张率为3的空洞卷积块和1×1卷积；第四个级联分支有扩张率为1、3的空洞卷积块和1×1卷积；第五个级联分支有扩张率为1、3、5的三个空洞卷积块和1×1卷积；

29、4-2.将构建好的密集空洞卷积块串联在已经加入跨阶段模块和自适应融合模块的u-net网络的第四层，用于连接编码和解码路径；密集空洞卷积块利用空洞卷积扩大感受野，让原本3×3的卷积核在相同参数量和计算量下拥有更大的感受野。

30、本发明的一种基于自适应融合模块和跨阶段au-net网络的病理细胞图像分割系统，用于实施上述的基于自适应融合模块和跨阶段的au-net病理细胞图像分割方法，包括：如上所述的改进的au-net网络；图像分割单元，用于将病理细胞图像送入改进的au-net网络，实现病理细胞图像的分割。

31、与现有技术相比，本发明具有以下优点和有益效果：

32、1.本发明引入跨阶段模块，用于增强卷积神经网络的学习能力。该模块首先对输入数据进行一个3×3的卷积操作，并将网络结构分成两条路径，其中路径a直接与路径b的输出串联起来，形成一种类似于残差网络的结构。路径a是跳跃连接，可以解决网络层数较深情况下梯度消失的问题，有助于保持原始信息。路径b则先经过一个卷积核数量减半的3×3卷积操作，使得通道数减半且参数量减少。随后路径b内部衍生出一条含有3×3卷积操作的并联支路，将路径b里内部衍生出的3×3卷积操作的并联支路的输出与路径b原本路径的输出串联。该方法总体思路是最大化梯度组合的差异，通过跨阶段的拆分和合并策略，能够有效减少信息集成过程中复制的可能性。通过跨阶段模块将前一个卷积操作的输入特征连接起来作为后面卷积操作的输入，可有效的增强信息的表述能力，减少了信息的损失、避免梯度消失，可加速网络融合、使网络的特征学习能力变强。在实际应用中，该模块可以减少运行时间，提高分割精度。它在帮助医院节约经济成本的同时，也使得设备的运行速率变快，可以让医生和患者更快的看到病理图像分割结果。通过计算机辅助诊断技术，减少了医生因疲劳和主观因素带来的人为误差，更好的分析和诊断癌症的病变程度。

33、2.本发明采用自适应融合模块，该模块有两个输入，分别是上采样特征和编码特征。其中上采样特征g可以视为增强xl学习能力的门控信号。两个输入首先经过1×1×1的卷积运算后，分别获得和随后，对两个结果相加再进行relu激活。融合后的特征将再次进行卷积运算，并经过s形激活函数sigmoid(σ2)，得到注意力系数α。通过注意力系数α聚焦于局部信息，以动态加权的方式突出感兴趣的区域，增加关键区域的权重，关注目标的细节信息，抑制输入图像中不相关的区域，增加对小目标特征学习的能力，进而提高了病理细胞图像的分割精度，使得误分割事件减少发生。自适应融合模块接收的信息来自下一层上采样得来的特征，因为上采样无法恢复已经在下采样中丢失的空间和语义信息，所以在上采样后接上自适应融合模块。自适应融合模块有一条来自编码部分的跳跃连接，跳跃连接横跨在相同层级的编码路径和解码路径之间，有利于保持特征的原始样貌，不会被网络学习到的深层信息干扰。在实际应用中自适应融合模块可以有效的提升分割精度，通过计算机辅助诊断技术，减少了医生因疲劳和主观因素带来的人为误差，帮助医生更好的分析和诊断癌症的病变程度，以免因为误诊发生医疗事故。

34、3.本发明使用密集空洞卷积块来替换基础au-net中连接编码路径和解码路径所用的卷积块。该模块有五个级联分支：一个快捷连接分支和四个空洞卷积分支。每个级联空洞卷积分支中空洞卷积的数量逐个增加，对应的感受野分别是3，7，9，19。每个级联分支都使用一个1×1卷积用于relu激活。第一个级联分支引入残差网络中的快捷连接将原始特征与其他特征融合在一起；第二个级联分支有一个扩张率为1的空洞卷积块；第三个级联分支有一个扩张率为3的空洞卷积块和1×1卷积；第四个级联分支有扩张率为1、3的空洞卷积块和1×1卷积；第五个级联分支有扩张率为1、3、5的三个空洞卷积块和1×1卷积。在特征图相同的情况下，空洞卷积可以获得更大的感受野，从而获得更加密集的数据。而更大的感受野可以提高在病理图像分割任务中的小物体识别分割的效果。聚集不同尺度的感受野可以观察到图像的全部特征，在提取深层语义信息的同时也融合了浅层的空间信息，避免了梯度爆炸和消失的同时，充分提取不同尺度的特征，增强模型的学习能力。使用空洞卷积可以很好的保留图像的空间特征，也不会损失图像信息。当网络层需要更大的感受野，但是由于计算资源有限无法提高卷积核数量或大小时，可以考虑使用空洞卷积。在实际应用中，该模块可以有效的分割出小尺度的病变目标。这些小尺度目标在一般的方法中，会在深层网络中变得模糊甚至丢失，使得最后的分割结果缺失。添加了密集空洞卷积块后可以分割出更细致的结果，更好的帮助医生找到病变的地方，从而更好的进行针对性治疗。由于空洞卷积在获得大感受野的同时，不需要提高卷积核的数量或大小，节省了计算资源，可以更好的帮助医院节约整体运营成本，让医院管理更加细致。