一种基于双尺度混合网络的腹部CT图像多器官分割方法

本发明属于医学图像处理，具体涉及一种基于双尺度混合网络的腹部ct图像多器官分割方法。

背景技术：

1、腹部ct图像多器官分割在医学图像处理与分析中占据重要地位，可为手术导航、器官移植和放射治疗等提供重要信息和定量评估。与单器官分割相比，多器官分割是一项更具挑战性的任务，它需要区分图像中每一个像素是否属器官，并识别其具体属于哪个器官。在目前的临床实践中，多器官分割主要由医生手工勾画完成。由于患者的ct切片数量巨大，在每张ct切片上手动勾画各器官过程繁琐、效率低、可重复性差。此外，腹部是人体最复杂的区域之一。腹部器官通常具有结构复杂、边界模糊、形态多样等特点，人工手动勾画的主观性大，其准确性严重依赖于临床医生的经验和技巧。近年来，高精度的腹部多器官自动分割方法越来越受到人们的关注。

2、卷积神经网络(cnn)在图像特征提取方面表现出色。尽管基于cnn的模型，如全卷积网络(fully convolutional network,fcn)、u-net等，取得了相当的成功，但受限于局部感受野、归纳偏置等，这些基于cnn的方法难以建立图像中长距离目标之间的依赖关系，其分割性能仍无法满足临床要求。

3、为了克服cnn在建模全局语义特征方面的局限，dosovitskiy等人提出了基于多头自注意力机制的transformer结构(“an image is worth 16x16 words:transformers forimage recognition at scale,”arxiv preprint arxiv:2010.11929,2020)。多头自注意力机制能够学习所有输入序列之间的内在联系，以此捕获图像长距离依赖关系。然而，基于transformer的网络对边界、小目标等局部模式的建模和关注力度有限。此外，transformer需要对输入图像进行分块，并将图像子块作为输入序列建立长距离依赖关系。现有方法往往采用单尺度输入，图像子块边界存在信息丢失、特征表征不完全等问题。

技术实现思路

1、针对现有技术的缺点与不足，本发明提供了一种基于双尺度混合网络的腹部ct图像多器官分割方法，该方法沿用编解码的网络框架，具体包含一个双尺度混合编码器和一个级联解码器。该编码器采用双尺度输入，充分利用transformer和cnn优势，提取多尺度特征。级联解码器则将通过逐步融合不同尺度编码器特征获取精确的分割结果。

2、一种基于双尺度混合网络的腹部ct图像多器官分割方法，包括以下步骤：

3、一种基于双尺度混合网络的腹部ct图像多器官分割方法，具体实施步骤如下：

4、(1)建立包含原始图像和其对应分割金标准的训练数据集a；

5、(2)构建一种基于双尺度的混合编解码网络，称之为ds-net，具体包括：

6、(2-a)对输入图像分别进行大尺度和小尺度分块，具体包括：对于尺寸为w×h的输入图像，分别将其分为不重叠的大尺度子块sl和不重叠的小尺度子块ss；所述r优选8～32之间的自然数；

7、(2-b)构建一种带跳跃连接的编解码结构作为基本网络框架，编码器包含四个编码块，第一个、第二个和第三个编码块结构相同，均包含一个带下采样的双尺度transformer块、两个局部特征增强模块和一个双尺度融合模块；第四个编码块包含一个双尺度transformer块、两个局部特征增强模块和一个双尺度融合模块；解码器包含四个解码块和一个线性预测头；第一个解码块包含一个步长为s的上采样操作；第二个、第三个和第四个解码块结构相同，均由一个拼接操作、一个1×1卷积和一个步长为s的上采样操作依次连接组成；第四个编码块中双尺度融合模块的输出作为第一个解码块中上采样操作的输入；第一个解码块中上采样的输出和第三个编码块中双尺度融合模块的输出均作为第二个解码块中拼接操作的输入；第二个解码块中上采样的输出和第二个编码块中双尺度融合模块的输出均作为第三个解码块中拼接操作的输入；第三个解码块中上采样的输出和第一个编码块中双尺度融合模块的输出均作为第四个解码块中拼接操作的输入；第四个解码块中上采样的输出作为线性预测头的输入，线性预测头的输出即为多器官分割结果；所述s优选2～6之间的偶数；

8、(2-c)步骤(2-b)所述的带下采样的双尺度transformer块，记作dwon-ds-trans块，包含两个输入和四个输出，具体操作包括：将两个输入分别输入两条平行独立的分支，每条分支均由n个cswintransformer块和一个步长为s的下采样操作依次连接组成，取每条分支中第n个cswin transformer块的输出和下采样操作的输出作为带下采样的双尺度transformer块的输出；所述n优选3～8之间的自然数；

9、(2-d)步骤(2-b)所述的双尺度transformer块，包含两个输入和两个输出，具体操作包括：将两个输入分别输入两条平行独立的分支，每条分支均由n个cswin transformer块依次连接组成，取每条分支中第n个cswintransformer块的输出作为双尺度transformer块的输出；

10、(2-e)步骤(2-b)所述的第一个、第二个和第三个编码块，具体结构包括：dwon-ds-trans块中每个分支的第n个cswin transformer块的输出分别与一个局部特征增强模块相连，且局部特征增强模块的输出均作为双尺度融合模块的输入，双尺度融合模块的输出作为当前编码块的输出；步骤(2-b)中不重叠的大尺度子块sl和小尺度子块ss作为第一个编码块的输入，分别输入至dwon-ds-trans块中的两个平行独立分支；第一个编码块中dwon-ds-trans块的下采样操作的输出作为第二个编码块的输入，分别输入至第二个编码块中dwon-ds-trans块的两个平行独立分支；第二个编码块中dwon-ds-trans块的下采样操作的输出作为第三个编码块的输入，分别输入至第三个编码块中dwon-ds-trans块的两个平行独立分支；第三个编码块中dwon-ds-trans块的下采样操作的输出作为第四个编码块的输入，分别输入至第四个编码块中双尺度transformer块的两个平行独立分支；

11、(2-f)步骤(2-b)所述的第四个编码块，具体结构包括：双尺度transformer块中每个分支的第n个cswin transformer块的输出分别与一个局部特征增强模块相连，且局部特征增强模块的输出均作为双尺度融合模块的输入，双尺度融合模块的输出作为第四个编码块的输出；

12、(2-g)步骤(2-b)所述的局部特征增强模块，具体结构包括：对于特征i，首先将i分别输入三条独立的特征提取分支，其中，第一条分支由3×3卷积、深度卷积和gelu激活层依次连接组成，第二条分支由3×3卷积、gelu激活层、3×3卷积、gelu激活层依次连接组成，第三条分支由深度卷积、gelu激活层、深度卷积、gelu激活层依次连接组成，然后将三条分支的输出o1、o2和o3进行拼接，并对拼接结果依次执行3×3卷积和层归一化，得到局部特征增强模块的输出；

13、(2-h)步骤(2-b)所述的双尺度融合模块，包含两个输入和一个输出，具体结构包括：对于其中尺寸较小的输入is，首先采用上采样操作将其恢复至与尺寸较大的输入il大小一致，然后将上采样结果与尺寸较大的输入il进行拼接，然后将拼接结果进行3×3卷积，得到双尺度融合模块的输出；

14、(2-i)步骤(2-b)所述的线性预测头，由一个1×1卷积和softmax层依次连接组成；

15、(3)采用训练数据集a对ds-net进行训练，直至预先设置的损失函数收敛；优选结合dice和交叉熵的混合损失函数作为网络训练的目标函数；

16、(4)利用训练好的网络对待分割图像进行测试，得到分割结果。