一种改进的TransUNet肺部图像分割方法

本发明涉及图像处理，特别是一种改进的transunet肺部图像分割方法。

背景技术：

1、在处理肺炎患者时，常用的一种诊断方法是通过ct成像。ct扫描能够向医生展示肺部的详细图像，包含了丰富的诊断信息。然而，肺炎导致的肺部损伤往往具有不规则形状和多种尺度的特征，这使得传统的人工分割方法不仅耗时而且容易受到执行者经验和主观偏见的影响。鉴于此，自动化的肺部分割技术变得越来越重要，这项技术通过计算机辅助诊断来精确地划分肺部边界，从而提升医生的诊断效率。

2、传统的图像分割技术，比如阈值分割、聚类分割、或者基于边缘的方法都对噪声更敏感，精度不够，容易导致区域被过度分割。深度学习驱动的图像分割方法目前占据了技术前沿。其中，全卷积网络(fcn)是由 long 及其团队所提出，代表了最早的一批利用深度学习技术进行图像分割的算法之一。尽管如此，fcn缺少跳层连接导致细节和空间信息的损失，以及难以处理长距离依赖的问题。ronneberger和团队在2015年的提出的unet通过加入跳层连接解决了这些问题，迅速成为医学图像分割的首选网络。在此基础上更多的变体被提出来，例如attentionunet通过添加注意力（ag）以此提高分割效率；u2net通过残差模块和深监督提高了分割精度和加快训练时间。另外，transunet、segnet、deeplabv3等分割网络都为医学图像分割做出了非常重要的贡献。这些方法在针对肺部图像分割过程中出现的各种问题，如多分割、误分割和边界模糊等等。

技术实现思路

1、本发明所要解决的技术问题是提供一种改进的transunet肺部图像分割方法，解决了现有技术对于肺部分割任务中，分割性能差，误分割，多分割，耗时长，效率低下等问题，具有更为快速、精确的自动化分割效果，操作过程简单方便，分割结果清晰直观的特点。

2、为解决上述技术问题，本发明所采用的技术方案是：一种改进的transunet肺部图像分割方法，包括以下步骤：

3、s0、采集肺部图像；

4、s1、基于改进的transunet对肺部图像初分割；

5、s2、将transunet中跳层连接concat替换成aff；

6、s3、在改进transunet网络中添加深监督模块。

7、优选的，所述步骤s1中改进的transunet为引入挤压和激励模块（se），

8、在transunet网络每层cnn之后添加se模块，se模块不改变输入的特征图尺寸大小，也就是这三层se模块输出尺寸与cnn输出尺寸一致；三层尺寸分别为：128×128,64×64,32×32；在transunet跳层连结进行特征融合concat，作为上采样的输入特征；经过三次上采样操作得到模型预测分割图。

9、优选的，所述挤压和激励模块的具体操作步骤如下：

10、第一步：挤压和激励模块是一个计算单元其可以建立ftr在特征图映射将x∈rh’×w’×c’输入到特征图u∈rh’×w’×c’中；在算法中，将ftr定义为卷积运算符，并使用v=[v1,v2,…,vc]表示学习的一组滤波器的，其中vc指的是第c滤波器的参数；然后定义输出特征图为u=[u1,u2,…,uc]，*表示卷积操作，vsc表示一个2d的空间核；操作公式为：

11、；

12、第二步：将全局空间信息压缩到一个通道描述符中，即使用通道的全局平均池化，将包含全局信息的h×w×c的特征图直接压缩成一个1×1×c的特征向量z；c个featuremap的通道特征都被压缩成了一个数值，zc是z的第c个元素，这样使得生成的通道级统计数据z就包含了上下文语义信息和纹理信息，缓解了通道依赖性的问题；定义如下：

13、；

14、第三步：为了利用压缩操作中汇聚的信息，接下来通过excitation操作来全面捕获通道依赖性；为了实现这个目标，这个功能必须符合两个标准：第一，它必须是灵活的（它必须能够学习通道之间的非线性交互）。第二，它必须学习一个非互斥的关系，因为独热激活相反，这里允许强调多个通道。为了满足这些标准，运用了两层全连接构成的门机制，第一个全连接层把c个通道压缩成了c/r个通道来降低计算量，再通过一个relu非线性激活层，第二个全连接层将通道数恢复回为c个通道，再通过sigmoid激活得到权重s，最后得到的这个s的维度是1×1×c，它是用来描述特征图u中c个特征图的权重；r是指压缩的比例，通常常用16；δ是relu操作；公式为：

15、；

16、最后一步：fscale操作，将前面得到的注意力权重参数加权到每一个通道的特征图上；其中x’=[x1’,x2’,…,xc’]和fscale(uc,sc)是指标量sc和之间的通道乘法特征图uc∈rh×w；公式为：

17、。

18、优选的，所述步骤s2将transunet中跳层连接concat替换成aff具体如下：

19、设两个特征图x，y∈rc×h×w，首先将x和y进行合并就是相同位置的元素进行相加操作；这一步是为了将两种特征结合在一起，在空间层面形成一个初步的融合特征表达；完成这个初融合之后，接下来将这个合并后的特征传递到多尺度通道注意模块ms-cam；在ms-cam中特征将被进一步处理；该模块通过sigmoid激活函数，确保输出的值介于0和1之间，这个值被称为融合权重（fusionweight）；为了对x和y进行加权平均用1减去融合权重来计算逆权重；通过这一机制，实现了软选择（softselection），并不是绝对选择某个特征，而是给予每个特征不同的权重以符合它们的重要性；在网络训练过程中，模型会学会如何自动地调整x和y的权重，决定它们在最终融合特征中的贡献；通过这样的方式，网络能够自我学习决定如何最佳地合并x和y，以更有效地进行特征表示，从而提高执行视觉任务时的性能及其鲁棒性；aff技术的过程可描述如下：

20、；

21、z是融合后特征图，x是下采样特征图，y是上采样特征图，其中x和y满足rc×h×w，其中c是通道数，h是特征图的高，w是特征图的宽；表示的是特征图x 与y的融合方式，表示权重与特征图相乘。

22、优选的，所述步骤s3在改进transunet网络中添加深监督模块为：在改进的transunet网络中的每个上采样后面添加深监督模块；transunet第四个上采样操作输出特征图为32×32，进行深监督恢复成256×256特征图与mask计算损失；第三个上采样输出特征图64×64，深监督操作恢复成256×256特征图与mask计算损失；再重复两次深监督操作，将四次深监督得到的4个特征图进行concat操作，通过1×1卷积操作输出预测特征图。

23、优选的，所述深监督模块的详细操作步骤如下：

24、第一步，确定添加位置，在改进的transunet的每个上采样操作后面添加深监督；

25、第二步，确定使用的网络操作；采用的是2d卷积，其中keral=1，stride=1，padding=0，dilation=0；接着采用上采样操作恢复成原尺寸大小（256×256）；

26、第三步，确定每一个深监督模块的损失函数；四个深监督模块采用统一的交叉熵损失函数；交叉熵损失函数定义为：

27、；

28、公式lce是交叉熵损失，其中bi和分别是真实边界和预测边界；

29、；

30、公式表示计算dice系数损失的方法；在该公式中，x代表预测得到的图像，y代表真实的标签图像；公式中的|x|和|y|分别表示预测图像和真实图像中的像素数量；

31、第四步，合并损失函数，对于最后输出预测图采用的是dice损失，深监督模块采用是交叉熵损失函数，对于最后预测图的损失函数超参数设置为2，四个深监督模块损失函数超参数设置为1；总共损失函数公式为：

32、；

33、公式中第一个ldice表示最后输出特征图的损失函数，lce表示深监督损失。

34、本发明提供一种改进的transunet肺部图像分割方法，通过添加挤压和激励模块提高transunet改善了网络的误分割、多分割、边界毛糙不平滑。提高了分割图的精确度和召回率。通过添加aff模块，减少了实验参数，优化特征图的融合，减少了大量冗余信息。使网络轻量化。添加深监督机制，加快网络训练时间，加速了患者诊断时间。