基于自适应卷积与Transformer混合结构的低剂量CT图像恢复方法

本发明属于医疗图像处理领域，具体是一种基于自适应卷积与transformer混合结构的低剂量ct图像恢复方法。

背景技术：

1、计算机断层扫描（computed tomography，ct）技术能够无侵入的对人体特定部位进行快速精准扫描而被广泛应用于医疗诊断、图像引导手术和放射治疗。如今，低剂量已经逐渐成为ct设备研发的一项重要参考指标，然而辐射剂量的降低常常会产生大量噪声，导致ct成像质量的严重下降，内部组织结构难以判别。

2、对于如何提高低剂量ct（low-dose ct，ldct）图像质量的问题，现有的方法主要有：投影域滤波算法、迭代重建算法和后处理方法，现有研究大多集中在图像后处理方法。近年来，随着神经网络和深度学习在图像处理领域的快速发展，卷积神经网络被应用于低剂量ct的后处理中。采用深度卷积神经网络结构，将低剂量ct图像映射到相应的正常剂量ct（normal-dose ct，ndct）图像，与传统方法相比，在视觉效果与评价指标上都显示出了比传统算法更好的结果。因此基于深度学习的低剂量ct图像恢复算法研究被越来越多地应用于ct图像恢复任务中。

3、一方面，现阶段研究方法大多基于cnn卷积神经网络，例如文献《a low-dose ctimage denoising method combining multistage network and edge protection》中将边缘保护与多阶段网络相结合构建了一种新型的多阶段网络用于低剂量ct图像恢复。但这一类方法侧重于网络结构的精细化设计，虽然与传统方法相比较，去噪效果以及性能有了明显的提高，但基本的卷积层也有其局限性：首先，卷积操作过于关注局部特征，对于捕获长程相关性是不够有效的；其次，对于图像的不同部位，使用相同的卷积核来恢复图像可能会损失ct图像的细节，导致恢复图像效果不理想。

技术实现思路

1、针对现有技术的不足，本发明拟解决的技术问题是，提供一种基于自适应卷积与transformer混合结构的低剂量ct图像恢复方法。

2、本发明解决所述技术问题的技术方案是，提供一种基于自适应卷积与transformer混合结构的低剂量ct图像恢复方法，该恢复方法包括以下步骤：

3、步骤1、对数据集中的图像数据进行预处理，然后将预处理后的数据集划分为训练集、验证集和测试集；

4、步骤2、建立具有自适应卷积与transformer混合结构的低剂量ct图像恢复网络，用于低剂量ct图像的恢复；

5、所述恢复网络包括由前至后的一个图像特征提取模块、n个编码transformer模块、n个解码transformer模块和一个图像重建模块；每个编码transformer模块和解码transformer模块均由两层串联的transformer layer组成；

6、每层transformer layer均包括由前至后的一个w-msa运算或sw-msa运算以及一个nfe模块；nfe模块包括由前至后的全连接层、深度卷积层、线性变换层和逐像素卷积层；

7、相邻两层transformer layer中分别使用w-msa运算和sw-msa运算；w-msa运算采用将特征图均等划分窗口的窗口划分方式，并在窗口内部进行注意力运算；sw-msa运算采用将特征图沿中心点方向移动1/2个窗口单位，再与固定的窗口重叠的窗口划分方式，并在窗口内部进行注意力运算；

8、步骤3、利用训练集对恢复网络进行训练，并在训练过程中使用验证集来防止网络过拟合，根据在训练过程中验证集的表现与所选用的复合损失函数的指标情况，实时调整恢复网络的参数，得到训练好的恢复网络；再将测试集输入到训练好的恢复网络中，得到恢复后的图像。

9、与现有技术相比，本发明的有益效果在于：

10、（1）本发明将cnn、transformer的混合编解码结构与w-msa/sw-msa机制相结合，构建了一种cnn-transformer的混合网络用于图像恢复，有效地利用cnn和transformer在提取特征方面的各自优势，将卷积提取的局部特征引入到transformer中并与transformer提取的深层特征连接，确保transformer模块关注全局信息，以全分辨率处理输入图像的特征，避免上下采样可能会造成的信息损失，有效地实现了高分辨率低剂量ct图像的去噪。

11、（2）本发明在相邻两层transfomer layer中交替使用两种不同窗口划分方式，并分别采用w-msa与sw-msa运算，将w-msa和sw-msa运算结合，得到了w-msa/sw-msa机制，并通过划分非重叠窗口的方式来计算msa，避免计算量与输入低剂量ct图像的高度宽度成二次关系，同时有效地获得图像的整个窗口之间的信息交互，避免静止窗口可能导致的信息浪费，大大降低了计算量。

12、（3）本发明使用基于多维度卷积的nfe模块。采用深度卷积与逐像素卷积相结合的方式，使用通道方向的深度卷积来提供局部上下文信息的通道级像素聚合，将局部信息作为补充引入到transformer layer的全局操作层面中，并在引入msa全局权值后使用像素级卷积来对输出特征提供跨通道的像素级的信息聚合，分别提取通道级与像素级的特征，在深度方向和空间维度上细化卷积，建立像素空间和通道位置之间的信息交互，增强局部信息在transformer结构中的表达，避免mlp可能会带来的信息损失，提升恢复图像的细粒度。

13、（4）本发明使用了mse loss和edge loss组合而成的复合损失函数，约束神经网络在兼顾于去噪性能的同时关注于低剂量ct图像中的边缘细节，从而达到一定的保护边缘的效果，避免单一的mse损失函数会造成图像过于平滑的问题。

14、（5）本发明对恢复网络进行了验证和评估，并进行了消融实验。结果显示该网络能够有效的对低剂量ct图像进行去噪，并能够较清晰的保留图像中各组织结构的细节信息。

技术特征：

1.一种基于自适应卷积与transformer混合结构的低剂量ct图像恢复方法，其特征在于，该恢复方法包括以下步骤：

2.根据权利要求1所述的基于自适应卷积与transformer混合结构的低剂量ct图像恢复方法，其特征在于，步骤1中的预处理的具体步骤如下：

3.根据权利要求1所述的基于自适应卷积与transformer混合结构的低剂量ct图像恢复方法，其特征在于，步骤2中，低剂量ct图像的恢复过程是的逆映射，图像恢复的目标是寻找将低剂量ct图像x映射到正常剂量ct图像y的函数f，使得代价函数最小化；其中，表示去噪过程；f为的最佳近似值，该恢复过程由恢复网络实现。

4.根据权利要求1所述的基于自适应卷积与transformer混合结构的低剂量ct图像恢复方法，其特征在于，步骤2中，相邻两层transformer layer的运算过程如式（1）所示：

5.根据权利要求4所述的基于自适应卷积与transformer混合结构的低剂量ct图像恢复方法，其特征在于，步骤2中，nfe模块的具体计算过程是：形状为hw×cin的输入特征或首先通过全连接层，将输入通道cin映射到隐藏通道c中；再通过激活函数层和重整形将形状为hw×c的展平特征扩展成形状为的特征图，其中h’=sqrt（hw），h、w分别为宽度、高度，r为特征空间的维度；再依据隐藏通道c进行通道深度方向的卷积，获得局部特征；再通过线性变换层、激活函数层以及重整形恢复整形到展平特征，将特征维度恢复成m∈rhw×c；再将经过w-msa运算或sw-msa运算后的注意力权值与展平特征进行残差连接；再对残差连接的结果使用逐像素卷积来获得同时具有全局高维信息与局部低秩信息的输出。

6.根据权利要求1所述的基于自适应卷积与transformer混合结构的低剂量ct图像恢复方法，其特征在于，步骤2中，图像特征提取模块由至少三个卷积层构成；每个卷积层的卷积核大小为3×3、步长为1；

7.根据权利要求1所述的基于自适应卷积与transformer混合结构的低剂量ct图像恢复方法，其特征在于，步骤2中，低剂量ct图像的恢复过程是：低剂量ct图像x首先通过图像特征提取模块处理成多维通道特征xf；再通过编码transformer模块进行编码处理，然后通过解码transformer模块进行解码处理；然后将多维通道特征xf与解码transformer模块的输出采用残差学习方式进行连接，将叠加过残差特征的结果作为解码transformer模块的最终输出xdo，再经过图像重建模块将最终输出xdo从特征域映射到图像域，得到恢复后的图像。

8.根据权利要求1或7所述的基于自适应卷积与transformer混合结构的低剂量ct图像恢复方法，其特征在于，步骤2中，低剂量ct图像的具体恢复过程为：

9.根据权利要求1所述的基于自适应卷积与transformer混合结构的低剂量ct图像恢复方法，其特征在于，步骤3的具体步骤如下：

10.根据权利要求1所述的基于自适应卷积与transformer混合结构的低剂量ct图像恢复方法，其特征在于，步骤3中，复合损失函数lcompound如式（6）所示：

技术总结
本发明公开了一种基于自适应卷积与Transformer混合结构的低剂量CT图像恢复方法，包括对数据集中的图像数据进行预处理，然后将预处理后的数据集划分为训练集、验证集和测试集；建立具有自适应卷积与Transformer混合结构的低剂量CT图像恢复网络，用于低剂量CT图像的恢复；利用训练集对恢复网络进行训练，并在训练过程中使用验证集来防止网络过拟合，根据在训练过程中验证集的表现与所选用的复合损失函数的指标情况，实时调整恢复网络的参数，得到训练好的恢复网络；再将测试集输入到训练好的恢复网络中，得到恢复后的图像。本发明有效地实现了低剂量CT图像的去噪。

技术研发人员：张男男,周峰,郭志涛,李晓增,杨济恺,袁萍修
受保护的技术使用者：河北工业大学
技术研发日：
技术公布日：2024/1/13