一种基于交叉融合卷积与可变形注意力Transformer的3D医学图像分割方法

一种基于交叉融合卷积与可变形注意力transformer的3d医学图像分割方法
技术领域
1.本发明涉及医学图像分析技术领域，特别涉及一种基于交叉融合卷积与可变形注意力transformer的3d医学图像分割方法。


背景技术：

2.医学图像的有效分割，在临床诊断和治疗过程中起着重要的作用，是医学图像定量分析的关键步骤。目前医疗研究中应用最为广泛的放射成像技术是电子计算机断层扫描(computer tomography，ct)和磁共振(magnetic resonance，mr)，因此，ct和mr的分割方法也是如今医学图像分割研究领域中的主流方向。在传统的分割方法中，存在着一些难以避免的问题，如对医学领域先验知识的过多依赖，人为的错误评估等，针对该类问题，提出利用计算机深度学习技术对医学图像精确分割的方法。
3.随着深度学习技术的不断发展，神经网络也广泛应用在了图像处理领域，其中也包括医学影像处理领域。在众多方法中，尤其是卷积神经网络(cnn)应用最广。cnn利用卷积和池化的一系列操作来自动提取出图像的特征，通过利用多层卷积或扩大卷积核等方法来扩大感受野，更有效地提取特征，根据不同的任务，对应地调整损失函数，神经网络经反向传播的方式自动调整误差，完成对应的图像处理任务。在图像分割领域中，较为著名的网络模型有全卷积神经网络(fcn)和u-net。但是由于卷积操作的局部性，研究人员致力于各种方法来扩大cnn的感受野，虽然在一定程度上取得了效果，但是仍不能摆脱这个问题。
4.目前将自然语言处理(nlp)领域中较为成熟的transformer模型迁移学习到图像处理领域已成为一大热点并取得了不错的效果。研究人员针对不同的图像处理任务来进行改进，在图像识别任务中，vision transformer(vit)是一个典型的迁移学习模型，vit将transformer结构来完全取代cnn，利用自注意力(self-attention)机制来提取图像全局特征，该结构结果优于基于cnn的resnet。研究人员也用各种方式将cnn与transformer相结合，两种结构的优势互补，transunet就是将两种方法结合的方法之一，先使用cnn提取图像的局部特征，然后将所提取的最后一层特征传入到transformer中进行全局特征关系建模，最后使用反卷积方法对带有局部特征和全局特征的特征图上采样，还原成目标结果。这些方法也成功应用于医学图像处理领域，成为医学图像分割任务中新的研究和应用方向。


技术实现要素：

5.本发明要解决的技术问题是提供一种基于交叉融合卷积与可变形注意力transformer的3d医学图像分割方法，可实现医学图像中关键区域的自动分割，从而有利于高效地诊断、治疗和临床研究。为了解决上述问题，其技术方案如下：
6.本发明的一种基于交叉融合卷积与可变形注意力transformer的3d医学图像分割方法，所述方法包括以下步骤：
7.s1，数据收集和预处理模块：获取3d医学图像数据，按照体素值截断的方法过滤不
相关区域，对过滤后的3d医学图像数据进行标准化处理，然后划分训练集、验证集和测试集。
8.s2，编码器模块：交叉使用卷积层和可变形注意力transformer层来获取3d医学图像的低分辨率特征，利用残差卷积块中卷积层的卷积操作获取3d医学图像的局部特征，减小特征图分辨率，利用可变形注意力transformer层的可变形多头自注意力对所述局部特征进行全局关系建模，在编码器中使用残差结构来增强特征信息，使用卷积注意力模块对关键分割区域进行关注。其中，“可变形注意力transformer层”英文全称为deformable transformer层，缩写为detrans；“可变形多头自注意力”英文全称为deformable multihead self-attention，缩写为dmsa；“卷积注意力模块”英文缩写为cbam。
9.s3，解码器模块：使用反卷积操作对编码器提取到的低分辨率特征进行还原，对应于编码器每层次的特征图大小并作跳跃连接，逐步上采样到输入图像分辨率大小，得到带标记的3d医学图像。其中，解码器模块将编码器的最后一层特征图还原后，使用多次反卷积操作将特征图依次向编码器上一层特征图分辨率大小还原，直至输入图像分辨率大小，在还原的过程中得到各层次特征图与编码器中各层次对应作跳跃连接，保留图像更多的全局和局部信息，使得分割效率更高。
10.进一步地，步骤s2所述的编码器模块还包括：
11.s21，使用一个标准7
×
7卷积核的卷积层对输入的3d医学图像进行处理，通过归一化层和激活层操作，得到中间特征图，所述中间特征图包含了丰富的局部特征信息。
12.s22，将所述中间特征图展开，使用两层detrans layer进行全局关系信息建模，再将还原后得到的特征图与detrans layer的输入信息残差相加，增强信息，减少传递过程中产生的损耗或丢失；使用可变自注意力机制(deformable self-attention，dsa)来对采样点周围的部分关键点进行关注，提高编码器效率。其中，使用detrans来进行全局关系建模，其与标准transformer的不同在于使用dsa机制在transformer结构中，self-attention将查看特征图中所有可能的位置，这在图像分割任务中会导致收敛速度慢，计算复杂度高等缺点，而本发明使用的dsa机制，只关注采样点(reference point)周围的8个关键位置，而不是所有位置，从而解决这个问题，提高编码器性能。detrans layer由dsa层和前馈网络组成，每个层后面都有归一化层；每个子层都采用残差连接，以避免梯度消失。
13.s23，使用卷积注意力模块对关键分割区域添加注意力，该注意力由沿着通道轴和空间轴的两个维度注意力模块融合得到，卷积注意力模块对重要的特征信息起强调作用，并减小不必要特征的影响，从而提高编码器的性能。
14.s24，将带有注意力的特征图传入步骤s22中的残差卷积模块处理，降低特征图分辨率，获取高维特征，所述残差卷积模块包括一个卷积核为2和两个卷积核为1的残差卷积层构成。
15.s25，重复s22、s23和s24的操作，获得多层次的图像特征信息，包含图像的局部细节特征和全局关系特征，将最后一层次的特征图传入解码器。
16.进一步地，在步骤s23中，使用卷积注意力模块关注关键分割区域，卷积注意力模块注入注意力的过程分为：沿着空间轴推断1d通道注意力mc∈r
c*1*1
和沿着通道轴推断2d空间注意力ms∈r
1*h*w
，卷积注意力模块的输入为中间特征图f∈r
c*h*w
，具体过程如下：
17.s231，通道注意模块对输入的中间特征图f进行操作，并行使用最大池化操作和平
均池化操作来聚合中间特征图的通道间关系，生成最大池化特征和平均池化特征分别将最大池化特征和平均池化特征传入共享前向网络，最后将最大池化特征信息和平均池化特征信息使用对应位置相加，通过激活层得到中间特征图的通道注意力特征图mc(f)，通道注意力特征图计算公式为：
[0018][0019]
s232，将通道注意力特征图与输入的中间特征图融合，通道注意力被注入到中间特征图中，过程为：
[0020][0021]
s233，空间注意模块对融合了通道注意力的中间特征图f'进行操作，沿着通道轴并行使用最大池化操作和平均池化操作聚合f'的空间关系，生成最大池化特征和平均池化特征将最大池化特征和平均池化特征拼接起来，通过卷积层和激活层操作，得到空间注意力f'的空间注意力图ms(f)，空间注意力图的计算公式为：
[0022][0023]
s234，将空间注意力图与步骤s232中融合了通道注意力的结果逐元素相乘来添加空间注意力，计算过程如下，通道注意力和空间注意力在中间特征图f上的融合，给f中的重要特征和特征的空间信息增加权重，减小不重要特征的权重，从而强调了重要特征，抑制了不必要特征：
[0024][0025]
本发明提供的3d医学图像分割方法的有益效果是：
[0026]
一、本发明提供的医学图像分割方法，将transformer应用于3d医学影像分割任务，提高了相对于传统cnn架构方法的精度。
[0027]
二、使用了可变形多头自注意力机制，在图像任务中，将注意力分布在参考点周围的部分区域而不是全局，提高了模型训练的效率。
[0028]
三、将cnn架构和transformer架构交叉融合，对cnn架构中提取地每一层局部特征进行全局关系建模，使用cbam和残差网络结构，使特征提取和编码更加高效，分割效果更好。
附图说明
[0029]
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0030]
图1是本发明的基于交叉融合卷积与可变形注意力transformer的3d医学图像分割方法的结构示意图；
[0031]
图2是本发明具体实施方式之一的数据标注示例图。
具体实施方式
[0032]
为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式作进一步的说明。
[0033]
在此需要说明的是，对于这些实施方式的说明用于帮助理解本发明，但并不构成对本发明的限定。此外，下面所描述的本发明各个实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
[0034]
请参考图1，本实施例的一种基于交叉融合卷积与可变形注意力transformer的3d医学图像分割方法，该方法包括以下步骤：
[0035]
s1，数据收集和预处理模块：获取3d医学图像数据，按照体素值截断的方法过滤不相关区域，对过滤后的3d医学图像数据进行标准化处理，然后划分训练集、验证集和测试集。
[0036]
s2，编码器模块：交叉使用卷积层和可变形注意力transformer层来获取3d医学图像的低分辨率特征，利用残差卷积块中卷积层的卷积操作获取3d医学图像的局部特征，减小特征图分辨率，利用可变形注意力transformer层的可变形多头自注意力对所述局部特征进行全局关系建模，在编码器中使用残差结构来增强特征信息，使用卷积注意力模块对关键分割区域进行关注。
[0037]
s3，解码器模块：使用反卷积操作对编码器提取到的低分辨率特征进行还原，对应于编码器每层次的特征图大小并作跳跃连接，逐步上采样到输入图像分辨率大小，得到带标记的3d医学图像。
[0038]
优选地，步骤s2所述的编码器模块还包括：
[0039]
s21，使用一个标准7
×
7卷积核的卷积层对输入的3d医学图像进行处理，通过归一化层和激活层操作，得到中间特征图，所述中间特征图包含了丰富的局部特征信息。
[0040]
s22，将所述中间特征图展开，使用两层detrans layer进行全局关系信息建模，再将还原后得到的特征图与detrans layer的输入信息残差相加，增强信息，减少传递过程中产生的损耗或丢失；使用可变自注意力机制(deformable self-attention，dsa)来对采样点周围的部分关键点进行关注，提高编码器效率。
[0041]
s23，使用卷积注意力模块对关键分割区域添加注意力，该注意力由沿着通道轴和空间轴的两个维度注意力模块融合得到，卷积注意力模块对重要的特征信息起强调作用，并减小不必要特征的影响，从而提高编码器的性能。
[0042]
s24，将带有注意力的特征图传入步骤s22中的残差卷积模块处理，降低特征图分辨率，获取高维特征，所述残差卷积模块包括一个卷积核为2和两个卷积核为1的残差卷积层构成。
[0043]
s25，重复s22、s23和s24的操作，获得多层次的图像特征信息，包含图像的局部细节特征和全局关系特征，将最后一层次的特征图传入解码器。
[0044]
优选地，在步骤s23中，使用卷积注意力模块关注关键分割区域，卷积注意力模块注入注意力的过程分为：沿着空间轴推断1d通道注意力mc∈r
c*1*1
和沿着通道轴推断2d空间注意力ms∈r
1*h*w
，卷积注意力模块的输入为中间特征图f∈r
c*h*w
，具体过程如下：
[0045]
s231，通道注意模块对输入的中间特征图f进行操作，并行使用最大池化操作和平均池化操作来聚合中间特征图的通道间关系，生成最大池化特征和平均池化特征分别将最大池化特征和平均池化特征传入共享前向网络，最后将最大池化特征信息和平均池化特征信息使用对应位置相加，通过激活层得到中间特征图的通道注意力特征图mc(f)，通道注意力特征图计算公式为：
[0046][0047]
s232，将通道注意力特征图与输入的中间特征图融合，通道注意力被注入到中间特征图中，过程为：
[0048][0049]
s233，空间注意模块对融合了通道注意力的中间特征图f'进行操作，沿着通道轴并行使用最大池化操作和平均池化操作聚合f'的空间关系，生成最大池化特征和平均池化特征将最大池化特征和平均池化特征拼接起来，通过卷积层和激活层操作，得到空间注意力f'的空间注意力图ms(f)，空间注意力图的计算公式为：
[0050][0051]
s234，将空间注意力图与步骤s232中融合了通道注意力的结果逐元素相乘来添加空间注意力，计算过程如下，通道注意力和空间注意力在中间特征图f上的融合，给f中的重要特征和特征的空间信息增加权重，减小不重要特征的权重，从而强调了重要特征，抑制了不必要特征：
[0052][0053]
具体的实施方式之一，在步骤s1中，获取了acdc(automated cardiac diagnosis challenge)心脏自动分割mri数据集。该数据集由150个mri组成(全部来自不同的患者)，分为5个均匀分布的亚组(4个病理组和1个健康受试者组)。5个亚组分别为(1)30个正常受试者mri检查；(2)30名既往心肌梗死患者mri检查(左心室射血分数低于40％，多个心肌节段异常收缩)；(3)30名扩张型心肌病患者mri检查(舒张期左心室容积大于100ml/m2，左心室射血分数低于40％)；(4)30名肥厚性心肌病患者(左心室质量高于110g/m2，舒张期厚度高于15mm且射血分数正常的几个心肌节段)；(5)30名右心室异常患者mri检查(右心室腔体积高于110ml/m2或右心室射血分数低于40％)。150例mri检查被分为100例检查的训练数据集和50例检查的测试数据集，其中训练数据集包括有基于临床专家的相应手动标注，如图2所示为一名患者的标注实例，其中凸起部分为患者的左心室、心肌和右心室，而测试数据集没
有标注。
[0054]
使用dice损失与交叉熵损失之和作为本方法的损失函数，公式如下所示。其中，x表示真实数据，y表示预测结果，|x|表示x的元素个数，|y|表示y的元素个数，|x∩y|表示x和y之间的交集。
[0055][0056]
本发明的方法成功应用于acdc数据并实现分割，表1为本发明方法与其他方法的dice结果比较，分割器官包括右心室、心肌和左心室。
[0057]
表1实验对比结果
[0058][0059]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其它实施例的不同之处。
[0060]
以上结合附图对本发明的实施方式作出详细说明，但本发明不局限于所描述的实施方式。对本领域的技术人员而言，在不脱离本发明的原理和精神的情况下对这些实施例进行的多种变化、修改、替换和变型均仍落入在本发明的保护范围之内。