基于全局自注意力与多尺度特征融合的肝脏CT图像分割方法

基于全局自注意力与多尺度特征融合的肝脏ct图像分割方法
技术领域
1.本发明设计基于全局自注意力与多尺度特征融合的肝脏ct图像分割方法，属于医疗图像处理技术领域。


背景技术：

2.肝癌是全球发病率和死亡率增长最快的癌症之一。计算机断层扫描(ct)是临床上常用的肿瘤诊断方法，这主要得益于ct成像技术通常可以避免其他成像技术中器官影像重叠问题，更有利于肿瘤的识别。肝脏分割是介入肝癌临床诊断分析的关键步骤，准确的肝脏分割结果可以极大提升医生对于ct图像的阅片效率，从而尽早制定出诊疗方案。
3.随着ct影像数量的不断增长，一个病例的ct扫描数据通常伴随几百张ct切片，通过人工方法逐张分析存在主观干扰、标准不一、流程复杂、费时费力、不具有可重复性等问题。因此在腹部ct图像中准确地自动分割出肝脏器官相较于手动分割具有更大价值。目前肝脏分割的难点主要体现在，肝脏器官内部对比度低、肝脏和其他邻近器官之间的强度差异较小、相邻器官边界模糊以及形状变化较大，这就使得肝脏分割难度高。因此基于ct图像的肝脏器官分割是一项具有挑战性的任务。
4.肝脏自动分割主要通过以下三种方法解决：1)传统图像分割方法：利用诸如灰度、纹理等浅层特征完成分割任务。但是，这也导致传统方法对噪声像素的敏感度相对较高，并且对于更深层的图像特征，传统图像分割方法难以做到很好地利用。2)机器学习方法：从大规模数据中分析数据模式。但是，大部分机器学习算法都需要经过精心设计人工图像特征，特征的表达以及最终的分割结果也都受制于特征的选取方式。3)深度学习方法：不需要额外的中间过程就能提取到更多、更抽象的特征，并根据结果不断调整特征的选取方式，大大提高了准确率。现有深度学习方法分割结果通常好于传统图像处理方法，但对于肝脏及肝脏肿瘤分割而言仍有不足，对于肝脏及肝肿瘤ct图像内表现出边界模糊、位置多变等相关特征的考虑有所欠缺。深度学习方法在下采样时很多提取的特征对分割结果起到很小作用甚至无作用，这些特征并未进行弱化处理，与分割关键特征进行同等表达，并不利于分割结果。并且传统u-net跳跃链接方式会导致语义鸿沟造成特征不匹配问题，部分多尺度模型方法未充分考虑特征间的关联，从而影响分割模型性能。


技术实现要素：

5.为了解决上述提到的问题，本发明提供了一种基于全局自注意力与多尺度特征融合的肝脏ct图像分割方法，本发明选取使用分组卷积的resnext作为图像特征提取网络，在不增加计算时间的情况下获得更多的图像特征。针对肝脏器官边界模糊的问题，通过多尺度架构提取并融合不同尺度特征的方式解决。并且由于在ct图像中肝脏器官与其他器官之间必定存在一定联系，引入自注意力机制来捕获提取特征之间的联系。最后通过改进注意力方法的残差卷积块融合这些特征，使这些特征更好地表达，从而得到更好的肝脏分割结果。
6.本发明的技术方案是：基于全局自注意力与多尺度特征融合的肝脏ct图像分割方法，所述方法的具体步骤如下：
7.step1、图像预处理：对lits数据集中的ct图像按照hu值范围进行处理来增加对比度，采用随机翻转等方式来扩充数据集。
8.step2、获取同一维度特征和多尺度特征：经step1预处理操作之后，利用resnext卷积神经网络提取图像特征，通过线性变换得到统一维度的卷积特征和基于该卷积特征的多尺度特征。
9.step3、得到全局自注意力融合特征：以step2获得的多尺度特征，通过全局自注意力模块(non-local)得到包含全局信息的自注意力融合特征，以捕获目标特征与周围特征间的关系。
10.step4、将step3得到的自注意力融合特征通过改进的卷积模块进行特征提取，凸显通道维度中重要语义特征的作用，最终上采样得到分割结果。
11.进一步地，所述step1的具体步骤如下：
12.step1.1对lits数据集中的ct图像按照肝脏器官对应的hu值范围进行处理来增加对比度；按照-130hu至230hu范围的ct值，即窗宽360hu、窗位50hu进行处理，处理后的ct图像再进行归一化操作。
13.step1.2数据扩充采用随机水平翻转、垂直翻转、缩放、裁剪的方式进行数据增强；随机扩充之后划分数据，其中82％用作训练集，其余的18％用作测试集，训练集按照8:2的比例进一步划分为训练数据及验证数据，用于对模型进行训练及模型选择。
14.进一步地，所述step2的具体步骤如下：
15.step2.1经过图像预处理后，使用resnext-101网络的前五层作为特征提取层，将每个resnext块内的卷积分为32个路径，每个路径处理的中间通道维度均为4，不同路径相当于不同的特征子空间，用于提取不同的语义特征，同时不同路径卷积核学到的关系更加稀疏，降低过拟合的风险。
16.step2.2将resnext网络结构中layer 1-4层输出结果的通道维度通过线性变换统一为64，并将特征图尺寸上采样到与layer 1保持一致。拼接这四个特征，拼接后的特征通过一个1
×
1卷积压缩至64后，得到多尺度特征，特征通道数与特征图大小与layer 1-4经处理后的特征维度一致。
17.进一步地，所述step3的具体步骤为：
18.step3.1腹部ct图像中不同器官之间存在着一定的联系，获取这种联系可以改善肝脏器官分割效果。受非局部均值算法中计算当前位置与图像中其他位置相关性思想的启发，以step2得到的多尺度特征出发，分别进行三次线性映射得到key、query、value嵌入空间特征，线性映射采用1
×
1卷积实现。
19.step3.2计算特征key与query的相似度，计算相关性的函数根据非局部均值选用的gaussian函数得到，计算公式为：其中xi是输入特征图的第i个位置，j表示所有与i可能相关的位置。将计算得到的相似度加权到value上得到自注意力特征。
20.step3.3自注意力特征经过softmax层得到自注意力权重的输出，从而将学习到的长距离依赖关系融入到输出特征中，总体的计算公式如下：
[0021][0022]
其中，c(x)是softmax标准化函数，函数g线性映射输入j位置的表示，通常采用1
×
1卷积实现，函数f计算输入第i个位置与第j个位置的相关性。
[0023]
进一步地，所述step4的具体步骤为：
[0024]
step4.1由step3提取到包含多尺度信息和自注意力关系的融合特征，通过改进的卷积模块进行进一步特征提取。多尺度自注意力融合特征经过一个1
×
1卷积，将特征通道映射至指定维度，然后经过一个1
×
1卷积和一个3
×
3卷积并得到两者的特征加和。
[0025]
step4.2使用作用在通道维度的注意力模块(channel attention,ca)对特征通道进行通道重标定，并使用一条残差路径使原始特征与通道注意力特征融合，得到残差模块的输出特征，具体计算如公式所示：
[0026]ymra
(x)＝y
ca
(w
l
x+wex)+x
[0027]
其中，y
mra
(x)表示多级残差注意力卷积操作，x表示输入特征。w
l
是1
×
1卷积矩阵，用于线性映射原输入，相当于一个残差路径。we是3
×
3卷积矩阵，用于对输入特征进行特征抽取，y
ca
表示通道注意力操作。
[0028]
step4.3提取到的特征采用集成学习的多路并行思想得到四组分割输出，将四组输出计算取平均后作为最终输出结果。
[0029]
对本发明做进一步阐述，所述step1和step4中：
[0030]
1)数据预处理方法：
[0031]
原始ct图像包含较大范围的ct值，整体表现为对比度较差，图像中各个器官之间灰度差异较小，难以分辨。在医学ct影像上，通常使用目标器官对应的hu值范围进行处理来增加对比度。肝脏部位通常采用窗宽150、窗位30进行处理，但肝脏器官与肝脏肿瘤存在灰度差，若按照肝脏的hu值处理方法，势必会导致部分肝脏肿瘤区域的灰度损失，导致重要信息丢失从而造成训练效果不佳。针对这一问题本发明通过分析直方图hu值分布得到ct值范围为-130hu至230hu，即窗宽360hu、窗位50hu。再经过归一化操作后得到处理过的ct图像，经过处理后的图像在最大程度的保留了目标区域的信息的同时增强了器官之间的对比度，更有利于对模型的训练，处理前的图像如图3(a)，处理后的图像如图3(b)。
[0032]
2)损失函数设计：
[0033]
针对数据集存在的正负样本不均衡这一情况，采用二元交叉熵(binary cross entropy,bce)与骰子损失(dice loss,dl)加权结合的方式作为训练损失，损失函数l的计算公式如下：
[0034][0035][0036][0037]
其中，y表示真实的分割图值，为模型预测的分割图值，ω为两种损失的权重设置为0.5，∈为避免分母为0而设置的平滑项设置为1.0。
[0038]
本发明的有益效果是：
[0039]
1、本发明的基于全局自注意力与多尺度特征融合的肝脏ct图像分割方法，针对肝脏分割任务特点，选用多尺度策略提取多样特征，将不同网络层提取到的多尺度特征用于引入多尺度空间信息，解决肝脏分割中边界模糊等问题。引用全局自注意力机制构建不同语义类别对应图像特征间的关系，使模型能够更好地捕捉肝脏与其他器官对应语义特征间的关联，解决肝脏形状变化大的问题。
[0040]
2、每个通道维度对应一类语义信息，其映射为原图中的一类图像特征。但我们希望肝脏器官对应的图像特征应当拥有更高的重要程度，显然相同的通道权重不利于关键特征的表达。针对这个问题，本发明设计了多级残差注意力卷积mra模块用于凸显通道维度中重要语义特征的作用。
[0041]
综上所述，这种基于全局自注意力与多尺度特征融合的肝脏ct图像分割方法，首先利用resnext卷积神经网络获取腹部ct图像中的多尺度特征，再使用全局自注意力模块抓取空间位置关系，并结合多级残差注意力模块凸显通道维度中重要语义特征的作用；最终提高了肝脏图像分割的精度。
附图说明
[0042]
图1基于全局自注意力与多尺度特征融合的肝脏ct图像分割方法结构图；
[0043]
图2为本发明中基于全局自注意力模块的示意图；
[0044]
图3为本发明预处理前后的对比图；其中，(a)处理前的图像；(b)处理后的图像；
[0045]
图4为本发明分割结果的可视化对比图；其中，(a)ct图片；(b)参考分割标准；(c)原始模型分割结果；(d)加入自注意力模块模型分割结果；(e)加入改进的卷积模组模型分割结果。
具体实施方式
[0046]
实施例1：如图1-图4所示，一种基于全局自注意力与多尺度特征融合的肝脏ct图像分割方法的具体步骤如下：
[0047]
step1、图像预处理：对lits数据集中的ct图像按照hu值范围进行处理来增加对比度，采用随机翻转等方式来扩充数据集。
[0048]
进一步地，所述step1的具体步骤如下：
[0049]
step1.1对lits数据集中的ct图像按照肝脏器官对应的hu值范围进行处理来增加对比度。按照-130hu至230hu范围的ct值，即窗宽360hu、窗位50hu进行处理，处理后的ct图像再进行归一化操作。
[0050]
step1.2数据扩充采用随机水平翻转、垂直翻转、缩放、裁剪的方式进行数据增强。随机扩充之后划分数据，其中82％用作训练集，其余的18％用作测试集，训练集按照8:2的比例进一步划分为训练数据及验证数据，用于对模型进行训练及模型选择。
[0051]
step2、获取同一维度特征和多尺度特征：经step1预处理操作之后，利用resnext卷积神经网络提取图像特征，通过线性变换得到统一维度的卷积特征和基于该卷积特征的多尺度特征。
[0052]
进一步地，所述step2的具体步骤如下：
[0053]
step2.1经过图像预处理后，使用resnext-101网络的前五层作为特征提取层，将
每个resnext块内的卷积分为32个路径，每个路径处理的中间通道维度均为4，不同路径相当于不同的特征子空间，用于提取不同的语义特征。
[0054]
step2.2将resnext网络结构中layer 1-4层输出结果的通道维度通过线性变换统一为64，并将特征图尺寸上采样到与layer 1保持一致。拼接这四个特征，拼接后的特征通过一个1
×
1卷积压缩至64后，得到多尺度特征，特征通道数与特征图大小与layer 1-4经处理后的特征维度一致。
[0055]
step3、得到全局自注意力融合特征：以step2获得的多尺度特征，通过全局自注意力模块(non-local)得到包含全局信息的自注意力融合特征，以捕获目标特征与周围特征间的关系。
[0056]
进一步地，所述step3的具体步骤如下：
[0057]
step3.1腹部ct图像中不同器官之间存在着一定的联系，获取这种联系可以改善肝脏器官分割效果。受非局部均值算法启发,本发明选取non-local全局自注意力，以step2得到的多尺度特征出发，分别进行三次线性映射得到key、query、value嵌入空间特征，线性映射采用1
×
1卷积实现，多尺度融合特征不同注意力方法对比如表1所示。
[0058]
表1多尺度融合特征采用不同注意力方法对比
[0059][0060][0061]
step3.2计算特征key与query的相似度，计算相关性的函数根据非局部均值选用的gaussian函数得到，计算公式为：其中xi是输入特征图的第i个位置，j表示所有与i可能相关的位置。将计算得到的相似度加权到value上得到自注意力特征。
[0062]
step3.3自注意力特征经过softmax层得到自注意力权重的输出，从而将学习到的长距离依赖关系融入到输出特征中；总体的计算公式如下：
[0063][0064]
其中，c(x)是softmax标准化函数，函数g线性映射输入j位置的表示，通常采用1
×
1卷积实现，函数f计算输入第i个位置与第j个位置的相关性。
[0065]
step4、将step3得到的自注意力融合特征通过改进的卷积模块进行特征提取，凸显通道维度中重要语义特征的作用，最终上采样得到分割结果。
[0066]
进一步地，所述step4的具体步骤如下：
[0067]
step4.1由step3提取到包含多尺度信息和自注意力关系的融合特征，通过改进的卷积模块进行进一步特征提取融合特征中的信息。多尺度自注意力融合特征经过一个1
×
1卷积，将特征通道映射至指定维度，然后经过一个1
×
1卷积和一个3
×
3卷积并得到两者的特征加和。
[0068]
step4.2使用作用在通道维度的注意力模块(channel attention,ca)对特征通道进行通道重标定，并使用一条残差路径使原始特征与通道注意力特征融合，得到残差模块的输出特征；具体计算如公式所示：
[0069]ymra
(x)＝y
ca
(w
l
x+wex)+x
[0070]
其中，y
mra
(x)表示多级残差注意力卷积操作，x表示输入特征。w
l
是1
×
1卷积矩阵，用于线性映射原输入，相当于一个残差路径。we是3
×
3卷积矩阵，用于对输入特征进行特征抽取，y
ca
表示通道注意力操作。
[0071]
step4.3提取到的特征采用集成学习的多路并行思想得到四组分割输出，将四组输出计算取平均后作为最终输出结果。
[0072]
本发明实验采用的硬件环境配置为intel(r)xeon(r)cpu e5-2620 v4@2.10ghz，gpu nvdia titan xp硬件平台，操作系统为ubuntu 18.04.1，软件平台包括gpu并行计算架构cuda以及基于python编程语言的pytorch深度学习框架。本文使用adam优化器，学习率变化策略采用余弦退火(cosineannealing)策略，初始学习率为0.001，最小值为0.00001，每30轮次重置一次。训练总轮数为80轮，批量大小为4。
[0073]
表2是本发明在数据集lits上与医学图像分割领域方法的实验对比结果，其中包含unet、fcn等在内的经典分割算法，与本发明采用类似多尺度特征融合手段的daf，msaunet等算法，以及肝脏分割领域的知名算法h-denseunet、multiple unet等算法。本发明方法肝脏分割结果远高于fcn在内的经典分割算法，分割结果与真实分割的重叠区域平均dice值达到了96.4％，比经典模型unet高4.3％。鉴于本发明在采用2d模型的情况下取得了与3d方法近似的结果，说明本方法在肝脏分割任务中具有较强的竞争力。
[0074]
表2与现有方法对比
[0075][0076]
图4是本发明在数据集lits上的实验图像分割结果，其中，(a)ct图片；(b)参考分割标准；(c)原始模型分割结果；(d)加入自注意力模块模型分割结果；(e)加入改进的卷积模组模型分割结果；可以看到添加自注意力机制后，能够在一定程度上缓解预测中对于肝脏以外区域的错误预测，消除了部分假阳性预测结果，进一步证明了自注意力机制在肝脏分割任务中的作用。再进一步添加通道注意力机制完善的mra模块，通过对通道维度上语义特征的增强或抑制，成功消除了大部分的假阳性预测，同时使分割边缘更加贴近真实分割结果。
[0077]
上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述
实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离发明宗旨的前提下做出各种变化。