3D血管及气管分割方法及系统

3d血管及气管分割方法及系统
技术领域
1.本发明涉及3d分割领域，涉及3d管状组织的分割，具体涉及一种3d血管及气管分割方法及系统。


背景技术：

2.人体的器官系统分布着大量的管状结构，例如肺动脉，肺气管等。这些管状结构组织往往具有分形的特点，具有树状或网状的拓扑结构。随着相关影像设备的发展，采集到的管状组织(如血管、气管)影像可以到几个像素的级别，因此保留其细微的分支拓扑成为提取其结构的关键问题。人工提取其结构往往存在着耗时且主观差异大的问题，自动分析方法的研究是关注的热点。通过hessian矩阵能够提取其结构，其缺陷是在分叉处容易漏检和运算复杂。采用梯度向量流方法提取时会对弱边缘不敏感。管状结构通常是各向异性的，基于活动轮廓模型的水平集算法对高曲率的抑制作用会降低演化曲线的进化速度。近年来，深度学习方法，例如u-net，在医疗图像分割取得很好的效果，但直接应用相关网络进行分割并不能获得很好的效果，是因为实际情况中数据存在着：(1)前景背景样本不平衡，(2)噪声干扰，(3)数据量大带来的收敛困难。


技术实现要素：

3.为了克服上述现有技术中存在的缺陷，本发明的目的是提供一种3d血管及气管分割方法及系统。
4.为了实现本发明的上述目的，本发明提供了一种3d血管及气管分割方法，包括以下步骤：
5.获取3d血管或气管数据样本；
6.对所述3d血管或气管数据样本进行多模态数据生成,生成多模态数据时不对数据进行截取；
7.构建训练模型，所述训练模型包括粗模型和精模型；
8.将所述多模态数据进行缩放，然后将缩放后的数据和标签于粗模型中进行训练,分割出目标区域，对目标区域进行坐标还原，得到原始图像数据的感兴趣区域及其坐标；
9.根据所述感兴趣区域的坐标在原始图像数据上裁剪待分割组织，得到感兴趣区域对应的体素块，在体素块的6个面方向上进行体素扩充，得到训练体素块，将训练体素块进行多模态数据生成，然后于精模型中进行训练；
10.将待分割的3d血管或气管数据于训练好的训练模型中进行3d血管或气管分割。
11.该3d血管及气管分割方法能够减缓训练时数据不平衡带来的影响，较传统分割方法而言能够有效地提升血管或气管分割的精度。
12.该3d血管及气管分割方法的优选方案：对多模态数据进行缩放时，对多模态数据使用三线性插值进行缩放，对标签使用最近邻插值进行缩放。
13.该3d血管及气管分割方法的优选方案：在体素扩充时采用滑动窗推理，在推理的
过程中使用高斯核生成重要性映射图对推理结果进行平滑。该优选方案可减弱拼接伪影。
14.该3d血管及气管分割方法的优选方案：精模型训练时，以同等的概率从训练体素块的3个方向中选择一个方向进行训练，所述3个方向分别为训练体素块的冠状面，水平面，矢状面各自对应的方向，
15.对3个方向上训练生成的特征图进行加权平均后激活。
16.多角度的数据训练和推理，使该优选方案的分割精度更高。
17.该3d血管及气管分割方法的优选方案：训练精模型时，对训练体素块进行增强，增强方法至少包含两种，每种增强方法对应一个概率，根据概率来控制是否执行该概率对应的增强方法，然后将增强后得到的训练体素块进行多模态数据生成。这样增加了训练数据的多样性。
18.该3d血管及气管分割方法的优选方案：所述粗模型和精模型均包括编码器、解码器和三维注意力层；
19.每层编码器、解码器之后都有相应的三维注意力层来提取重要的空间和通道特征；
20.所述三维注意力层包括三维空间注意力模块和三维通道注意力模块；
21.所述三维通道注意力模块，让网络关注重要特征通道，同时抑制和当前任务不相关的特征通道；
22.所述三维空间注意力模块，让网络关注重要位置的特征图，同时抑制和当前任务不相关位置的特征；
23.将三维通道注意力模块和三维空间注意力模块的特征图结果相加获得融合后的特征图。
24.该3d血管及气管分割方法的优选方案：在每层编码器后加入残差连接，使得每层编码器的输出为y＝h(x)+x，其中，y表示网络层的输出特征图，x表示输入网络层的特征图，h(x)表示特征图x输入到网络层进行线性变换结果。x的存在使得细小的血管或气管的网络浅层特征得到保留。
25.该3d血管及气管分割方法的优选方案：解码器上采部分采用kernel＝2
×2×
2，stride＝2
×2×
2的转置卷积；
26.解码器部分为两个各向异性卷积，核大小分别为3
×3×
1，和1
×1×
3。
27.该优选方案中，转置卷积用以减缓棋盘效应带来的影响，各向异性卷积用以适应血管或气管的三维几何变形。
28.该3d血管及气管分割方法的优选方案：每层三维注意力层的输入通道和每层编码器/解码器的输出通道一致；
29.经过三维注意力层之后对输出的特征图进行降维，对于二分类任务，使用sigmoid对网络输出进行激活，对于多分类任务采用softmax进行激活，然后取最大概率的类别作为分割结果。
30.本发明还提出了一种3d血管及气管分割系统，包括处理器和存储器，所述处理器和存储器通信连接，所述存储器用于存放至少一条可执行指令，所述可执行指令使所述处理器执行如上述的3d血管及气管分割方法。该3d血管及气管分割系统具备上述3d血管及气管分割方法的所有优点。
31.本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
32.本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
33.图1是3d血管及气管分割方法的流程示意图；
34.图2是基于三维注意力机制的3d分割网络示意图；
35.图3是三维注意力层网络示意图；
36.图4是肺动脉分割结果；
37.图5是肺气管分割结果；
38.图6是训练肺动脉损失下降图。
具体实施方式
39.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
40.在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
41.如图1所示，本发明提供了一种3d血管及气管分割方法的实施例，该实施例包括以下步骤：
42.获取3d血管或气管数据样本；
43.对所述3d血管或气管数据样本进行多模态数据生成；
44.在进行多模态生成时，为了不丢失原始数据的信息，生成相应模态数据时不进行截取，因此不同模态的数据每个像素的值由公式决定，该公式的含义是对图像(尤其是ct图像)进行强度变换的方法，即某点的intensity转换为pixel的方式，其中，intensity表示ct图像的强度值，下标max和下标min表示数据中最大的强度和最小的强度，pixel是转换后的结果，intensity
max
和intensity
min
根据不同组织的强度分布来设定。
45.构建训练模型，所述训练模型包括粗模型和精模型。
46.本实施例中，粗模型和精模型均包括编码器、解码器和三维注意力层，本实施例中，如图2所示，编码器和解码器一共有4层，每层编码器或解码器之后都有相应的三维注意力层来提取重要的空间和通道特征，在每层编码器后加入了残差连接，使得每层编码器的输出为y＝h(x)+x，y表示某个网络层的输出特征图，x表示输入网络层的特征图，h(x)表示特征图x输入到网络层进行线性变换结果，因x的存在使得细小的血管或气管的网络浅层特征得到保留。
47.解码器上采部分和传统的u-net不同的是采用了kernel＝2
×2×
2，stride＝2
×2×
2的转置卷积，用以减缓棋盘效应带来的影响；解码器部分为两个各向异性卷积，核大小分别为3
×3×
1和1
×1×
3，用以适应血管或气管的三维几何变形。
48.三维注意力层包括三维空间注意力模块和三维通道注意力模块；三维通道注意力模块用于让网络关注重要特征通道，同时抑制和当前任务不相关的特征通道；三维空间注意力模块用于让网络关注重要位置的特征图，同时抑制和当前任务不相关位置的特征。
49.网络中的三维卷积层之后都经过instancenorm+relu的方式进行激活，因为采用了各向异性卷积，各层编码器和解码器的卷积方式略微不同，具体的编码器(encoder)和解码器(decoder)的三维卷积层的类型如表1所示。
50.表1三维卷积层类型
[0051][0052]
对训练模型训练包括对粗模型的训练和对精模型的训练。
[0053]
在训练粗模型时，将上述生成的多模态数据进行缩放，为了保证缩放后图像的正确标注，对多模态数据使用三线性插值进行缩放，标签使用最近邻插值进行缩放，训练时将缩放后的数据和标签按相应的规则整体组合为5维数据([b,c,h,w,d])进行训练,分割出目标区域，对目标区域进行坐标还原，得到原始图像数据的感兴趣区域及其坐标。这里的相应的规则是指：在缩放处理完之后，多模态的数据和其标签是离散的，无序的，因此我们需要将其组织为矩阵的形式，将4维的三维数据在b维度,即批量的那个维度上进行拼接，类似于排队，这个过程不改变三维数据的内容，是对他们进行有序的组织，形成五维数据([b,c,h,w,d])，其中，b为批量维度，表示矩阵中有几个三维数据；c是三维图像的通道，h是三维图像的高，w是三维图像的宽，d是三维图像的深度。
[0054]
医疗图像数据缩放前和缩放后所含有的物质是一样的，根据公式能得到原始图像数据上的感兴趣区域，该公式中original
coordinate
表示原始体素坐标，resized
coordinate
表示缩放后的体素坐标，resized
spacing
表示缩放后的体素间距，original
spacing
表示原始的体素间距，公式表示的含义是缩放后的体素坐标可以通过缩放后图像的体素间距和原始的体素间距转换到原始的体素坐标。
[0055]
训练精模型时，训练数据根据标签产生，即根据标签对应的感兴趣区域的坐标在原始图像数据上裁剪待分割组织，得到感兴趣区域对应的体素块，为了算法的鲁棒性，在体素块的6个面方向上根据任务不同进行体素扩充，得到训练体素块。例如，在分割小目标的任务时，例如动脉瘤，扩充5个体素的范围，即：高度方向扩充5个体素，宽度方向扩充5个体素，深度方向扩充5个体素；在分割大目标的任务时，例如肝脏，可能扩充10个体素的范围，
即：高度方向扩充10个体素，宽度方向扩充10个体素，深度方向扩充10个体素。扩充的具体参数是根据不同的分割任务来设置的。
[0056]
本实施例中在体素扩充时采用滑动窗推理，滑动窗之间按照设定的比例进行重叠，本实施例中系统中默认的重叠比例优选但不限于是0.25，重叠区域的特征结果根据重叠次数取平均值，即其中，参数overlap
feature
为加权后重叠特征的特征图；featurei为重叠部分的特征图i，j表示一共有j个重叠的特征图，该公式表示滑动窗推理时，重叠部分的特征图的值由各个滑动窗处于重叠区域的特征图相加平均而来。
[0057]
在推理的过程中使用高斯核生成重要性映射图对推理结果进行平滑，高斯分布的密度函数为σ为标准差，根据体素块的大小取公式中的σ，σ＝0.125*patchsize,μ＝0，其中，patchsize为滑动窗的滑动块的大小，这个大小是[高，宽，深度]的信息，每个维度有其对应的σ，平滑的时候分别从这三个维度上进行平滑，因此该公式中的x为特征图的高或宽或深度的维度值决定的范围内的取值，比如特征图的高的维度大小为192，则x的取值范围为[-96,96]。由于本实施例中，在训练的时候采用了基于块(patch)的训练策略，因此在推理的时候为了保证推理结果的连续性和一致性，这里通过滑动窗进行推理，且通过高斯核平滑分割结果，用以减少拼接伪影，使得临床诊断友好。根据上述方法，选取设定数量的3d血管或气管数据样本，可根据具体的任务来设定3d血管或气管数据样本的设定数量，如果3d血管或气管数据样本比较大，则设定较少的数量，如果3d血管或气管数据样本比较小，则设定较多的数量，这样的目的是为了能够充分使用计算资源，然后在每个选取的样本中裁剪指定数量的大小一致的训练体素块，每个体素块能够裁剪的训练体素块的数量由裁剪的体素块的大小决定，patch
num
＝(volume
h-patchh)
×
(volume
w-patchw)
×
(volume
d-patchd),其中，patch
num
为体素块的数量，volumeh为原始体素数据的高，patchh为裁剪体素块的高，volumew为原始体素数据的宽，patchw为裁剪体素块的宽，volumed为原始体素数据的深度，patchd为裁剪体素块的深度，该公式的含义是，裁剪出的体素块的数量由，裁剪体素块的高，宽，深度和原始体素数据的高，宽，深度决定。裁剪的体素块根据任务的不同，按一定的比例控制其正负样本的属性，这里比例的设置根据任务来设定，因为涉及到精度和泛化性的平衡,具体实施时，根据任务的要求选择其中一种比例即可：正样本：负样本》1:1，召回率和精度一般会更高，但可能有假阳性；正样本：负样本＝1:1默认为这个，这个是一种较为平衡的设定；正样本：负样本《1:1，假阳性较少，泛化性较好，但可能因为难以学习正样本的分布，召回率会变低。然后将裁减后的训练体素块进行多模态数据生成，并组合为5维数据([b,c,h,w,d])于精模型中进行训练。精模型训练时，以同等的概率从训练体素块的3个方向中选择一个方向进行训练，这3个方向分别为体素块的冠状面，水平面，矢状面各自对应的方向(h,w,d),(d,h,w),(d,w,h)，三方向在推理时都会推理一遍，生成对应的特征图，对3个方向上训练生成的特征图进行加权平均后激活。最后激活的特征图的值final
feature
＝active
func
((feature1+feature2+feature3)/3)，其中，active
func
为激活函数，例如softmax或是sigmoid，feature1+feature2+feature3为是冠状面，水平面，矢状面的特
征图，公式的含义是一个体素块的激活的特征，是它的冠状面，水平面，矢状面三个面的值相加取平均后激活的。
[0058]
训练时，对训练数据进行增强，增强方法有随机缩放，随机高斯噪声，随机高斯平滑，随机强度变换等。为了增加数据的多样性，本实施例中，增强方法至少包含两种，训练数据的策略不是依次执行所有的增强的方法，而是每个增强方法都有其独立的概率来控制是否执行该增强方法，在系统中其概率均默认设置为0.15。
[0059]
在训练粗模型和精模型时采用dice loss进行优化，其中，tp：真阳性,预测是1，标签是1，fp:假阳性，预测是1，标签是0；fn:假阴性，预测是0，标签是1。针对不同的任务，无论是二分类还是多分类，为了加快训练速度，都不计算背景的损失值。
[0060]
如图3所示，每层三维注意力层的输入通道和每层编码器/解码器的输出通道一致，对于三维通道注意力层，算法的执行流程如表2所示。
[0061]
表2通道注意力执行流程
[0062][0063][0064]
对于三维空间注意力层，算法的执行流程如表3所示。
[0065]
表3空间注意力执行流程
[0066][0067]
最后将两种特征图的结果进行相加获得融合后的特征图。
[0068]
经过三维注意力层之后对输出的特征图进行降维，对于二分类任务，使用sigmoid
对网络输出进行激活，其数学表达形式为，将特征图的值放入公式中得到激活后的特征，用于接下来的二值化操作，二值化的阈值为0.5，即大于或等于0.5的设置为1，小于0.5的设置为0；对于多分类采用softmax进行激活，给每一个通道赋予一个概率值，其数学表达式为其中，n是通道的数量，某个通道的概率通过该分式得来，xi就是这个通道的特征图，然后取最大概率的类别作为分割结果。这里的二分类任务表示分类任务中有两个类别，举例来说，从ct图像中分割出血管和背景，这个任务是二分类任务；多分类任务表示分类任务中有多个类别，举例来说，从ct图像中分割出肝、肾、脾、胰，这样的任务属于多分类任务。
[0069]
按上述方法对训练模型进行训练，训练完成后，将待分割的3d血管或气管数据于训练好的训练模型中进行3d血管或气管分割。
[0070]
本实施例给出了分割肺动脉和肺气管的结果图，如图4和图5所示，同时，还给出了训练肺动脉损失下降图，如图6所示。
[0071]
本技术还提出了一种3d血管及气管分割系统的实施例。该实施例中3d血管及气管分割系统包括处理器和存储器，所述处理器和存储器通信连接，所述存储器用于存放至少一条可执行指令，所述可执行指令使所述处理器执行如上述的3d血管及气管分割方法。其中，3d血管或气管数据样本可存储于存储器中，也可由图像获取模块获取并存储于存储器中。
[0072]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0073]
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。