基于深度学习的CT影像肺血管的分割方法及系统与流程

本发明涉及医学影像处理技术领域，尤其涉及一种基于深度学习的ct影像肺血管的分割方法及系统。

背景技术：

肺癌是对人类生命和健康威胁最大的肿瘤早期发现对于患者的生存和康复至关重要。临床上，肺结节检测是肺癌筛查的第一步。通过对ct影像中肺部气管和血管的检测和分割，对肺癌的早期筛查和评估具有重要意义。由于身体组织器官的复杂型和个体差异，再加上不同成像设备之间的差异性使得医学成像结果非常复杂，造成了传统医学图像分割方法分割结果不准确的问题。

在医学图像分割领域中的肺血管分割领域中，肺血管成像有对比度低，细小血管和气管结构复杂，肺部图像噪声较多，使得准确的肺血管分割具有一定的难度，在过去一些时间内，大多通过人工方式分割，不仅效率低，而且准确度因人而异，难以得到保证。

近几年来人工智能技术，尤其是深度学习方法，发展十分迅速，在医学图像分割领域也有十分广泛的应用，但是就目前公开的方法而言，在肺血管分割的准确上仍旧需要进一步提升。

公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。

技术实现要素：

针对现有技术存在的问题，本发明实施例提供一种基于深度学习的ct影像肺血管的分割方法及系统。

第一方面，本发明实施例提供一种基于深度学习的ct影像肺血管的分割方法，其使用的深度学习网络模型为3dunet，并包括以下步骤：

步骤s1，预处理：将输入ct影像的图像灰度值规范化，提取肺的轮廓和肺部感兴趣的区域，并根据肺部感兴趣的区域将肺部区域图像从ct影像中筛选出来；

步骤s2，三维采样：根据筛选出的肺部区域图像，在肺部感兴趣的区域按照步长为48×48×48，提取大小为80×80×64且有相互重叠的局部片块图像；

步骤s3，血管分割：根据上述三维采样得到的一系列图像，输入到3dunet网络中，得到局部的血管分割结果，将所有局部片块的分割结果组合起来得到整体的血管分割结果；

步骤s4，血管动静脉区分：根据上述三维采样得到的一系列图像，输入到3dunet网络中，得到局部的动静脉分割结果，将所有局部片块的分割结果组合起来得到整体的动静脉分割结果；

步骤s5，后处理：结合血管动静脉区分得到的动静脉概率图和血管分割模块得到的血管初步分割结果。

进一步地，步骤s3中，标注数据包括：肺内小血管和心脏部分的肺外大血管，其中肺内小血管标注值为1，肺外大血管标注值为2，血管分割中输出图像中包含2个通道，分别表示该像素属于肺内小血管和肺外大血管的概率值。

进一步地，步骤s3中，3dunet的训练方式为：提取肺部感兴趣的区域，按照标注好的血管提取其骨架点；对于每一个ct影像，以其血管骨架点为基点，从中随机选取600个80×80×64的局部片块图像，并在提取的肺部感兴趣的区域随机选取其他200个80×80×64的局部片块图像，输入网络进行训练。

进一步地，步骤s4中，标注数据包括：肺内小血管动静脉和心脏部分的肺外大血管动静脉，其中肺内小血管动静脉的标注值分别为1和2，肺外大血管动静脉的标注值分别为3和4；动静脉区分中输出图像中包括4个通道，分别表示该像素属于肺内小血管动静脉和肺外大血管动静脉的概率值。

进一步地，步骤s3的3dunet训练中的数据增广方式有：水平翻转、垂直翻转、随机旋转、随机高斯噪声和随机gamma变换。

进一步地，步骤s5中的血管初步分割结果利用图割方法得到动静脉分割结果，计算图像中的最大连通区域作为最终的血管动静脉分割结果。

进一步地，3dunet深度学习网络模型包括：

编码器：对输入图像通过卷积网络和下采样进行高层次抽象特征的提取，把图像编码为尺寸只有原图1/16的特征图；

解码器：把编码器输出的特征图通过卷积网络和上采样解码，输出与原尺寸相同的图像；

跳跃连接：将编码器中较浅层的高分辨率特征与解码器中较高层的低分辨率特征直接相连。

第二方面，本发明实施例提供一种基于深度学习的ct影像肺血管的分割系统，包括：

预处理模块，用于将输入ct影像的图像灰度值规范化，提取肺的轮廓和肺部感兴趣的区域，并根据肺部感兴趣的区域将肺部区域图像从ct影像中筛选出来；

三维采样模块，用于根据筛选出的肺部区域图像，在肺部感兴趣的区域按照步长为48×48×48，提取大小为80×80×64且有相互重叠的局部片块图像；

血管分割模块，用于根据上述三维采样模块得到的一系列图像，输入到3dunet网络中，得到局部的血管分割结果，将所有局部片块的分割结果组合起来得到整体的血管分割结果；

血管动静脉区分模块，用于根据上述三维采样模块得到的一系列图像，输入到3dunet网络中，得到局部的动静脉分割结果，将所有局部片块的分割结果组合起来得到整体的动静脉分割结果；

后处理模块，用于结合血管动静脉区分模块得到的动静脉概率图和血管分割模块得到的血管初步分割结果，利用图割方法得到动静脉分割结果，计算图像中的最大连通区域作为最终的血管动静脉分割结果。

第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的基于深度学习的ct影像肺血管的分割方法的步骤。

第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的基于深度学习的ct影像肺血管的分割方法的步骤。

本发明实施例提供的一种基于深度学习的ct影像肺血管的分割方法及系统能够分割肺内小血管和肺外大血管，并且能够完全自动的将动静脉区分开来，提高了分割的准确度。另外，在动静脉区分中使用的基于图割的后处理方法，能够将unet网络分割错误的动静脉十分有效的纠正。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于深度学习的ct影像肺血管的分割流程示意图；

图2为本发明实施例提供的方法步骤s5中图割方法示意图；

图3为本发明实施例提供的方法中深度学习网络模型3dunet分割网络结构示意图；

图4本发明实施例提供的基于深度学习的ct影像肺血管的分割系统的原理图；

图5本发明实施例提供的一种电子设备的实体结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。

图1为本发明实施例提供的一种基于深度学习的ct影像肺血管的分割方法流程图，如图1所示，该方法使用的深度学习网络模型为3dunet，包括以下步骤：

步骤s1，预处理：将输入ct影像的图像灰度值规范化，提取肺的轮廓和肺部感兴趣的区域roi(regionofinterest)，并根据肺部感兴趣的区域将肺部区域图像从ct影像中筛选出来；

步骤s2，三维采样：根据筛选出的肺部区域图像，在肺部感兴趣的区域按照步长为48×48×48，提取大小为80×80×64且有相互重叠的局部片块(patch)图像；

步骤s3，血管分割：根据上述三维采样得到的一系列图像，输入到3dunet网络中，得到局部的血管分割结果，将所有局部片块(patch)的分割结果组合起来得到整体的血管分割结果；

步骤s4，血管动静脉区分：根据上述三维采样得到的一系列图像，输入到3dunet网络中，得到局部的动静脉分割结果，将所有局部片块(patch)的分割结果组合起来得到整体的动静脉分割结果；

步骤s5，后处理：结合血管动静脉区分得到的动静脉概率图和血管分割模块得到的血管初步分割结果，利用图割方法得到动静脉分割结果，计算图像中的最大连通区域作为最终的血管动静脉分割结果。

本发明实施例的步骤s3中，标注数据包括：肺内小血管和心脏部分的肺外大血管，其中肺内小血管标注值为1，肺外大血管标注值为2，血管分割中输出图像中包含2个通道，分别表示该像素属于肺内小血管和肺外大血管的概率值。3dunet的训练方式为：提取肺部感兴趣的区域，按照标注好的血管提取其骨架点；对于每一个ct影像，以其血管骨架点为基点，从中随机选取600个80×80×64的局部片块(patch)图像，并在提取的肺部感兴趣的区域随机选取其他200个80×80×64的局部片块(patch)图像，输入网络进行训练；训练中的数据增广方式有：水平翻转、垂直翻转、随机旋转、随机高斯噪声和随机gamma变换。训练网络所需要的局部片块(patch)图像的数量级为100k。

本发明实施例的步骤s4中，标注数据包括：肺内小血管动静脉和心脏部分的肺外大血管动静脉，其中肺内小血管动静脉的标注值分别为1和2，肺外大血管动静脉的标注值分别为3和4。动静脉区分中输出图像中包括4个通道，分别表示该像素属于肺内小血管动静脉和肺外大血管动静脉的概率值。该模块中3dunet网络的训练方法与上述血管分割模块中的训练方法相同。

本发明实施例的步骤s5中，如图2所示，利用图割方法(graphcut)，在步骤s3和步骤s4得到血管分割结果和动静脉分割初步结果的基础上，对动静脉分割结果进行优化，得到最终的动静脉分割结果。根据文献(yuriboykovandvladimirkolmogorov,“anexperimentalcomparisonofmin-cut/max-flowalgorithmsforenergyminimizationinvision”,inieeetransactionsonpami,vol.26,no.9,pp.1124-1137,2004)中的描述，可以将三维图像视作一个有向图(directedgraph)，其中每一个像素点均为图中的节点(vertex)，每个像素与其邻点间的连线构成节点之间的边(edge)，每条边可以赋予不同的权重(weight)图结构可以用g(v,e)表示。如图3所示，在图像分割任务中，除去图像所有像素构成的节点外，还需要另外增加源(source)节点s和汇(sink)节点t，分别用以表示图像中的前景和背景。图像分割等效于求解图的最小切分(min-cut)，而最小切分问题与可以通过最大流方法(max-flow)求解。对于图像中某一切分(cut)a，其能量函数为这一切分上所有边的权重之和，计算公式如下

e＝λ·r+b

其中r(a)为区域项(regionterm)，表示像素属于前景或背景的惩罚度，b(a)为边界项(boundary)，表示像素之间的相似度。

根据动静脉区分模块得到的结果，分别合并肺内外动静脉分割结果，并计算动静脉的各自的最大连通图像，得到一个2通道的动静脉三维概率图。以静脉为前景，其概率值pv作为前景概率；相应的，动脉作为图中的背景。根据血管分割结果，将动静脉区分模块中没有分割出来的血管概率值设为pv＝0.5。区域项的计算方法如下

边界项的计算方法为

其中ip和iq分别表示像素节点的灰度值。

根据文献中的描述，区域项作为图中每一个节点到源点和汇点的边的权重，边界项作为节点之间的边的权重，利用最大流方法求解图中的最小切分。借助水流的类比，图中的边可以视作管道，边的权重可以视作该管道的最大容量，最大流方法就是求解从源点s流向汇点t的最大流量。在图g(v,e)中，如果某节点的净流量不等于0，则称该节点为活动节点(activenode)；反之，则称为抑制节点(passivenode)；如果某条边的流量等于其容量，则称该边为饱和边(saturatededge)；反之，则称为非饱和边(non-saturatededge)。如果在求解过程中，某节点的父节点流向该节点的流量为0，那么该节点成为孤立节点(orphan)。如果某节点不存在任何父子节点，则该节点称为自由节点(freenode)。

最大流方法根据图g(v,e)建立以源点的为根节点s树和以汇点为根节点的t树，通过不断重复下面三个阶段计算图的最大流：

生长阶段(growthstage)：搜索s树到t树的一条非饱和路径。

增广阶段(augmentationstage)：对找到的路径进行增广，即将路径上所有边的剩余容量减去该路径上最小容量边的容量，增大s到t的流量，同时某些节点成为孤立点，s树和t树分裂为森林。

恢复阶段(adoptionstage)：为所有孤立节点重新分配父节点，将s森林和t森林重新组合为s树和t树。

当在生长节点找不到非饱和路径时，整个求解过程结束。

如图3所示，本发明实施例的3dunet深度学习网络模型包括：

编码器(encoder)：对输入图像通过卷积网络和下采样进行高层次抽象特征的提取，把图像编码为尺寸只有原图1/16的特征图(featuremap)。

解码器(decoder)：把编码器输出的特征图通过卷积网络和上采样解码，输出与原尺寸相同的图像，其像素值表示该像素属于目标分割区域的概率。

跳跃连接(skipconnection)：将编码器中较浅层的高分辨率特征与解码器中较高层的低分辨率特征直接相连，解决高层特征中细节(高分辨率)信息丢失的问题。

基于上述任一实施例，图4为本发明实施例提供的一种基于深度学习的ct影像肺血管的分割系统的原理图，该系统包括：

预处理模块，用于将输入ct影像的图像灰度值规范化，提取肺的轮廓和肺部感兴趣的区域roi(regionofinterest)，并根据肺部感兴趣的区域将肺部区域图像从ct影像中筛选出来；

三维采样模块，用于根据筛选出的肺部区域图像，在肺部感兴趣的区域按照步长为48×48×48，提取大小为80×80×64且有相互重叠的局部片块(patch)图像；

血管分割模块，用于根据上述三维采样模块得到的一系列图像，输入到3dunet网络中，得到局部的血管分割结果，将所有局部片块(patch)的分割结果组合起来得到整体的血管分割结果；

血管动静脉区分模块，用于根据上述三维采样模块得到的一系列图像，输入到3dunet网络中，得到局部的动静脉分割结果，将所有局部片块(patch)的分割结果组合起来得到整体的动静脉分割结果；

后处理模块，用于结合血管动静脉区分模块得到的动静脉概率图和血管分割模块得到的血管初步分割结果，利用图割方法得到动静脉分割结果，计算图像中的最大连通区域作为最终的血管动静脉分割结果。

综上所述，本发明实施例提供的基于深度学习的ct影像肺血管的分割方法及系统能够分割肺内小血管和肺外大血管，并且能够完全自动的将动静脉区分开来，提高了分割的准确度。另外，在动静脉区分中使用的基于图割的后处理方法，能够将unet网络分割错误的动静脉十分有效的纠正。

图5为本发明实施例提供的一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)301、通信接口(communicationsinterface)302、存储器(memory)303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信。处理器301可以调用存储在存储器303上并可在处理器301上运行的计算机程序，以执行上述各实施例提供的方法，例如包括：

步骤s1，预处理：将输入ct影像的图像灰度值规范化，提取肺的轮廓和肺部感兴趣的区域roi(regionofinterest)，并根据肺部感兴趣的区域将肺部区域图像从ct影像中筛选出来；

步骤s2，三维采样：根据筛选出的肺部区域图像，在肺部感兴趣的区域按照步长为48×48×48，提取大小为80×80×64且有相互重叠的局部片块(patch)图像；

步骤s3，血管分割：根据上述三维采样得到的一系列图像，输入到3dunet网络中，得到局部的血管分割结果，将所有局部片块(patch)的分割结果组合起来得到整体的血管分割结果；

步骤s4，血管动静脉区分：根据上述三维采样得到的一系列图像，输入到3dunet网络中，得到局部的动静脉分割结果，将所有局部片块(patch)的分割结果组合起来得到整体的动静脉分割结果；

步骤s5，后处理：结合血管动静脉区分模块得到的动静脉概率图和血管分割模块得到的血管初步分割结果，利用图割方法得到动静脉分割结果，计算图像中的最大连通区域作为最终的血管动静脉分割结果。

本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：

步骤s1，预处理：将输入ct影像的图像灰度值规范化，提取肺的轮廓和肺部感兴趣的区域roi(regionofinterest)，并根据肺部感兴趣的区域将肺部区域图像从ct影像中筛选出来；

步骤s2，三维采样：根据筛选出的肺部区域图像，在肺部感兴趣的区域按照步长为48×48×48，提取大小为80×80×64且有相互重叠的局部片块(patch)图像；

步骤s3，血管分割：根据上述三维采样得到的一系列图像，输入到3dunet网络中，得到局部的血管分割结果，将所有局部片块(patch)的分割结果组合起来得到整体的血管分割结果；

步骤s4，血管动静脉区分：根据上述三维采样得到的一系列图像，输入到3dunet网络中，得到局部的动静脉分割结果，将所有局部片块(patch)的分割结果组合起来得到整体的动静脉分割结果；

步骤s5，后处理：结合血管动静脉区分模块得到的动静脉概率图和血管分割模块得到的血管初步分割结果，利用图割方法得到动静脉分割结果，计算图像中的最大连通区域作为最终的血管动静脉分割结果。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。