一种肺部动静脉血管分割方法及系统与流程

1.本发明属于人工智能技术领域，尤其涉及一种肺部动静脉血管分割方法及系统。


背景技术：

2.肺部动静脉分割是重要且复杂的临床实践，肺部三维重建、手术术前规划等多项业务的场景中都需要对肺部的动静脉进行精准的分割。胸外科医师在进行肺部手术前，需要对肺部ct进行三维重建，得到肺部动静脉的精准分割，据此制定具体手术方案。但是，对肺部ct中的动静脉进行分割具有以下三方面的挑战：第一，人工分割动静脉工作量繁重，每例ct的动静脉分割大约耗时2～3小时；第二，血管的几何结构较为细长，血管末梢往往仅有一两个像素，给算法自动分割带来了困难；第三，动静脉之间无法通过像素值区分，区别在于其在肺中的位置，这要求算法能够提取肺部解剖结构的全局信息。
3.近来，新兴的深度学习技术在医学图像相关任务上取得了可与临床医师媲美的成绩，目前也有将深度学习技术应用于动静脉分割的案例。例如，公开号为cn112716446a的中国专利申请，其公开了一种高血压性视网膜病变的病变特征的测量方法及测量系统，其包括获取眼底图像；对眼底图像的视盘区域进行识别并分区；利用基于深度学习的动静脉分割模型对眼底图像进行动脉和静脉分割；基于分区和动静脉分割结果对眼底图像中的病变特征进行测量。但该技术是针对视网膜中的动静脉，并不是针对肺部动静脉。又如公开号为cn110738652a的中国专利申请，其公开了一种肺部动静脉分离方法及装置，包括：从肺部ct图像中提取肺血管区域；计算所述肺血管区域内任一像素点与支气管中心线的第一平行度，以及，计算所述肺血管区域内任一像素点的邻域内像素点与支气管中心线的第二平行度；根据所述第一平行度和所述第二平行度，将所述动脉区域和所述静脉区域进行分割。该方法繁杂且需要人工的预先标记，无法实现高效且快速的肺部动静脉分割。又如pietro nardelli等发表的pulmonary artery
–
vein classification in ct images using deep learning学术论文，提出利用尺度空间粒子来分割肺部血管，再通过卷积神经网络对血管进行分类，最后利用图分割优化算法对分割进行精修。该方法包含大量的启发式算法，且步骤繁琐。同时，该方法无法提取对肺部整体解剖信息的全局信息，鲁棒性相对较低。
4.现有技术主要存在以下缺陷：第一，算法步骤繁多且缓慢，无法适应临床医师对快速肺部动静脉分割的需求；第二，存在大量启发式算法，鲁棒性较低；第三，多基于局部ct图像，无法捕捉肺部解剖结构的全局信息；第四，无法很好地捕捉血管的管腔状结构。


技术实现要素：

5.本发明的主要目的在于克服现有技术的缺点与不足，提供一种肺部动静脉血管分割方法及系统，使用两个级联的模型，先训练动静脉粗分割模块，再用动静脉粗分割模块的输出来训练动静脉精分割模块，能够捕捉肺部解剖结构的全局信息和血管的管腔状结构，鲁棒性高，满足了临床快速肺部动静脉分割的需求。
6.根据本发明的一个方面，本发明提供了一种肺部动静脉血管分割方法，所述方法
包括以下步骤：
7.s1:预处理模块对肺部ct图像进行第一预处理，得到高分辨率ct图像；预处理模块对肺部ct图像进行第二预处理，得到低分辨率ct图像；
8.s2:动静脉粗分割模块以所述低分辨率ct图像为输入，输出动静脉血管粗分割结果；
9.s3:动静脉精分割模块以所述动静脉血管粗分割结果和所述高分辨率ct图像为输入，输出动静脉血管精分割结果。
10.优选地，所述第一预处理包括：
11.对原始大小的肺部ct图像进行归一化处理，得到高分辨率ct图像；对原始大小的肺部ct图像进行标注，得到高分辨率动静脉分割标注；
12.预处理模块利用所述高分辨率动静脉分割标注计算血管的空间欧氏距离变换edt，得到高分辨率edt，所述edt的计算公式如下：
[0013][0014][0015]
其中，i，j和k分别为分别为当前体素的三维坐标，s为高分辨率动静脉分割标注的坐标空间，f为高分辨率动静脉分割标注中标注为血管的坐标集合，b为高分辨率动静脉分割标注中标注为背景的坐标集合。
[0016]
优选地，所述第二预处理包括：
[0017]
将原始大小的ct图像重采样至预定的大小，得到低分辨率ct图像；将所述高分辨率动静脉分割标注重采样至预定的大小，得到低分辨率标注；将所述高分辨率edt重采样至预定的大小，得到低分辨率edt。
[0018]
优选地，分别根据所述低分辨率edt和高分辨率edt训练所述动静脉粗分割模块和动静脉精分割模块；其中，用于训练所述动静脉粗分割模块的损失函数如下：
[0019][0020][0021][0022][0023][0024]
式中，y
seg
,y
edt
,分别为低分辨率动静脉分割标注、动静脉粗分割、低分
辨率edt、低分辨率edt预测，n为低分辨率ct中包含的像素个数。
[0025]
优选地，所述动静脉粗分割模块包括3du-net网络；所述动静脉精分割模块包括3ddeeplab网络。
[0026]
根据本发明的另一方面，本发明还提供了一种肺部动静脉血管分割装置，所述装置包括：
[0027]
动静脉粗分割模块，以通过第二预处理得到的低分辨率ct图像为输入，输出动静脉血管粗分割结果；
[0028]
动静脉精分割模块，以所述动静脉血管粗分割结果和通过第一预处理得到的高分辨率ct图像为输入，输出动静脉血管精分割结果。
[0029]
优选地，所述通过第二预处理得到低分辨率ct图像，包括：
[0030]
将原始大小的ct图像重采样至预定的大小，得到低分辨率ct图像；将所述高分辨率动静脉分割标注重采样至预定的大小，得到低分辨率标注；将所述高分辨率edt重采样至预定的大小，得到低分辨率edt。
[0031]
优选地，所述通过第一预处理得到高分辨率ct图像，包括：
[0032]
对原始大小的肺部ct图像进行归一化处理，得到高分辨率ct图像；对原始大小的肺部ct图像进行标注，得到高分辨率动静脉分割标注；
[0033]
其中，利用所述高分辨率动静脉分割标注计算血管的空间欧氏距离变换edt，得到高分辨率edt，所述edt的计算公式如下：
[0034][0035][0036]
其中，i，j和k分别为分别为当前体素的三维坐标，s为高分辨率动静脉分割标注的坐标空间，f为高分辨率动静脉分割标注中标注为血管的坐标集合，b为高分辨率动静脉分割标注中标注为背景的坐标集合。
[0037]
优选地，所述装置还包括训练模块，所述训练模块分别根据所述低分辨率edt和高分辨率edt训练所述动静脉粗分割模块和动静脉精分割模块；其中，用于训练所述动静脉粗分割模块的损失函数如下：
[0038][0039][0040][0041]
[0042][0043]
式中，y
seg
,y
edt
,分别为低分辨率动静脉分割标注、动静脉粗分割、低分辨率edt、低分辨率edt预测，n为低分辨率ct中包含的像素个数。
[0044]
根据本发明的另一方面，本发明还提供了一种肺部动静脉血管分割系统，所述系统包括：
[0045]
预处理模块，对肺部ct图像进行第一预处理，得到高分辨率ct图像；对肺部ct图像进行第二预处理，得到低分辨率ct图像；
[0046]
动静脉粗分割模块，以所述低分辨率ct图像为输入，输出动静脉血管粗分割结果；
[0047]
动静脉精分割模块，以所述动静脉血管粗分割结果和所述高分辨率ct图像为输入，输出动静脉血管精分割结果。
[0048]
优选地，所述第一预处理包括：
[0049]
对原始大小的肺部ct图像进行归一化处理，得到高分辨率ct图像；对原始大小的肺部ct图像进行标注，得到高分辨率动静脉分割标注；
[0050]
预处理模块利用所述高分辨率动静脉分割标注计算血管的空间欧氏距离变换edt，得到高分辨率edt，所述edt的计算公式如下：
[0051][0052][0053]
其中，i，j和k分别为分别为当前体素的三维坐标，s为高分辨率动静脉分割标注的坐标空间，f为高分辨率动静脉分割标注中标注为血管的坐标集合，b为高分辨率动静脉分割标注中标注为背景的坐标集合。
[0054]
优选地，所述第二预处理包括：
[0055]
将原始大小的ct图像重采样至预定的大小，得到低分辨率ct图像；将所述高分辨率动静脉分割标注重采样至预定的大小，得到低分辨率标注；将所述高分辨率edt重采样至预定的大小，得到低分辨率edt。
[0056]
优选地，分别根据所述低分辨率edt和高分辨率edt训练所述动静脉粗分割模块和动静脉精分割模块；其中，用于训练所述动静脉粗分割模块的损失函数如下：
[0057][0058][0059]
[0060][0061][0062]
式中，y
seg
,y
edt
,分别为低分辨率动静脉分割标注、动静脉粗分割、低分辨率edt、低分辨率edt预测，n为低分辨率ct中包含的像素个数。
[0063]
优选地，所述动静脉粗分割模块包括3du-net网络；所述动静脉精分割模块包括3ddeeplab网络。
[0064]
有益效果：使用两个级联的模型，先训练动静脉粗分割模块，再用动静脉粗分割模块的输出来训练动静脉精分割模块，能够捕捉肺部解剖结构的全局信息和血管的管腔状结构，鲁棒性高，满足了临床快速肺部动静脉分割的需求。
[0065]
通过参照以下附图及对本发明的具体实施方式的详细描述，本发明的特征及优点将会变得清楚。
附图说明
[0066]
图1是本发明的肺部动静脉血管分割方法流程图；
[0067]
图2是本发明的另一肺部动静脉血管分割方法流程图；
[0068]
图3是本发明的肺部动静脉血管分割装置示意图；
[0069]
图4是本发明的肺部动静脉血管分割系统示意图。
具体实施方式
[0070]
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0071]
实施例1
[0072]
图1是本发明的肺部动静脉血管分割方法流程图。如图1所示，本发明提供一种肺部动静脉血管分割方法，所述方法包括以下步骤：
[0073]
s1:预处理模块对肺部ct图像进行第一预处理，得到高分辨率ct图像；预处理模块对肺部ct图像进行第二预处理，得到低分辨率ct图像。
[0074]
优选地，所述第一预处理包括：
[0075]
对原始大小的肺部ct图像进行归一化处理，得到高分辨率ct图像；对原始大小的肺部ct图像进行标注，得到高分辨率动静脉分割标注；
[0076]
预处理模块利用所述高分辨率动静脉分割标注计算血管的空间欧氏距离变换edt，得到高分辨率edt，所述edt的计算公式如下：
[0077][0078][0079]
其中，i，j和k分别为分别为当前体素的三维坐标，s为高分辨率动静脉分割标注的坐标空间，f为高分辨率动静脉分割标注中标注为血管的坐标集合，b为高分辨率动静脉分割标注中标注为背景的坐标集合。
[0080]
具体地，预处理模块以肺部ct图像和动静脉分割标注作为输入，首先将ct图像的体素值限制在[-1000,400]的范围内，并使用最小最大归一化将体素值范围缩放至[0,1]。最大最小归一化的公式如下：
[0081][0082]
其中v
in
、v
out
、v
min
、v
max
分别为输入的体素值、输出的体素值、最小体素值和最大体素值。将归一化后的原始大小肺部ct图像称为高分辨率ct，作为动静脉精分割模块的输入。
[0083]
将原始大小的动静脉分割标注称为高分辨率动静脉分割标注。同时，预处理模块用高分辨率动静脉分割标注来计算血管的空间欧氏距离变换(euclideandistancetransform，以下简称edt)。edt的计算公式如上面的公式所示。其中，i，j和k分别为分别为当前体素的三维坐标，s为高分辨率动静脉分割标注的坐标空间，f为高分辨率动静脉分割标注中标注为血管(动脉或静脉，即前景)的坐标集合，b为高分辨率动静脉分割标注中标注为背景的坐标集合。因此有f＝s∪b。
[0084]
在高分辨率动静脉分割标注上，预处理模块计算得到高分辨率edt。
[0085]
优选地，所述第二预处理包括：
[0086]
将原始大小的ct图像重采样至预定的大小，得到低分辨率ct图像；将所述高分辨率动静脉分割标注重采样至预定的大小，得到低分辨率标注；将所述高分辨率edt重采样至预定的大小，得到低分辨率edt。
[0087]
具体地，预处理模块使用三线性插值将肺部ct图像重采样至128
×
128
×
128像素大小，称为低分辨率ct，作为动静脉粗分割模块的输入；预处理模块使用近邻插值将其重采样至128
×
128
×
128像素大小，称为低分辨率动静脉分割标注；预处理模块将高分辨率edt通过三线性插值重采样至128
×
128
×
128大小，得到低分辨率edt。
[0088]
s2:动静脉粗分割模块以所述低分辨率ct图像为输入，输出动静脉血管粗分割结果。
[0089]
优选地，参考图2，所述动静脉粗分割模块包括3du-net网络；动静脉粗分割模块将低分辨率ct输入一个3d u-net网络(olaf ronneberger等，u-net:convolutional networks for biomedical image segmentation，2015medical image computing and computer assisted intervention(miccai)(2015))。3d u-net经过编码和解码的过程，输出128
×
128
×
128大小的动静脉粗分割以及低分辨率edt预测。
[0090]
s3:动静脉精分割模块以所述动静脉血管粗分割结果和所述高分辨率ct图像为输入，输出动静脉血管精分割结果。
[0091]
优选地，参考图2，所述动静脉精分割模块包括3d deeplab网络。动静脉精分割模块接受动静脉粗分割和高分辨率ct作为输入。首先将动静脉粗分割通过三线性插值重采样至与高分辨率ct一致的大小，将得到的结果与高分辨率ct一起送入3d deeplab(chen,liang-chieh等，encoder-decoder with atrous separable convolution for semantic image segmentation，arxiv abs/1802.02611(2018))。3d deeplab经过编码和解码的过程，输出与高分辨率ct同样大小的动静脉精分割以及高分辨率edt预测。
[0092]
优选地，分别根据所述低分辨率edt和高分辨率edt训练所述动静脉粗分割模块和动静脉精分割模块；其中，用于训练所述动静脉粗分割模块的损失函数如下：
[0093][0094][0095][0096][0097][0098]
式中，y
seg
,y
edt
,分别为低分辨率动静脉分割标注、动静脉粗分割、低分辨率edt、低分辨率edt预测，n为低分辨率ct中包含的像素个数。
[0099]
本实施例采用两阶段训练方法，分别训练动静脉粗分割模块和动静脉精分割模块。用于训练动静脉精分割模块的损失函数与前述损失函数一致，区别仅在于将对应的标注和预测替换为高分辨率版本。本实施例中涉及到两个级联的模型，训练方法为先训练动静脉粗分割模块，再用动静脉粗分割模块的输出来训练动静脉精分割模块。
[0100]
本实施例使用edt作为深度学习网络的监督信号，使得深度学习网络可以学习到血管的管腔状几何结构。本实施例使用二阶段由粗糙至精细(coarse-to-fine，以下简称c2f)的级联模型，而不是一阶段的单个模型。一阶段的模型往往将高分辨率ct裁剪成多个局部的图像，使用滑窗的方式进行模型训练和推断。这种方法丢失了高分辨率ct的全局信息。与此同时，受限于图形处理器(graphics processing unit，gpu)的存储器(即显存)大小，将完整的高分辨率ct输入进一个一阶段模型往往是不可行的。因此本实施例采取二阶段的c2f模型，首先将高分辨率ct重采样为粗糙且尺寸更小的低分辨率ct，使用一个u-net进行粗分割。获得粗分割后，将粗分割重采样至原始分辨率(即高分辨率)，再输入一个轻量化的3d deeplab中，得到高分辨率血管分割。
[0101]
本实施例通过始终输入完整ct，捕捉全局信息，免去繁杂的启发式算法。前述的其他动静脉分割方法往往为了获得动静脉的解剖结构，需要使用许多繁杂的启发式算法。本实施例通过始终输入完整的ct图像而不是局部ct图像，使得模型可以捕捉全局信息，从而
达到全部使用深度学习算法训练和推断的效果，免去了繁杂的启发式算法步骤。
[0102]
实施例2
[0103]
图3是本发明的肺部动静脉血管分割装置示意图。如图3所示，本发明还提供了一种肺部动静脉血管分割装置，所述装置包括：
[0104]
动静脉粗分割模块，以通过第二预处理得到的低分辨率ct图像为输入，输出动静脉血管粗分割结果；
[0105]
动静脉精分割模块，以所述动静脉血管粗分割结果和通过第一预处理得到的高分辨率ct图像为输入，输出动静脉血管精分割结果。
[0106]
优选地，所述通过第二预处理得到低分辨率ct图像，包括：
[0107]
将原始大小的ct图像重采样至预定的大小，得到低分辨率ct图像；将所述高分辨率动静脉分割标注重采样至预定的大小，得到低分辨率标注；将所述高分辨率edt重采样至预定的大小，得到低分辨率edt。
[0108]
优选地，所述通过第一预处理得到高分辨率ct图像，包括：
[0109]
对原始大小的肺部ct图像进行归一化处理，得到高分辨率ct图像；对原始大小的肺部ct图像进行标注，得到高分辨率动静脉分割标注；
[0110]
其中，利用所述高分辨率动静脉分割标注计算血管的空间欧氏距离变换edt，得到高分辨率edt，所述edt的计算公式如下：
[0111][0112][0113]
其中，i，j和k分别为分别为当前体素的三维坐标，s为高分辨率动静脉分割标注的坐标空间，f为高分辨率动静脉分割标注中标注为血管的坐标集合，b为高分辨率动静脉分割标注中标注为背景的坐标集合。
[0114]
优选地，所述装置还包括训练模块，所述训练模块分别根据所述低分辨率edt和高分辨率edt训练所述动静脉粗分割模块和动静脉精分割模块；其中，用于训练所述动静脉粗分割模块的损失函数如下：
[0115][0116][0117][0118]
[0119][0120]
式中，y
seg
,y
edt
,分别为低分辨率动静脉分割标注、动静脉粗分割、低分辨率edt、低分辨率edt预测，n为低分辨率ct中包含的像素个数。
[0121]
本实施例2的装置中的各个模块所执行的功能的具体实施过程与实施例1中的各个步骤的实施过程相同，在此不再赘述。
[0122]
实施例3
[0123]
图4是本发明的肺部动静脉血管分割系统示意图。如图4所示，本发明还提供了一种肺部动静脉血管分割系统，所述系统包括：
[0124]
预处理模块，对肺部ct图像进行第一预处理，得到高分辨率ct图像；对肺部ct图像进行第二预处理，得到低分辨率ct图像；
[0125]
动静脉粗分割模块，以所述低分辨率ct图像为输入，输出动静脉血管粗分割结果；
[0126]
动静脉精分割模块，以所述动静脉血管粗分割结果和所述高分辨率ct图像为输入，输出动静脉血管精分割结果。
[0127]
优选地，所述第一预处理包括：
[0128]
对原始大小的肺部ct图像进行归一化处理，得到高分辨率ct图像；对原始大小的肺部ct图像进行标注，得到高分辨率动静脉分割标注；
[0129]
预处理模块利用所述高分辨率动静脉分割标注计算血管的空间欧氏距离变换edt，得到高分辨率edt，所述edt的计算公式如下：
[0130][0131][0132]
其中，i，j和k分别为分别为当前体素的三维坐标，s为高分辨率动静脉分割标注的坐标空间，f为高分辨率动静脉分割标注中标注为血管的坐标集合，b为高分辨率动静脉分割标注中标注为背景的坐标集合。
[0133]
优选地，所述第二预处理包括：
[0134]
将原始大小的ct图像重采样至预定的大小，得到低分辨率ct图像；将所述高分辨率动静脉分割标注重采样至预定的大小，得到低分辨率标注；将所述高分辨率edt重采样至预定的大小，得到低分辨率edt。
[0135]
优选地，分别根据所述低分辨率edt和高分辨率edt训练所述动静脉粗分割模块和动静脉精分割模块；其中，用于训练所述动静脉粗分割模块的损失函数如下：
[0136][0137]
[0138][0139][0140][0141]
式中，y
seg
,y
edt
,分别为低分辨率动静脉分割标注、动静脉粗分割、低分辨率edt、低分辨率edt预测，n为低分辨率ct中包含的像素个数。
[0142]
优选地，所述动静脉粗分割模块包括3du-net网络；所述动静脉精分割模块包括3d deeplab网络。
[0143]
本实施例3中各个模块所执行的功能的具体实施过程与实施例1中的各个步骤的实施过程相同，在此不再赘述。
[0144]
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。