基于局部先验信息和凸优化的全自动三维肝脏分割方法
【专利摘要】本发明涉及医学图像处理，旨在提供基于局部先验信息和凸优化的全自动三维肝脏分割方法。该基于局部先验信息和凸优化的全自动三维肝脏分割方法包括：利用训练好的三维卷积神经网络处理腹部肝脏CTA体数据，得到肝脏的先验概率图；由肝脏先验概率图中得到肝脏的初始区域；确定图像中各像素点属于前景肝脏和背景的概率；利用凸优化技术优化新的能量模型，并分割肝脏；进行后处理，得到肝脏的轮廓。本发明得到的分割结果，可以很好地克服原来卷积神经网络分割肝脏中存在的欠分割、边界不准确的问题，进而得到更精确的分割结果。
【专利说明】
基于局部先验信息和凸优化的全自动三维肝脏分割方法
技术领域
[0001] 本发明是关于医学图像处理领域，特别涉及基于局部先验信息和凸优化的全自动 三维肝脏分割方法。
【背景技术】
[0002] 目前，肝脏疾病是临床上发病概率比较高的疾病，直接威胁到人们的生命，所以肝 脏疾病的准确诊断具有重要的医学意义。临床上，医生常常借助于CT机，即计算机断层扫描 机，来获得肝脏部位的一系列平面灰度断层图像，并通过连续地查看这些图像来判断病灶 的病变位置、特征、大小、同周围组织之间的关系等。而肝脏的提取和定量分析对准确地诊 断肝脏疾病和制定适当的手术方案起着关键性的作用。临床上，肝脏的提取往往由经验丰 富的医生直接在CTA图像上勾勒出来。但是此方法非常耗时耗力，而且由于分割结果依赖于 医生的经验而缺乏鲁棒性。因此急需准确可用的肝脏自动或半自动分割算法。
[0003] 现有的半自动肝脏分割方法由于一定量的人工交互，对初始肝脏区域敏感，因而 算法缺少鲁棒性。全自动分割方法不需要人工交互，现有的典型算法有概率图谱法、Active Shape Model法。但是这两类算法受先验形状初始化的影响大，且算法过程复杂，算法结果 普遍存在过分割和欠分割现象。最新的算法有基于卷积神经网络的全自动三维肝脏分割方 法。该方法通过训练一个卷积神经网络后，对新输入的数据自动给出一个属于前景肝脏的 概率图，然后取一个合适的阈值得到最终的分割结果。但是由于在不同的个体当中，肝脏的 形状和位置差异非常大，通过卷积网络得到的肝脏分割结果在肝脏左叶会出现欠分割的现 象。另外，肝脏边缘的分割准确性也不高。
[0004] 因此，提出一种能够克服肝脏形状差异大等难点，避免过分割和前分割缺陷的全 自动算法在临床医学应用上很有必要。
【发明内容】
[0005] 本发明的主要目的在于克服现有技术中的不足，提供一种能准确地将肝脏同周围 粘连的组织区分出来，且对于形状大小各异的肝脏，能克服欠分割现象而准确地提取出肝 脏的全自动方法。为解决上述技术问题，本发明的解决方案是：
[0006] 提供基于局部先验信息和凸优化的全自动三维肝脏分割方法，用于对腹部肝脏 CTA(Computed Tomography Angiography，CT血管造影术)体数据，即计算机断层扫描血管 造影图像中的肝脏进行分割，所述基于局部先验信息和凸优化的全自动三维肝脏分割方法 包括下述过程：
[0007] 一、利用训练好的三维卷积神经网络处理腹部肝脏CTA体数据，得到肝脏的先验概 率图；
[0008] 二、由肝脏先验概率图中得到肝脏的初始区域；
[0009] 三、确定图像中各像素点属于前景肝脏和背景的概率；
[0010] 四、利用凸优化技术优化新的能量模型，并分割肝脏；
[0011] 五、进行后处理，得到肝脏的轮廓；
[0012] 所述过程一具体是指:设需要进行肝脏分割的图像为三维数据I(X)，图像定义域 为? C： 灰度范围为[0，N]，像素点为X = (Xi，X2，X3);利用训练好的卷积神经网络处理数 据Kx)，使图像Kx)的每个像素点被赋予属于肝脏的概率值，得到一个与原始图像大小相 同的概率图L(x)，xe Ω ;
[0013] 其中，符号c表不包含于，符号e表不属于集合；
[0014]所述训练好的卷积神经网络能对所处理图像的每一像素点进行二分类，二分类的 结果为每一点属于前景肝脏的概率；
[0015] 所述过程二具体是指：（根据经验)对概率图LU)的每一像素点值取阈值0.5,大于 阈值的像素点属于肝脏的初始肝脏区域Q re3f;
[0016] 所述过程三具体包括下述步骤：
[0017] 步骤A:对输入的原始图像I (X)中的每一点像素 X，统计初始肝脏区域Ω re3f内的灰 度直方图，根据像素点X的灰度值，将这个灰度值在灰度直方图中所占的比例作为这个像素 点属于前景的概率，记为(勾:统计初始背景区域Ω / Ω re3f的灰度直方图，根据像素点X的 灰度值，将这个灰度值在背景区域的灰度直方图中的比例作为这个像素点属于背景的概 率，记为卩。111：(叉） ；
[0018] 其中，符号Ω / Ω re冲的表示在区域Ω中除去区域Ω ref; # (X.)的上标g表示全 局信息，下标in表示肝脏内部;p?t(X)的下标out表示肝脏外部；
[0019] 步骤B:计算在区域Qre3f中的每个像素点/4(Λ〇的均值μ和标准差〇,并计算概率阈 值t=y-n;
[0020] 步骤C:对MU) <^的像素点X，设该点的局部邻窗为W(x);如果像素点X的局部邻 窗W(X)与初始肝脏区域Ω re3f相交，则将这个点记录在集合S中，即定义集合 SskeOi: ff⑶然后在该像素点X的领域RU)内重新计算属于前景肝脏的概 率/Kx)，计算公式为：
[0021]
[0022] 其中，R(x) =W(X)门Ω ref，W(x)是以X为中心的立方体，边长分别为a、b、c;Kn( ·) 表示一个核函数，η表示其窗宽;ζ表示在区域RU)内观察到的灰度值，IM，Imax分别表示其 中的最小值和最大值;符号Σ表不求和;h( ·)表不区域R(x)内的灰度直方图，1ι(ζ)表不区 域R ( X )内的灰度值ζ的统计数；
表示对灰度直方图求和值； I W(X)Hnf,, 〃 0丨中，集合S指所有局部邻窗W(X)与初始肝脏区域Ω ref相交的点 的集合;符号：=表示定义为，符号e表示属于集合，符号0表示空集，符号η表示区域相 交；
[0023] 步骤D:对于每个像素点，计算最终属于肝脏的概率，计算公式为：
[0024]
[0025] 其中，每个像素点的/?⑶由过程三步骤A计算得到，乂和集合S在过程三步骤C中 计算和定义；
[0026]所述过程四具体包括下述步骤：
[0027] 步骤E:定义并计算g(x)，Ct(x)，Cs(x):
[0028]
[0029] Ct(x): =g(x)[_ailog pin(x)-a2log L(x)]，
[0030] Cs(X): =g(x)[_ail0g pout(x)-a2log(l-L(x))] ·
[0031] 其中，
〖示边界探测函数，β是正数(取值为0.2);符号：=表示 定义为，符号▽表示梯度算子，符号I · I表示L2范数;Ct(X)代表每个像素点X属于肝脏的代 价函数;Cs(x)代表每个像素点X属于背景的代价函数;ριη(χ)和ρ_(Χ)分别表示像素点X属 于肝脏和背景的概率;LU)和I-L(X)分别表示由卷积神经网络得到的像素点X属于肝脏和 背景的概率，其中LU)由过程一计算得到; 〇1，〇2为正常数，用于调节各项的权重，取值均在 区间[20，50]内；log表示以10为底求对数；
[0032] 步骤F:通过极小化如下的能量泛函，得到最优的肝脏分割ιΛ
[0033]
[0034]
[0035]
[0036] 其中，u是肝脏的标签函数，u(x) e {〇, 1}，u(x)的值等于1表示X属于肝脏，u(x)的 值等于〇表示X不属于肝脏;arg min表示求使得能量函数最小的值；Ω表示图像区域;"表 示在区域Ω内的积分;dx表示区域积分元；▽表示梯度算子；I · I表示L2范数;log表示以10 为底求对数；：=表示定义为;所述λ是指正则化参数，用于调节各项的权重，取值在[0,20] 之间；
[0037] (上述能量泛函的第一项是基于区域的项，其中的第一部分是利用全局或局部的 初始肝脏区域的灰度分布及先验概率图，估计出每个像素点X属于肝脏的代价函数C t(X); 第二部分是利用全局的初始背景区域的灰度分布及先验概率图，估计每个像素点X属于背 景的代价函数C s(X);第一项的作用是将肝脏区域从周围背景区域区分出来，第二项是基于 边界的项，能够很好地捕捉边界信息，保证分割出的肝脏轮廓的光滑性;区域项和边界项通 过一个边界探测函数g(x)和权重CU，CU，λ来自适应的调节比重，使得在靠近边界的地方，模 型主要依赖于边界信息，在肝脏中平滑的区域，模型依赖于区域信息）
[0038]所述过程五具体包括下述步骤：
[0039]步骤G:用形态学算子中的闭算子处理由过程四得到的二值分割结果定义E为 半径为3的圆形结构算子，对二值分割结果W先进行结构算子为E的膨胀处理，再进行结构 算子为E的腐蚀处理）；
[0040] 步骤Η:对步骤G处理后的肝脏二值分割结果，用二维填洞算子处理(具体的，对体 数据的每层图像，检测在肝脏区域中的孔洞，认为被肝脏包围的孔洞也属于肝脏，将其对应 的二值分割结果的值设为1)，即得到到最终的完整准确的肝脏区域，实现对计算机断层扫 描血管造影图像中的肝脏进行分割。
[0041] 在本发明中，所述过程一中，卷积神经网络设计有共11层:第1层为96个滤波大小 为7 X 7 X 9的卷积核，步长为2的卷积层;第2层为256个滤波大小为5 X 5 X 5的卷积核，步长 为2的卷积层;第3层到第7层均为2048个滤波大小为3 X 3 X 3的卷积核，步长为1的卷积层； 第8层为512个滤波大小为3 X 3 X 3的卷积核，步长为1的卷积层;第9层为128个滤波大小为3 X 3 X 3的卷积核，步长为1的卷积层；第IQ层为16个滤波大小为3 X 3 X 3的卷积核，步长为1 的卷积层;第11层为1个滤波大小为3X3X3的卷积核，步长为1的卷积层;其中，第1、第2层 后面加了 average poo I ing层，将数据维度从496 X 496 X 279缩小到31 X 31 X 32;第7、第8、 第9层后面加入了重排双倍尺寸输出层，将输入的8个通道变成2 X 2 X 2，即双倍尺寸，1/8通 道数;且3次重排后输出和输入的尺度保持一致;第11层后使用logistic函数和上采样层， 使得最终输出大小为496 X 496 X 256的概率图；
[0042]根据所设计的卷积神经网络，搜集68个腹部肝脏CTA体数据作为网络输入，将这些 体数据对应的肝脏分割二值结果作为网络的输出，训练卷积神经网络中的参数，这样即得 到一个训练好的卷积神经网络。
[0043] 与现有技术相比，本发明的有益效果是：
[0044] 本发明把由三维卷积神经网络得到的概率图作为先验信息，设计一个分割模型自 适应地利用全局或局部的先验信息，并且用凸优化算法求解模型，从而达到全自动地提取 肝脏轮廓的目的；且本发明得到的分割结果，可以很好地克服原来卷积神经网络分割肝脏 中存在的欠分割、边界不准确的问题，进而得到更精确的分割结果。
【附图说明】
[0045] 图1为本发明的操作流程图。
[0046]图2为三维体数据的第110层原图。
[0047]图3为第110层数据经三维卷积神经网络处理后的效果图。
[0048]图4为第110层数据经本发明技术处理后的效果图。
【具体实施方式】
[0049]下面结合附图与【具体实施方式】对本发明作进一步详细描述：
[0050] 下面的实施例可以使本专业的专业技术人员更全面地理解本发明，但不以任何方 式限制本发明。
[0051] 如图1所示，采用基于局部先验信息和凸优化的全自动三维肝脏分割方法，对计算 机断层扫描血管造影图像中的肝脏进行分割，具体步骤为：
[0052] 一、输入肝脏CTA扫描图像I大小为512 X 512 X 245,调整窗宽窗位使得肝脏灰度范 围在0到255之间。将图像在已经训练好的卷积神经网络中测试，得到一个与原图像同大小 的概率图L。概率图给定图像每点属于肝脏的概率LU)，其值范围在[0.1，0.9]。将图像I和 概率图L在x-y平面上进行下采样，得到图像大小均为256 X 256 X 245。
[0053]二、选定阈值为0.5,对概率图L取截断，认为概率大于0.5的点属于肝脏，概率小于 0.5的点属于背景。这样给定了初始分割结果。
[0054]三、按照步骤三的方法计算图像图像I中每一像素点属于前景和属于背景的概率 Pin(X)和Pciut(X)。在本实例中，局部邻窗W(X)设为一个大小为7X7X7的立方体;核函数Kn (·)为高斯核函数，其标准差η由区域RU)的灰度标准差计算得到；I min，Imax分别取定为〇和 255。
[0055] 四、根据说明中步骤四给出的公式计算图像在每个像素点的(^(1)，仏(1)^(1)的 值。在本实例中，取定参数αι = 40，α2 = 32，λ=1〇。
[0056] 五、利用凸松弛和原始-对偶算法，引入变量!^!^^，将能量泛函转化为：
[0057]
[0058] s. t.ps(xXCs(X)，pt(xXCt(x)，p(x)<Xg(x)
[0059] 为求解上述新模型，利用交错迭代的技术，迭代地计算以下式子：
[0060] 1、固定变量/?夂/4，妙，优化求角
。 这一步可以用Chambol Ie投影算法求解； ^ ?.
[0061] 2、固定变量.pipk+1，Ak，更 f
[0062] 3、固定变量 /^pk+1，Ak，更I
[0063] 4、固定变量尸 f i^pk+1，I
[0064] 迭代步数k = k+l，重复以上1-4迭代直至收敛后停止。
[0065] 其中c是迭代中的步长，在本实例中设为0.35^是本说明步骤四中定义的边界探 测函数g(x)。最后解得上述模型后，最优分割标签函数u*(x)。
[0066] 上述符号中，s.t.表示"受约束于"；sup表示求极大，inf表示求极小;k和k+Ι表示 迭代第k步和第k+Ι步； ;./r丨,Ak等符号的上标k表示迭代第k步;arg max表示求使得能量函 数最大的变量值；I I I 表示无穷范数;div表示散度算子；：=表示"定义为"；/ω表示在区域 Ω内的积分;dx表示区域积分元。
[0067] 六、按照步骤五给出的方法对分割结果u*(x)后处理：
[0068] 1、用形态学算子中的闭算子处理由过程四得到的二值分割结果u'定义E为半径 为3的圆形结构算子，对二值分割结果W先进行结构算子为E的膨胀处理，再进行结构算子 为E的腐蚀处理；
[0069] 2、对步骤G处理后的肝脏二值分割结果，用二维填洞算子处理。具体的，对体数据 的每层图像，检测在肝脏区域中的孔洞，认为被肝脏包围的孔洞也属于肝脏，将其对应的二 值分割结果的值设为1。
[0070] 图2为示例三维体数据的第110层。图3为由三维卷积神经网络处理后的肝脏第110 层效果图，肝脏内部为白色，可以看出在肝左叶的地方存在欠分割现象。图4为本发明技术 处理后的肝脏第110层效果图，肝脏内部为白色，可以看出算法正确分割出了肝脏组织。
[0071] 最后，需要注意的是，以上列举的仅是本发明的具体实施例。显然，本发明不限于 以上实施例，还可以有很多变形。本领域的普通技术人员能从本发明公开的内容中直接导 出或联想到的所有变形，均应认为是本发明的保护范围。
【主权项】
1.基于局部先验信息和凸优化的全自动三维肝脏分割方法，用于对腹部肝脏CTA体数 据，即计算机断层扫描血管造影图像中的肝脏进行分割，其特征在于，所述基于局部先验信 息和凸优化的全自动三维肝脏分割方法包括下述过程： 一、 利用训练好的三维卷积神经网络处理腹部肝脏CTA体数据，得到肝脏的先验概率 图； 二、 由肝脏先验概率图中得到肝脏的初始区域； 三、 确定图像中各像素点属于前景肝脏和背景的概率； 四、 利用凸优化技术优化新的能量模型，并分割肝脏； 五、 进行后处理，得到肝脏的轮廓； 所述过程一具体是指：设需要进行肝脏分割的图像为三维数据IU)，图像定义域为 Ω c /f\灰度范围为[0，N]，像素点为X = (XI，X2，X3);利用训练好的卷积神经网络处理数据I (a)，使图像I(x)的每个像素点被赋予属于肝脏的概率值，得到一个与原始图像大小相同的 概率图L(x)，xe Ω ; 其中，符号^1表不包含于，符号￡表不属于集合； 所述训练好的卷积神经网络能对所处理图像的每一像素点进行二分类，二分类的结果 为每一点属于前景肝脏的概率； 所述过程二具体是指:对概率图L(x)的每一像素点值取阈值0.5,大于阈值的像素点属 于肝脏的初始肝脏区域 所述过程三具体包括下述步骤： 步骤A:对输入的原始图像I(x)中的每一点像素 X，统计初始肝脏区域〇re3f内的灰度直 方图，根据像素点X的灰度值，将这个灰度值在灰度直方图中所占的比例作为这个像素点属 于前景的概率，记为/4(4 ;统计初始背景区域Ω / Ω re3f的灰度直方图，根据像素点X的灰度 值，将这个灰度值在背景区域的灰度直方图中的比例作为这个像素点属于背景的概率，记 为P〇ut(X); 其中，符号Ω / Ω ref中的表示在区域Ω中除去区域Ω ref ; 〇)的上标g表示全局信 息，下标in表示肝脏内部;p?t(X)的下标out表示肝脏外部； 步骤B:计算在区域Ω 中的每个像素点/(X)的均值μ和标准差σ，并计算概率阈值t = μ-η； 步骤C:对<&)〃的像素点X，设该点的局部邻窗为w(x);如果像素点χ的局部邻窗W(x) 与初始肝脏区域Ω r e f相交，则将这个点记录在集合S中，即定义集合 h卡βΩ，⑷然后在该像素点X的领域R(x)内重新计算属于前景肝脏的概 率/4 (4,计算公式为：其中，R(x)=w(x)fl Qref，W(x)是以X为中心的立方体，边长分别为a、b、c;Kn( ·)表示一个 核函数，η表示其窗宽;ζ表示在区域R(x)内观察到的灰度值，Imin，Imax分别表示其中的最小值 和最大值;符号Σ表不求和;h( ·)表不区域R(x)内的灰度直方图，1ι(ζ)表不区域R(x)内的灰 度值ζ的统计数；表示对灰度直方图求和值J 以e D旧〇)Π 夂0} 中，集合S指所有局部邻窗W(x)与初始肝脏区域Ωμ相交的点的集合;符号：=表示定义为， 符号e表不属于集合，符号0表不空集，符号η表不区域相交； 步骤D:对于每个像素点，计算最终属于肝脏的概率，计算公式为：其中，每个像素点的此⑴由过程三步骤Α计算得到，和集合S在过程三步骤C中计算 和定义； 所述过程四具体包括下述步骤： 步骤E:定义并计算g(x)，Ct(x)，Cs(x):Ct(x) ： =g(x) [-ailog pin(x)-a2log L(x)], Cs(x) ： =g(x)[-ailog p〇ut(x)-a2log(l-L(x))].表示边界探测函数，β是正数;符号：=表示定义为，符号▽表 示梯度算子，符号I · I表示L2范数;Ct(x)代表每个像素点X属于肝脏的代价函数;Cs(x)代表 每个像素点X属于背景的代价函数;pin(x)和PoutU)分别表示像素点X属于肝脏和背景的概 率;L(x)和l-L(x)分别表示由卷积神经网络得到的像素点X属于肝脏和背景的概率，其中L (X)由过程一计算得到;正常数，用于调节各项的权重，取值均在区间[20,50]内；log 表示以10为底求对数； 步骤F:通过极小化如下的能量泛函，得到最优的肝脏分割ιΛCt(x) ： =g(x) [-ailog pin(x)-a2log L(x)], Cs(x) ： =g(x) [~ai log p〇ut(x)-a2 log( l~L(x))]. 其中，u是肝脏的标签函数，u(x) e {〇, 1)，u(x)的值等于1表示x属于肝脏，u(x)的值等 于0表示X不属于肝脏;arg min表示求使得能量函数最小的值；Ω表示图像区域;/Ω表示在 区域Ω内的积分;dx表示区域积分元；V表示梯度算子；| · |表示L2范数;log表示以10为底 求对数；：=表示定义为;所述λ是指正则化参数，用于调节各项的权重，取值在[0,20]之间； 所述过程五具体包括下述步骤： 步骤G:用形态学算子中的闭算子处理由过程四得到的二值分割结果ιΛ 步骤Η:对步骤G处理后的肝脏二值分割结果，用二维填洞算子处理，即得到到最终的完 整准确的肝脏区域，实现对计算机断层扫描血管造影图像中的肝脏进行分割。2.根据权利要求1所述的基于局部先验信息和凸优化的全自动三维肝脏分割方法，其 特征在于，所述过程一中，卷积神经网络设计有共11层:第1层为96个滤波大小为7 X 7 X 9的 卷积核，步长为2的卷积层;第2层为256个滤波大小为5 X 5 X 5的卷积核，步长为2的卷积层； 第3层到第7层均为2048个滤波大小为3 X 3 X 3的卷积核，步长为1的卷积层;第8层为512个 滤波大小为3 X 3 X 3的卷积核，步长为1的卷积层;第9层为128个滤波大小为3 X 3 X 3的卷积 核，步长为1的卷积层;第10层为16个滤波大小为3X3X3的卷积核，步长为1的卷积层;第11 层为1个滤波大小为3X3X3的卷积核，步长为1的卷积层；其中，第1、第2层后面加了 average poo 1 ing层，将数据维度从496 X496X 279缩小到31X31X32;第7、第8、第9层后面 加入了重排双倍尺寸输出层，将输入的8个通道变成2 X 2 X 2，即双倍尺寸，1/8通道数;且3 次重排后输出和输入的尺度保持一致;第11层后使用logistic函数和上采样层，使得最终 输出大小为496 X 496 X 256的概率图； 根据所设计的卷积神经网络，搜集68个腹部肝脏CTA体数据作为网络输入，将这些体数 据对应的肝脏分割二值结果作为网络的输出，训练卷积神经网络中的参数，这样即得到一 个训练好的卷积神经网络。
【文档编号】G06T7/00GK106056596SQ201610362119
【公开日】2016年10月26日
【申请日】2016年5月26日
【发明人】孔德兴, 胡佩君, 吴法
【申请人】浙江德尚韵兴图像科技有限公司