肝脏三维超声与CT图像配准初始化方法、装置、电子设备

肝脏三维超声与ct图像配准初始化方法、装置、电子设备
技术领域
1.本发明属于医学图像处理领域，特别涉及一种肝脏三维超声与ct图像配准初始化方法、装置、电子设备。


背景技术：

2.肝癌是我国重大疾病，据《中国癌症登记年报2018》统计，肝癌发病率列第3位，死亡率列第2位。
3.对于早期小肝癌，介入治疗是首选的微创治疗方法，计算机发射断层扫描(computed tomography,ct)图像已成为术前临床诊疗中重要的常规手段之一。
4.介入手术中，实时超声图像常作为引导进行介入穿刺。然而，超声图像缺点是二维成像，视野非常有限、且容易受到脂肪肋骨遮挡及体内气流的影像导致成像质量不确定，肿瘤显示不定。3d超声可以更完整地显示肿瘤的轮廓和周围血管的信息，但是医生往往难以判断整体血管的分布，消融时容易造成血管损伤。
5.因此，融合ct图像与3d超声图像可以利用两种模态信息，提高手术的成功率。由于超声扫描角度不定，三维超声与ct图像配准初始化是最大的挑战。
6.实时ct超声融合技术分为基于跟踪的导航系统及基于图像的配准：
7.商业的电磁导航或者光学导航系统，需要电磁感应装置和光学定位系统，在ct扫描时在病人身上贴外部标记点。
8.无跟踪图像配准方法则基于超声图像的血管信息，利用血管分支之间的几何关系定义相似度，通过维特比最短路径算法找出血管分支对应点，或者利用血管的分支平面，将ct与超声图像变换到各自的分支平面上，分支点对齐后计算对应平面图像的相似度，找出最佳分支平面对，从而计算出初始变换。
9.综上，很多商业化的基于跟踪的导航如电磁跟踪技术可实时配准，但是需要贴标记点，且电磁感应器装置容易受到金属的影响不稳定。基于图像的技术目前大多数方法聚焦研究初始化后的精确配准阶段。仅有少量自动初始化方法基于血管信息及图像灰度信息作为图像相似性测度，需要大量的人工设定参数，且受参数的影响较大，初始化配准技术成功率低。


技术实现要素：

10.本发明的目的在于，针对上述现有技术的不足，提供一种肝脏三维超声与ct图像配准初始化方法、装置、电子设备，能够实现肝脏3d超声与ct图像的自动配准初始化，无需任何人工设定参数，自动配准成功率高，配准速度快。
11.为解决上述技术问题，本发明所采用的技术方案是：
12.一种肝脏三维超声与ct图像配准初始化方法，其特点是包括：
13.训练获得3d神经网络ct分割网络模型；
14.训练获得3d神经网络超声分割网络模型；
15.将肝脏ct测试图像输入至训练好的3d神经网络ct分割网络模型进行分割，得到ct分割图像；
16.提取ct分割图像中的血管部分；
17.基于ct分割图像中的血管部分计算血管分支点及分支平面；
18.将实时肝脏三维超声图像输入至训练好的3d神经网络超声分割网络模型进行分割，得到超声分割图像；
19.提取超声分割图像中的血管部分；
20.基于超声分割图像中的血管部分计算血管分支点及分支平面；
21.对基于超声分割图像获得的分支平面和基于ct分割图像获得的分支平面进行变换；
22.计算每对变换后的超声分割图像和ct分割图像的匹配测度得分；
23.找出匹配测度得分最高的平面对，计算初始化变换矩阵，完成肝脏三维超声与ct图像配准初始化。
24.作为一种优选方式，3d神经网络ct分割网络模型训练过程包括：
25.获得肝脏ct训练图像并对其进行预处理；
26.将经由预处理后的肝脏ct训练图像裁剪到设定尺寸后输入到3d神经网络ct分割网络中进行训练并保存训练好的3d神经网络ct分割网络模型。
27.作为一种优选方式，3d神经网络超声分割网络模型训练过程包括：
28.获得肝脏三维超声训练图像并对其进行预处理；
29.将经由预处理后的肝脏超声训练图像裁剪到设定尺寸后输入到3d神经网络超声分割网络中进行训练并保存训练好的3d神经网络超声分割网络模型。
30.作为一种优选方式，将肝脏ct测试图像输入至训练好的3d神经网络ct分割网络模型前还包括：
31.获得肝脏ct测试图像并对其进行预处理；
32.将经由预处理后的肝脏ct测试图像裁剪到设定尺寸后输入至训练好的3d神经网络ct分割网络模型。
33.作为一种优选方式，将实时肝脏三维超声图像输入至训练好的3d神经网络超声分割网络模型前还包括：
34.对采集的实时肝脏三维超声图像进行预处理；
35.将经由预处理后的实时肝脏三维超声图像裁剪到设定尺寸后输入至训练好的3d神经网络超声分割网络模型。
36.作为一种优选方式，所述预处理过程包括：
37.计算所有待预处理的图像的空间间距，选取所有空间间距的中值并将所有待预处理的图像重采样到该中值对应的空间间距；
38.计算重采样后的图像的灰度均值及方差并进行灰度的归一化。
39.作为一种优选方式，提取ct分割图像中的血管部分，采用血管细化滤波器进行骨骼线提取。
40.作为一种优选方式，提取超声分割图像中的血管部分，采用血管细化滤波器进行骨骼线提取。
41.基于同一个发明构思，本发明还提供了一种肝脏三维超声与ct图像配准初始化装置，其特点是包括：
42.第一训练模块：用于训练获得3d神经网络ct分割网络模型；
43.第二训练模块：用于训练获得3d神经网络超声分割网络模型；
44.ct分割图像获取模块：用于将肝脏ct测试图像输入至训练好的3d神经网络ct分割网络模型进行分割，得到ct分割图像；
45.第一提取模块：用于提取ct分割图像中的血管部分；
46.第一计算模块：用于基于ct分割图像中的血管部分计算血管分支点及分支平面；
47.超声分割图像获取模块：用于将实时肝脏三维超声图像输入至训练好的3d神经网络超声分割网络模型进行分割，得到超声分割图像；
48.第二提取模块：用于提取超声分割图像中的血管部分；
49.第二计算模块：用于基于超声分割图像获得的分支平面和基于ct分割图像获得的分支平面进行变换；
50.第三计算模块：用于计算每对变换后的超声分割图像和ct分割图像的匹配测度得分；
51.第四计算模块：用于基于匹配测度得分最高的平面对计算初始化变换矩阵，完成肝脏三维超声与ct图像配准初始化。
52.基于同一个发明构思，本发明还提供了一种电子设备，其特点是所述电子设备包括：
53.一个或多个处理器；
54.存储装置，用于存储一个或多个程序，
55.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现所述的肝脏三维超声与ct图像配准初始化方法。
56.与现有技术相比，本发明首先基于3d神经网络(u-net)分割术前ct和术中超声的胆囊及血管分割，接着计算血管的分叉点和分支平面空间，对于任意一组ct-us的分叉平面对，将图像变换到各自的分支平面空间并在分叉点进行对齐之后，基于胆囊及血管分割计算其匹配得分测度，选取得分最大的平面对，得出初始化变换矩阵，完成自动初始化，实现肝脏3d超声与ct图像的自动配准初始化，无需任何人工设定参数，自动配准成功率高，配准速度快。
附图说明
57.图1为本发明的技术流程图。
58.图2为超声图像的胆囊及血管分割的定量及可视化结果灰度图。
59.图3为超声图像(第一行)、配准后的ct图像(第二行)及二者叠加图结果(第三行)灰度图。
具体实施方式
60.本发明要解决的技术问题是肝脏3d超声与ct的自动配准初始化。
61.多模态图像配准的难点是相似性测度函数的定义，而基于深度卷积神经网络的自
动分割技术较为成熟，分割弱标签作为测度函数可解决这一难题。本发明提出使用深度学习分割超声的多器官，基于分割图像提出了一种适用于局部超声与ct的相似性测度函数，无需任何参数，可实现快速鲁棒的肝脏3d超声与ct的配准。
62.如图1所示，肝脏三维超声与ct图像配准初始化方法包括：
63.步骤1，获得肝脏ct训练图像并对其进行预处理。
64.所述预处理过程包括：
65.计算所有待预处理的图像的空间间距，选取所有空间间距的中值并将所有待预处理的图像重采样到该中值对应的空间间距；
66.计算重采样后的图像的灰度均值及方差并进行灰度的归一化。
67.步骤2，将经由预处理后的肝脏ct训练图像裁剪到设定尺寸(128
×
160
×
180)后输入到3d神经网络ct分割网络(3d u-net胆囊及血管分割网络)中进行训练并保存训练好的3d神经网络ct分割网络模型。
68.步骤3，获得肝脏三维超声训练图像并对其进行预处理；预处理方法与步骤1中相同。
69.步骤4，将经由预处理后的肝脏超声训练图像裁剪到设定尺寸(128
×
160
×
96)后输入到3d神经网络超声分割网络(3d u-net胆囊及血管分割网络)中进行训练并保存训练好的3d神经网络超声分割网络模型。
70.步骤5，针对同一病人的一对测试ct及超声图像，在线上测试前对ct进行计算，获得肝脏ct测试图像并对其进行预处理；预处理方法与步骤1中相同。
71.步骤6，将经由预处理后的肝脏ct测试图像裁剪到设定尺寸后输入至训练好的3d神经网络ct分割网络模型进行分割，得到ct分割图像。
72.步骤7，提取ct分割图像中的血管部分，采用insight toolkit(www.itk.org)的血管细化滤波器itkbinarythinningimagefilter进行骨骼线提取。
73.步骤8，基于ct分割图像中的血管部分计算血管分支点及分支平面：
74.首先提取所有的分叉点，针对骨骼线图像，选取1邻域内的像素和为3的点作为分支点，接着计算支点所连接的三个分支为一个分支平面段，按照角度大小选出父节点p和子分支，两个子分支为u，v，w为垂直于u和v所在平面的法向量，q为垂直于w和u所在平面的法向量，p为父节点坐标，其代表的平面空间变换t为：
75.w＝u
×
v,q＝w
×u76.t＝[u,q,w,p]
[0077]
将分支点及分支信息保存到文件中。
[0078]
步骤9，对采集的现场实时肝脏三维超声图像进行预处理；预处理方法与步骤1中相同。
[0079]
步骤10，将经由预处理后的实时肝脏三维超声图像裁剪到设定尺寸后输入至训练好的3d神经网络超声分割网络模型进行分割，得到超声分割图像，如图2所示。
[0080]
步骤11，提取超声分割图像中的血管部分，采用insight toolkit(www.itk.org)的血管细化滤波器itkbinarythinningimagefilter进行骨骼线提取。
[0081]
基于超声分割图像中的血管部分计算血管分支点及分支平面；计算方式与步骤8中方法相同。
[0082]
步骤12，读入ct的分支平面信息，对基于超声分割图像获得的分支平面和基于ct分割图像获得的分支平面进行变换。
[0083]
步骤13，计算每对变换后的超声分割图像和ct分割图像的匹配测度ls得分：
[0084][0085]
其中，a为ct分割图像，b为超声分割图像，i为像素点，l代表分割背景标签，r为超声所在区域，n为所有标签个数
[0086]
步骤14，找出匹配测度得分最高的平面对t
ct
和t
us
，计算初始化变换矩阵t
ct-us
，完成肝脏三维超声与ct图像配准初始化：
[0087][0088]
配准效果如图3所示。
[0089]
本发明还提供了一种肝脏三维超声与ct图像配准初始化装置，包括：
[0090]
第一训练模块：用于训练获得3d神经网络ct分割网络模型；
[0091]
第二训练模块：用于训练获得3d神经网络超声分割网络模型；
[0092]
ct分割图像获取模块：用于将肝脏ct测试图像输入至训练好的3d神经网络ct分割网络模型进行分割，得到ct分割图像；
[0093]
第一提取模块：用于提取ct分割图像中的血管部分；
[0094]
第一计算模块：用于基于ct分割图像中的血管部分计算血管分支点及分支平面；
[0095]
超声分割图像获取模块：用于将实时肝脏三维超声图像输入至训练好的3d神经网络超声分割网络模型进行分割，得到超声分割图像；
[0096]
第二提取模块：用于提取超声分割图像中的血管部分；
[0097]
第二计算模块：用于基于超声分割图像获得的分支平面和基于ct分割图像获得的分支平面进行变换；
[0098]
第三计算模块：用于计算每对变换后的超声分割图像和ct分割图像的匹配测度得分；
[0099]
第四计算模块：用于基于匹配测度得分最高的平面对计算初始化变换矩阵，完成肝脏三维超声与ct图像配准初始化。
[0100]
本发明还提供了一种电子设备，包括：
[0101]
一个或多个处理器；
[0102]
存储装置，用于存储一个或多个程序，
[0103]
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现所述的肝脏三维超声与ct图像配准初始化方法。
[0104]
本发明在医院采集的14个病人一共是18套ct-超声数据集上进行测试，初始化成功率在94％，tre为6mm，初始化时间为16秒，超声胆囊及血管分割的dice相似性系数分别为0.86和0.78。
[0105]
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是局限性的，本领域的普通技术人员
在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护范围之内。