一种基于图像数据和点云数据的融合配准方法与流程

1.本发明涉及图像配准领域，尤其涉及一种基于深度学习并用于医学图像非刚性配准的方法。


背景技术：

2.配准算法是通过求得图像数据之间或点云数据之间的空间对应关系，将图像数据或点云数据对齐起来的一种方法。在医学领域中，它广泛应用于图像指导介入手术、图像获取、运动场量化分析以及数字人图像生成。
3.在医学领域中，根据采用数据的不同，配准算法主要分为图像配准算法和点云配准算法。传统医学图像配准方法一般由三个主要部分构成：目标函数、坐标变换模型以及迭代优化策略。其中，按照目标函数中图像相似性度量的定义方法可以分为两类，第一类方法是直接使用灰度值，包括ssd（sum of squared differences）和cc（correlation coefficient）等；第二类方法是采用统计和信息熵的方法，包括mi（mutual information）、nmi（normalized mutual information）和rc（residual complexity）等。近些年来，深度学习的迅速发展给图像配准算法带来的新的思路，早期主要采用unet实现图像配准，后来有研究人员提出了stn（spatial transformation network）实现了显式的非刚性图像变换，改善了单纯采用unet易出现的分辨率丢失的问题。
4.也有不少学者开展了点云配准的相关研究。最早期的非刚性点云模型采用的是高斯混合模型和em（expectation maximization）算法，后来有学者采用局部仿射变换对非刚性变形进行建模，并且目标函数表示成矩阵范数的形式，通过矩阵最优化的算法求取最优化的非刚性变形参数，该方法能显著提高迭代的收敛速度。近些年来，随着深度学习的迅速发展，也有不少学者提出了基于深度学习的点云配准算法，有学者提出了dcp（deep closest point）网络，采用神经网络实现了icp（iterative closest point）算法。也有学者提出了pointnet，采用mlp（multi
‑
layer perception）实现点云非刚性变形。但现有的研究多集中在刚性图像配准上，多应用于大规模点云数据拼合上。基于深度学习的非刚性点云配准算法和融合图像信息和点云信息的配准算法相关的研究还相对不足。
5.融合图像信息和点云信息的非刚性配准主要面临以下几个问题：1）点云数据和图像数据的非刚性模型不同，目前尚无统一的非刚性变换模型；2）点云数据的数据规模不定且索引无关，很难直接用于主流图像配准算法所使用的unet中；3）尚缺乏基于深度学习的融合图像信息和点云信息的配准方法。


技术实现要素：

6.本发明针对现有技术的不足，提出了一种基于图像数据和点云数据的融合配准方法，该方法基于深度学习网络，将图像数据和点云数据同时输入神经网络中，网络输出变形后的图像和点云数据以及变形场数据。该方法能提高配准中边界保持的能力，改善因细小结构隐藏在图像背景而发生误匹配的问题。
7.本发明的目的是通过以下技术方案来实现的：一种基于图像数据和点云数据的融合配准方法，该方法通过训练一融合配准模型对图像及图像对应的点云数据进行同步配准，输出形变后的浮动图像、点云数据以及图像变形场和点云变形场；其中，所述融合配准模型包含图像配准网络和点云配准网络，图像配准网络的输入为参考图像、浮动图像对，点云配准网络的输入为参考图像、浮动图像对应的点云数据对，所述融合配准模型训练时的损失函数由图像距离项、点云距离项、约束图像变形场和点云变形场的正则化项以及图像变形场和点云变形场的一致性约束项组成。具体包括以下步骤：步骤一：通过图像分割获取参考图像和浮动图像中器官或组织的边界点云或通过特征提取获得特征点点云；步骤二：以参考图像、浮动图像以及对应的点云数据作为输入对融合配准模型进行训练，使损失函数收敛并稳定，从而完成对融合配准模型的训练；步骤三：在训练好的融合配准模型中输入参考图像、浮动图像以及步骤一中得到的对应点云数据，模型输出形变后的浮动图像、点云数据以及图像变形场和点云变形场。
8.本发明利用图像数据（参考图像、浮动图像）及对应点云数据联合训练融合配准模型，在训练过程中，损失函数中的图像距离项、点云距离项分别约束图像配准网络、点云配准网络，而图像变形场正则化项、点云变形场正则化项以及两个变形场（图像变形场、点云变形场）一致性约束可以实现图像配准网络和点云配准网络的相互监督学习，提高生成变形场的光顺性，使得每个配准网络均融合学习了图像信息和点云信息，从而提高配准精度。例如，图像配准网络中，训练时由于点云配准网络的监督，融合了对应图像的点云信息，而边界点云中包含拓扑结构表示器官或组织的边界形状，可以有效提高图像配准中器官边界保持的能力，改善因细小结构隐藏在图像背景而发生误匹配的问题。同时，通过联合两个配准网络进行相互监督学习训练，能减小局部最小值的影响，进一步提高配准的精度和稳定性。
9.进一步地，所述步骤一中，通过图像分割获取参考图像和浮动图像中器官或组织的边界点云具体为：根据器官或组织的区域性质采用不同图像分割方法进行边界点云分割：对器官或组织的实质区域，采用阈值分割方法获取，对中空的管状区域，采用hessian矩阵进行管状边界增强，再结合管状结构检测滤波器和形态学操作分割细小管状结构。
10.进一步地，还包括对分割获得的边界点云进行去噪、光顺和精简处理步骤，具体为：采用k邻域算法进行边界点云去噪，然后采用双边滤波或移动最小二乘法使去噪后的边界点云光顺，最后通过曲率精简或聚类精简删除对形状贡献小的数据，并使所有精简后的边界点云中的点数一致。
11.进一步地，通过sift或mind方法获取图像中的特征点点云。
12.进一步地，所采用的图像配准网络为unet或gan，点云配准网络为mlp网络。
13.进一步地，采用反向传播方法对深度学习网络进行训练，完成训练后损失函数最小且不再下降，此时完成了对训练数据的非刚性配准。
14.进一步地，所述图像为ct图像、mri图像、超声图像、pet图像或spect图像。
15.本发明的有益效果是：本发明构建了一个图像配准网络和点云配准网络组成的融
合配准模型，通过联合训练，实现图像配准网络和点云配准网络相互监督学习，使得每个配准网络均融合了图像信息和点云信息，从而提高配准精度，同时，通过联合两个配准网络进行相互监督学习训练，能减小局部最小值的影响，进一步提高配准的精度和稳定性。
附图说明
16.图1是本发明基于图像数据和点云数据的融合配准的流程示意图；图2为实施例的框架结构示意图；图3为ct图像数据；图4为分割得到的点云数据；图5为精简后的点云数据。
具体实施方式
17.实施例1如图1为本发明基于图像数据和点云数据的融合配准的示意图，通过构建一个融合配准模型，同时输入图像和图像的点云数据进行配准，该方法具体包括以下步骤：步骤一：获取大量患者的ct图像（如图3所示）数据，并通过图像分割获得对应的气管树点云，如图4所示；步骤二：对气管树点云进行去噪、光顺和精简等数据处理，并使得点云数据的规模相同；其中点云精简指通过删除对形状贡献比较小的数据以达到控制数据规模的一种处理方法，可采用曲率精简或聚类精简实现；图5所示为精简后的点云数据；步骤三：设计如图2所示由图像配准网络（unet）、点云配准网络（mlp网络）和空间变形网络构成的融合配准模型，融合配准模型的目标函数由图像距离项、点云距离项、图像变形场正则化、点云变形场正则化项以及变形场一致性约束组成，具体由下式表达：s = d
ncc (i
r , t
image
ꢀ◦ꢀ
i
f
) + d
sct (p
r , t
point
ꢀ◦ꢀ
p
f
) + r
i
(t
image
) + r
p
(t
point
) + d
uni (t
image
, t
point
)式中，i
r
, i
f
分别代表参考图像和浮动图像；p
r
, p
f
分别代表参考图像的点云和浮动图像的点云；t
image
, t
point
分别代表图像配准和点云配准输出的变形场；d
ncc (i
r , t
image
ꢀ◦ꢀ
i
f
)代表图像距离项，本实施例中采用ncc（normalized correlation coefficient）度量来定义计算；d
sct (p
r , t
point
ꢀ◦ꢀ
p
f
)代表点云距离项，本实施例中采用形状相关张量（shape correlation tensor, sct）来定义计算；r
i
(t
image
), r
p
(t
point
)分别代表约束图像变形场和点云变形场的正则化项；d
uni (t
image
, t
point
)为图像变形场和点云变形场的一致性约束项；步骤四：将步骤一获得的ct图像构成参考图像、浮动图像对以及对应精简后的点云输入至步骤三获得的融合配准模型中进行训练，使得损失函数收敛并稳定，完成对融合配准模型的训练；步骤五：利用训练好的融合配准模型对待配准的浮动图像进行配准：首先对参考图像（图像a）和浮动图像（图像b）做图像分割得到气管树点云，并按照步骤二的方法得到精简后点云；然后将图像a、图像b和对应的精简点云作为训练好的融合配准模型输入，则模型输出即为图像配准结果和点云配准结果。
18.本实施例步骤一中，分割得到的边界点云，其拓扑结构表示器官或组织的边界形状，例如对于肺实质区域，可通过阈值分割获取，对于气管树，可通过hessian矩阵实现边界增强，再结合管状结构检测滤波器和形态学操作分割细小气管从而得到更为准确的器官或组织的边界形状。将边界点云放入训练模型并在损失函数中加入点云距离项一起训练，能有效提高图像配准的边界保持能力，另外，在实际配准过程中加入点云数据可作为后验，当配准完成后点云距离项偏大时，可认为本次图像配准的表现不佳。
19.实施例2步骤一：利用数字人技术得到大量ct图像数据，并通过特征提取获取图像中的特征点，其中，特征提取可采用sift或mind方法；步骤二：设计如图2所示的融合配准模型，融合配准模型的目标函数由图像距离项、点云距离项、图像变形场正则化项、点云变形场正则化项以及变形场一致性约束项组成；步骤三：将步骤一获得的ct图像构成参考图像、浮动图像对以及对应精简后的点云输入至步骤三获得的融合配准模型中进行训练，使得损失函数收敛并稳定，完成对融合配准模型的训练；步骤四：利用训练好的融合配准模型对待配准的浮动图像进行配准：首先按照步骤一的方法对参考图像（图像a）和浮动图像（图像b）做特征提取，得到特征点云；然后将图像a、图像b和对应的特征点云输入步骤四中训练好的模型，则模型输出即为图像配准结果和点云配准结果。
20.本实施例中，采用了特征点云和图像进行融合配准的方法。相比于图像分割获得的边界点云，特征提取操作简单且获得点云的精度较高，将特征点云放入训练模型并在损失函数中加入点云距离项，能有效提高配准的精度，另外，在实际配准过程中加入特征点云数据可作为后验，当配准完成后点云距离项偏大时，可认为本次图像配准的表现不佳。
21.需要指出的是，示例中采用ct图像进行说明，但本发明不限于ct图像，也可包括超声图像、mri图像、pet图像以及spect图像。
22.另外，本发明主要用于医学图像配准，但也可扩展工业视觉以及机器视觉领域。