一种三维模型的配准方法、医疗终端及装置与流程

1.本技术涉及图像配准领域，具体涉及一种三维模型的配准方法、医疗终端及装置。


背景技术：

2.内窥镜是集中了传统光学、人体工程学、精密机械、现代电子、数学以及软件等一体的检测仪器。它包括图像传感器、光学镜头、光源照明、机械装置等，可以经口腔进入胃内或经其他天然孔道和手术切口进入体内。在现代医学中，通过内窥镜可以看到x射线不能显示的病变。
3.增强现实技术可以将基于术前医学影像重建的模型数据与术中图像进行融合显示，使得医生能够直观的看到器官表面以下的解剖结构，有效解决深度感知信息与触觉反馈信息缺失的问题，使外科手术更快速、更精确、更安全。
4.但是，在手术过程中，由于病人的体位变化(重力因素)和各种手术操作，会导致手术部位发生比较大的形变，使得当前形态下的手术部位与术前拍摄的手术部位相比，形成了比较大的差异，所以使用术前对手术部位进行拍摄以及三维重建得到的三维模型无法精准地指导手术，从而导致手术的安全性较低。


技术实现要素：

5.为解决现有存在的技术问题，本技术实施例提供一种三维模型的配准方法、医疗终端及装置，可以获得与术中手术部位更为匹配的目标三维模型，从而基于得到的目标三维模型可以更为精准地指导手术，提高手术的安全性。
6.第一方面，本技术实施例提供一种医疗终端，包括：
7.收发单元，用于接收术中内窥镜采集的目标部位的内窥镜图像；
8.存储器，用于存储术前对所述目标部位进行拍摄以及三维重建得到的初始三维模型；
9.处理器，用于根据所述内窥镜图像对所述初始三维模型进行刚性配准，得到刚性配准后的参考三维模型；确定所述参考三维模型对应的至少一个模型关键点，以及所述内窥镜图像对应的至少一个图像关键点；所述至少一个模型关键点为所述参考三维模型中所述目标部位对应的特征线上的部分点，所述至少一个图像关键点为所述内窥镜图像中所述目标部位对应的特征线上的部分点；根据各个模型关键点的位置信息以及各个图像关键点的位置信息，确定每一个模型关键点与对应的图像关键点之间的位移信息；根据确定出的各个位移信息对所述参考三维模型对应的四面体网格执行形变操作，获得形变配准后的目标三维模型。
10.本技术实施例提供的医疗终端，在获取到术前对目标部位进行拍摄以及三维重建得到的初始三维模型，和采集到术中目标部位的内窥镜图像后，可以根据内窥镜图像对初始三维模型进行刚性配准，得到刚性配准后的参考三维模型，并确定参考三维模型对应的至少一个模型关键点，以及内窥镜图像对应的至少一个图像关键点，其中，至少一个模型关
键点为参考三维模型中目标部位对应的特征线上的部分点，至少一个图像关键点为内窥镜图像中目标部位对应的特征线上的部分点，然后根据各个模型关键点的位置信息以及各个图像关键点的位置信息，确定每一个模型关键点与对应的图像关键点之间的位移信息，最后根据确定出的各个位移信息对参考三维模型对应的四面体网格执行形变操作，获得形变配准后的目标三维模型。由于可以根据刚性配准后的三维模型中的模型关键点与对应的内窥镜图像中的图像关键点之间的位移信息，对三维模型对应的四面体网格进行形变，得到与内窥镜图像形变配准的目标三维模型，从而可以使得获得的目标三维模型与内窥镜图像中显示的目标部位更为匹配，更能正确和合理地反映目标部位在手术过程中的显示形态，进而基于该目标三维模型可以更为精准地指导手术，提高手术的安全性。
11.在一种可选的实施例中，所述处理器具体用于：
12.将各个模型关键点和各个图像关键点投影至同一维度下的目标坐标系中；
13.根据各个模型关键点的位置信息以及各个图像关键点的位置信息，将所述至少一个模型关键点和所述至少一个图像关键点组成多个特征点组；其中每个特征点组中包含一个模型关键点和一个图像关键点，且一个特征点组中模型关键点对应的图像关键点是所述至少一个图像关键点中与所述模型关键点距离最近的图像关键点；
14.根据各个特征点组中模型关键点和图像关键点之间的位置信息的差值，生成协方差矩阵；并对所述协方差矩阵进行特征值分解得到变换矩阵，根据所述变换矩阵对所述各个模型关键点进行变换处理；
15.若变换处理后的各个模型关键点与对应的图像关键点之间的距离均值不大于预设的第一距离阈值，则根据所述多个特征点组确定每一个模型关键点对应的图像关键点；
16.若变换处理后的各个模型关键点与对应的图像关键点之间的距离均值大于预设的第一距离阈值，使用变换处理后的各个模型关键点替换所述多个特征点组中的模型关键点，并返回执行所述根据各个特征点组中模型关键点和图像关键点之间的位置信息的差值生成协方差矩阵的步骤。
17.上述医疗终端，在将各个模型关键点和各个图像关键点投影至同一维度下的目标坐标系中后，针对每一个图像关键点，可以分别确定出与图像关键点距离最近的模型关键点，并将该模型关键点和该图像关键点作为一个对应点对，根据各个对应点对确定对各个模型关键点进行变换的变换矩阵，在根据该变换矩阵对各个模型关键点进行变换得到变换后的各个模型关键点后，若变换后的各个模型关键点与对应的图像关键点之间的距离均值不大于设定阈值，则确定与每一个模型关键点相对应的图像关键点为与该模型关键点距离最近的图像关键点，否则，将各个模型关键点替换为变换后的各个模型关键点，并重复执行上述操作，直至变换后的各个模型关键点与对应的图像关键点之间的距离均值不大于设定阈值。从而对于每一个模型关键点，可以准确地确定出与该模型关键点相对应的图像关键点。
18.在一种可选的实施例中，所述处理器具体用于：
19.将所述至少一个模型关键点，分别映射到所述参考三维模型对应的四面体网格的网格顶点上，获得每一个模型关键点对应的模型网格顶点；
20.根据每一个模型关键点与对应的图像关键点之间的位移信息，将各个模型网格顶点移动至各自对应的图像关键点所在位置，并将各个模型网格顶点移动之后得到的三维模
型作为形变配准后的目标三维模型。
21.上述医疗终端，可以将至少一个模型关键点，分别映射到参考三维模型对应的四面体网格的网格顶点上，获得每一个模型关键点对应的模型网格顶点，并根据每一个模型关键点与对应的图像关键点之间的位移信息，将各个模型网格顶点移动至各自对应的图像关键点所在位置，并将各个模型网格顶点移动之后得到的三维模型作为形变配准后的目标三维模型。由于可以根据模型关键点与对应的图像关键点之间的位移信息，将四面体网格上相应的模型网格顶点移动到对应的图像关键点的位置，从而可以获得与内窥镜图像中显示的目标部位更为匹配的目标三维模型。
22.在一种可选的实施例中，所述位移信息包括距离信息和方向信息，所述处理器具体用于：
23.针对任意一个模型关键点对应的模型网格顶点分别执行以下操作：根据所述模型关键点与对应的图像关键点之间的距离信息，确定本次对所述模型网格顶点进行移动的第一移动距离；并按照所述模型关键点与对应的图像关键点之间的方向信息，在设定时间步长内将所述模型网格顶点移动所述第一移动距离；
24.若移动后的各个模型网格顶点与对应的图像关键点之间的距离之和不大于预设的第二距离阈值，则确定将各个模型网格顶点移动至各自对应的图像关键点所在位置。
25.上述医疗终端，对于任意一个模型关键点对应的模型网格顶点，可以根据该模型关键点与对应的图像关键点之间的距离信息，确定出本次对该模型关键点对应的模型网格顶点进行移动的第一移动距离，并按照该模型关键点与对应的图像关键点之间的方向信息，在设定时间步长内将该模型关键点对应的模型网格顶点移动第一移动距离，若移动后的各个模型网格顶点与对应的图像关键点之间的距离之和不大于预设的第二距离阈值，则可以确定将各个模型网格顶点移动至各自对应的图像关键点所在位置。从而可以根据模型关键点与对应的图像关键点之间的位移信息，在四面体网格上将相应的模型网格顶点合理地移动到对应的图像关键点的位置。
26.在一种可选的实施例中，所述处理器还用于：
27.若移动后的各个模型网格顶点与对应的图像关键点之间的距离之和大于预设的第二距离阈值，则将所述移动后的各个模型网格顶点作为各个目标模型网格顶点，并针对任意一个目标模型网格顶点分别执行以下操作：
28.根据所述模型关键点与对应的图像关键点之间的距离信息，和所述第一移动距离，确定本次对所述目标模型网格顶点进行移动的第二移动距离；
29.按照所述图像关键点与对应的模型关键点之间的方向信息，在设定时间步长内将所述目标模型网格顶点移动所述第二移动距离，直到移动后的各个目标模型网格顶点与对应的图像关键点之间的距离之和不大于预设的第二距离阈值。
30.上述医疗终端，当根据模型关键点与对应的图像关键点之间的位移信息，在四面体网格上对模型关键点对应的模型网格顶点移动一次后，如果移动后的模型网格顶点与对应的图像关键点之间的距离之和大于预设的距离阈值，则可以将移动后的模型网格顶点作为目标模型网格顶点，并再次根据模型关键点与对应的图像关键点之间的位移信息，在四面体网格上对目标模型网格顶点进行移动，直到移动后的目标模型网格顶点与对应的图像关键点之间的距离之和不大于预设的距离阈值时，可以确定将模型关键点对应的模型网格
顶点移动到了相对应的图像关键点的位置上。从而可以合乎物理地对四面体网格执行形变操作，使得获得的目标三维模型与内窥镜图像中的目标部位的特征边缘保持一致，更能正确地反映术中目标部位的显示形态。
31.在一种可选的实施例中，所述处理器具体用于：
32.根据所述第一移动距离和设定时间步长，确定对所述目标模型网格顶点进行移动的目标速度；
33.根据所述目标速度和所述设定时间步长，确定对所述目标模型网格顶点进行移动的加速移动距离，并根据所述模型关键点与对应的图像关键点之间的距离信息和所述设定时间步长，确定对所述目标模型网格顶点进行移动的形变移动距离；
34.根据所述加速移动距离和所述形变移动距离，确定本次对所述目标模型网格顶点进行移动的第二移动距离。
35.上述医疗终端，可以根据第一移动距离和设定时间步长，确定对目标模型网格顶点进行移动的目标速度，进而根据目标速度和设定时间步长，确定对目标模型网格顶点进行移动的加速移动距离，并根据模型关键点与对应的图像关键点之间的距离信息和设定时间步长，确定对目标模型网格顶点进行移动的形变移动距离，最后根据加速移动距离和形变移动距离，确定本次对目标模型网格顶点进行移动的第二移动距离。从而可以合乎物理地确定出在每个时间步长内对目标模型网格顶点移动的第二移动距离，进而根据该第二移动距离对目标模型网格顶点进行移动后，能够更为合理地将目标模型网格顶点移动到对应的图像关键点的位置。
36.在一种可选的实施例中，所述处理器具体用于：
37.对所述参考三维模型的表面网格进行网格简化处理和网格修复处理，得到修复三维模型；
38.对所述修复三维模型进行四面体单元的网格剖分，得到所述参考三维模型对应的四面体网格。
39.上述医疗终端，可以先对参考三维模型的表面网格进行网格简化处理和网格修复处理，得到修复三维模型，然后对修复三维模型进行四面体单元的网格剖分，得到参考三维模型对应的四面体网格。由于基于三维重建得到的三维模型无法直接执行形变操作，因此可以将三维模型通过网格简化、网格修复和四面体化得到四面体网格，进而基于该四面体网格进行形变操作，从而可以获得更能正确和合理地反映目标部位在手术过程中的显示形态的目标三维模型。
40.第二方面，本技术实施例提供一种三维模型的配准方法，包括：
41.获取术前对目标部位进行拍摄以及三维重建得到的初始三维模型，和术中采集到的所述目标部位的内窥镜图像；根据所述内窥镜图像对所述初始三维模型进行刚性配准，得到刚性配准后的参考三维模型；
42.确定所述参考三维模型对应的至少一个模型关键点，以及所述内窥镜图像对应的至少一个图像关键点；所述至少一个模型关键点为所述参考三维模型中所述目标部位对应的特征线上的部分点，所述至少一个图像关键点为所述内窥镜图像中所述目标部位对应的特征线上的部分点；
43.根据各个模型关键点的位置信息以及各个图像关键点的位置信息，确定每一个模
型关键点与对应的图像关键点之间的位移信息；
44.根据确定出的各个位移信息对所述参考三维模型对应的四面体网格执行形变操作，获得形变配准后的目标三维模型。
45.在一种可选的实施例中，根据下列方式确定每一个模型关键点对应的图像关键点：
46.将各个模型关键点和各个图像关键点投影至同一维度下的目标坐标系中；
47.根据各个模型关键点的位置信息以及各个图像关键点的位置信息，将所述至少一个模型关键点和所述至少一个图像关键点组成多个特征点组；其中每个特征点组中包含一个模型关键点和一个图像关键点，且一个特征点组中模型关键点对应的图像关键点是所述至少一个图像关键点中与所述模型关键点距离最近的图像关键点；
48.根据各个特征点组中模型关键点和图像关键点之间的位置信息的差值，生成协方差矩阵；并对所述协方差矩阵进行特征值分解得到变换矩阵，根据所述变换矩阵对所述各个模型关键点进行变换处理；
49.若变换处理后的各个模型关键点与对应的图像关键点之间的距离均值不大于预设的第一距离阈值，则根据所述多个特征点组确定每一个模型关键点对应的图像关键点；
50.若变换处理后的各个模型关键点与对应的图像关键点之间的距离均值大于预设的第一距离阈值，使用变换处理后的各个模型关键点替换所述多个特征点组中的模型关键点，并返回执行所述根据各个特征点组中模型关键点和图像关键点之间的位置信息的差值生成协方差矩阵的步骤。
51.在一种可选的实施例中，所述根据确定出的各个位移信息对所述参考三维模型对应的四面体网格执行形变操作，获得形变配准后的目标三维模型，包括：
52.将所述至少一个模型关键点，分别映射到所述参考三维模型对应的四面体网格的网格顶点上，获得每一个模型关键点对应的模型网格顶点；
53.根据每一个模型关键点与对应的图像关键点之间的位移信息，将各个模型网格顶点移动至各自对应的图像关键点所在位置，并将各个模型网格顶点移动之后得到的三维模型作为形变配准后的目标三维模型。
54.在一种可选的实施例中，所述位移信息包括距离信息和方向信息，所述根据每一个模型关键点与对应的图像关键点之间的位移信息，将各个模型网格顶点移动至各自对应的图像关键点所在位置，包括：
55.针对任意一个模型关键点对应的模型网格顶点分别执行以下操作：根据所述模型关键点与对应的图像关键点之间的距离信息，确定本次对所述模型网格顶点进行移动的第一移动距离；并按照所述模型关键点与对应的图像关键点之间的方向信息，在设定时间步长内将所述模型网格顶点移动所述第一移动距离；
56.若移动后的各个模型网格顶点与对应的图像关键点之间的距离之和不大于预设的第二距离阈值，则确定将各个模型网格顶点移动至各自对应的图像关键点所在位置。
57.在一种可选的实施例中，所述方法还包括：
58.若移动后的各个模型网格顶点与对应的图像关键点之间的距离之和大于预设的第二距离阈值，则将所述移动后的各个模型网格顶点作为各个目标模型网格顶点，并针对任意一个目标模型网格顶点分别执行以下操作：
59.根据所述模型关键点与对应的图像关键点之间的距离信息，和所述第一移动距离，确定本次对所述目标模型网格顶点进行移动的第二移动距离；
60.按照所述图像关键点与对应的模型关键点之间的方向信息，在设定时间步长内将所述目标模型网格顶点移动所述第二移动距离，直到移动后的各个目标模型网格顶点与对应的图像关键点之间的距离之和不大于预设的第二距离阈值。
61.在一种可选的实施例中，所述根据所述模型关键点与对应的图像关键点之间的距离信息，和所述第一移动距离，确定本次对所述目标模型网格顶点进行移动的第二移动距离，包括：
62.根据所述第一移动距离和设定时间步长，确定对所述目标模型网格顶点进行移动的目标速度；
63.根据所述目标速度和所述设定时间步长，确定对所述目标模型网格顶点进行移动的加速移动距离，并根据所述模型关键点与对应的图像关键点之间的距离信息和所述设定时间步长，确定对所述目标模型网格顶点进行移动的形变移动距离；
64.根据所述加速移动距离和所述形变移动距离，确定本次对所述目标模型网格顶点进行移动的第二移动距离。
65.在一种可选的实施例中，根据下列方式确定所述四面体网格：
66.对所述参考三维模型的表面网格进行网格简化处理和网格修复处理，得到修复三维模型；
67.对所述修复三维模型进行四面体单元的网格剖分，得到所述参考三维模型对应的四面体网格。
68.第三方面，本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现上述第二方面的三维模型的配准方法。
69.第四方面，本技术实施例还提供了一种三维模型的配准装置，包括：
70.刚性配准单元，用于获取术前对目标部位进行拍摄以及三维重建得到的初始三维模型，和术中采集到的所述目标部位的内窥镜图像；根据所述内窥镜图像对所述初始三维模型进行刚性配准，得到刚性配准后的参考三维模型；
71.关键点确定单元，用于确定所述参考三维模型对应的至少一个模型关键点，以及所述内窥镜图像对应的至少一个图像关键点；所述至少一个模型关键点为所述参考三维模型中所述目标部位对应的特征线上的部分点，所述至少一个图像关键点为所述内窥镜图像中所述目标部位对应的特征线上的部分点；
72.位移信息确定单元，用于根据各个模型关键点的位置信息以及各个图像关键点的位置信息，确定每一个模型关键点与对应的图像关键点之间的位移信息；
73.形变配准单元，用于根据确定出的各个位移信息对所述参考三维模型对应的四面体网格执行形变操作，获得形变配准后的目标三维模型。
74.在一种可选的实施例中，所述装置还包括对应点确定单元，用于：
75.将各个模型关键点和各个图像关键点投影至同一维度下的目标坐标系中；
76.根据各个模型关键点的位置信息以及各个图像关键点的位置信息，将所述至少一个模型关键点和所述至少一个图像关键点组成多个特征点组；其中每个特征点组中包含一
个模型关键点和一个图像关键点，且一个特征点组中模型关键点对应的图像关键点是所述至少一个图像关键点中与所述模型关键点距离最近的图像关键点；
77.根据各个特征点组中模型关键点和图像关键点之间的位置信息的差值，生成协方差矩阵；并对所述协方差矩阵进行特征值分解得到变换矩阵，根据所述变换矩阵对所述各个模型关键点进行变换处理；
78.若变换处理后的各个模型关键点与对应的图像关键点之间的距离均值不大于预设的第一距离阈值，则根据所述多个特征点组确定每一个模型关键点对应的图像关键点；
79.若变换处理后的各个模型关键点与对应的图像关键点之间的距离均值大于预设的第一距离阈值，使用变换处理后的各个模型关键点替换所述多个特征点组中的模型关键点，并返回执行所述根据各个特征点组中模型关键点和图像关键点之间的位置信息的差值生成协方差矩阵的步骤。
80.在一种可选的实施例中，所述形变配准单元，具体用于：
81.将所述至少一个模型关键点，分别映射到所述参考三维模型对应的四面体网格的网格顶点上，获得每一个模型关键点对应的模型网格顶点；
82.根据每一个模型关键点与对应的图像关键点之间的位移信息，将各个模型网格顶点移动至各自对应的图像关键点所在位置，并将各个模型网格顶点移动之后得到的三维模型作为形变配准后的目标三维模型。
83.在一种可选的实施例中，所述位移信息包括距离信息和方向信息，所述形变配准单元，具体用于：
84.针对任意一个模型关键点对应的模型网格顶点分别执行以下操作：根据所述模型关键点与对应的图像关键点之间的距离信息，确定本次对所述模型网格顶点进行移动的第一移动距离；并按照所述模型关键点与对应的图像关键点之间的方向信息，在设定时间步长内将所述模型网格顶点移动所述第一移动距离；
85.若移动后的各个模型网格顶点与对应的图像关键点之间的距离之和不大于预设的第二距离阈值，则确定将各个模型网格顶点移动至各自对应的图像关键点所在位置。
86.在一种可选的实施例中，所述形变配准单元，还用于：
87.若移动后的各个模型网格顶点与对应的图像关键点之间的距离之和大于预设的第二距离阈值，则将所述移动后的各个模型网格顶点作为各个目标模型网格顶点，并针对任意一个目标模型网格顶点分别执行以下操作：
88.根据所述模型关键点与对应的图像关键点之间的距离信息，和所述第一移动距离，确定本次对所述目标模型网格顶点进行移动的第二移动距离；
89.按照所述图像关键点与对应的模型关键点之间的方向信息，在设定时间步长内将所述目标模型网格顶点移动所述第二移动距离，直到移动后的各个目标模型网格顶点与对应的图像关键点之间的距离之和不大于预设的第二距离阈值。
90.在一种可选的实施例中，所述形变配准单元，还用于：
91.根据所述第一移动距离和设定时间步长，确定对所述目标模型网格顶点进行移动的目标速度；
92.根据所述目标速度和所述设定时间步长，确定对所述目标模型网格顶点进行移动的加速移动距离，并根据所述模型关键点与对应的图像关键点之间的距离信息和所述设定
时间步长，确定对所述目标模型网格顶点进行移动的形变移动距离；
93.根据所述加速移动距离和所述形变移动距离，确定本次对所述目标模型网格顶点进行移动的第二移动距离。
94.在一种可选的实施例中，所述装置还包括四面体生成单元，用于：
95.对所述参考三维模型的表面网格进行网格简化处理和网格修复处理，得到修复三维模型；
96.对所述修复三维模型进行四面体单元的网格剖分，得到所述参考三维模型对应的四面体网格。
97.第二方面、第三方面或第四方面中任意一种实现方式所带来的技术效果可参见第一方面的实现方式所带来的技术效果，此处不再赘述。
附图说明
98.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
99.图1为本技术实施例提供的一种应用场景示意图；
100.图2为本技术实施例提供的一种医疗终端的结构示意图；
101.图3为本技术实施例提供的另一种医疗终端的结构示意图；
102.图4为本技术实施例提供的一种三维模型的配准方法的流程图；
103.图5为本技术实施例提供的一种确定对应点的流程图；
104.图6为本技术实施例提供的一种四面体网格生成的流程图；
105.图7a为本技术实施例提供的一种获得目标三维模型的流程图；
106.图7b为本技术实施例提供的一种确定第二移动距离的流程图；
107.图8为本技术实施例提供的另一种三维模型的配准方法的流程图；
108.图9a为本技术实施例提供的一种内窥镜图像中目标部位上的特征线示意图；
109.图9b为本技术实施例提供的一种参考三维模型中目标部位上的特征线示意图；
110.图10为本技术实施例提供的一种四面体网格的示意图；
111.图11为本技术实施例提供的一种四面体网格上的各个模型网格顶点和对应的各个图像关键点的示意图；
112.图12为本技术实施例提供的一种根据位移信息对模型网格顶点进行移动的示意图；
113.图13为本技术实施例提供的一种四面体网格最终的形变结果示意图；
114.图14为本技术实施例提供的一种各个模型网格顶点与对应的图像关键点之间的距离之和的变化过程示意图；
115.图15为本技术实施例提供的一种形变之后的四面体网格和形变之前的四面体网格的对比示意图；
116.图16为本技术实施例提供的一种三维模型的配准装置的结构示意图；
117.图17为本技术实施例提供的另一种三维模型的配准装置的结构示意图。
具体实施方式
118.为了使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术作进一步地详细描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
119.需要说明的是，本技术的文件中涉及的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
120.下面对本技术实施例的设计思想进行简要介绍：
121.腹腔镜肝切除术具有切口小、痛苦小、恢复快、疤痕小等优点，快速成为当前手术的发展趋势。但由于其深度感知信息与触觉反馈信息缺失的原因，对外科医生提出了更大的挑战。增强现实技术可以将基于术前医学影像重建的模型数据与术中图像进行融合显示，使得医生能够直观的看到器官表面以下解剖结构，有效解决深度感知信息与触觉反馈信息缺失的问题，使外科手术更快速、更精确、更安全。即将三维模型与肝脏图像进行配准与融合显示，可以达到对肝脏“透视眼”的能力，在实现了融合显示的基础上，还需要尽可能降低匹配的误差，使得该技术可以更好地帮助医生进行手术操作。
122.目前在增强现实术中导航方向，大部分还基于仿射变换(旋转、平移加缩放)的配准方案：利用定位设备，使用点云配准算法，将病人所在的光学定位坐标系与ct影像坐标系，进行刚性变换(旋转平移)，从而进行统一；其次使用棋盘格以及定位系统，对内窥镜相机进行标定，得到内窥镜相机坐标系与定位坐标系之间的刚性变换关系，从而实现术前三维模型与腹腔镜视频中的肝脏的刚性配准。但是在手术过程中，病人由于体位变化(重力因素)、手术流程中的气腹操作，以及在手术过程中的镰状韧带切除等操作，会导致脏器发生比较大的形变。当前形态下的肝脏与术前拍摄ct时病人的肝脏相比，形成了比较大的差异，所以使用术前ct重建出的肝脏、血管、病灶用于指导手术，会缺乏参考性，对精准外科手术来说，是非常大的困难。
123.除了刚性配准，也有部分3d点云的形变配准，比如一致性飘移(coherent point drift)，这是一种鲁棒的基于高斯混合模型的点集匹配算法。但是获取术中3d点，需要额外设备，比如定位设备、双目内窥镜等。同时基于点集的形变配准算法，未考虑组织间的弹性模量等参数，因此无法将脏器表面点的位移量，符合物理(组织弹性模型、不可压等)地传导到脏器内部，从而无法将脏器内部血管和病灶的位移正确地展示出来。
124.因此，为了使得术前对目标部位进行三维重建得到的三维模型能够与术中内窥镜图像中的目标部位相匹配，更能反映目标部位在术中的显示形态，进而能够更为精准地指导手术，提高手术的安全性，本技术实施例提供一种三维模型的配准方法、医疗终端及装置，在获取到术前对目标部位进行拍摄以及三维重建得到的初始三维模型，和采集到术中目标部位的内窥镜图像后，可以根据内窥镜图像对初始三维模型进行刚性配准，得到刚性
配准后的参考三维模型，并确定参考三维模型对应的至少一个模型关键点，以及内窥镜图像对应的至少一个图像关键点，其中，至少一个模型关键点为参考三维模型中目标部位对应的特征线上的部分点，至少一个图像关键点为内窥镜图像中目标部位对应的特征线上的部分点，然后根据各个模型关键点的位置信息以及各个图像关键点的位置信息，确定每一个模型关键点与对应的图像关键点之间的位移信息，最后根据确定出的各个位移信息对参考三维模型对应的四面体网格执行形变操作，获得形变配准后的目标三维模型。
125.下面结合附图及具体实施例对本技术作进一步详细的说明。
126.下文中所用的词语“示例性”的意思为“用作例子、实施例或说明性”。作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。在本技术实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
127.参阅图1所示，为本技术实施例一种可选的应用场景示意图。该应用场景中可以包括内窥镜100、医疗设备200和影像扫描设备300。
128.其中，内窥镜100用于在术中采集目标部位的内窥镜图像，影像扫描设备300用于在术前对目标部位进行拍摄，得到目标对象的医学数字图像数据。内窥镜100和医疗设备200，医疗设备200与影像扫描设备300之间均可以采用有线或无线的方式进行通信。
129.可选的，影像扫描设备300可以在术前对目标部位进行ct或mri拍摄，得到目标对象的医学数字图像数据。
130.在一种实施例中，医疗设备200可以接收影像扫描设备300发送的目标部位的医学数字图像数据，对目标部位的医学数字图像数据进行三维重建得到初始三维模型，并对目标部位的初始三维模型进行存储；以及实时接收内窥镜100发送的目标部位的内窥镜图像。
131.在另一种实施例中，医疗设备200也可以接收影像扫描设备300发送的术前对目标部位进行拍摄和三维重建得到的初始三维模型，并对目标部位的初始三维模型进行存储；以及实时接收内窥镜100发送的目标部位的内窥镜图像。
132.图2中示例性示出了本技术实施例提供的一种医疗终端的结构示意图。如图2所示，本技术实施例提供的医疗终端，包括处理器203、存储器202和收发单元201。
133.其中，收发单元201，用于接收术中内窥镜采集的目标部位的内窥镜图像；
134.存储器202，用于存储术前对目标部位进行拍摄以及三维重建得到的初始三维模型；
135.处理器203，可以包括一个或多个中央处理单元(central processing unit，cpu)，或者数字处理单元等等。处理器203，用于根据内窥镜图像对初始三维模型进行刚性配准，得到刚性配准后的参考三维模型；确定参考三维模型对应的至少一个模型关键点，以及内窥镜图像对应的至少一个图像关键点；至少一个模型关键点为参考三维模型中目标部位对应的特征线上的部分点，至少一个图像关键点为内窥镜图像中目标部位对应的特征线上的部分点；根据各个模型关键点的位置信息以及各个图像关键点的位置信息，确定每一个模型关键点与对应的图像关键点之间的位移信息；根据确定出的各个位移信息对参考三维模型对应的四面体网格执行形变操作，获得形变配准后的目标三维模型。
136.本技术实施例中不限定上述收发单元201、存储器202和处理器203之间的具体连接介质。本技术实施例在图2中，收发单元201、存储器202和处理器203之间通过总线204连接，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。所述总线204可以分为
地址总线、数据总线、控制总线等。为便于表示，图2中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
137.可选的，本技术实施例另一种可选的应用场景；其中医疗终端可以是内窥镜，如图3所示，该内窥镜可以包括处理器303、存储器302和图像采集单元301。
138.其中，图像采集单元301，用于采集术中目标部位的内窥镜图像；
139.需要说明的是，图像采集单元301可以为摄像头。
140.存储器302，用于存储术前对目标部位进行拍摄以及三维重建得到的初始三维模型；
141.处理器303，可以包括一个或多个中央处理单元(central processing unit，cpu)，或者数字处理单元等等。处理器303，用于实现本技术实施例提供的三维模型的配准方法。
142.本技术实施例中不限定上述图像采集单元301、存储器302和处理器303之间的具体连接介质。本技术实施例在图3中，图像采集单元301、存储器302和处理器303之间通过总线304连接，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。所述总线304可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
143.需要说明的是，本技术实施例中的内窥镜具体指手术用内窥镜，可以是腹腔镜、胸腔镜、关节镜、鼻镜、膀胱镜、直肠镜、十二指肠镜、纵隔镜及心脏镜中的一个或一个以上。
144.在一些实施例中，上述医疗终端执行的三维模型的配准方法的流程图可以参见图4所示，包括以下步骤：
145.步骤s401，获取术前对目标部位进行拍摄以及三维重建得到的初始三维模型，和术中采集到的目标部位的内窥镜图像。
146.术前对病人的目标部位进行拍摄，获得相应的医学数字图像数据，对该医学数字图像数据进行三维重建，可以得到目标部位对应的初始三维模型。
147.其中，医学数字图像数据可以通过对目标部位进行ct拍摄得到的，也可以是通过对目标部位进行mri扫描得到的，本技术在此不作限定。
148.在手术过程中，通过内窥镜获取实时的术中图像，得到目标部位的内窥镜图像。
149.步骤s402，根据内窥镜图像对初始三维模型进行刚性配准，得到刚性配准后的参考三维模型。
150.在获取到术前目标部位的初始三维模型和术中目标部位的内窥镜图像后，可以根据内窥镜图像对初始三维模型进行刚性配准，得到刚性配准后的参考三维模型。
151.其中，根据内窥镜图像对初始三维模型进行刚性配准，可以是借助光学定位设备对初始三维模型进行自动配准，或者采用手动的方式对初始三维模型进行手动配准。
152.步骤s403，确定参考三维模型对应的至少一个模型关键点，以及内窥镜图像对应的至少一个图像关键点。
153.其中，至少一个模型关键点为参考三维模型中目标部位对应的特征线上的部分点，至少一个图像关键点为内窥镜图像中目标部位对应的特征线上的部分点。
154.可选的，可以根据图5中示出的过程来确定每一个模型关键点对应的图像关键点。具体地，如图5所示，可以包括以下步骤：
155.步骤s501，将各个模型关键点和各个图像关键点投影至同一维度下的目标坐标系中。
156.由于各个模型关键点所处的坐标系是三维坐标系，各个图像关键点所处的坐标系是二维坐标系，因此，在确定各个模型关键点与各个图像关键点之间的对应关系时，需要将各个模型关键点和各个图像关键点投影至同一维度下的目标坐标系中。
157.具体地，可以将各个模型关键点投影至二维坐标系中，各个图像关键点的坐标系不变；或者，可以将各个图像关键点投影至三维坐标系中，各个模型关键点的坐标系不变。
158.步骤s502，根据各个模型关键点的位置信息以及各个图像关键点的位置信息，将至少一个模型关键点和至少一个图像关键点组成多个特征点组。
159.其中，每个特征点组中包含一个模型关键点和一个图像关键点，且一个特征点组中模型关键点对应的图像关键点是至少一个图像关键点中与模型关键点距离最近的图像关键点。
160.步骤s503，根据各个特征点组中模型关键点和图像关键点之间的位置信息的差值，生成协方差矩阵。
161.步骤s504，对协方差矩阵进行特征值分解得到变换矩阵，根据变换矩阵对各个模型关键点进行变换处理。
162.步骤s505，确定变换处理后的各个模型关键点与对应的图像关键点之间的距离均值是否大于预设的第一距离阈值；如果否，执行步骤s506；如果是，执行步骤s507。
163.步骤s506，根据多个特征点组确定每一个模型关键点对应的图像关键点。
164.步骤s507，使用变换处理后的各个模型关键点替换多个特征点组中的模型关键点。
165.在将各个模型关键点替换为变换处理后的各个模型关键点后，可以返回步骤s502，重复执行根据各个模型关键点的位置信息以及各个图像关键点的位置信息确定多个特征点组，并根据各个特征点组中模型关键点和图像关键点之间的位置信息的差值生成协方差矩阵的步骤，直至变换处理后的各个模型关键点与对应的图像关键点之间的距离均值不大于预设的第一距离阈值。
166.步骤s404，根据各个模型关键点的位置信息以及各个图像关键点的位置信息，确定每一个模型关键点与对应的图像关键点之间的位移信息。
167.对于每一个模型关键点，可以根据该模型关键点的位置信息和相对应的图像关键点的位置信息，分别确定出该模型关键点与相对应的图像关键点之间的距离信息和方向信息，并根据每一个模型关键点与相对应的图像关键点之间的距离信息和方向信息，得到每一个模型关键点与相对应的图像关键点之间的位移信息。
168.步骤s405，根据确定出的各个位移信息对参考三维模型对应的四面体网格执行形变操作，获得形变配准后的目标三维模型。
169.在得到刚性配准后的参考三维模型后，可以将参考三维模型转化成四面体网格。具体地，可以按照如图6所示的流程图将参考三维模型转化成四面体网格，包括以下步骤：
170.步骤s601，对参考三维模型的表面网格进行网格简化处理和网格修复处理，得到修复三维模型。
171.其中，网格简化处理用于减少参考三维模型的表面网格中的三角形或多边形网格
的数量，网格修复处理用于修复参考三维模型的表面网格的网格质量。
172.步骤s602，对修复三维模型进行四面体单元的网格剖分，得到参考三维模型对应的四面体网格。
173.在对参考三维模型的表面网格进行网格简化处理和网格修复处理后，对获得的修复三维模型进行四面体化，即对修复三维模型进行四面体单元的网格剖分，以生成相应的四面体网格。
174.在得到参考三维模型对应的四面体网格后，可以根据确定出的各个位移信息对该四面体网格执行形变操作，获得形变配准后的目标三维模型。具体地，可以根据图7a中示出的过程来获得目标三维模型，如图7a所示，包括以下步骤：
175.步骤s701，将至少一个模型关键点，分别映射到参考三维模型对应的四面体网格的网格顶点上，获得每一个模型关键点对应的模型网格顶点。
176.步骤s702，针对任意一个模型关键点对应的模型网格顶点分别执行以下操作：根据模型关键点与对应的图像关键点之间的距离信息，确定本次对模型网格顶点进行移动的第一移动距离。
177.具体地，针对任意一个模型关键点对应的模型网格顶点，根据模型关键点与对应的图像关键点之间的距离信息，确定对该模型关键点对应的模型网格顶点所施加的外力大小。
178.其中，外力大小与模型关键点与对应的图像关键点之间的距离成正比关系，距离越大，外力越大，距离越小，外力也随之越小。
179.在本技术实施例中，可以通过以下公式确定对模型网格顶点施加的外力：
[0180][0181]
其中，表示外力，f
basic
为常量，表示基本外力大小，表示模型关键点与对应的图像关键点之间的方向，表示模型关键点与对应的图像关键点之间的距离。
[0182]
在确定出对模型网格顶点施加的外力大小后，可以根据以下公式确定本次对模型网格顶点进行移动的第一移动距离：
[0183]
δx1＝δt2m-1fext
[0184]
其中，δx1为第一移动距离，δt为设定时间步长，m为质量矩阵，f
ext
为对模型网格顶点施加的外力大小。
[0185]
步骤s703，按照模型关键点与对应的图像关键点之间的方向信息，在设定时间步长内将模型网格顶点移动第一移动距离。
[0186]
步骤s704，确定移动后的各个模型网格顶点与对应的图像关键点之间的距离之和是否大于预设的第二距离阈值；如果否，执行步骤s705；如果是，执行步骤s706。
[0187]
步骤s705，确定将各个模型网格顶点移动至各自对应的图像关键点所在位置。
[0188]
步骤s706，将移动后的各个模型网格顶点作为各个目标模型网格顶点。
[0189]
步骤s707，针对任意一个目标模型网格顶点分别执行以下操作：根据模型关键点与对应的图像关键点之间的距离信息，和第一移动距离，确定本次对目标模型网格顶点进行移动的第二移动距离。
[0190]
具体地，可以根据图7b中示出的过程来确定本次对目标模型网格顶点进行移动的
第二移动距离，如图7b所示，包括以下步骤：
[0191]
步骤s7071，根据第一移动距离和设定时间步长，确定对目标模型网格顶点进行移动的目标速度。
[0192]
其中，对目标模型网格顶点进行移动的目标速度可以通过以下公式进行确定：
[0193]
v＝δx1/δt
[0194]
其中，v为目标速度，δx1为第一移动距离，δt为设定时间步长。
[0195]
步骤s7072，根据目标速度和设定时间步长，确定对目标模型网格顶点进行移动的加速移动距离。
[0196]
对目标模型网格顶点进行移动的加速移动距离可以通过以下公式进行确定：
[0197]
δxg＝δtv
[0198]
其中，δxg为加速移动距离，v为目标速度，δt为设定时间步长。
[0199]
步骤s7073，根据模型关键点与对应的图像关键点之间的距离信息和设定时间步长，确定对目标模型网格顶点进行移动的形变移动距离。
[0200]
具体地，首先根据模型关键点与对应的图像关键点之间的距离信息，确定对目标模型网格顶点所施加的外力大小，然后根据对目标模型网格顶点施加的外力大小和设定时间步长，确定对目标模型网格顶点进行移动的形变移动距离δxs。
[0201]
步骤s7074，根据加速移动距离和形变移动距离，确定本次对目标模型网格顶点进行移动的第二移动距离。
[0202]
第二移动距离可以通过以下公式进行确定：
[0203]
δx2＝δxg+δxs[0204]
其中，δx2为第二移动距离，δxg为加速移动距离，δxs为形变移动距离。
[0205]
步骤s708，按照图像关键点与对应的模型关键点之间的方向信息，在设定时间步长内将目标模型网格顶点移动第二移动距离。
[0206]
步骤s709，确定移动后的各个目标模型网格顶点与对应的图像关键点之间的距离之和是否大于预设的第二距离阈值；如果否，执行步骤s710；如果是，执行步骤s711。
[0207]
步骤s710，确定将各个目标模型网格顶点移动至各自对应的图像关键点所在位置。
[0208]
步骤s711，使用移动后的各个目标模型网格顶点替换各个目标模型网格顶点，并使用各个第二移动距离替换各个第一移动距离。
[0209]
在将各个模型关键点替换为移动后的各个目标模型网格顶点，并将各个第一移动距离替换为各个第二移动距离后，可以返回步骤s707，重复执行根据模型关键点与对应的图像关键点之间的距离信息，和第一移动距离，确定本次对目标模型网格顶点进行移动的第二移动距离，并按照图像关键点与对应的模型关键点之间的方向信息，在设定时间步长内将目标模型网格顶点移动第二移动距离的步骤，直至移动后的各个目标模型网格顶点与对应的图像关键点之间的距离之和不大于预设的第二距离阈值。
[0210]
在另一些实施例中，上述医疗终端执行的三维模型的配准方法还可以按照图8示出的过程进行实现。如图8所示，可以包括以下步骤：
[0211]
步骤s801，分别确定出内窥镜图像和参考三维模型中的目标部位对应的特征线。
[0212]
其中，内窥镜图像是在术中采用内窥镜对目标部位进行图像采集得到的，参考三
维模型是术前对目标部位进行拍摄以及三维重建得到的初始三维模型，与内窥镜图像进行刚性配准后得到的。
[0213]
在确定内窥镜图像和参考三维模型中的目标部位对应的特征线时，可以采用人工手动标记的方式，也可以使用人工智能算法进行自动提取并进行分类。
[0214]
可选的，当目标部位为肝脏时，确定出的特征线可以是肝脏的下脊线、后轮廓和镰状韧带，即可以在内窥镜图像中确定出肝脏的下脊线、后轮廓和镰状韧带，在参考三维模型上确定出肝脏的下脊线、后轮廓和镰状韧带。
[0215]
示例性地，内窥镜图像中确定出的肝脏的下脊线和后轮廓可以如图9a所示。其中，图9a中的实线为内窥镜图像中的肝脏的下脊线，图9a中的虚线为内窥镜图像中的肝脏的后轮廓。
[0216]
参考三维模型上确定出的肝脏的下脊线和后轮廓可以如图9b所示。其中，图9b中的黑色实线为参考三维模型上的肝脏的下脊线，图9b中的白色虚线为参考三维模型上的肝脏的后轮廓。
[0217]
步骤s802，确定位于内窥镜图像中的目标部位对应的特征线上的至少一个图像关键点，以及位于参考三维模型中的目标部位对应的特征线上的至少一个模型关键点。
[0218]
在确定位于特征线上的至少一个关键点时，可以采用手动标记的方式进行确定，也可以采用下采样的方式进行确定，还可以将特征线上的首尾点相连，得到一条直线，并确定特征线上的中间点与该直线之间的距离，若该距离小于设定阈值，则将该中间点作为一个关键点，否则根据该中间点将特征线划分为两个子特征线，并将每个子特征线作为特征线，并重复执行将特征线上的首尾点相连得到直线，确定特征线上的中间点与直线之间的距离，判断距离是否小于设定阈值的过程，直至确定出特征线上所有满足条件的点，并将这些点作为关键点。
[0219]
步骤s803，根据各个模型关键点的位置信息以及各个图像关键点的位置信息，将各个模型关键点与各个图像关键点进行匹配，确定每一个模型关键点对应的图像关键点。
[0220]
其中，确定每一个模型关键点对应的图像关键点的具体过程可以按照图5中示出的过程来进行执行，本技术实施例在此不作赘述。
[0221]
步骤s804，根据每一个模型关键点的位置信息，与对应的图像关键点的位置信息，确定各个模型关键点与对应的图像关键点之间的位移信息。
[0222]
其中，位移信息包括距离信息和方向信息。
[0223]
步骤s805，对参考三维模型的表面网格进行网格简化处理、网格修复处理，以及四面体单元的网格剖分，得到对应的四面体网格。
[0224]
步骤s806，将至少一个模型关键点，分别映射到四面体网格的网格顶点上，获得每一个模型关键点对应的模型网格顶点。
[0225]
例如，当目标部位为肝脏时，可以对图9b中的参考三维模型的表面网格进行网格简化处理、网格修复处理，以及四面体单元的网格剖分，得到如图10所示的四面体网格。
[0226]
在得到肝脏的参考三维模型对应的四面体网格后，可以将位于参考三维模型中肝脏的下脊线上的至少一个模型关键点，分别映射到该四面体网格的网格顶点上，获得每一个模型关键点对应的模型网格顶点。如图10所示，四面体网格边缘上的各个白色的点即为映射得到的各个模型网格顶点。
[0227]
步骤s807，根据每一个模型关键点与对应的图像关键点之间的位移信息，将各个模型网格顶点移动至各自对应的图像关键点所在位置，并将各个模型网格顶点移动之后得到的三维模型作为形变配准后的目标三维模型。
[0228]
对于每一个模型关键点，在将模型关键点映射到四面体网格的网格顶点上，获得相应的模型网格顶点后，可以先根据模型关键点与对应的图像关键点之间的位移信息，确定对模型网格顶点施加的外力。
[0229]
在确定出对每一个模型关键点对应的模型网格顶点施加的外力后，可以使用基于位置的动力学(position based dynamic，pbd)算法，使用neo hooken弹性模型，以确定出的对每一个模型网格顶点施加的外力作为输入，并且，输入目标部位的young模量(如，当前目标部位为肝脏时，正常肝脏为60000pa)和possion比(如，当目标部位为肝脏时，possion比可以为0.49)。其中，young模量反映目标部位的弹性度量，possion比反映目标部位的不可压属性，possion比的取值范围为0-0.5，且possion比越接近0.5，表示物体越不可压。输入方程求解的迭代次数和时间步长，对步骤s805中得到的四面体网格进行弹性形变模拟，直至四面体网格上的各个模型网格顶点，与内窥镜图像上对应的各个图像关键点的总误差小于一定阈值，迭代停止。
[0230]
具体地，对各个模型网格顶点，先执行一步显示euler迭代：
[0231]
x
n+1
＝xn+δtvn+δt2m-1fext
[0232]
其中，x表示模型网格顶点，v表示模型网格顶点的速度，δt为时间步长，m为质量矩阵，f
ext
表示外力大小。
[0233]
即对于每一个模型网格顶点，该模型网格顶点本次要移动到的n+1位置，需要根据该模型网格顶点当前所在的n位置和移动距离来确定，且移动距离根据本次移动的速度v、时间步长δt和外力大小f
ext
来确定。
[0234]
其次，λ0＝0
[0235]
当时，执行：
[0236]
通过以下公式确定δλ：
[0237][0238]
通过以下公式确定δx：
[0239][0240]
在确定出δλ和δx后，可以更新和λ
k+1
＝λk+δλ。
[0241]
且k＝k+1，
[0242]
其中，λk表示拉格朗日乘子系数，ψ为neo hookean应变张量，为弹性力。
[0243]
ψ可以通过以下公式确定：
[0244]
[0245]
可以通过以下方式确定：
[0246][0247]
其中，f表示形变矩阵，j＝|f|为形变f的行列式。
[0248]
例如，在将位于参考三维模型中肝脏的下脊线上的至少一个模型关键点，分别映射到四面体网格的网格顶点上，获得相应的各个模型网格顶点后，可以根据内窥镜图像中肝脏的下脊线上的各个图像关键点，对对应的各个模型网格顶点设置轮廓约束。如图11所示，白色的立体区域表示四面体网格，四面体网格的边缘上白色的点表示各个模型网格顶点，灰色的线表示内窥镜图像中肝脏的下脊线，黑色的点表示内窥镜图像中肝脏的下脊线上的各个图像关键点。
[0249]
然后，对各个模型网格顶点施加外力，外力的大小根据相应的模型关键点与对应的图像关键点之间的距离信息确定，外力的方向根据相应的模型关键点与对应的图像关键点之间的方向信息确定。对各个模型网格顶点施加外力，使得四面体网格发生形变的效果可以如图12所示，由图12可以看出，各个模型网格顶点都朝着对应的图像关键点的位置进行靠近。
[0250]
最后，基于内窥镜图像中肝脏的下脊线上的各个图像关键点组成的轮廓约束，对对应的各个模型网格顶点进行多次移动，当移动后的各个模型网格顶点与对应的图像关键点之间的距离之和不大于设定阈值时，可以停止对各个模型网格顶点的移动，得到的四面体网格最终的形变结果可以如图13所示。由图13可知，四面体网格上的各个模型网格顶点基本都被移动到了对应的图像关键点的位置。
[0251]
并且，在对四面体网格执行迭代形变的过程中，即将各个模型网格顶点由图11中示出的位置移动到图13中示出的位置的过程中，各个模型网格顶点与对应的图像关键点之间的距离之和的变化过程可以如图14所示。图14中只展示了部分对应点之间的距离之和的变化，且本技术实施例中设置的设定阈值为0.01，则由图14可以看出，当对应点之间的距离之和小于0.01时，四面体网格将不再执行迭代形变。
[0252]
在根据各个模型关键点与对应的图像关键点之间的位移信息，对各个模型网格顶点执行形变之后得到的四面体网格和执行形变之前的四面体网格的对比可以如图15所示。其中，图15中的白色区域为形变之后的四面体网格，黑色区域为形变之前的四面体网格。
[0253]
本技术实施例中提供的三维模型的配准方法，在得到刚性配准后的术前目标部位的参考三维模型后，可以将参考三维模型中目标部位对应的至少一个模型关键点，与术中内窥镜图像中目标部位对应的至少一个图像关键点进行匹配，确定出与每一个模型关键点对应的图像关键点，并基于每一个模型关键点的位置信息和对应的图像关键点的位置信息，确定每一个模型关键点与对应的图像关键点之间的位移信息，以及将各个模型关键点映射到参考三维模型对应的四面体网格的网格顶点上，从而基于获得的各个位移信息，对四面体网格的网格顶点执行形变，得到形变配准后的目标三维模型。本技术实施例中的三维模型的配准方法，无需考虑外界的施加外力，仅考虑外力作用后的目标部位形变结果，并将根据术前重建得到的三维模型与内窥镜图像中的目标部位进行轮廓匹配，从而可以合乎物理地实现目标部位对应的四面体网格的网格形变，并与内窥镜图像中的目标部位边缘保
持一致，进而能够更为正确地显示出目标部位中血管和病灶的位置，更为精准地指导手术中病灶的精准切除，提高手术的安全性。
[0254]
与图4所示的三维模型的配准方法基于同一发明构思，本技术实施例中还提供了一种三维模型的配准装置，该三维模型的配准装置可以布设在医疗终端中。由于该装置是本技术三维模型的配准方法对应的装置，并且该装置解决问题的原理与该方法相似，因此该装置的实施可以参见上述方法的实施，重复之处不再赘述。
[0255]
图16示出了本技术实施例提供的一种三维模型的配准装置的结构示意图，如图16所示，该三维模型的配准装置包括刚性配准单元1601、关键点确定单元1602、位移信息确定单元1603和形变配准单元1604。
[0256]
其中，刚性配准单元1601，用于获取术前对目标部位进行拍摄以及三维重建得到的初始三维模型，和术中采集到的目标部位的内窥镜图像；根据内窥镜图像对初始三维模型进行刚性配准，得到刚性配准后的参考三维模型；
[0257]
关键点确定单元1602，用于确定参考三维模型对应的至少一个模型关键点，以及内窥镜图像对应的至少一个图像关键点；至少一个模型关键点为参考三维模型中目标部位对应的特征线上的部分点，至少一个图像关键点为内窥镜图像中目标部位对应的特征线上的部分点；
[0258]
位移信息确定单元1603，用于根据各个模型关键点的位置信息以及各个图像关键点的位置信息，确定每一个模型关键点与对应的图像关键点之间的位移信息；
[0259]
形变配准单元1604，用于根据确定出的各个位移信息对参考三维模型对应的四面体网格执行形变操作，获得形变配准后的目标三维模型。
[0260]
在一种可选的实施例中，如图17所示，上述装置还可以包括对应点确定单元1701，用于：
[0261]
将各个模型关键点和各个图像关键点投影至同一维度下的目标坐标系中；
[0262]
根据各个模型关键点的位置信息以及各个图像关键点的位置信息，将至少一个模型关键点和至少一个图像关键点组成多个特征点组；其中每个特征点组中包含一个模型关键点和一个图像关键点，且一个特征点组中模型关键点对应的图像关键点是至少一个图像关键点中与模型关键点距离最近的图像关键点；
[0263]
根据各个特征点组中模型关键点和图像关键点之间的位置信息的差值，生成协方差矩阵；并对协方差矩阵进行特征值分解得到变换矩阵，根据变换矩阵对各个模型关键点进行变换处理；
[0264]
若变换处理后的各个模型关键点与对应的图像关键点之间的距离均值不大于预设的第一距离阈值，则根据多个特征点组确定每一个模型关键点对应的图像关键点；
[0265]
若变换处理后的各个模型关键点与对应的图像关键点之间的距离均值大于预设的第一距离阈值，使用变换处理后的各个模型关键点替换多个特征点组中的模型关键点，并返回执行根据各个特征点组中模型关键点和图像关键点之间的位置信息的差值生成协方差矩阵的步骤。
[0266]
在一种可选的实施例中，形变配准单元1604，具体用于：
[0267]
将至少一个模型关键点，分别映射到参考三维模型对应的四面体网格的网格顶点上，获得每一个模型关键点对应的模型网格顶点；
[0268]
根据每一个模型关键点与对应的图像关键点之间的位移信息，将各个模型网格顶点移动至各自对应的图像关键点所在位置，并将各个模型网格顶点移动之后得到的三维模型作为形变配准后的目标三维模型。
[0269]
在一种可选的实施例中，位移信息包括距离信息和方向信息，形变配准单元1604，具体用于：
[0270]
针对任意一个模型关键点对应的模型网格顶点分别执行以下操作：根据模型关键点与对应的图像关键点之间的距离信息，确定本次对模型网格顶点进行移动的第一移动距离；并按照模型关键点与对应的图像关键点之间的方向信息，在设定时间步长内将模型网格顶点移动第一移动距离；
[0271]
若移动后的各个模型网格顶点与对应的图像关键点之间的距离之和不大于预设的第二距离阈值，则确定将各个模型网格顶点移动至各自对应的图像关键点所在位置。
[0272]
在一种可选的实施例中，形变配准单元1604，还用于：
[0273]
若移动后的各个模型网格顶点与对应的图像关键点之间的距离之和大于预设的第二距离阈值，则将移动后的各个模型网格顶点作为各个目标模型网格顶点，并针对任意一个目标模型网格顶点分别执行以下操作：
[0274]
根据模型关键点与对应的图像关键点之间的距离信息，和第一移动距离，确定本次对目标模型网格顶点进行移动的第二移动距离；
[0275]
按照图像关键点与对应的模型关键点之间的方向信息，在设定时间步长内将目标模型网格顶点移动第二移动距离，直到移动后的各个目标模型网格顶点与对应的图像关键点之间的距离之和不大于预设的第二距离阈值。
[0276]
在一种可选的实施例中，形变配准单元1604，还用于：
[0277]
根据第一移动距离和设定时间步长，确定对目标模型网格顶点进行移动的目标速度；
[0278]
根据目标速度和设定时间步长，确定对目标模型网格顶点进行移动的加速移动距离，并根据模型关键点与对应的图像关键点之间的距离信息和设定时间步长，确定对目标模型网格顶点进行移动的形变移动距离；
[0279]
根据加速移动距离和形变移动距离，确定本次对目标模型网格顶点进行移动的第二移动距离。
[0280]
在一种可选的实施例中，如图17所示，上述装置还可以包括四面体生成单元1702，用于：
[0281]
对参考三维模型的表面网格进行网格简化处理和网格修复处理，得到修复三维模型；
[0282]
对修复三维模型进行四面体单元的网格剖分，得到参考三维模型对应的四面体网格。
[0283]
根据本技术的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中的三维模型的配准方法。
[0284]
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介
质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0285]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。