一种用于口扫数据与CBCT数据融合的配准方法与流程

一种用于口扫数据与cbct数据融合的配准方法
技术领域
1.本发明涉及口腔医疗技术领域，尤其涉及一种用于口扫数据与cbct数据融合的配准方法。


背景技术：

2.口扫数据与cbct数据融合：在牙齿的数字化处理过程中，通常需要采集牙齿的口扫数据(intraoral scan)和cbct(cone beam ct)数据，也即锥形束ct。口扫数据相对更精确但是不包括牙根数据，cbct数据噪声更多但是包含完整的牙齿数据。因此，为获取相对完整的牙齿数据，并提高牙齿正畸治疗的精确度，需要将口扫数据与cbct数据进行精准融合。现有配准方法包括以下几种：
3.传统特征点配准，使用者通过地在口扫数据以及cbct数据上分别点选不低于3个的匹配点集，采用特征点配准算法实现配准。缺点是:口扫数据与cbct数据属于不同模态数据，很难找到两组准确对应的匹配点集，导致配准精度较低，数据融合效果不佳。
4.传统迭代最近点配准(之后称icp配准)，在cbct表面重建上寻找距离口扫数据最近的点集，移动口扫数据至最接近该点集。重复寻找点集与移动数据的过程，直至cbct表面重建与口扫数据足够接近。缺点是：1.高度依赖初始位姿，初始位姿不佳可能导致落入局部最优解，配准效果差；2.高度依赖cbct表面重建与口扫数据的几何相似程度，二者几何相似度不高(cbct含有牙根及其他杂讯)，极易落入局部最优解配准效果差。
5.特征点配准搭配icp配准，使用者通过地在口扫数据以及cbct数据上分别点选不低于3个的匹配点集，采用特征点配准算法实现粗配准；在粗配准的基础上，使用者再与配准效果不佳处点选若干点，用作icp配准。缺点是：使用者需要两次点选点集，操作相对繁琐。
6.ai分割辅助配准，例如cn114549604a通过ai进行cbct分割并采集特征点进行配准。其缺点是：需要大量训练数据且对硬件性能要求较高。
7.综上所述，现有配准方法中存在配准精度不够，操作不方便和需要大量训练数据，对硬件要求高的缺陷，为此，我们提出一种用于口扫数据与cbct数据融合的配准方法。


技术实现要素：

8.基于背景技术存在的技术问题，本发明提出了一种用于口扫数据与cbct数据融合的配准方法，通过自动撷取局部表面用于局部icp配准，配准精度高、操作方便、无需大量训练数据，对硬件要求低，解决了现有配准方法配准精度不够，操作不方便和需要大量训练数据，对硬件要求高的缺陷的问题。
9.本发明提供如下技术方案：一种用于口扫数据与cbct数据融合的配准方法，包括如下步骤：
10.s1、读取口扫数据与cbct数据,提取口扫数据的三维几何图形和cbct数据的三维图像；
11.s2、cbct数据表面重建，从cbct数据的三维图像中提取出牙齿的三维几何图形，该图形由封闭的三角面片网格所构成；
12.s3、使用者点选特征点集，在步骤s2的三维几何图形中选取特征点集1，在步骤s1中口扫数据的三维几何图形与特征点集1对应的最接近位置依序点选特征点，得到特征点集2；
13.s4、特征点配准，将特征点集2作为起始点群，特征点集1作为目标点群，配准得到转换矩阵1；
14.s5、局部表面数据撷取，在s1的口扫数据三维几何图形表面自动撷取局部表面数据，存入表面数据容器，用于后续icp精配准；
15.s6、局部表面icp配准，使用转换矩阵1对表面数据容器进行空间变换，生成两个存放表面几何数据的容器，使用icp配准法对两个存放表面几何数据的容器进行配准，得到矩阵2，调整所得矩阵2得到矩阵3；
16.s7、应用配准矩阵，计算矩阵3左乘矩阵1得到矩阵4，使用矩阵4对步骤s1中口扫数据的三维几何图形进行空间变换，则口扫数据与cbct数据融合完成。
17.优选的，所述步骤s1中读取口扫数据与cbct数据，具体包括：
18.使用者指定待融合的口扫数据与cbct数据作为输入，其中：
19.口扫数据是基于三角面片网格的几何文件，其中包含患者牙冠表面与部分牙龈表面的形状信息，从中提取的三维几何图形，之后代称为“ios”；
20.cbct数据是一系列连续的包含患者牙齿三维信息的dicom文件，从中提取的三维图像之后代称为“cbct_image”。
21.优选的，所述步骤s2中从cbct_image三维图像中提取出牙齿的三维几何图形，该图形由封闭的三角面片网格所构成，cbct_image每一个代表牙齿的像素都必须被该代表牙齿表面的网格包围，具体流程如下：
22.设定阈值“t”为cbct影像中牙釉质的灰阶值；
23.遍历cbct_image中的每一个像素点，若该像素点的灰阶值大于等于t，其被判定为落于表面网格内部，归入点集“p_in”；若该像素点的灰阶值小于t，则被判定为落于表面网格外部，归入点集“p_out”；
24.提取p_in中所有与p_out相邻的点构成点集“p_surface”，该点集作为包围网格的顶点；
25.连接p_surface中的相邻点获得三角面片，由所有三角面片所构成的封闭网格即为包含牙齿表面形状的三维几何图形，之后代称为“reconstructed_surface”。
26.优选的，所述步骤s3中，
27.使用者在reconstructed_surface的牙齿表面上依序点选不少于3个特征点，该特征点集之后代称“landmark_target”；
28.使用者在ios的牙齿表面上，在与landmark_target对应的最接近位置依序点选特征点，该特征点集之后代称“landmark_src”。
29.优选的，所述步骤s4中，
30.使用特征点配准法对点集landmark_target与landmark_src进行配准，其中：
31.landmark_src作为起始点群；
32.landmark_target作为目标点群；
33.配准所得的4x4转换矩阵之后代称为“t_landmark”。
34.优选的，所述步骤s5中，在ios表面自动撷取局部表面数据，用于后续icp精配准，具体如下：
35.生成一个存放局部表面数据的容器取名clipped_surface；
36.遍历landmark_src，对其中的每一点p进行如下操作：
37.以p为中心，设定边长值，生成一立方体“tmpcube”；
38.比较ios与tmpcube,将ios落于tmpcube的部分进行截取，并存入clipped_surface。
39.优选的，所述步骤s6中局部表面icp配准，具体如下：
40.使用转换矩阵t_landmark对clipped_surface进行空间变换；
41.生成两个存放表面几何数据的容器取名“icp_source”与“icp_target”；
42.比较clipped_surface与reconstructed_surface各自所包含的顶点个数pnum_clipped_surface与pnum_reconstructed_surface：
43.若pnum_clipped_surface》＝pnum_reconstructed_surface，将pnum_clipped_surface赋值给icp_target，将pnum_reconstructed_surface赋值给icp_source；
44.否则将pnum_clipped_surface赋值给icp_source，将pnum_reconstructed_surface赋值给icp_target；
45.使用icp配准法对icp_source与icp_target进行配准，其中：
46.icp_source作为配准的起始表面；
47.icp_target作为配准的目标表面；
48.配准所得4x4转换矩阵命名为“t_tmp”；
49.调整所得配准矩阵t_tmp：
50.若pnum_clipped_surface》＝pnum_reconstructed_surface，计算t_tmp之逆矩阵记为“t_icp”；
51.若pnum_clipped_surface《pnum_reconstructed_surface，直接将t_tmp赋值给矩阵“t_icp”。
52.优选的，所述步骤s7中，计算矩阵t_icp左乘矩阵t_landmark所得之矩阵命名为t_result；
53.使用转换矩阵t_result对ios进行空间变换，至此口扫数据与cbct数据融合完成。
54.本发明提供了一种用于口扫数据与cbct数据融合的配准方法，通过自动撷取局部表面用于局部icp配准，替代传统“人工点选表面点”，使用者无需额外选择局部表面点集，便于操作，通过判断表面数据所含顶点数量多少确定目标表面与起始表面，并调整相应得到的配准矩阵，避免icp配准因为cbct表面重建与口扫数据表面点密度差异大而导致的配准误差，无需获得大量训练数据，对计算机硬件性能较低，降低使用门槛。
附图说明
55.图1为本发明方法流程图。
具体实施方式
56.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
57.如图1所示，本发明提供一种技术方案：一种用于口扫数据与cbct数据融合的配准方法，各步骤详述如下：
58.s1、读取口扫数据与cbct数据，具体包括：
59.使用者指定待融合的口扫数据与cbct数据作为输入，其中：
60.口扫数据是基于三角面片网格的几何文件，其中包含患者牙冠表面与部分牙龈表面的形状信息，从中提取的三维几何图形，之后代称为“ios”(intraoralscan)；
61.cbct数据是一系列连续的包含患者牙齿三维信息的dicom文件，从中提取的三维图像之后代称为“cbct_image”。
62.s2、cbct数据表面重建；
63.从cbct_image三维图像中提取出牙齿的三维几何图形，该图形由封闭的三角面片网格所构成，cbct_image每一个代表牙齿的像素都必须被该代表牙齿表面的网格包围，具体流程如下：
64.设定阈值“t”为cbct影像中牙釉质的灰阶值；
65.遍历cbct_image中的每一个像素点，若该像素点的灰阶值大于等于t，其被判定为落于表面网格内部，归入点集“p_in”；若该像素点的灰阶值小于t，则被判定为落于表面网格外部，归入点集“p_out”；
66.提取p_in中所有与p_out相邻的点构成点集“p_surface”，该点集作为包围网格的顶点；
67.连接p_surface中的相邻点获得三角面片，由所有三角面片所构成的封闭网格即为包含牙齿表面形状的三维几何图形，之后代称为“reconstructed_surface”。
68.s3、使用者点选特征点集；
69.使用者在reconstructed_surface的牙齿表面上依序点选不少于3个特征点，该特征点集之后代称“landmark_target”；
70.使用者在ios的牙齿表面上，在与landmark_target对应的最接近位置依序点选特征点，该特征点集之后代称“landmark_src”。
71.s4、特征点配准；
72.使用特征点配准法对点集landmark_target与landmark_src进行配准，其中：
73.landmark_src作为起始点群；
74.landmark_target作为目标点群；
75.配准所得的4x4转换矩阵之后代称为“t_landmark”。
76.s5、局部表面数据撷取；
77.所述步骤s5中，在ios表面自动撷取局部表面数据，用于后续icp精配准，具体如下：
78.生成一个存放局部表面数据的容器取名clipped_surface；
79.遍历landmark_src，对其中的每一点p进行如下操作：
80.以p为中心，6mm(该值也可以为其他合理值)为边长，生成一立方体“tmpcube”；
81.比较ios与tmpcube,将ios落于tmpcube的部分进行截取，并存入clipped_surface。
82.s6、局部表面icp配准；
83.使用转换矩阵t_landmark对clipped_surface进行空间变换；
84.生成两个存放表面几何数据的容器取名“icp_source”与“icp_target”；
85.比较clipped_surface与reconstructed_surface各自所包含的顶点个数pnum_clipped_surface与pnum_reconstructed_surface：
86.若pnum_clipped_surface》＝pnum_reconstructed_surface，将pnum_clipped_surface赋值给icp_target，将pnum_reconstructed_surface赋值给icp_source；
87.否则将pnum_clipped_surface赋值给icp_source，将pnum_reconstructed_surface赋值给icp_target；
88.使用icp配准法对icp_source与icp_target进行配准，其中：
89.icp_source作为配准的起始表面；
90.icp_target作为配准的目标表面；
91.配准所得4x4转换矩阵命名为“t_tmp”；
92.调整所得配准矩阵t_tmp：
93.若pnum_clipped_surface》＝pnum_reconstructed_surface，计算t_tmp之逆矩阵记为“t_icp”；
94.若pnum_clipped_surface《pnum_reconstructed_surface，直接将t_tmp赋值给矩阵“t_icp”。
95.s7、应用配准矩阵。
96.计算矩阵t_icp左乘矩阵t_landmark所得之矩阵命名为t_result；
97.使用转换矩阵t_result对ios进行空间变换，至此口扫数据与cbct数据融合完成。
98.本发明提供了一种用于口扫数据与cbct数据融合的配准方法，通过自动撷取局部表面用于局部icp配准，替代传统“人工点选表面点”，使用者无需额外选择局部表面点集，便于操作，通过判断表面数据所含顶点数量多少确定目标表面与起始表面，并调整相应得到的配准矩阵，避免icp配准因为cbct表面重建与口扫数据表面点密度差异大而导致的配准误差，无需获得大量训练数据，对计算机硬件性能较低，降低使用门槛。
99.另外，在特征点配准的基础上叠加icp配准，保证了所获得的解是全域解最优解，避免落入局部最优解，弥补了传统特征点配准精度不高的问题。
100.下面具体阐述，本发明提供的配准方法如何克服现有技术的缺陷，进而得到本发明配准精度高、操作方便、无需大量训练数据，对硬件要求低的技术效果，具体如下：
101.icp配准的本质是两个点集之间的配准，其目的是计算源点集a移动至目标点集b并与目标点集b重合度最高时的转换矩阵(平移加旋转)。
102.icp算法内部的每一次迭代都会在点集b中搜寻距离每一个点集a中元素最近的点，构成临时点集c，作为标记点配准的目标点(点集a为源点集)，将标记点配准得到的转换矩阵应用于点集a。这样做的效果是，点集a会越来越靠近点集b，且倾向于靠近点集b中与自
身更为相似的子部分。
103.然而由于icp内部迭代搜寻最近点集的特性，该算法只能在源点集a与目标点集b的初始位姿接近(确实相似的子部分之间接近)的情况下，才能确保获得正确的解。否则源点集a容易被吸引向与其不相似的目标点集b的子部分，从而导致配准误差极大。
104.因此，icp配准普遍存在icp初始位姿问题。
105.icp配准在实际口扫数据与cbct表面重建数据配准应用中还存在着另一个问题，即“源点集”与“目标点集”的选择。实际应用中，口扫表面数据(由一系列表面点构成)与cbct表面重建数据(由一系列表面点构成)只有牙冠表面可以对应，而cbct表面数据又会因为患者术中在部分牙冠上带有粘合剂的原因，使得这部分牙冠数据也与口扫数据存在区别。结果就是，口扫表面数据与cbct表面重建数据仅存在非常有限的部分可以互相对应。直接将所有口扫表面数据点与cbct表面数据重建点用于icp配准的结果必然是不准确的。
106.因此，icp配准普遍存在对源几何数据与目标几何数据相似性要求高的问题。
107.解决icp初始位姿问题：
108.传统方法与本发明皆采用手工点选源表面与目标表面上的对应特征点使用特征点配准的方式解决。
109.解决icp对源几何数据与目标几何数据相似性要求高而造成的选点问题：
110.传统方法采用手工在目标几何数据表面点选大量与源几何数据存在对应关系的点，将其作为icp配准真正目标数据的方式解决该问题。
111.本发明采用手工选点方式选择少量(至少为3组)对应点，该对应点集合既被用于初始的特征点配准，也被用于后续自动撷取目标数据表面点进行icp配准。
112.本发明在步骤s5中对特征点配准中使用者点选的的特征点进行充分再利用，再其周围截取一立方体内的口扫表面数据，将其作为icp配准的对象。其之所以能更好地代替传统手工点选方式，原因在于：
113.(icp算法可以接受表面数据作为输入，其会提取该表面的所有点用作内部运算)
114.1、使用者点选的特征点在口扫表面数据与cbct表面重建数据互相对应(在患者术中没有黏附粘合剂的牙冠处)，故在特征点周围截取的立方体内的口扫数据表面在cbct表面重建数据表面也会存在对应部分；
115.2、传统方式只有手工点选若干点用作icp配准，可能会存在所选的点代表性不佳，造成局部权重过大的问题，而截取部分口扫数据表面进行局部icp配准，该截取表面上的所有点都会被利用，大大降低了上述问题。
116.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。