本发明涉及数据处理领域,具体而言,涉及一种骨骼配准装置及电子设备。
背景技术:
1、骨科手术机器人是一种提高手术精度的医疗设备系统,由机械臂、术前规划模块、术中导航模块和可视化模块等组成。在使用时,骨科手术机器人通过配准技术将电脑中的虚拟骨骼三维模型与真实骨骼对应。
2、目前,通常采用第一阶段粗配准或初始配准,第二阶段精细配准的方式进行骨骼配准:在第一阶段的配准中,使用者依据经验在实体上进行配准点采集,并将采集的配准点与实体的虚拟模型上的点按顺序和位置一一对应;在精细配准时,一般通过旋转实体相关部件等方式寻找关键中心点,以该关键中心点矫正配准点误差。然而,这种配准方式容易出现错误或误差,导致配准的准确率不高。
技术实现思路
1、有鉴于此,本发明的目的在于提供一种骨骼配准装置及电子设备,能够提高配准的准确度,同时无需反复进行初始配准,极大地缩短了配准耗时,并提升配准效率。
2、为了实现上述目的,本发明实施例采用的技术方案如下:
3、第一方面,本发明实施例提供一种骨骼配准装置,包括粗配准模块、精配准模块、评价模块和修正模块;
4、所述粗配准模块,用于依据实体骨骼的三维影像数据构建骨骼表面模型,并实时获取所述实体骨骼所在区域的实景视频图像,将所述骨骼表面模型与所述实景视频图像中的实体骨骼进行粗配准,得到叠加对齐图像;
5、所述精配准模块,用于根据用户在所述实体骨骼上选择的配准点,将所述骨骼表面模型与所述实体骨骼进行点云配准,并结合所述配准点和所述骨骼表面模型,对点云配准结果进行评分;
6、所述评价模块,用于判断评分值是否达到预设的通过阈值,若是,则完成配准,依据配准结果得到最终配准矩阵;
7、所述修正模块,用于若否,则计算出配准扣分区域,剔除位于所述配准扣分区域的配准点,并在所述叠加对齐图像上对所述配准扣分区域进行提示显示,以指示用户在所述实体骨骼的所述配准扣分区域上重新选取配准点,并返回所述精配准模块执行所述根据用户在所述实体骨骼上选择的配准点,将所述骨骼表面模型与所述实体骨骼进行点云配准的步骤,直至评分值达到预设的通过阈值。
8、在一种可能的实施方式中,所述配准点的数量取值为:。
9、在一种可能的实施方式中,所述配准点的数量取值为:。
10、在一种可能的实施方式中,所述点云配准结果包括骨骼配准矩阵;
11、所述精配准模块,用于结合所述配准点和所述骨骼表面模型,对点云配准结果进行评分的步骤,包括:
12、针对每个所述配准点,依据所述骨骼配准矩阵将所述配准点映射回所述叠加对齐图像的图像坐标系,得到所述配准点的映射坐标值;
13、根据所述映射坐标值,计算每个所述配准点与所述骨骼表面模型表面间的距离;
14、基于所有所述配准点对应的距离,对点云配准结果进行评分,得到评分值。
15、在一种可能的实施方式中,所述实体骨骼上安装有第一追踪设备;
16、所述精配准模块,用于依据所述骨骼配准矩阵将所述配准点映射回所述叠加对齐图像的图像坐标系,得到所述配准点的映射坐标值的步骤,包括:
17、获取所述第一追踪设备的第一位姿矩阵和所述配准点的第二位姿矩阵,结合所述骨骼配准矩阵、所述第一位姿矩阵和所述第二位姿矩阵,利用配准点映射公式,计算出所述配准点的映射坐标值;
18、所述配准点映射公式包括:
19、
20、其中,表征映射坐标值,表征第n次点云配准的骨骼配准矩阵的逆矩阵,表征第一位姿矩阵的逆矩阵,表征第二位姿矩阵。
21、在一种可能的实施方式中,所述精配准模块,用于基于所有所述配准点对应的距离,对点云配准结果进行评分,得到评分值的步骤,包括:
22、将每个所述配准点对应的所述距离与预设的距离阈值进行比较,统计所述距离大于所述距离阈值的配准点的总数,并根据所述总数进行扣分计算,得到评分值。
23、在一种可能的实施方式中,所述粗配准模块,用于将所述骨骼表面模型与所述实景视频图像中的实体骨骼进行粗配准,得到叠加对齐图像的步骤,包括:
24、采用增强现实技术,将所述骨骼表面模型叠加至所述实景视频图像中,并使所述骨骼表面模型与所述实景视频图像中的实体骨骼对齐重合,得到叠加对齐图像。
25、在一种可能的实施方式中,在所述依据实体骨骼的三维影像数据构建骨骼表面模型的步骤之后,在所述将所述骨骼表面模型与所述实景视频图像中的实体骨骼进行粗配准,得到叠加对齐图像的步骤之前,所述粗配准模块,还用于:
26、在所述骨骼表面模型上标注多个特征点;
27、在所述将所述骨骼表面模型与所述实景视频图像中的实体骨骼进行粗配准,得到叠加对齐图像的步骤之后,在所述根据用户在所述实体骨骼上选择的配准点,将所述骨骼表面模型与所述实体骨骼进行点云配准的步骤之前,所述粗配准模块,还用于:
28、将对齐重合后的所述骨骼表面模型的特征点作为推荐位置,在所述叠加对齐图像中显示,以指示用户在所述实体骨骼上依据所述推荐位置选取配准点。
29、在一种可能的实施方式中,所述实体骨骼上安装有第一追踪设备;
30、所述配准模块,用于根据用户在所述实体骨骼上选择的配准点,将所述骨骼表面模型与所述实体骨骼进行点云配准的步骤,包括:
31、在得到所述叠加对齐图像后,获取所述第一追踪设备与所述骨骼表面模型间的相对位姿矩阵;
32、获取用户在所述实体骨骼上选择的配准点,采用icp算法,根据所述配准点对所述骨骼表面模型与所述实体骨骼进行配准,得到精配准矩阵;
33、根据所述相对位姿矩阵和所述精配准矩阵,计算出骨骼配准矩阵。
34、在一种可能的实施方式中,所述评价模块,用于依据配准结果得到最终配准矩阵的步骤,包括:
35、计算所有所述骨骼配准矩阵间的乘积,得到最终配准矩阵。
36、在一种可能的实施方式中,所述粗配准模块,用于使所述骨骼表面模型与所述实景视频图像中的实体骨骼对齐重合的步骤,包括:
37、将所述骨骼表面模型的模型位姿矩阵与预设探针的探针位姿矩阵绑定;其中,所述探针上安装有第二追踪装置;
38、依据所述特征点,在所述骨骼表面模型上绘制参考位,以指示用户依据所述参考位,通过移动所述探针使所述骨骼表面模型与所述实景视频图像中的实体骨骼对齐重合;其中,所述参考位包括特征点和特征轴线的延长线。
39、第二方面,本发明实施例提供一种电子设备,包括如第一方面中任一种可能的实施方式所述的骨骼配准装置。
40、第三方面,本发明实施例提供一种骨骼配准方法,所述方法包括:
41、依据实体骨骼的三维影像数据构建骨骼表面模型,并实时获取所述实体骨骼所在区域的实景视频图像,将所述骨骼表面模型与所述实景视频图像中的实体骨骼进行粗配准,得到叠加对齐图像;
42、根据用户在所述实体骨骼上选择的配准点,将所述骨骼表面模型与所述实体骨骼进行点云配准,并结合所述配准点和所述骨骼表面模型,对点云配准结果进行评分;
43、判断评分值是否达到预设的通过阈值,若是,则完成配准,依据配准结果得到最终配准矩阵;
44、若否,则计算出配准扣分区域,剔除位于所述配准扣分区域的配准点,并在所述叠加对齐图像上对所述配准扣分区域进行提示显示,以指示用户在所述实体骨骼的所述配准扣分区域上重新选取配准点,并返回执行所述根据用户在所述实体骨骼上选择的配准点,将所述骨骼表面模型与所述实体骨骼进行点云配准的步骤,直至评分值达到预设的通过阈值。
45、本发明实施例提供的骨骼配准装置及电子设备,装置用于:实时获取实体骨骼所在区域的实景视频图像,将依据实体骨骼的三维影像数据构建的骨骼表面模型与实景视频图像中的实体骨骼进行粗配准,得到叠加对齐图像;根据用户在实体骨骼上选择的配准点,将骨骼表面模型与实体骨骼进行点云配准,并对点云配准结果进行评分;在评分值未达到预设的通过阈值时,计算出配准扣分区域,剔除位于配准扣分区域的配准点,并在叠加对齐图像上对配准扣分区域进行提示显示,以指示用户在实体骨骼的配准扣分区域上重新选取配准点,并返回执行根据用户在实体骨骼上选择的配准点,将骨骼表面模型与实体骨骼进行点云配准的步骤,直至评分值达到预设的通过阈值;若评分值达到预设的通过阈值,则完成配准,依据配准结果得到最终配准矩阵。如此,在点云配准结果不理想的情况下,重新选取配准扣分区域的配准点持续进行点云配准,有针对性地对点云配准结果进行修正,直至配准结果达到通过阈值,极大地提高了骨骼配准的准确度。
46、另外,仅需进行一次粗配准,在评分值未达到通过阈值时,无需重新进行粗配准,减少了粗配准次数,简化了配准流程和配准复杂度,从而能够缩短配准耗时,提升配准效率。
47、为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。