用于手术导航的导航工具校准方法、设备及存储介质与流程

文档序号:32375068发布日期:2022-11-30 00:11阅读:58来源:国知局
用于手术导航的导航工具校准方法、设备及存储介质与流程

1.本技术涉及医疗技术领域,特别涉及用于手术导航的导航工具校准方法、设备及存储介质。


背景技术:

2.在医疗技术领域,手术导航系统越来越多的被应用到临床医学中,以实现对临床医学的临床辅助,其中,手术导航系统中包含用于进行跟踪的导航工具,导航工具的准确性决定了手术导航过程的准确性。
3.在使用导航工具之前,需要对该导航工具进行校准,在相关技术中,在对导航工具进行校准时,通过基于导航工具的自身旋转进行参考点采样,并根据这些采样点来计算导航棒的顶端在指定坐标系中的位置。
4.然而,上述相关技术中,旋转过程中获取到的有效点较少,或者,获取到的点中包含较多的噪声点,会影响到对用于手术导航的导航工具校准精度,使得对用于手术导航的导航工具校准效果较差。


技术实现要素:

5.本技术实施例提供了一种用于手术导航的导航工具校准方法、设备及存储介质,可以提高对用于手术导航的导航工具的校准效果,该技术方案如下:
6.一方面,提供了一种用于手术导航的导航工具校准方法,所述导航工具包括导航棒,以及固定在所述导航棒上的第一跟踪工具;所述第一跟踪工具上包含至少三个第一定位点;所述方法包括:
7.获取第一图像,所述第一图像是所述导航棒的顶点与第二跟踪工具上的目标定位点相接触时,通过图像采集设备对所述导航工具以及所述第二跟踪工具进行图像采集得到的;所述第二跟踪工具上包含至少三个第二定位点,所述目标定位点是至少三个所述第二定位点中的任意一个;
8.基于所述第一图像,以及至少三个所述第一定位点在第一坐标系中的坐标,获取第三坐标系到所述第一坐标系的第一变换矩阵;所述第一坐标系是基于所述第一跟踪工具建立的空间坐标系;所述第三坐标系是基于所述图像采集设备建立的空间坐标系;
9.基于所述第一图像,以及至少三个所述第二定位点在第二坐标系中的坐标,获取所述第二坐标系到所述第三坐标系的第二变换矩阵;所述第二坐标系是基于所述第二跟踪工具建立的空间坐标系;
10.基于所述第一变换矩阵、所述第二变换矩阵以及所述目标定位点在所述第二坐标系中的坐标,获取所述导航棒的顶点在所述第一坐标系中的目标坐标,以实现对所述导航工具的校准。
11.另一方面,提供了一种用于手术导航的导航工具的校准方法,该方法包括:
12.展示图像预览界面;所述图像预览界面中包含预览图像展示区域,以及校准控件;
13.在所述预览图像展示区域中展示图像采集设备实时采集的预览图像;
14.响应于所述导航棒的顶点与第二跟踪工具上的目标定位点相接触,且接收到对所述校准控件的触发操作,完成对所述导航工具的校准;所述第二跟踪工具上包含至少三个第二定位点,所述目标定位点是至少三个所述第二定位点中的任意一个;
15.其中,至少三个所述第一定位点在第一坐标系中的坐标、以及至少三个所述第二定位点在第二坐标系中的坐标是已知的;所述第一坐标系是基于所述第一跟踪工具建立的空间坐标系;所述第二坐标系是基于所述第二跟踪工具建立的空间坐标系。
16.另一方面,提供了一种用于手术导航的导航工具校准装置,所述导航工具包括导航棒,以及固定在所述导航棒上的第一跟踪工具;所述第一跟踪工具上包含至少三个第一定位点;所述装置包括:
17.第一图像获取模块,用于获取第一图像,所述第一图像是所述导航棒的顶点与第二跟踪工具上的目标定位点相接触时,通过图像采集设备对所述导航工具以及所述第二跟踪工具进行图像采集得到的;所述第二跟踪工具上包含至少三个第二定位点,所述目标定位点是至少三个所述第二定位点中的任意一个;
18.第一变换矩阵获取模块,用于基于所述第一图像,以及至少三个所述第一定位点在第一坐标系中的坐标,获取第三坐标系到所述第一坐标系的第一变换矩阵;所述第一坐标系是基于所述第一跟踪工具建立的空间坐标系;所述第三坐标系是基于所述图像采集设备建立的空间坐标系;
19.第二变换矩阵获取模块,用于基于所述第一图像,以及至少三个所述第二定位点在第二坐标系中的坐标,获取所述第二坐标系到所述第三坐标系的第二变换矩阵;所述第二坐标系是基于所述第二跟踪工具建立的空间坐标系;
20.目标坐标获取模块,用于基于所述第一变换矩阵、所述第二变换矩阵以及所述目标定位点在所述第二坐标系中的坐标,获取所述导航棒的顶点在所述第一坐标系中的目标坐标,以实现对所述导航工具的校准。
21.在一种可能的实现方式中,所述第一变换矩阵获取模块,包括:
22.第一坐标集合获取子模块,用于获取至少三个所述第一定位点在所述第一坐标系中对应的第一坐标集合;
23.第二坐标集合获取子模块,用于基于所述第一图像,获取至少三个所述第一定位点在所述第三坐标系中对应的第二坐标集合;
24.第一变换矩阵生成子模块,用于基于所述第一坐标集合与所述第二坐标集合生成所述第一变换矩阵。
25.在一种可能的实现方式中,所述第二坐标集合获取子模块,包括:
26.二维坐标集合获取单元,用于获取至少三个所述第一定位点在所述第一图像中的像素位置,以获取至少三个所述第一定位点在平面坐标系中对应的二维坐标集合;所述平面坐标系是所述第一图像所在平面内的二维坐标系;
27.第二坐标集合获取单元,用于基于至少三个所述第一定位点在平面坐标系中对应的二维坐标集合,获取所述第二坐标集合。
28.在一种可能的实现方式中,所述第二坐标集合获取单元,用于基于至少三个所述第一定位点在平面坐标系中对应的二维坐标集合,以及所述平面坐标系与所述第三坐标系
之间的第三变换矩阵,获取所述第二坐标集合。
29.在一种可能的实现方式中,所述第一变换矩阵生成子模块,用于基于所述第一坐标集合与所述第二坐标集合生成由所述第一坐标系到所述第三坐标系的中间变换矩阵;
30.对所述中间变换矩阵进行转置,获得所述第一变换矩阵。
31.在一种可能的实现方式中,所述第二变换矩阵获取模块,包括:
32.第三坐标集合获取子模块,用于获取至少三个所述第二定位点在所述第二坐标系中对应的第三坐标集合;
33.第四坐标集合获取子模块,用于基于所述第一图像,获取至少三个所述第二定位点在所述第三坐标系中对应的第四坐标集合;
34.第二变换矩阵生成子模块,用于基于所述第三坐标集合与所述第四坐标集合生成所述第二变换矩阵。
35.在一种可能的实现方式中,所述目标坐标获取模块,用于基于所述目标定位点在所述第二坐标系中的坐标,以及所述第二变换矩阵,获取所述目标定位点在所述第三坐标系中的坐标;
36.基于所述目标定位点在所述第三坐标系中的坐标,以及所述第一变换矩阵,获取所述导航棒的顶点在所述第一坐标系中的目标坐标,以实现对所述导航工具的校准。
37.在一种可能的实现方式中,所述装置还包括:
38.第二图像获取模块,用于获取第二图像,所述第二图像是所述导航棒的顶点与所述第二跟踪工具上的目标验证点相接触时,通过图像采集设备对所述导航工具以及所述第二跟踪工具进行图像采集得到的,所述目标验证点是所述至少三个第二定位点中,除所述目标定位点之外的其他定位点中的任意一个定位点;
39.验证坐标获取模块,用于基于所述第一变换矩阵、所述第二变换矩阵以及所述目标验证点在所述第二坐标系中的坐标,获取所述目标验证点在所述第一坐标系中的验证坐标;
40.所述目标坐标获取模块,用于基于所述验证坐标、以及候选坐标获取所述导航棒的顶点在所述第一坐标系中的所述目标坐标;所述候选坐标是基于所述第一变换矩阵、所述第二变换矩阵以及所述目标定位点在所述第二坐标系中的坐标,获取到的所述目标定位点在所述第一坐标系中的坐标。
41.在一种可能的实现方式中,所述目标坐标获取模块,用于响应于所述验证坐标与所述候选坐标之间的差距小于第一差距阈值,将所述验证坐标或者所述候选坐标获取为所述目标坐标;
42.或者,
43.响应于所述验证坐标与所述候选坐标之间的差距小于第二差距阈值,将所述验证坐标与所述候选坐标的平均值对应的坐标获取为所述目标坐标。
44.在一种可能的实现方式中,所述第二跟踪工具是立方体跟踪工具,所述目标定位点位于所述第二跟踪工具的顶面上。
45.在一种可能的实现方式中,所述装置还包括:
46.预览图像展示模块,用于在图像预览界面中展示所述图像采集设备实时采集的预览图像;
47.标注信息展示模块,用于在所述预览图像中展示已识别的定位点的标注信息,所述已识别的定位点包括从所述预览图像中识别出的所述第一定位点以及所述第二定位点中的至少一者;
48.所述第一图像获取模块,用于响应于接收到基于所述图像预览界面执行的图像获取操作,将所述图像预览界面中展示的所述预览图像,获取为所述第一图像。
49.另一方面,提供了一种用于手术导航的导航工具的校准装置,该装置包括:
50.界面展示模块,用于展示图像预览界面;所述图像预览界面中包含预览图像展示区域,以及校准控件;
51.预览图像展示模块,用于在所述预览图像展示区域中展示图像采集设备实时采集的预览图像;
52.校准模块,用于响应于所述导航棒的顶点与第二跟踪工具上的目标定位点相接触,且接收到对所述校准控件的触发操作,完成对所述导航工具的校准;所述第二跟踪工具上包含至少三个第二定位点,所述目标定位点是至少三个所述第二定位点中的任意一个;
53.其中,至少三个所述第一定位点在第一坐标系中的坐标、以及至少三个所述第二定位点在第二坐标系中的坐标是已知的;所述第一坐标系是基于所述第一跟踪工具建立的空间坐标系;所述第二坐标系是基于所述第二跟踪工具建立的空间坐标系。
54.另一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储由至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述用于手术导航的导航工具校准方法。
55.另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条计算机程序,所述计算机程序由处理器加载并执行以实现上述用于手术导航的导航工具校准方法。
56.另一方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各种可选实现方式中提供的用于手术导航的导航工具校准方法。
57.本技术提供的技术方案可以包括以下有益效果:
58.通过引入一个第二跟踪工具,与固定在导航棒上的第一跟踪工具共同实现对导航工具的校准,该过程实现为,通过获取在导航棒的顶点与第二跟踪工具上的目标定位点相接触时的第一图像,基于第一图像、基于第一跟踪工具建立的第一坐标系中的第一定位点的坐标以及基于第二跟踪工具建立的第二坐标系中的第二定位点的坐标,分别获取第三坐标系到第一坐标系的第一变换矩阵以及第二坐标系到第三坐标系的第二变换矩阵,通过第三坐标系的过渡,基于目标定位点在第二坐标系中的坐标,获取到目标定位点在第一坐标系中的坐标,即获取到导航棒的顶点在第一坐标系中的坐标,实现对导航工具的校准。在上述校准过程中,通过引入一个跟踪工具,避免了相关技术中的绕轴旋转过程,提高了对导航工具的校准效果,同时提高了校准效率。
附图说明
59.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本技术的实施例,并与说明书一起用于解释本技术的原理。
60.图1示出了本技术一示例性实施例示出的通过pivot校准方法对手术导航的导航工具的进行校准的示意图;
61.图2示出了本技术一示例性实施例提供的用于手术导航的导航工具校准方法所使用的校准系统结构的示意图;
62.图3示出了本技术一示例性实施例提供的用于手术导航的导航工具校准方法的流程图;
63.图4示出了本技术一示例性实施例提供的用于手术导航的导航工具校准方法的流程图;
64.图5示出了本技术一示例性实施例示出的第二跟踪工具的示意图;
65.图6示出了本技术一示例性实施例示出的第一图像的示意图;
66.图7示出了本技术一示例性实施例示出的第一图像的示意图;
67.图8示出了本技术一示例性实施例示出的用于手术导航的导航工具的校准方法的流程图;
68.图9示出了本技术一示例性实施例示出的计算机设备显示界面的示意图;
69.图10示出了本技术一示例性实施例示出的用于手术导航的导航工具校准装置;
70.图11示出了本技术一示例性实施例示出的用于手术导航的导航工具校准装置;
71.图12示出了本技术一示例性实施例示出的计算机设备的结构框图;
72.图13示出了本技术一个示例性实施例提供的计算机设备的结构框图。
具体实施方式
73.这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
74.应当理解的是,在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
75.本技术实施例提供了一种用于手术导航的导航工具校准方法,可以提高对具有用于手术导航的导航工具校准及展示功能的应用程序的开发效率。为了便于理解,下面对本技术涉及的几个名词进行解释。
76.1)手术导航系统(surgical navigation system)
77.手术导航系统,也称为计算机辅助外科手术,图像引导外科手术等,指的是将现代影像技术、立体定向技术、电子计算机技术和人工智能技术同外科医生有机的结合起来,充分利用信息使患者获得安全、精确、微创的手术治疗的方法。
78.手术导航系统是利用数字化扫描技术,所得到的病人术前影像信息,通过媒介体输入人道系统的核心功能强大的计算机工作站,工作站通过告诉运算处理重建出病人的三
维模型影像,手术医生即可在此影像基础上利用相关软件进行术前计划并模拟进程,以降低手术的风险,提高手术的成功率。
79.在手术导航系统中,需要借助空间定位导航工具(以下简称:导航工具)实现准确定位;该导航工具通常包括导航棒和跟踪工具,其中,该跟踪工具用于对导航棒进行跟踪,该导航棒通常为针状物,与跟踪工具结合使用,通过导航工具与计算导航工具空间中任一点的三维坐标。
80.在导航工具的使用之前,需要获取导航棒的针尖位置相对于跟踪工具的位置,即跟踪工具需要根据自身坐标系对导航棒的针尖位置进行定位,该过程称为对导航工具的校准。
81.2)人工智能
82.人工智能(artificial intelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
83.人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
84.3)计算机视觉技术(computer vision,cv)
85.计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、ocr(optical character recognition,光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d(3-dimension,三维)技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
86.示意性的,在相关技术中,通常采用pivot校准方法对手术导航的导航工具的进行校准,图1示出了本技术一示例性实施例示出的通过pivot校准方法对手术导航的导航工具的进行校准的示意图,如图1所示,在该过程中,通过将导航棒110的针尖固定在指定位置,围绕该位置沿中心轴进行30
°
至60
°
之间旋转若干圈,以使得导航棒绕中心轴旋转形成一个以针尖为球心,针尖到跟踪工具120原点距离为半径的球,进而利用球面拟合算法来求取球心,从而确定针尖在跟踪工具对应的空间坐标系中的位置,以实现对导航工具的校准。然而,在上述利用pivot校准方法进行校准的过程中,需要一个装置来固定针尖位置,同时需要借助导航棒绕坐标轴旋转若干圈,从而获得足够多的点来进行球面拟合,如果获得的点不够多,或者,获得的点中存在很多噪声点,则会影响到校准精度,甚至校准失败;同时在该过程中需要进行多部操作才能完成对导航工具的校准,使得导航工具的校准效率较低。
87.为提高用于手术导航的导航工具的校准效果,本技术提供了一种用于手术导航的
导航工具的校准方法,该方法可以应用于校准系统中,图2示出了本技术一示例性实施例提供的用于手术导航的导航工具校准方法所使用的校准系统结构的示意图,如图2所示,该系统包括:图像采集设备210以及数据处理设备220。
88.其中,该数据处理设备220可以实现为终端或者服务器,用以基于图像采集设备210获取到的图像内容,实现对导航工具的校准;当该数据处理设备220实现为服务器时,该服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn(content delivery network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器,也可以是区块链网络上的节点服务器。
89.当该数据处理设备220实现为终端时,该终端可以是具有数据处理功能的终端,比如,数据处理设备220可以是智能手机、平板电脑、电子书阅读器、膝上型便携计算机和台式计算机等等。
90.该图像采集设备210可以是基于导航工具的校准操作架设的摄像头,或者摄像头组件,用以对导航工具中的第一追踪工具以及用于对导航工具进行校准的第二追踪工具进行追踪。
91.图像采集设备210以及数据处理设备220可以通过通信网络相连。可选的,通信网络是有线网络或无线网络。
92.可选的,上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网、但也可以是任何网络,包括但不限于局域网(local area network,lan)、城域网(metropolitan area network,man)、广域网(wide area network,wan)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合。在一些实施例中,使用包括超文本标记语言(hyper text mark-up language,html)、可扩展标记语言(extensible markup language,xml)等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层(secure socket layer,ssl)、传输层安全(transport layer security,tls)、虚拟专用网络(virtual private network,vpn)、网际协议安全(internet protocol security,ipsec)等常规加密技术来加密所有或者一些链路。在另一些实施例中,还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。本技术在此不做限制。
93.可选的,该图像采集设备210以及数据处理设备220还可以通过连线方式进行连接,示意性的,可以通过usb线(universalserialbus,通用串行总线)进行连接等等,本技术对图像采集设备210与数据处理设备220之间的连接方式不进行限制。
94.本技术实施例中的导航工具包括导航棒,以及固定在导航棒上的第一跟踪工具,该第一跟踪工具上包含至少三个第一定位点;其中该第一定位点是可以被图像采集设备捕捉和采集的定位点。图3示出了本技术一示例性实施例提供的用于手术导航的导航工具校准方法的流程图,该方法由计算设备执行,该计算机设备可以实现为终端或者服务器,如图3所示,该用于手术导航的导航工具校准方法包括以下步骤:
95.步骤310,获取第一图像,该第一图像是导航棒的顶点与第二跟踪工具上的目标定位点相接触时,通过图像采集设备对导航工具以及第二跟踪工具进行图像采集得到的;该第二跟踪工具上包含至少三个第二定位点,该目标定位点是至少三个第二定位点中的任意一个。
96.在一种可能的实现方式中,该第二跟踪工具是独立于该导航工具设置的跟踪工具,该第二跟踪工具上包含至少三个第二定位点,且该第二定位点是可以被图像采集设备捕捉并跟踪的定位点。
97.在一种可能的实现方式中,该图像采集设备可以实现为摄像头或者摄像头有组件,该图像采集设备用于跟踪导航工具中的第一跟踪工具以及第二跟踪工具。
98.步骤320,基于第一图像,以及至少三个第一定位点在第一坐标系中的坐标,获取第三坐标系到第一坐标系的第一变换矩阵;该第一坐标系是基于第一跟踪工具建立的空间坐标系;该第三坐标系是基于图像采集设备建立的空间坐标系。
99.其中,至少三个第一定位点与第一坐标系中的原点的相对坐标保持不变,也就是说,基于第一跟踪工具建立的空间坐标系(第一坐标系)确定之后,至少三个第一定位点在该第一坐标系中的坐标位置也就确定了,在导航工具的使用和测试中,该第一坐标系的建立方式始终保持不变,进而使得至少三个第一定位点相对于第一坐标系的坐标保持不变。
100.其中,上述第一定位点在第一坐标系中的坐标是预先已知的。比如,第一定位点在第一坐标系中的坐标可以预先设置在计算机设备中。
101.由于第一坐标系是基于第一跟踪工具建立的空间坐标系,第三坐标系是基于图像采集设备建立的空间坐标系,因此,会导致第一坐标系对应的原点与第三坐标系对应的原点不同,第一坐标系坐标轴的建立方向与第三坐标系坐标轴的建立方向也可能不同,因此,在实现从第三坐标系到第一坐标系的坐标转换时,需要先获取第三坐标系到第一坐标系的变换矩阵,即第一变换矩阵。
102.步骤330,基于第一图像,以及至少三个第二定位点在第二坐标系中的坐标,获取第二坐标系到第三坐标系的第二变换矩阵;该第二坐标系是基于第二跟踪工具建立的空间坐标系。
103.由于第二坐标系是基于第二跟踪工具建立的空间坐标系,第三坐标系是基于图像采集设备建立的空间坐标系,因此,在实现从第二坐标系到第三坐标系的坐标转换时,需要先获取第二坐标系到第三坐标系的变换矩阵,即第二变换矩阵。
104.其中,上述第二定位点在第二坐标系中的坐标也是预先已知的。比如,第二定位点在第二坐标系中的坐标可以预先设置在计算机设备中。
105.在本技术实施例中,上述第一定位点和第二定位点,可以通过能够由计算机设备准确的从图像中识别出的图案来指示。
106.步骤340,基于第一变换矩阵、第二变换矩阵以及目标定位点在第二坐标系中的坐标,获取导航棒的顶点在第一坐标系中的目标坐标,以实现对导航工具的校准。
107.其中,目标定位点在第二坐标系中的坐标已知,在本技术实施例中,导航棒的顶点与第二跟踪工具上的目标定位点相接触,因此获取到目标定位点在第一坐标系中的坐标,以获取导航棒的顶点在第一坐标系中的坐标,从而实现对导航工具的校准。
108.在一种可能的实现方式中,为了提高对导航工具的校准的准确定,当导航棒的顶点与第二跟踪工具上的目标定位点重合时,获取目标定位点在第一坐标系中的坐标,以获取导航棒的顶点在第一坐标系中的坐标。
109.综上所述,本技术实施例提供的用于手术导航的导航工具校准方法,通过引入一个第二跟踪工具,与固定在导航棒上的第一跟踪工具共同实现对导航工具的校准,该过程
实现为,通过获取在导航棒的顶点与第二跟踪工具上的目标定位点相接触时的第一图像,基于第一图像、基于第一跟踪工具建立的第一坐标系中的第一定位点的坐标以及基于第二跟踪工具建立的第二坐标系中的第二定位点的坐标,分别获取第三坐标系到第一坐标系的第一变换矩阵以及第二坐标系到第三坐标系的第二变换矩阵,通过第三坐标系的过渡,基于目标定位点在第二坐标系中的坐标,获取到目标定位点在第一坐标系中的坐标,即获取到导航棒的顶点在第一坐标系中的坐标,实现对导航工具的校准。在上述校准过程中,通过引入一个跟踪工具,避免了相关技术中的绕轴旋转过程,提高了对导航工具的校准效果,同时提高了校准效率。
110.图4示出了本技术一示例性实施例提供的用于手术导航的导航工具校准方法的流程图,该方法由计算设备执行,该计算机设备可以实现为终端或者服务器,如图4所示,该用于手术导航的导航工具校准方法包括以下步骤:
111.步骤410,获取第一图像,该第一图像是导航棒的顶点与第二跟踪工具上的目标定位点相接触时,通过图像采集设备对导航工具以及第二跟踪工具进行图像采集得到的;该第二跟踪工具上包含至少三个第二定位点,该目标定位点是至少三个第二定位点中的任意一个。
112.在一种可能的实现方式中,该第二跟踪工具可以是立方体跟踪工具,也就是说,该第二跟踪工具的外形可以是立方体,图5示出了本技术一示例性实施例示出的第二跟踪工具的示意图,如图5所示,该第二跟踪工具为立方体跟踪工具,且该立方体跟踪工具的各个面上包含定位点。在本技术实施例中,该目标定位点可以是位于第二跟踪工具的顶面上,如图5所示中的平面510。同时,在一种可能的实现方式中,该立方体跟踪工具上的各个定位点是通过棋盘格划分获得的角点。
113.在一种可能的实现方式中,该第二跟踪工具可以是手术导航过程中用于跟踪患者头部运动的跟踪工具。
114.在一种可能的实现方式中,在获取第一图像之前,该方法还包括:
115.在图像预览界面中展示图像采集设备实时采集的预览图像;
116.在该预览图像中展示已识别的定位点的标注信息,该已识别的定位点包括从预览图像中识别出的第一定位点以及第二定位点中的至少一者;
117.该获取第一图像,包括:
118.响应于接收到基于图像预览界面执行的图像获取操作,将图像预览界面中展示的预览图像,获取为第一图像。
119.也就是说,在图像预览界面中显示有第一图像的同时,还显示有对应于第一图像中的至少三个第一定位点以及至少三个第二定位点对应的定位点标注(标注信息);在获取到图像采集设备采集到的预览图像后,计算机设备可以对预览图像中的各个定位点进行识别标注,以使得在对预览图像进行显示时,能够同步显示预览图像中的各个定位点(即图5所示的角点),即显示第一图像;在一种可能的实现方式中,对预览图像中的各个定位点进行识别标注可以是基于人工智能中的计算机视觉技术进行识别获取的;示意性的,图6示出了本技术一示例性实施例示出的第一图像的示意图,如图6所示,该导航工具包含导航棒611,以及固定在导航棒611上的第一跟踪工具612,该第一跟踪工具上包含至少三个第一定位点,如图6所示的第一跟踪工具中的棋盘格中被标注出的角点,同时,该第一图像中包含
第二跟踪工具620,该第二跟踪工具620为立方体跟踪工具,且该第二跟踪工具620中包含至少三个第二定位点,如图6所示第二跟踪工具中的棋盘格中被标注出的角点,用以提示用户该跟踪工具可以被跟踪。
120.在一种可能的实现方式中,该第一跟踪工具可以是平贴在导航棒上的,或者,该第一跟踪工具也可以与第一跟踪工具的表面进行贴合,图7示出了本技术一示例性实施例示出的第一图像的示意图,如图7所示,该第一跟踪工具710与导航棒720的表面相贴合。
121.在一种可能的实现方式中,该图像采集设备的架设位置需确保可以同时跟踪到第一跟踪工具中的定位点以及第二跟踪工具中的定位点。
122.在一种可能的实现方式中,该目标定位点可以是计算机设备通过图像识别功能识别获得的距离导航棒的顶点距离最近的定位点;或者,该目标定位点可以是用户基于计算机设备识别获得的导航棒顶点周围指定范围内的多个定位点,进行选择操作后获得的定位点,该选择操作可以实现为用户对定位点的点选操作,或者,该选择操作也可以是用户基于计算机设备显示的包含多个定位点的列表进行的点选操作;或者,该目标定位点还可以是用户基于预先规定的第二跟踪工具中各个定位点的编号,在指定输入框中输入编号确定的定位点。
123.步骤420,获取至少三个第一定位点在第一坐标系中对应的第一坐标集合。
124.其中,该第一坐标系是基于第一跟踪工具建立的空间坐标系,在一种可能的实现方式中,该第一坐标是以该第一跟踪工具的中心点为原点建立空间坐标系,在该第一坐标系建立完成后,该第一坐标系相对于该第一跟踪工具保持不变,也就是说,至少三个第一定位点在第一坐标系中的坐标已知且固定,从而可以获得第一坐标集合。
125.当第一跟踪工具的形态发生改变(比如弯曲程度发生变化)时,需重新建立该第一坐标系,示意性的,如图7所示的第一跟踪工具710,在当前形态下,其对应的第一坐标系是固定的,当第一跟踪工具710的形态变为图6所示的第一跟踪工具612的形态后,需要重新建立与形态改变后的第一跟踪工具相对应的空间坐标系,或者,需要重新确定对应于形态改变后的空间坐标系中的各个定位点的坐标。
126.步骤430,基于第一图像,获取至少三个第一定位点在第三坐标系中对应的第二坐标集合。
127.由于第一图像是二维空间的图像,其对应的图像采集设备的坐标系为空间坐标系,因此,在基于第一图像,获取至少三个第一定位点在第三坐标系中对应的第二坐标集合的过程中,包含由第一图像对应的二维坐标系到图像采集设备对应的第三坐标系的坐标转换步骤,该过程可以实现为:
128.获取至少三个第一定位点在第一图像中的像素位置,以获取至少三个第一定位点在平面坐标系中对应的二维坐标集合;该平面坐标系是第一图像所在平面内的二维坐标系;
129.基于至少三个第一定位点在平面坐标系中对应的二维坐标集合,获取第二坐标集合。
130.由于该第一图像是图像采集设备获取的图像,因此第一图像对应的第二坐标系与图像采集设备对应的第三坐标系之间存在对应关系,因此在确定了第一定位点在平面坐标系中对应的二维坐标集合后,可以基于平面坐标系与第三坐标系之间的对应关系,获取到
第一定位点在第三坐标系中的三维坐标;在本技术实施例中,将平面坐标系与第三坐标系之间的对应关系具化为第三变换矩阵,也就是说,基于至少三个第一定位点在平面坐标系中对应的二维坐标集合,以及平面坐标系与第三坐标系之间的第三变换矩阵,获取第二坐标集合。
131.步骤440,基于第一坐标集合与第二坐标集合生成第一变换矩阵。
132.在一种可能的实现方式中,该过程可以实现为:基于第一坐标集合与第二坐标集合生成由第一坐标系到第三坐标系的中间变换矩阵;
133.对该中间变换矩阵进行转置,获得第一变换矩阵。
134.也就是说,在获取第一变换矩阵时,先获取从第一坐标系到第三坐标系的中间变换矩阵(t2c),通过对中间变换矩阵的转置,获取到第三坐标系到第一坐标系的第一变换矩阵(c2t),其中t表示第一坐标系,c表示第三坐标系。
135.或者,在另一种可能的实现方式中,也可以直接获取从第三坐标系(c)到第一坐标系(t)的第一变换矩阵。
136.步骤450,获取至少三个第二定位点在第二坐标系中对应的第三坐标集合。
137.在一种可能的实现方式中,该第二坐标系是以第二跟踪工具的中心为原点建立的空间坐标系,基于建立好的第二坐标系获取至少三个第二定位点对应的第三坐标集合。
138.步骤460,基于第一图像,获取至少三个第二定位点在第三坐标系中对应的第四坐标集合。
139.其中,获取至少三个第二定位点在第三坐标系中的第四坐标集合的过程与获取至少三个第一定位点在第一坐标系中的第二坐标集合的过程相同,即获取至少三个第二定位点在第一图像中的像素位置,以获取至少三个第二定位点在平面坐标系中对应的二维坐标集合;
140.基于至少三个第二定位点在平面坐标系中对应的二维坐标集合,获取该第四坐标集合。
141.其中,获取第四坐标集合的过程实现为,基于至少第二定位点在平面坐标系中对应的二维坐标集合,以及平面坐标系与第三坐标系之间的第三变换矩阵,获取第四坐标集合。
142.步骤470,基于第三坐标集合与第四坐标集合生成第二变换矩阵。
143.也就是说,在获取第二变换矩阵时,可以直接获取从第二坐标系(m)到第三坐标系(t)的第二变换矩阵。
144.在一种可能的实现方式中,第三变换矩阵是用过pnp(perspective-n-points,n点透视)方法获得的,其中pnp是计算机视觉里面常用的姿态估计算法。其原理是给定定义在模型空间(即上述第三坐标系空间)的n个点的3d坐标,以及该n个3d点在二维坐标系中的2d(2—dimension,二维)投影坐标,通过最优化投影误差,获得图像对应的二维坐标系相对第三坐标系之间的空间变换关系,即第三变换矩阵。
145.在一种可能的实现方式中,第一变换矩阵和第二变换矩阵均为尺寸为4*4的,用于指示坐标系的旋转和平移的矩阵。
146.步骤480,基于第一变换矩阵、第二变换矩阵以及目标定位点在第二坐标系中的坐标,获取导航棒的顶点在第一坐标系中的目标坐标,以实现对导航工具的校准。
147.在一种可能的实现方式中,上述过程实现为:基于目标定位点在第二坐标系中的坐标,以及第二变换矩阵,获取目标定位点在第三坐标系中的坐标;
148.基于目标定位点在第三坐标系中的坐标,以及第一变换矩阵,获取导航棒的顶点在第一坐标系中的目标坐标,以实现对导航工具的校准。如图6所示,该过程实现为,获取目标定位点621在第二坐标系(m)中的坐标,基于第二变换矩阵(m2c),获取目标定位点在第三坐标系(c)中的坐标;之后,基于第一变换矩阵(c2t),获取目标定位点在第一坐标系(t)中的坐标,以获取导航棒的顶点在第一坐标系中的目标坐标。
149.也就是说,通过第三坐标系将第一坐标系与第二坐标系关联起来,以在确定目标定位点在第二坐标系中的坐标时,确定该目标定位点在第一坐标系中的坐标,进而获取导航棒的顶点在第一坐标系中的坐标;其中,获取目标定位点在第一坐标系中的坐标的公式可以表示为:
150.p
t
=c2t.m2c.pm151.其中,p
t
表示目标定位点在第一坐标系中的目标坐标,pm表示目标定位点在第二坐标系中的坐标,c2t表示第一变换矩阵,m2c表示第二变换矩阵。
152.在一种可能的实现方式中,将目标定位点在第一坐标系中的坐标获取为导航棒的顶点在第一坐标系中的目标坐标。
153.为了防止由于对导航棒的顶端的放置不准确导致的对导航工具的校准不准确,提高获取导航棒的顶点在第一坐标系中的坐标的精确性,在另一种可能的实现方式中,可以从第二跟踪工具中获取验证点对基于目标定位点确定的导航棒的顶点的坐标进行验证,该验证点可以是第二跟踪工具中除目标定位点之外的其他定位点中的任意定位点,该验证点的个数可以是一个或者多个,本技术对验证点的数量不进行限制,以下以一个验证点为例对验证过程进行说明:
154.获取第二图像,该第二图像是导航棒的顶点与第二跟踪工具上的目标验证点相接触时,通过图像采集设备对导航工具以及第二跟踪工具进行图像采集得到的,该目标验证点是至少三个第二定位点中,除目标定位点之外的其他定位点中的任意一个定位点;
155.基于第一变换矩阵、第二变换矩阵以及目标验证点在第二坐标系中的坐标,获取目标验证点在第一坐标系中的验证坐标;
156.该基于第一变换矩阵、第二变换矩阵以及目标定位点在第二坐标系中的坐标,获取导航棒的顶点在第一坐标系中的目标坐标,包括:
157.基于验证坐标、以及候选坐标获取导航棒的顶点在第一坐标系中的目标坐标;该候选坐标是基于第一变换矩阵、第二变换矩阵以及目标定位点在第二坐标系中的坐标,获取到的目标定位点在第一坐标系中的坐标。
158.也就是说,在基于第一图像获取到导航棒的顶点在第一坐标系中的候选坐标之后,通过更换导航棒的顶点与第二跟踪工具的接触点,重新获取图像,并基于重新获取的图像(第二图像)对导航棒的顶点在第一坐标系中的目标坐标进行重新获取,也就是获取到验证坐标,之后根据基于不同图像获取到的候选坐标以及验证坐标之间的差异,对导航棒的顶点在第一坐标系中的目标坐标进行确定,从而避免了一次坐标获取过程中,由于操作失误导致的目标坐标确定不准确的现象的发生,通过多次验证,并基于验证结果对目标坐标进行确定,提高了对目标坐标获取的准确性。
159.该目标验证点可以是与目标定位点处于同一平面内的除目标定位点之外的其他定位点中的任意一个。
160.在一种可能的实现方式中,该基于验证坐标获取导航棒的顶点在第一坐标系中的目标坐标,包括:
161.响应于验证坐标与候选坐标之间的差距小于第一差距阈值,将验证坐标或者候选坐标获取为目标坐标;
162.或者,
163.响应于验证坐标与候选坐标之间的差距小于第二差距阈值,将验证坐标与候选坐标的平均值对应的坐标获取为目标坐标。
164.该第一差距阈值用以指示本技术中判定坐标与候选坐标是可信任的坐标值时的最大差距的数值,当验证坐标与候选坐标之间的差距小于第一差距阈值时,可以直接将目标定位点在第一坐标系中的坐标,或者目标验证点在第一坐标系中的坐标获取为导航棒的顶点在第一坐标系中的目标坐标;由于实际操作过程中误差不可避免,当验证坐标与候选坐标之间的差距小于第一差距阈值,则表明验证坐标与候选坐标均是可信任的,当两者均为可信任时,可以随机选择其中一个作为导航棒的顶点在第一坐标中的目标坐标。
165.该第二差距阈值用以指示该候选坐标与验证坐标的平均值对应的坐标为可信任的坐标时的最大差距数值,当验证坐标与候选坐标之间的差距小于第二差距阈值时,取基于第二跟踪工具中的不同定位点获取到的导航棒的顶点在第一坐标系中的坐标的平均值,作为导航棒的顶点在第一坐标系中的目标坐标。当目标验证点的数量大于一个时,获取基于多个目标验证点获取的导航棒的顶点在第一坐标系中的坐标以及候选坐标之间的平均值为导航棒的顶点在第一坐标系中的目标坐标,从而能够结合多个定位点获取到的导航棒在第一坐标系中的坐标,综合对目标坐标进行获取,从而减少了单一选择因素对目标坐标获取的影响,提高了目标坐标获取的准确性。
166.其中,在上述两种目标坐标的取值方式单独使用时,第一差距阈值的取值与第二差距阈值的取值可以相同,或者,第一差距阈值取值与第二差距阈值的取值也可以不相同,第一差距阈值的取值以及第二差距阈值的取值可以由相关人员进行设置,本技术对此不进行限制。
167.可选的,在上述两种目标坐标的取值方式单独使用时,响应于验证坐标与候选坐标之间的差距大于第一差距阈值,或者,验证坐标与候选坐标之间的差距大于第一差距阈值大于第二差距阈值,在第一图像的展示画面中显示提示信息,该提示信息用以指示在对导航工具进行校准的过程中存在操作不准确的行为,指示相关人员对校准操作进行调整,比如,对导航棒的顶点进行重新放置,以保证导航棒的顶点准确位于第二跟踪工具的目标定位点或者目标验证点上。
168.在一种可能的应用方式中,上述两种目标坐标的取值方式与提示消息显示方法可以结合使用,在这种情况下,第二差距阈值的取值可以大于第一差距阈值的取值,当验证坐标与候选坐标之间的差距小于第一差距阈值时,直接将目标定位点在第一坐标系中的坐标,或者目标验证点在第一坐标系中的坐标获取为导航棒的顶点在第一坐标系中的目标坐标;当验证坐标与候选坐标之间的差距大于第一差距阈值,但小于第二差距阈值时,取基于第二跟踪工具中的不同定位点获取到的导航棒的顶点在第一坐标系中的坐标的平均值,作
为导航棒的顶点在第一坐标系中的目标坐标;当验证坐标与候选坐标之间的差距大于第二差距阈值时,在第一图像的展示画面中显示提示信息,以指示在对导航工具进行校准的过程中存在操作不准确的行为,指示相关人员对校准操作进行调整。
169.综上所述,本技术实施例提供的用于手术导航的导航工具校准方法,通过引入一个第二跟踪工具,与固定在导航棒上的第一跟踪工具共同实现对导航工具的校准,该过程实现为,通过获取在导航棒的顶点与第二跟踪工具上的目标定位点相接触时的第一图像,基于第一图像、基于第一跟踪工具建立的第一坐标系中的第一定位点的坐标以及基于第二跟踪工具建立的第二坐标系中的第二定位点的坐标,分别获取第三坐标系到第一坐标系的第一变换矩阵以及第二坐标系到第三坐标系的第二变换矩阵,通过第三坐标系的过渡,基于目标定位点在第二坐标系中的坐标,获取到目标定位点在第一坐标系中的坐标,即获取到导航棒的顶点在第一坐标系中的坐标,实现对导航工具的校准。在上述校准过程中,通过引入一个跟踪工具,避免了相关技术中的绕轴旋转过程,提高了对导航工具的校准效果,同时提高了校准效率。
170.图8示出了本技术一示例性实施例示出的用于手术导航的导航工具的校准方法的流程图,该方法可以由计算机设备执行,该计算机设备可以实现为终端,该导航工具包括导航棒,以及固定在导航棒上的第一跟踪工具;该第一跟踪工具上包含至少三个第一定位点,如图8所示,该方法包括:
171.步骤810,展示图像预览界面,图像预览界面中包含预览图像展示区域,以及校准控件。
172.步骤820,在预览图像展示区域中展示图像采集设备实时采集的预览图像。
173.步骤830,响应于导航棒的顶点与第二跟踪工具上的目标定位点相接触,且接收到对校准控件的触发操作,完成对导航工具的校准;该第二跟踪工具上包含至少三个第二定位点,该目标定位点是至少三个第二定位点中的任意一个。
174.其中,至少三个第一定位点在第一坐标系中的坐标、以及至少三个第二定位点在第二坐标系中的坐标是已知的;该第一坐标系是基于第一跟踪工具建立的空间坐标系;该第二坐标系是基于第二跟踪工具建立的空间坐标系。
175.在一种可能的实现方式中,响应于导航棒的顶点与第二跟踪工具上的目标定位点相接触,且接收到对校准控件的触发操作,完成对导航工具的校准。
176.图9示出了本技术一示例性实施例示出的计算机设备显示界面的示意图,如图9所示,该图像预览界面中包含预览图像展示区域910,以及校准控件920,其中该预览图像展示区域910中显示有图像采集设备获取到的包含导航工具以及第二跟踪工具的第一图像,在一种可能的实现方式中,该预览图像展示区域910中还对应于导航工具中的第一跟踪工具中的第一定位点以及第二跟踪工具中的第二定位点显示有定位点标注;该校准控件920用于在接收到选择操作时,触发对导航棒的顶点在第一坐标系中的坐标的计算过程,以实现对导航工具的校准。
177.综上所述,本技术实施例提供的用于手术导航的导航工具校准方法,通过引入一个第二跟踪工具,与固定在导航棒上的第一跟踪工具共同实现对导航工具的校准,该过程实现为,通过获取在导航棒的顶点与第二跟踪工具上的目标定位点相接触时的第一图像,基于第一图像、基于第一跟踪工具建立的第一坐标系中的第一定位点的坐标以及基于第二
跟踪工具建立的第二坐标系中的第二定位点的坐标,分别获取第三坐标系到第一坐标系的第一变换矩阵以及第二坐标系到第三坐标系的第二变换矩阵,通过第三坐标系的过渡,基于目标定位点在第二坐标系中的坐标,获取到目标定位点在第一坐标系中的坐标,即获取到导航棒的顶点在第一坐标系中的坐标,实现对导航工具的校准。在上述校准过程中,通过引入一个跟踪工具,避免了相关技术中的绕轴旋转过程,提高了对导航工具的校准效果,同时提高了校准效率。
178.图10示出了本技术一示例性实施例示出的用于手术导航的导航工具校准装置,所述导航工具包括导航棒,以及固定在所述导航棒上的第一跟踪工具;所述第一跟踪工具上包含至少三个第一定位点;所述装置包括:
179.第一图像获取模块1010,用于获取第一图像,所述第一图像是所述导航棒的顶点与第二跟踪工具上的目标定位点相接触时,通过图像采集设备对所述导航工具以及所述第二跟踪工具进行图像采集得到的;所述第二跟踪工具上包含至少三个第二定位点,所述目标定位点是至少三个所述第二定位点中的任意一个;
180.第一变换矩阵获取模块1020,用于基于所述第一图像,以及至少三个所述第一定位点在第一坐标系中的坐标,获取第三坐标系到所述第一坐标系的第一变换矩阵;所述第一坐标系是基于所述第一跟踪工具建立的空间坐标系;所述第三坐标系是基于所述图像采集设备建立的空间坐标系;
181.第二变换矩阵获取模块1030,用于基于所述第一图像,以及至少三个所述第二定位点在第二坐标系中的坐标,获取所述第二坐标系到所述第三坐标系的第二变换矩阵;所述第二坐标系是基于所述第二跟踪工具建立的空间坐标系;
182.目标坐标获取模块1040,用于基于所述第一变换矩阵、所述第二变换矩阵以及所述目标定位点在所述第二坐标系中的坐标,获取所述导航棒的顶点在所述第一坐标系中的目标坐标,以实现对所述导航工具的校准。
183.在一种可能的实现方式中,所述第一变换矩阵获取模块1020,包括:
184.第一坐标集合获取子模块,用于获取至少三个所述第一定位点在所述第一坐标系中对应的第一坐标集合;
185.第二坐标集合获取子模块,用于基于所述第一图像,获取至少三个所述第一定位点在所述第三坐标系中对应的第二坐标集合;
186.第一变换矩阵生成子模块,用于基于所述第一坐标集合与所述第二坐标集合生成所述第一变换矩阵。
187.在一种可能的实现方式中,所述第二坐标集合获取子模块,包括:
188.二维坐标集合获取单元,用于获取至少三个所述第一定位点在所述第一图像中的像素位置,以获取至少三个所述第一定位点在平面坐标系中对应的二维坐标集合;所述平面坐标系是所述第一图像所在平面内的二维坐标系;
189.第二坐标集合获取单元,用于基于至少三个所述第一定位点在平面坐标系中对应的二维坐标集合,获取所述第二坐标集合。
190.在一种可能的实现方式中,所述第二坐标集合获取单元,用于基于至少三个所述第一定位点在平面坐标系中对应的二维坐标集合,以及所述平面坐标系与所述第三坐标系之间的第三变换矩阵,获取所述第二坐标集合。
191.在一种可能的实现方式中,所述第一变换矩阵生成子模块,用于基于所述第一坐标集合与所述第二坐标集合生成由所述第一坐标系到所述第三坐标系的中间变换矩阵;
192.对所述中间变换矩阵进行转置,获得所述第一变换矩阵。
193.在一种可能的实现方式中,所述第二变换矩阵获取模块1030,包括:
194.第三坐标集合获取子模块,用于获取至少三个所述第二定位点在所述第二坐标系中对应的第三坐标集合;
195.第四坐标集合获取子模块,用于基于所述第一图像,获取至少三个所述第二定位点在所述第三坐标系中对应的第四坐标集合;
196.第二变换矩阵生成子模块,用于基于所述第三坐标集合与所述第四坐标集合生成所述第二变换矩阵。
197.在一种可能的实现方式中,所述目标坐标获取模块1040,用于基于所述目标定位点在所述第二坐标系中的坐标,以及所述第二变换矩阵,获取所述目标定位点在所述第三坐标系中的坐标;
198.基于所述目标定位点在所述第三坐标系中的坐标,以及所述第一变换矩阵,获取所述导航棒的顶点在所述第一坐标系中的目标坐标,以实现对所述导航工具的校准。
199.在一种可能的实现方式中,所述装置还包括:
200.第二图像获取模块,用于获取第二图像,所述第二图像是所述导航棒的顶点与所述第二跟踪工具上的目标验证点相接触时,通过图像采集设备对所述导航工具以及所述第二跟踪工具进行图像采集得到的,所述目标验证点是所述至少三个第二定位点中,除所述目标定位点之外的其他定位点中的任意一个定位点;
201.验证坐标获取模块,用于基于所述第一变换矩阵、所述第二变换矩阵以及所述目标验证点在所述第二坐标系中的坐标,获取所述目标验证点在所述第一坐标系中的验证坐标;
202.所述目标坐标获取模块1040,用于基于所述验证坐标、以及候选坐标获取所述导航棒的顶点在所述第一坐标系中的所述目标坐标;所述候选坐标是基于所述第一变换矩阵、所述第二变换矩阵以及所述目标定位点在所述第二坐标系中的坐标,获取到的所述目标定位点在所述第一坐标系中的坐标。
203.在一种可能的实现方式中,所述目标坐标获取模块1040,用于响应于所述验证坐标与所述候选坐标之间的差距小于第一差距阈值,将所述验证坐标或者所述候选坐标获取为所述目标坐标;
204.或者,
205.响应于所述验证坐标与所述候选坐标之间的差距小于第二差距阈值,将所述验证坐标与所述候选坐标的平均值对应的坐标获取为所述目标坐标。
206.在一种可能的实现方式中,所述第二跟踪工具是立方体跟踪工具,所述目标定位点位于所述第二跟踪工具的顶面上。
207.在一种可能的实现方式中,所述装置还包括:
208.预览图像展示模块,用于在图像预览界面中展示所述图像采集设备实时采集的预览图像;
209.标注信息展示模块,用于在所述预览图像中展示已识别的定位点的标注信息,所
述已识别的定位点包括从所述预览图像中识别出的所述第一定位点以及所述第二定位点中的至少一者;
210.所述第一图像获取模块,用于响应于接收到基于所述图像预览界面执行的图像获取操作,将所述图像预览界面中展示的所述预览图像,获取为所述第一图像。
211.综上所述,本技术实施例提供的用于手术导航的导航工具校准装置,通过引入一个第二跟踪工具,与固定在导航棒上的第一跟踪工具共同实现对导航工具的校准,该过程实现为,通过获取在导航棒的顶点与第二跟踪工具上的目标定位点相接触时的第一图像,基于第一图像、基于第一跟踪工具建立的第一坐标系中的第一定位点的坐标以及基于第二跟踪工具建立的第二坐标系中的第二定位点的坐标,分别获取第三坐标系到第一坐标系的第一变换矩阵以及第二坐标系到第三坐标系的第二变换矩阵,通过第三坐标系的过渡,基于目标定位点在第二坐标系中的坐标,获取到目标定位点在第一坐标系中的坐标,即获取到导航棒的顶点在第一坐标系中的坐标,实现对导航工具的校准。在上述校准过程中,通过引入一个跟踪工具,避免了相关技术中的绕轴旋转过程,提高了对导航工具的校准效果,同时提高了校准效率。
212.图11示出了本技术一示例性实施例示出的用于手术导航的导航工具校准装置,该导航工具包括导航棒,以及固定在导航棒上的第一跟踪工具;该第一跟踪工具上包含至少三个第一定位点,如图11所示,该装置包括:
213.界面展示模块1110,用于展示图像预览界面;所述图像预览界面中包含预览图像展示区域,以及校准控件;
214.预览图像展示模块1120,用于在所述预览图像展示区域中展示图像采集设备实时采集的预览图像;
215.校准模块1130,用于响应于所述导航棒的顶点与第二跟踪工具上的目标定位点相接触,且接收到对所述校准控件的触发操作,完成对所述导航工具的校准;所述第二跟踪工具上包含至少三个第二定位点,所述目标定位点是至少三个所述第二定位点中的任意一个;
216.其中,至少三个所述第一定位点在第一坐标系中的坐标、以及至少三个所述第二定位点在第二坐标系中的坐标是已知的;所述第一坐标系是基于所述第一跟踪工具建立的空间坐标系;所述第二坐标系是基于所述第二跟踪工具建立的空间坐标系。
217.综上所述,本技术实施例提供的用于手术导航的导航工具校准装置,通过引入一个第二跟踪工具,与固定在导航棒上的第一跟踪工具共同实现对导航工具的校准,该过程实现为,通过获取在导航棒的顶点与第二跟踪工具上的目标定位点相接触时的第一图像,基于第一图像、基于第一跟踪工具建立的第一坐标系中的第一定位点的坐标以及基于第二跟踪工具建立的第二坐标系中的第二定位点的坐标,分别获取第三坐标系到第一坐标系的第一变换矩阵以及第二坐标系到第三坐标系的第二变换矩阵,通过第三坐标系的过渡,基于目标定位点在第二坐标系中的坐标,获取到目标定位点在第一坐标系中的坐标,即获取到导航棒的顶点在第一坐标系中的坐标,实现对导航工具的校准。在上述校准过程中,通过引入一个跟踪工具,避免了相关技术中的绕轴旋转过程,提高了对导航工具的校准效果,同时提高了校准效率。
218.图12示出了本技术一示例性实施例示出的计算机设备1200的结构框图。该计算机
设备可以实现为本技术上述方案中的服务器。所述计算机设备1200包括中央处理单元(central processing unit,cpu)1201、包括随机存取存储器(random access memory,ram)1202和只读存储器(read-only memory,rom)1203的系统存储器1204,以及连接系统存储器1204和中央处理单元1201的系统总线1205。所述计算机设备1200还包括用于存储操作系统1209、应用程序1210和其他程序模块1211的大容量存储设备1206。
219.所述大容量存储设备1206通过连接到系统总线1205的大容量存储控制器(未示出)连接到中央处理单元1201。所述大容量存储设备1206及其相关联的计算机可读介质为计算机设备1200提供非易失性存储。也就是说,所述大容量存储设备1206可以包括诸如硬盘或者只读光盘(compact disc read-only memory,cd-rom)驱动器之类的计算机可读介质(未示出)。
220.不失一般性,所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括ram、rom、可擦除可编程只读寄存器(erasable programmable read only memory,eprom)、电子抹除式可复写只读存储器(electrically-erasable programmable read-only memory,eeprom)闪存或其他固态存储其技术,cd-rom、数字多功能光盘(digital versatile disc,dvd)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然,本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1204和大容量存储设备1206可以统称为存储器。
221.根据本公开的各种实施例,所述计算机设备1200还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备1200可以通过连接在所述系统总线1205上的网络接口单元1207连接到网络1208,或者说,也可以使用网络接口单元1207来连接到其他类型的网络或远程计算机系统(未示出)。
222.所述存储器还包括至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、至少一段程序、代码集或指令集存储于存储器中,中央处理器1201通过执行该至少一条指令、至少一段程序、代码集或指令集来实现上述各个实施例所示的用于手术导航的导航工具校准方法中的全部或者部分步骤。
223.图13示出了本技术一个示例性实施例提供的计算机设备1300的结构框图。该计算机设备1300可以实现为上述的终端,比如:智能手机、平板电脑、笔记本电脑或台式电脑。计算机设备1300还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
224.通常,计算机设备1300包括有:处理器1301和存储器1302。
225.处理器1301可以包括一个或多个处理核心,比如4核心处理器、13核心处理器等。处理器1301可以采用dsp(digital signal processing,数字信号处理)、fpga(field-programmable gate array,现场可编程门阵列)、pla(programmable logic array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1301也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称cpu(central processing unit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1301可以集成有gpu(graphics processing unit,图像处理器),gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1301还可以包括
ai(artificial intelligence,人工智能)处理器,该ai处理器用于处理有关机器学习的计算操作。
226.存储器1302可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1302还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1302中的非暂态的计算机可读存储介质用于存储至少三个指令,该至少三个指令用于被处理器1301所执行以实现本技术中方法实施例提供的用于手术导航的导航工具校准方法。
227.在一些实施例中,计算机设备1300还可选包括有:外围设备接口1303和至少三个外围设备。处理器1301、存储器1302和外围设备接口1303之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1303相连。具体地,外围设备包括:射频电路1304、显示屏1305、图像采集设备组件1306、音频电路1307、定位组件1308和电源1309中的至少一种。
228.外围设备接口1303可被用于将i/o(input/output,输入/输出)相关的至少三个外围设备连接到处理器1301和存储器1302。在一些实施例中,处理器1301、存储器1302和外围设备接口1303被集成在同一芯片或电路板上;在一些其他实施例中,处理器1301、存储器1302和外围设备接口1303中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
229.在一些实施例中,计算机设备1300还包括有一个或多个传感器1310。该一个或多个传感器1310包括但不限于:加速度传感器1311、陀螺仪传感器1312、压力传感器1313、指纹传感器1314、光学传感器1315以及接近传感器1316。
230.本领域技术人员可以理解,图13中示出的结构并不构成对计算机设备1300的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
231.在一示例性实施例中,还提供了一种计算机可读存储介质,用于存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述用于手术导航的导航工具校准方法中的全部或部分步骤。例如,该计算机可读存储介质可以是只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、只读光盘(compact disc read-only memory,cd-rom)、磁带、软盘和光数据存储设备等。
232.在一示例性实施例中,还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述图3、图4或图8任一实施例所示方法的全部或部分步骤。
233.本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本技术的真正范围和精神由下面的权利要求指出。
234.应当理解的是,本技术并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求来限制。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1