基于三维视觉的术前定位方法、系统、介质、计算机设备与流程

1.本发明属于ct图像定位技术领域，尤其涉及一种基于三维视觉的术前定位方法、系统、介质、计算机设备。


背景技术：

2.目前，犬具有特殊的膝关节解剖结构，犬的胫骨平台不是平坦的，而是向后倾斜的，前十字韧带是维持膝关节稳定性的重要结构之一，其将两条骨头固定在一起，防止犬站立或奔跑时膝盖不稳定。犬在活动时膝关节过度伸展，从而引起损伤，缓慢、退行性的韧带病变，导致前十字韧带断裂。一般情况下，是从部分撕裂开始，一段时间之后逐渐发展为完全断裂。tplo(tibial plateau levelling osteotomy，胫骨平台水平截骨术)是治疗动物前十字韧带断裂的非常有效的方法。当前tplo手术需要主刀医生根据实际经验进行操作，这样会人为产生手术误差，一项针对新瑞鹏宠物集团手术的调研中，胫骨平台角(tibial plateau angle，tpa)角度误差在5度以上。
3.通过上述分析，现有技术存在的问题及缺陷为：现有技术中tplo手术需要主刀医生根据实际经验进行操作，易产生人为手术误差。
4.解决以上问题及缺陷的难度为：如何精准的进行tplo手术，并减少手术的操作要求。解决以上问题及缺陷的意义为：精准且简易的进行tplo手术，减少手术并发症，恢复宠物正常行走过程，是当前医生和顾客的共同需求。


技术实现要素：

5.针对现有技术存在的问题，本发明提供了一种基于三维视觉的术前定位方法、系统、介质、计算机设备。
6.本发明是这样实现的，一种基于三维视觉的术前定位方法，所述基于三维视觉的术前定位方法，包括：
7.步骤一，将关键点器具安装到胫骨某一固定位置处，该位置不影响后续手术操作，并且与胫骨存在刚体变换关系，该关键点器具为后续的跟踪提供连接枢纽；
8.步骤二，ct机对当前胫骨进行术前ct图像的3d重建，实现ct影像三维可视化，该步骤提供了术前规划的操作影像，更方便了医患沟通；
9.步骤三，对重建后的三维影像进行术前规划，制定截骨方案，根据手术医生的手术规划路径记录截骨路径的位置点，该位置点方便医生使用圆锯进行精准截骨；
10.步骤四，根据规划的截骨路径旋转三维图像使得tpa角度达到术后标准的tpa角度；在旋转后的界面对ct影像进行骨板设计，系统根据骨板的规划位置自动计算出固定骨板的骨钉位置，在手术前对手术进行规划，做到手术过程的定制化，标准化；
11.步骤五，系统根据图像旋转的前后关系，计算未进行截骨旋转前固定骨板的骨钉位置，该位置为真实物理空间位姿，后续自动化设备需操作到达位置；
12.步骤六，切开胫骨皮肤，剥离骨头，根据骨板的钉孔数量，相机模组跟踪自动化设
备和宠物病灶附近的关键点器具；通过相应的计算，自动化机械设备自动到达需要打钉各个位置，进行钻孔，该步骤减少了医生的参与，降低手术操作难度；
13.步骤七，对术前规划的截骨路径进行截骨，安装骨板到达指定位置，缝合伤口，该截骨位置为规划截骨位置，减少了人为经验带来的误差。
14.进一步，所述步骤六中，相机模组跟踪自动化设备到达实际打钉位置点，对相机模组与自动化设备进行标定；
15.根据相机模组观察指导自动化机械设备到达指定位置，如果未到达则相机模组反馈给机械臂，进行跟踪补偿，直到可抵达位置点。
16.进一步，所述相机模组与自动化机械设备标定后之间的关系公式如下：
17.m0＝m1×
r+t；
18.其中，m0表示自动化机械设备下的坐标位置，m1表示相机模组坐标系下的坐标位置点，r表示不同坐标系下的旋转角度，t表示不同坐标系下的平移距离。
19.本发明的另一目的在于提供一种实施所述基于三维视觉的术前定位方法的基于三维视觉的术前定位系统，所述基于三维视觉的术前定位方法设置有：
20.ui界面；
21.ui界面与工控机连接，工控机与机械臂连接，在机械臂末端法兰处安装有末端手术组件；
22.在末端手术组件上安装有红外反光标记工具，工控机与相机模组连接。
23.进一步，所述机械臂为六轴机械臂或七轴机械臂，末端手术组件为钻孔机。
24.进一步，所述相机模组安装在空间中某一位置，该位置满足关键点器具位于相机模组视野内。
25.进一步，所述ct机与工控机连接，ct机左端安装有手术台；手术台上侧放置有胫骨，胫骨安装跟踪工具。
26.本发明的另一目的在于提供一种所述基于三维视觉的术前定位方法在动物骨科手术tplo中的应用，特别是针对犬的tplo手术应用。
27.本发明的另一目的在于提供一种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行所述基于三维视觉的术前定位方法包括下列步骤：
28.步骤一，将关键点器具安装到胫骨某一固定位置处，该位置不影响后续手术操作，并且与胫骨存在刚体变换关系；
29.步骤二，ct机对当前胫骨进行术前ct图像的3d重建，实现ct影像三维可视化；
30.步骤三，对重建后的三维影像进行术前规划，制定截骨方案，根据手术医生的手术规划路径记录截骨路径的位置点；
31.步骤四，根据规划的截骨路径旋转三维图像使得tpa角度达到术后标准的tpa角度；在旋转后的界面对ct影像进行骨板设计，系统根据骨板的规划位置自动计算出固定骨板的骨钉位置；
32.步骤五，系统根据图像旋转的前后关系，计算未进行截骨旋转前固定骨板的骨钉位置；
33.步骤六，切开胫骨皮肤，剥离骨头，根据骨板的钉孔数量，相机模组跟踪自动化设备和宠物病灶附近的关键点器具；通过相应的计算，自动化机械设备自动到达需要打钉各
个位置，进行钻孔；
34.步骤七，对术前规划的截骨路径进行截骨，安装骨板到达指定位置，缝合伤口。
35.本发明的另一目的在于提供一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施所述的基于三维视觉的术前定位方法。
36.结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明中机器人辅助手术过程采用ct图像的3d重建算法，术前规划置钉位置，利用机械臂在导航系统的追踪下完成精准辅助定位，做到手术过程的标准化，定制化，填补了医疗领域机器人在宠物tplo手术中的空白，解决传统tplo手术存在的临床痛点，提高tplo手术的tpa角度精度，减少手术并发症。
附图说明
37.图1是本发明实施例提供的基于三维视觉的术前定位方法流程图。
38.图2是本发明实施例提供的基于三维视觉的术前定位系统结构示意图；
39.图中：1、ui界面；2、工控机；3、机械臂；4、末端手术组件；5、红外反光标记工具；6、双目相机模组；7、ct机；8、手术台；9、红外反光标记工具；10、犬的胫骨。
具体实施方式
40.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
41.针对现有技术存在的问题，本发明提供了一种基于三维视觉的术前定位方法、系统、介质、计算机设备，下面结合附图对本发明作详细的描述。
42.本发明提供的基于三维视觉的术前定位方法业内的普通技术人员还可以采用其他的步骤实施，图1的本发明提供的基于三维视觉的术前定位方法仅仅是一个具体实施例而已。
43.如图1所示，本发明实施例提供的基于三维视觉的术前定位方法，包括：
44.s101：将关键点器具安装到胫骨某一固定位置处，该位置不影响后续手术操作，并且与胫骨存在刚体变换关系。
45.s102：ct机对当前胫骨进行术前ct图像的3d重建，实现ct影像三维可视化。
46.s103：对重建后的三维影像进行术前规划，制定截骨方案，根据手术医生的手术规划路径记录截骨路径的位置点。
47.s104：根据规划的截骨路径旋转三维图像使得tpa角度达到术后标准的tpa角度；在旋转后的界面对ct影像进行骨板设计，系统根据骨板的规划位置自动计算出固定骨板的骨钉位置。
48.s105：系统根据图像旋转的前后关系，计算未进行截骨旋转前固定骨板的骨钉位置。
49.s106：切开胫骨皮肤，剥离骨头，根据骨板的钉孔数量，相机模组跟踪自动化设备和宠物病灶附近的关键点器具；通过相应的计算，自动化机械设备自动到达需要打钉各个
位置，进行钻孔。
50.s107：对术前规划的截骨路径进行截骨，安装骨板到达指定位置，缝合伤口。
51.本发明实施例提供的s106中，相机模组跟踪自动化设备到达实际打钉位置点，对相机模组与自动化设备进行标定；
52.根据相机模组观察指导自动化机械设备到达指定位置，如果未到达则相机模组反馈给机械臂，进行跟踪补偿，直到可抵达位置点。
53.所述相机模组与自动化机械设备标定后之间的关系公式如下：
54.m0＝m1×
r+t；
55.其中，m0表示自动化机械设备下的坐标位置，m1表示相机模组坐标系下的坐标位置点，r表示不同坐标系下的旋转角度，t表示不同坐标系下的平移距离。
56.如图2所示，本发明实施例提供的基于三维视觉的术前定位系统中ui界面1与工控机2连接，用于人工控制整个系统操作及其术前规划操作；机械臂3与工控机2连接，用于传输与接受处理命令；末端手术组件4安装在机械臂3末端法兰处，用于手术操作；红外反光标记工具5安装在末端手术组件4某一固定位置，提供关键跟踪点；相机模组6安装在空间中某一位置(该位置需满足关键点器具位于相机模组视野内)，并与工控机2连接，用于跟踪红外反光标记工具5；胫骨10安装跟踪工具9，并置于手术台8上；手术台8安装在ct机7左端，ct机7与工控机2连接用于术前提供3d医疗影像。其中，机械臂3为六轴，七轴等。末端手术组件4为钻孔机等。
57.本发明的工作原理为：将红外反光标记工具安装到犬的胫骨某一固定位置处，该工具能提供跟踪连接枢纽。ct机对犬胫骨进行ct图像的3d重建，实现ct影像的三维可视化，用于术前规划。主刀医生根据重建后的三维影像进行术前规划，规划截骨路径，系统记录截骨位置点，该位置点后续需要使用圆锯进行截骨。系统根据规划的截骨路径旋转三维图像使得tpa角度达到术后标准的tpa角度。手术医生在旋转后的界面对ct影像进行骨板设计，系统根据骨板的规划位置自动计算出固定骨板的骨钉位置。系统根据图像旋转的前后关系，计算未进行截骨旋转前固定骨板的骨钉位置。主刀医生切开胫骨皮肤，剥离骨头，相机模组跟踪当前关键点器具，得到胫骨当前新的位置，系统控制机械臂自动到达各个需要打钉位置，人工进行钻孔，该空洞用于固定骨板。主刀医生根据术前规划的截骨路径，用圆锯进行截骨。安装骨板到对应打孔位置，该位置只需与之前空洞对准，即可达到标准精度。缝合伤口，消毒，完成手术。
58.下面结合具体实施例对本发明的技术方案作详细的描述。
59.本发明提出了一种基于三维视觉导航的精准机器人定位方法在动物骨科手术tplo中的应用方案。该方案基本硬件包括人机交互界面，计算单元(如工控机、树莓派等)，自动化机械设备(如机械臂等)，末端手术组件(如钻孔机等)，关键点器具(如红外反光标记球、反光标记贴纸等)，相机模组(如双目、多目、彩色相机等)，ct机，手术台。
60.其中，人机交互界面与计算单元连接用于控制整个系统操作，自动化机械设备计算单元连接用于传输与接受计算单元命令，末端手术组件安装在自动化设备末端法兰处用于手术操作，关键点器具安装在末端手术组件某一固定位置提供关键跟踪点，相机模组安装在空间中某一位置(该位置需满足关键点器具位于相机模组视野内)用于跟踪关键点器具，ct机用于术前提供3d医疗影像。具体实施操作过程如下：
61.步骤一：将关键点器具安装到胫骨某一固定位置处，该位置不影响后续手术操作，并且与胫骨存在刚体变换关系。
62.步骤二：ct机对当前胫骨进行术前ct图像的3d重建，实现ct影像三维可视化。
63.步骤三：对重建后的三维影像进行术前规划，制定截骨方案，根据手术医生的手术规划路径记录截骨路径的位置点。
64.步骤四：根据规划的截骨路径旋转三维图像使得tpa角度达到术后标准的tpa角度；在旋转后的界面对ct影像进行骨板设计，系统根据骨板的规划位置自动计算出固定骨板的骨钉位置。
65.步骤五：系统根据图像旋转的前后关系，计算未进行截骨旋转前固定骨板的骨钉位置。
66.步骤六：切开胫骨皮肤，剥离骨头，根据骨板的钉孔数量，相机模组跟踪机械臂和宠物病灶附近的关键点器具；通过相应的计算，机械臂自动到达需要打钉各个位置，进行钻孔。
67.步骤七：对术前规划的截骨路径进行截骨，安装骨板到达指定位置，缝合伤口。
68.应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、cd或dvd-rom的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
69.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。