一种增强现实手术辅助导航的虚实配准方法和装置与流程

本发明涉及手术导航，具体为一种增强现实手术辅助导航的虚实配准方法和装置。

背景技术：

1、在基于增强现实的手术导航系统中，虚实配准是关键技术之一。目前的一些增强现实导航系统存在虚实配准不精确的问题，这限制了其在手术过程中的准确性和可靠性。虚实配准是将虚拟信息与实际解剖结构进行精确对齐的过程。在手术导航中，准确的虚实配准可以确保手术中虚拟对象与实际手术结构的高度一致性，使医生能够准确感知虚拟信息在真实世界中的位置和关系。这不仅能够降低难度，减小医生手术学习难度曲线，也降低了手术中出现失误的概率，实现精准高质量手术。

2、然而，目前的增强现实导航系统在虚实配准方面面临一些挑战。首先，术前进行虚实配准的时间可能较长，现有的虚实配准技术普遍采用基于点云匹配或者表面曲面匹配的算法，需要使用探针进行点采集或者进行预先术前采集骨骼解剖获得点云数据，术前准备过程复杂且消耗时间较长。其次，虚实配准的精度需要得到提高，以确保虚拟信息与实际解剖结构的准确对齐。探针的点采集难以克服人手收集数据中的颤抖误差，而实时的点云数据采集受限于vr/mr设备的获取精度，导致配准精度的下降。快速且精确的虚实配准对于手术过程中的实时定位和操作至关重要，因此需要解决配准过程耗时长、精度不足的问题；鉴于此，我们提出了一种增强现实手术辅助导航的虚实配准方法和装置。

技术实现思路

1、针对现有技术的不足，本发明提供了一种增强现实手术辅助导航的虚实配准方法和装置，解决了上述背景技术提到的问题。

2、为实现以上目的，本发明通过以下技术方案予以实现：一种增强现实手术辅助导航的虚实配准方法，所述方法包括以下步骤：

3、s1：术前准备；

4、s2：虚实配准，所述虚实配准包括：

5、s21：获取术前准备部分传输得到的标注图像；

6、s22：根据标志点的图像坐标，使用归一化的八点法计算本质矩阵；

7、s23：对本质矩阵进行分解，得到不同视角下摄像机的位姿；

8、s24：使用三角化的方法得到标注点的三维坐标；

9、s25：通过标注点的三维坐标，使用icp算法得到虚实物体之间位姿的转换关系；

10、s26：对虚拟物体施加求得的虚实转换关系，实现虚实配准处理。

11、可选的，所述s1包括：

12、s11：通过hololens眼镜自带摄像头，通过不同视角对虚实物体进行拍摄图像；

13、s12：通过预先训练好的内置神经网络模型，对拍摄图像进行标记点标注，标记点通过后续算法计算得到三维坐标；

14、s13：将标注好的虚实物体图像传输到虚实配准模块。

15、可选的，所述s21中标注图像采用神经网络模型标注的方式进行，对于左右视角拍摄图片，使用神经网络进行靶标关键点识别，通过调用训练好的神经网络模型进行推理，得到标注过后的左右视角图片。

16、可选的，所述神经网络模型标注的信息包括识别框左上角像素坐标和识别框，所述识别框为标准正方形，各边长度已知，且已知左上角坐标，计算得到识别框中心点像素坐标，作为靶标关键点的像素坐标。

17、可选的，所述s12中标记点已经过神经网络进行标注，即左图视角中{a,b,c,d,e,f,g,h}和右图视角中{a’,…,h’}的像素坐标已知，随后对点进行归一化，使得变换之后的像素点的原点为所有标记点的重心且各个像点到变换后原点的平方距离为2。

18、可选的，s12进一步的包括：左视角atrans＝sa，右视角atrans’＝s’a’，s和s’分别为左右视角转换矩阵。

19、可选的，所述矩阵为e，且矩阵e满足p’tep＝0，p和p’为不同视角的标记点，代入归一化后的标记点像素坐标，使用奇异值分解和本质矩阵秩为2的特性，得到归一化后的本质矩阵f，对f进行逆归一化得到本质矩阵f，即e＝s’tfs。

20、可选的，所述矩阵e的特性e＝t×r，其中t为相机从左视角到右视角的位移，r为相机从左视角到右视角的旋转矩阵，对本质矩阵进行奇异值分解即可得到t和r的四种可能解，左右视角下相机深度为正，可以得到唯一的r和t；

21、相机内参矩阵k提前测定，使用三角化方法得到标记点{a,b,c,d,e,f,g,h}的三维坐标；其中{a,b,c,d}属于{bone1}坐标系，即携带靶标的实物骨头的坐标系；{e,f,g,h}属于{bone1’}坐标系，即虚拟骨块坐标系；

22、通过icp算法，利用求得的三维点坐标{a,b,c,d,e,f,g,h}计算得到{bone1}坐标系到{bone1’}坐标系的转换矩阵bone1’tbone1，矩阵将作用于任何连接有靶标的虚拟骨块。

23、本发明还提出一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现增强现实手术辅助导航的虚实配准方法。

24、本发明提供了一种增强现实手术辅助导航的虚实配准方法和装置。具备以下有益效果：

25、1、该增强现实手术辅助导航的虚实配准方法和装置，用户仅需控制hololens眼镜进行虚拟和现实图像的拍摄，随后通过内置算法进行一键式配准；针对当前点云配准或者表面曲面配准过程中数据获取时难以克服的数据噪声和人工误差，且重建过程复杂耗时长，将获取虚实物体位姿的流程进行简化，通过多视角对极几何获得特定标识三维点坐标的方式不产生额外误差且数据采集过程中不携带噪声，能够提升配准的精度和速度。

26、2、该增强现实手术辅助导航的虚实配准方法和装置，针对当前增强现实导航中，不同手术场景下虚实配准方案不统一的问题，本发明提出的虚实配准算法仅需该应用场景出现虚实物体且承载虚拟设备存在摄像机即可进行迁移部署，实现的不同应用场景下虚实配准方案的统一，增强了增强现实导航的实用性，降低了实现成本。

技术特征：

1.一种增强现实手术辅助导航的虚实配准方法，其特征在于：所述方法包括以下步骤：

2.根据权利要求1所述的一种增强现实手术辅助导航的虚实配准方法，其特征在于：所述s1包括：

3.根据权利要求1所述的一种增强现实手术辅助导航的虚实配准方法，其特征在于：所述s21中标注图像采用神经网络模型标注的方式进行，对于左右视角拍摄图片，使用神经网络进行靶标关键点识别，通过调用训练好的神经网络模型进行推理，得到标注过后的左右视角图片。

4.根据权利要求3所述的一种增强现实手术辅助导航的虚实配准方法，其特征在于：所述神经网络模型标注的信息包括识别框左上角像素坐标和识别框，所述识别框为标准正方形，各边长度已知，且已知左上角坐标，计算得到识别框中心点像素坐标，作为靶标关键点的像素坐标。

5.根据权利要求4所述的一种增强现实手术辅助导航的虚实配准方法，其特征在于：所述s12中标记点已经过神经网络进行标注，即左图视角中{a,b,c,d,e,f,g,h}和右图视角中{a’,…,h’}的像素坐标已知，随后对点进行归一化，使得变换之后的像素点的原点为所有标记点的重心且各个像点到变换后原点的平方距离为2。

6.根据权利要求5所述的一种增强现实手术辅助导航的虚实配准方法，其特征在于：s12进一步的包括：左视角atrans＝sa，右视角atrans’＝s’a’，s和s’分别为左右视角转换矩阵。

7.根据权利要求6所述的一种增强现实手术辅助导航的虚实配准方法，其特征在于：所述矩阵为e，且矩阵e满足p’tep＝0，p和p’为不同视角的标记点，代入归一化后的标记点像素坐标，使用奇异值分解和本质矩阵秩为2的特性，得到归一化后的本质矩阵f，对f进行逆归一化得到本质矩阵f，即e＝s’tfs。

8.根据权利要求7所述的一种增强现实手术辅助导航的虚实配准方法，其特征在于：所述矩阵e的特性e＝t×r，其中t为相机从左视角到右视角的位移，r为相机从左视角到右视角的旋转矩阵，对本质矩阵进行奇异值分解即可得到t和r的四种可能解，左右视角下相机深度为正，可以得到唯一的r和t；

9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现如权利要求1-8中任一项所述的增强现实手术辅助导航的虚实配准方法。

技术总结
本发明公开了一种增强现实手术辅助导航的虚实配准方法和装置，涉及手术导航技术领域。该增强现实手术辅助导航的虚实配准方法和装置，用户仅需控制Hololens眼镜进行虚拟和现实图像的拍摄，随后通过内置算法进行一键式配准；针对当前点云配准或者表面曲面配准过程中数据获取时难以克服的数据噪声和人工误差，且重建过程复杂耗时长，将获取虚实物体位姿的流程进行简化，通过多视角对极几何获得特定标识三维点坐标的方式不产生额外误差且数据采集过程中不携带噪声，能够提升配准的精度和速度。

技术研发人员：罗奕,王硕
受保护的技术使用者：德智鸿（上海）机器人有限责任公司
技术研发日：
技术公布日：2024/1/16