一种基于增强现实技术的手术器材注册方法及系统与流程

本发明涉及智慧医疗系统，尤其涉及一种基于增强现实技术的手术器材注册方法及系统。

背景技术：

1、在当前的智慧医疗系统中，手术器材的注册是开展智慧手术前必不可少的步骤，而器材的精准定位和注册是确保现代信息化手术，例如自动化手术或远程辅助手术，能够顺利进行的关键前提。

2、目前，手术器材注册方法主要包含光学跟踪系统和电磁跟踪系统。光学跟踪系统通常使用红外摄像头和反射标记来确定手术器材的位置和姿态，然而光学系统对环境光线敏感，手术室中的强光或阴影都会干扰系统的正常工作，导致注册精度降低。另一方面，电磁跟踪系统利用电磁场来跟踪手术器材的位置和姿态，具有一定的穿透能力，可以在一定程度上克服遮挡问题，然而电磁系统容易受到金属物体的干扰，同时手术室中的许多设备和工具都含有金属成分，其也会影响手术器件跟踪结果的准确性。

3、此外，光学跟踪系统需要多台摄像机和计算设备，不仅占用空间大，还不易搬运和安装，不适合在应急情况下使用。电磁系统的精度和稳定性较光学系统低，特别是在复杂的手术环境，例如地震、火灾或大规模伤亡事件的守护环境中，容易出现位置漂移和误差。

4、针对上述问题，目前业界暂未提出较佳的技术解决方案。

技术实现思路

1、本发明实施例提供了一种基于增强现实技术的手术器材注册方法及系统，用于至少解决以上目前相关技术中的至少一个问题。

2、第一方面，本发明实施例提供一种基于增强现实技术的手术器材注册方法，应用于ar眼镜，所述方法包括：基于多个传感器模组，分别从不同视角采集手术区域的目标rgb图像和目标空间深度信息；每一所述传感器模组分别具有相关联的方位信息和视角信息；所述传感器模组包含摄像头、深度传感器、激光测距仪和惯性传感器；根据所述目标rgb图像和所述目标空间深度信息，生成手术区域三维模型；将所述目标rgb图像和所述目标空间深度信息输入至器材识别模型，以由所述器材识别模型确定所述手术区域中待注册的目标手术器材所对应的目标器材类型；从虚拟组件数据库中加载与所述目标器材类型相匹配的目标标准虚拟组件；所述虚拟组件数据库预存储多个标准虚拟组件，每一所述标准虚拟组件分别具有相应的器材类型；获取针对所述目标手术器材的器材实时追踪数据，并根据所述器件实时追踪数据将所述目标标准虚拟组件动态叠加至所述手术区域三维模型；所述器材实时追踪数据包含ar眼镜实时姿态、ar眼镜实时位置、手术器材实时位置和手术器材实时姿态。

3、第二方面，本发明实施例提供一种基于增强现实技术的手术器材注册系统，所述系统包括：数据采集单元，用于基于多个传感器模组，分别从不同视角采集手术区域的目标rgb图像和目标空间深度信息；每一所述传感器模组分别具有相关联的方位信息和视角信息；所述传感器模组包含摄像头、深度传感器、激光测距仪和惯性传感器；三维模型生成单元，用于根据所述目标rgb图像和所述目标空间深度信息，生成手术区域三维模型；器材类型识别单元，用于将所述目标rgb图像和所述目标空间深度信息输入至器材识别模型，以由所述器材识别模型确定所述手术区域中待注册的目标手术器材所对应的目标器材类型；虚拟组件匹配单元，用于从虚拟组件数据库中加载与所述目标器材类型相匹配的目标标准虚拟组件；所述虚拟组件数据库预存储多个标准虚拟组件，每一所述标准虚拟组件分别具有相应的器材类型；虚拟组件叠加单元，用于获取针对所述目标手术器材的器材实时追踪数据，并根据所述器件实时追踪数据将所述目标标准虚拟组件动态叠加至所述手术区域三维模型；所述器材实时追踪数据包含ar眼镜实时姿态、ar眼镜实时位置、手术器材实时位置和手术器材实时姿态。

4、第三方面，本发明实施例提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述方法的步骤。

5、第四方面，本发明实施例提供一种存储介质，所述存储介质中存储有一个或多个包括执行指令的程序，所述执行指令能够被电子设备(包括但不限于计算机，服务器，或者网络设备等)读取并执行，以用于执行本发明上述方法的步骤。

6、第五方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述方法的步骤。

7、通过本发明提供的一种基于增强现实技术的手术器材注册方法、系统、电子设备及非暂态计算机可读存储介质，从而优化基于ar(augmented reality,增强现实)技术或其他远程影像遥控等现代信息化手术中对手术器材注册操作的可靠性和便捷性，并能够至少产生如下的技术效果：

8、(1)通过多个传感器模组分别从不同视角采集手术区域的目标rgb图像和目标空间深度信息，能够生成高精度的手术区域三维模型，基于多传感数据的融合，可以有效地减少单一传感器可能出现的误差，提高了手术器材注册的精度。此外，将激光测距仪和深度传感器的结合，可以精确测量手术器材的空间位置，避免了光学系统对环境光线的敏感性问题，也克服了电磁系统对金属干扰的弱点，从而实现了更稳定和准确的手术器材定位。

9、(2)通过将目标rgb图像和空间深度信息输入至器材识别模型，可以准确地识别手术器材的类型，并从虚拟组件数据库中加载相匹配的目标标准虚拟组件，基于深度学习模型的鲁棒性，能够在复杂的手术环境中保持稳定的器材识别和注册性能。此外，通过捕获器材实时追踪数据，其包括ar眼镜实时姿态、ar眼镜实时位置、手术器材实时位置和手术器材实时姿态，确保了在动态手术环境中的器材注册的稳定性，避免了位置漂移和误差，提高了系统注册结果的可靠性。

10、(3)在本技术方案中，通过增强现实(ar)技术，将手术器材的虚拟组件动态叠加至手术区域三维模型，实现了器材的实时注册和跟踪，手术团队可以直观地观察和操作手术器材，有助于提升现代信息化手术操作的精确性。ar眼镜的使用使得系统具有高度的便携性和灵活性，适合应急情况下的快速部署和使用，易于搬运和安装，还能在各种复杂环境下保持良好的注册性能，特别适合于地震、火灾或大规模伤亡事件等应急场景。

11、通过本技术方案，通过融合针对手术区域的深度信息和rgb图像，提供了一种全新的手术器材注册方案，既能避免了光学系统对强光或阴影的敏感问题，也克服了电磁系统对金属物体干扰的影响，保证了系统在不同手术环境中的稳定性和可靠性。由此，使得系统能够在复杂多变的手术环境中仍能准确、稳定地完成手术器材的注册，为现代信息化手术，如自动化手术或远程辅助手术，提供了坚实的技术保障。

技术特征：

1.一种基于增强现实技术的手术器材注册方法，应用于ar眼镜，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其中，在根据所述器件实时追踪数据将所述目标标准虚拟组件动态叠加至所述手术区域三维模型之后，所述方法还包括：

3.根据权利要求1所述的方法，其中，所述基于多个传感器模组，分别从不同视角采集手术区域的目标rgb图像和目标空间深度信息，包括：

4.根据权利要求1所述的方法，其中，所述根据所述目标rgb图像和所述目标空间深度信息，生成手术区域三维模型，包括：

5.根据权利要求1所述的方法，其中，所述器材识别模型采用基于融合多模态特征和自监督学习的混合深度学习模型，其包括输入层、特征提取模块、图像分割模块、多模态特征融合模块、全局平均池化层和输出层；

6.根据权利要求5所述的方法，其中，所述器材识别模型的损失函数为：

7.根据权利要求1所述的方法，其中，所述根据所述器件实时追踪数据将所述目标标准虚拟组件动态叠加至所述手术区域三维模型，包括：

8.一种基于增强现实技术的手术器材注册系统，其特征在于，所述系统包括：

技术总结
本发明提供一种基于增强现实技术的手术器材注册方法及系统，涉及智慧医疗系统技术领域。该方法包括：基于多个传感器模组，分别从不同视角采集手术区域的目标RGB图像和目标空间深度信息；根据目标RGB图像和目标空间深度信息，生成手术区域三维模型；根据器材识别模型确定手术区域中待注册的目标手术器材所对应的目标器材类型；从虚拟组件数据库中加载与目标器材类型相匹配的目标标准虚拟组件；根据器件实时追踪数据将目标标准虚拟组件动态叠加至手术区域三维模型。由此，系统能够在复杂多变的手术环境中仍能准确、稳定地完成手术器材的注册，为现代信息化手术提供了坚实的技术保障。

技术研发人员：崔翔,张里程,马驰,王加旭,江渝,谈枢怀,覃凯华,杨昊汉
受保护的技术使用者：中国人民解放军总医院第四医学中心
技术研发日：
技术公布日：2025/1/9