基于增强现实和深度学习的内窥镜手术导航方法、系统和可读存储介质与流程

本发明涉及图像处理和医疗技术领域，更具体的，涉及一种基于增强现实和深度学习的内窥镜手术导航方法、系统和可读存储介质。

背景技术：

内窥镜是集中了传统光学、人体工程学、精密机械、现代电子、数学以及软件等一体的检测仪器。它包括图像传感器、光学镜头、光源照明、机械装置等，可以经口腔进入胃内或经其他天然孔道和手术切口进入体内。在现代医学中，通过内窥镜可以看到x射线不能显示的病变。增强现实技术是指把原本在现实世界的一定时间空间范围内很难体验到实体信息(视觉信息，声音，味道，触觉等)，通过科学技术模拟仿真后再叠加到现实世界被人类感官所感知，从而达到超现实的感官体验，简称ar技术。目前，虽然vr技术为手术操作提供了极大的便利，但是医务人员仍旧无法将术前三维扫描信息与术中实际操作中的视野信息同步，这不仅增加了医务人员的负担，也分散了医务人员的注意力。因此，采用虚实结合的增强现实技术可以有效解决上述问题。通过三维重建和空间映射模型，将虚拟的三维模型与真实的术中图像进行虚实结合，为医务人员提供更加真实的三维信息，不仅扩展了手术操作视野，还可以帮助医生定位跟踪手术器械，提高手术的准确度和安全性。

技术实现要素：

为了解决上述至少一个技术问题，本发明提出了一种基于增强现实和深度学习的内窥镜手术导航方法、系统和可读存储介质。

为了解决上述的技术问题，本发明第一方面公开了一种基于增强现实和深度学习的内窥镜手术导航方法，所述方法包括：

确定手术场景并固定手术位置，使用高清摄像头采集手术现场图像并实时获取手术中内窥镜的位置；

术前对病人的第一手术目标部位进行ct或mri扫描，获取其医学数字图像数据；

将所述医学数字图像数据输入训练好的深度卷积网络进行深度学习得到精确的第二手术目标部位；

对所述得到的第二手术目标部位进行三维重建进一步获得最终手术目标部位的三维模型；

手术进行时通过内窥镜获取实时的术中图像并与预先构建的最终手术目标部位的三维模型进行配准；

通过高清摄像头时刻采集手术器械在手术场景坐标系中的姿态和位置，进一步与预先构建的最终手术目标部位的三维模型位置关系进行配准；

通过增强现实显示设备对所述配准的术中图像和配准的手术器械图像进行实时显示输出，以获得相应的增强现实手术导航图像。

本方案中，所述第二手术目标部位在进行三维重建前需通过三维扫描获得术前点云数据，内窥镜获取的实时术中图像通过三维扫描获得术中点云数据。

本方案中，所述术前点云数据与术中点云数据需进一步基于amp算法进行全局优化精配准，获得术前点云数据与术中点云数据的对应关系数据。

本方案中，所述术前点云数据与术中点云数据的对应关系数据作为基准对应关系数据；通过将预先构建的最终手术目标部位的三维模型按特定角度进行相应次数的旋转，从而得到二维图像数据；将所述得到的每个二维图像数据与内窥镜获取的实时术中图像进行配准，以基准对应关系数据作为参考数据评价其匹配程度，进一步对初步配准结果进行修正。

本方案中，所述三维模型需设置配准标记点，并利用光学导航器得到现实空间中配准标记点的对应点坐标，从而得到现实空间与三维模型的坐标转换关系；进一步获得配准标记点在二维的第二手术目标部位中对应点的坐标，从而计算得到第二手术目标部位与三维模型的坐标转换关系；进一步获得配准标记点在内窥镜获取的实时术中图像对应点的坐标，从而计算得到内窥镜获取的实时术中图像与三维模型的坐标转换关系。

本方案中，所述深度卷积网络的建立过程为：

获取大量相关医学数字图像数据作为训练图像集；

提取所述训练图像集的灰度图、lbp特征图、hog特征图和梯度幅值特征图，分类打包并输入到初始化的深度卷积网络，得到深度卷积特征；

将所述的深度卷积特征输入到分类器，进一步得到预测结果；

根据预测结果进行分析对比，调整深度卷积网络及分类器的初始参数，重复以上步骤。

本方案中，所述增强现实显示设备为双目头盔显示器。

本发明第二方面公开了一种基于增强现实和深度学习的内窥镜手术导航系统，其特征在于，包括存储器和处理器，所述存储器中包括基于增强现实和深度学习的内窥镜手术导航方法程序，所述基于增强现实和深度学习的内窥镜手术导航方法程序被所述处理器执行时实现如下步骤：

确定手术场景并固定手术位置，使用高清摄像头采集手术现场图像并实时获取手术中内窥镜的位置；

术前对病人的第一手术目标部位进行ct或mri扫描，获取其医学数字图像数据；

将所述医学数字图像数据输入训练好的深度卷积网络进行深度学习得到精确的第二手术目标部位；

对所述得到的第二手术目标部位进行三维重建进一步获得最终手术目标部位的三维模型；

手术进行时通过内窥镜获取实时的术中图像并与预先构建的最终手术目标部位的三维模型进行配准；

通过高清摄像头时刻采集手术器械在手术场景坐标系中的姿态和位置，进一步与预先构建的最终手术目标部位的三维模型位置关系进行配准；

通过增强现实显示设备对所述配准的术中图像和配准的手术器械图像进行实时显示输出，以获得相应的增强现实手术导航图像。

本方案中，所述第二手术目标部位在进行三维重建前需通过三维扫描获得术前点云数据，内窥镜获取的实时术中图像通过三维扫描获得术中点云数据。

本方案中，所述术前点云数据与术中点云数据需进一步基于amp算法进行全局优化精配准，获得术前点云数据与术中点云数据的对应关系数据。

本方案中，所述术前点云数据与术中点云数据的对应关系数据作为基准对应关系数据；通过将预先构建的最终手术目标部位的三维模型按特定角度进行相应次数的旋转，从而得到二维图像数据；将所述得到的每个二维图像数据与内窥镜获取的实时术中图像进行配准，以基准对应关系数据作为参考数据评价其匹配程度，进一步对初步配准结果进行修正。

本方案中，所述三维模型需设置配准标记点，并利用光学导航器得到现实空间中配准标记点的对应点坐标，从而得到现实空间与三维模型的坐标转换关系；进一步获得配准标记点在二维的第二手术目标部位中对应点的坐标，从而计算得到第二手术目标部位与三维模型的坐标转换关系；进一步获得配准标记点在内窥镜获取的实时术中图像对应点的坐标，从而计算得到内窥镜获取的实时术中图像与三维模型的坐标转换关系。

本方案中，所述深度卷积网络的建立过程为：

获取大量相关医学数字图像数据作为训练图像集；

提取所述训练图像集的灰度图、lbp特征图、hog特征图和梯度幅值特征图，分类打包并输入到初始化的深度卷积网络，得到深度卷积特征；

将所述的深度卷积特征输入到分类器，进一步得到预测结果；

根据预测结果进行分析对比，调整深度卷积网络及分类器的初始参数，重复以上步骤。

本方案中，所述增强现实显示设备为双目头盔显示器。

本方案中，所述的基于增强现实和深度学习的内窥镜手术导航系统包括图像数据采集模块、图像数据导入模块、图像数据配准模块、深度学习模块、三维扫描模块、坐标计算模块、输出显示模块。

本发明第三方面公开了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括机器的一种基于增强现实和深度学习的内窥镜手术导航方法程序，所述一种基于增强现实和深度学习的内窥镜手术导航方法程序被处理器执行时，实现上述的一种基于增强现实和深度学习的内窥镜手术导航方法的步骤。

本发明公开的一种基于增强现实和深度学习的内窥镜手术导航方法、系统和可读存储介质，通过利用增强现实和深度学习，实现内窥镜增强现实手术导航图像，有助于提高手术的效率和安全性。

附图说明

图1示出了本发明一种基于增强现实和深度学习的内窥镜手术导航方法流程图；

图2示出了本发明一种基于增强现实和深度学习的内窥镜手术导航系统的框图。

具体实施方法

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

图1示出了本发明一种基于增强现实和深度学习的内窥镜手术导航方法流程图。

如图1所示，本发明第一方面公开了一种基于增强现实和深度学习的内窥镜手术导航方法，包括：

确定手术场景并固定手术位置，使用高清摄像头采集手术现场图像并实时获取手术中内窥镜的位置；

术前对病人的第一手术目标部位进行ct或mri扫描，获取其医学数字图像数据；

将所述医学数字图像数据输入训练好的深度卷积网络进行深度学习得到精确的第二手术目标部位；

对所述得到的第二手术目标部位进行三维重建进一步获得最终手术目标部位的三维模型；

手术进行时通过内窥镜获取实时的术中图像并与预先构建的最终手术目标部位的三维模型进行配准；

通过高清摄像头时刻采集手术器械在手术场景坐标系中的姿态和位置，进一步与预先构建的最终手术目标部位的三维模型位置关系进行配准；

通过增强现实显示设备对所述配准的术中图像和配准的手术器械图像进行实时显示输出，以获得相应的增强现实手术导航图像。

需要说明的是，本发明中所述的内窥镜具体指手术用内窥镜，可以是腹腔镜、胸腔镜、关节镜、鼻镜、膀胱镜、直肠镜、十二指肠镜、纵隔镜及心脏镜中的一个或一个以上。

本方案中，所述第二手术目标部位在进行三维重建前需通过三维扫描获得术前点云数据，内窥镜获取的实时术中图像通过三维扫描获得术中点云数据。

本方案中，所述术前点云数据与术中点云数据需进一步基于amp算法进行全局优化精配准，获得术前点云数据与术中点云数据的对应关系数据。

需要说明的是，本发明中所述进行全局优化精配准前先进行粗配准，具体通过选取部分特征点进行局部配准从而获得一个初始对应关系，并基于该初始对应关系进行全局粗配准。

本方案中，所述术前点云数据与术中点云数据的对应关系数据作为基准对应关系数据；通过将预先构建的最终手术目标部位的三维模型按特定角度进行相应次数的旋转，从而得到二维图像数据；将所述得到的每个二维图像数据与内窥镜获取的实时术中图像进行配准，以基准对应关系数据作为参考数据评价其匹配程度，进一步对初步配准结果进行修正。

需要说明的是，本发明中所述旋转角度可以根据不同手术情况进行匹配性的提前预设，设旋转角度为θ，旋转次数为n，则旋转次数与旋转角度的数学关系为：其中θ的度数取值设置为5的倍数，5≤θ≤360，n按照四舍五入的原则取整数。

本方案中，所述三维模型需设置配准标记点，并利用光学导航器得到现实空间中配准标记点的对应点坐标，从而得到现实空间与三维模型的坐标转换关系；进一步获得配准标记点在二维的第二手术目标部位中对应点的坐标，从而计算得到第二手术目标部位与三维模型的坐标转换关系；进一步获得配准标记点在内窥镜获取的实时术中图像对应点的坐标，从而计算得到内窥镜获取的实时术中图像与三维模型的坐标转换关系。

需要说明的是，本发明中所述配准标记点需按照手术目标部位的复杂程度和手术操作难易进行相应的数量和位置设定；上述不同空间位置坐标系经转换配准后，即可实现虚实空间的叠加融合。

本方案中，所述深度卷积网络的建立过程为：

获取大量相关医学数字图像数据作为训练图像集；

提取所述训练图像集的灰度图、lbp特征图、hog特征图和梯度幅值特征图，分类打包并输入到初始化的深度卷积网络，得到深度卷积特征；

将所述的深度卷积特征输入到分类器，进一步得到预测结果；

根据预测结果进行分析对比，调整深度卷积网络及分类器的初始参数，重复以上步骤。

需要说明的是，本发明中所述深度卷积网络的输出结果为医学数字图像数据的图像分割结果；所述图像分割结果需经医务人员基于医学知识和临床经验进一步审查确认。

本方案中，所述增强现实显示设备为双目头盔显示器。

图2示出了本发明一种基于增强现实和深度学习的内窥镜手术导航系统的框图。

如图2所示，本发明第二方面公开了一种基于增强现实和深度学习的内窥镜手术导航系统，其特征在于，包括存储器和处理器，所述存储器中包括基于增强现实和深度学习的内窥镜手术导航方法程序，所述基于增强现实和深度学习的内窥镜手术导航方法程序被所述处理器执行时实现如下步骤：

确定手术场景并固定手术位置，使用高清摄像头采集手术现场图像并实时获取手术中内窥镜的位置；

术前对病人的第一手术目标部位进行ct或mri扫描，获取其医学数字图像数据；

将所述医学数字图像数据输入训练好的深度卷积网络进行深度学习得到精确的第二手术目标部位；

对所述得到的第二手术目标部位进行三维重建进一步获得最终手术目标部位的三维模型；

手术进行时通过内窥镜获取实时的术中图像并与预先构建的最终手术目标部位的三维模型进行配准；

通过高清摄像头时刻采集手术器械在手术场景坐标系中的姿态和位置，进一步与预先构建的最终手术目标部位的三维模型位置关系进行配准；

通过增强现实显示设备对所述配准的术中图像和配准的手术器械图像进行实时显示输出，以获得相应的增强现实手术导航图像。

需要说明的是，本发明中所述的内窥镜具体指手术用内窥镜，可以是腹腔镜、胸腔镜、关节镜、鼻镜、膀胱镜、直肠镜、十二指肠镜、纵隔镜及心脏镜中的一个或一个以上。

需要说明的是，所述处理器可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本方案中，所述第二手术目标部位在进行三维重建前需通过三维扫描获得术前点云数据，内窥镜获取的实时术中图像通过三维扫描获得术中点云数据。

本方案中，所述术前点云数据与术中点云数据需进一步基于amp算法进行全局优化精配准，获得术前点云数据与术中点云数据的对应关系数据。

需要说明的是，本发明中所述进行全局优化精配准前先进行粗配准，具体通过选取部分特征点进行局部配准从而获得一个初始对应关系，并基于该初始对应关系进行全局粗配准。

本方案中，所述术前点云数据与术中点云数据的对应关系数据作为基准对应关系数据；通过将预先构建的最终手术目标部位的三维模型按特定角度进行相应次数的旋转，从而得到二维图像数据；将所述得到的每个二维图像数据与内窥镜获取的实时术中图像进行配准，以基准对应关系数据作为参考数据评价其匹配程度，进一步对初步配准结果进行修正。

需要说明的是，本发明中所述旋转角度可以根据不同手术情况进行匹配性的提前预设，设旋转角度为θ，旋转次数为n，则旋转次数与旋转角度的数学关系为：其中θ的度数取值设置为5的倍数，5≤θ≤360，n按照四舍五入的原则取整数。

本方案中，所述三维模型需设置配准标记点，并利用光学导航器得到现实空间中配准标记点的对应点坐标，从而得到现实空间与三维模型的坐标转换关系；进一步获得配准标记点在二维的第二手术目标部位中对应点的坐标，从而计算得到第二手术目标部位与三维模型的坐标转换关系；进一步获得配准标记点在内窥镜获取的实时术中图像对应点的坐标，从而计算得到内窥镜获取的实时术中图像与三维模型的坐标转换关系。

需要说明的是，本发明中所述配准标记点需按照手术目标部位的复杂程度和手术操作难易进行相应的数量和位置设定；上述不同空间位置坐标系经转换配准后，即可实现虚实空间的叠加融合。

本方案中，所述深度卷积网络的建立过程为：

获取大量相关医学数字图像数据作为训练图像集；

提取所述训练图像集的灰度图、lbp特征图、hog特征图和梯度幅值特征图，分类打包并输入到初始化的深度卷积网络，得到深度卷积特征；

将所述的深度卷积特征输入到分类器，进一步得到预测结果；

根据预测结果进行分析对比，调整深度卷积网络及分类器的初始参数，重复以上步骤。

需要说明的是，本发明中所述深度卷积网络的输出结果为医学数字图像数据的图像分割结果；所述图像分割结果需经医务人员基于医学知识和临床经验进一步审查确认。

本方案中，所述增强现实显示设备为双目头盔显示器。

本方案中，所述的基于增强现实和深度学习的内窥镜手术导航系统包括图像数据采集模块、图像数据导入模块、图像数据配准模块、深度学习模块、三维扫描模块、坐标计算模块、输出显示模块。

本发明第三方面公开了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括机器的一种基于增强现实和深度学习的内窥镜手术导航方法程序，所述一种基于增强现实和深度学习的内窥镜手术导航方法程序被处理器执行时，实现上述的一种基于增强现实和深度学习的内窥镜手术导航方法的步骤。

本发明公开的一种基于增强现实和深度学习的内窥镜手术导航方法、系统和可读存储介质，通过利用增强现实和深度学习，实现内窥镜增强现实手术导航图像，有助于提高手术的效率和安全性。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。