一种基于混合现实技术的神经内镜手术可视化系统的制作方法

本发明涉及医疗器械领域，具体地说是一种基于混合现实技术的神经内镜手术可视化系统。

背景技术：

1、神经内镜手术是一种微创手术技术，用于处理多种神经系统疾病和问题，例如颅内肿瘤、脊柱病变、颅脑损伤、脑血管病变等；手术前需要通过影像学检查精确定位病变或目标区域；医生需要以缓慢且细致的方式进行操作，同时保持手术的稳定性；每个患者的神经结构和病变情况都可能不同，因此手术需要根据个体情况制定对应的治疗方案。

2、传统的神经内镜手术，因为镜头与人体组织距离较近，手术过程医生往往只有镜头下方几厘米的视野，且为了提高清晰度，通常还要对镜头画面进行放大，进一步减小了医生的视野范围，致使医生无法准确判断患者整体的情况，如病灶的大小、病灶的相对位置、手术器械与病灶的相对关系等。

3、中国专利公告号为：cn113349914a，混合现实可视化操作系统，所述系统包括x射线定位模块、第一光学定位模块、第二光学定位模块、第一数据采集模块、第二数据采集模块、处理模块、可穿戴模块及操作模块；处理模块用于根据x射线定位信号及第一光学定位信号确定目标部位相对于第一光学定位模块的实际空间信息，并根据第一光学定位信号及第二光学定位信号确定操作模块相对于第一光学定位模块的虚拟空间信息；可穿戴模块，用于显示实际空间信息及虚拟空间信息，为操作模块提供操作信息；上述发明基于所述实际空间信息及所述虚拟空间信息可以精准确定目标部位的空间位置信息，为操作模块提供准确指引，提高对目标部位的手术成功率；但上述发明提高清晰度的同时，减小了医生的视野范围，医生无法准确判断患者整体的情况，如病灶的大小、病灶的相对位置、手术器械与病灶的相对关系等，影响手术的正常进行。

4、综上，因此本发明提供了一种基于混合现实技术的神经内镜手术可视化系统，以解决上述问题。

技术实现思路

1、本发明提供了一种基于混合现实技术的神经内镜手术可视化系统，通过超细神经内窥镜、终端机和头显眼镜，提供多种影像的融合视角，以解决现有技术中医生视野范围较小的问题。

2、本发明具体的技术方案如下：

3、一种基于混合现实技术的神经内镜手术可视化系统，包括超细神经内窥镜、终端机和头显眼镜；所述超细神经内窥镜包括镜杆、把手、标记器、线缆、影像接口和光源接口，所述镜杆的内部集成有电子镜头和光纤，所述把手设置在镜杆的上方，所述标记器设置在把手的两侧，所述线缆的一端设置在把手远离镜杆的一端上，所述线缆的内部包裹有数据线和光纤，所述线缆的形状是y形，所述线缆远离把手的两端分别与影像接口和光源接口连接；所述终端机包括三维重建模块、影像配准模块、影像融合模块、语音切换模块、病灶绘制模块、方案推荐模块和病灶更新模块；所述头显眼镜包括双目相机、眼镜主体、头带、影音传输线和麦克风；所述超细神经内窥镜与终端机之间通过线缆连接，所述终端机与头显眼镜之间通过影音传输线连接。

4、优选的一种技术方案，所述双目相机集成有图像识别处理器，所述眼镜主体设置有用于视线追踪的红外传感器，所述图像识别处理器用于对双目相机拍摄的影像进行识别，并将识别的影像数据发送至终端机，所述红外传感器基于视线追踪原理，对医生的视线进行追踪，并将数据发送至终端机。

5、优选的一种技术方案，所述三维重建模块根据患者ct的影像数据，生成患者头部结构的三维模型；

6、所述影像配准模块用于分析患者ct和双目相机拍摄的影像数据，将三维模型与患者头部结构进行配准；

7、所述影像融合模块用于记录超细神经内窥镜的位置信息，并将三维重建模块中的三维模型与超细神经内窥镜和双目相机拍摄的影像进行融合；

8、所述语音切换模块使用头显眼镜中的麦克风采集医生的语音指令，并根据语音指令切换场景画面；

9、所述病灶绘制模块用于分析患者ct的影像数据，在影像融合模块融合后的影像上标注患者的病灶，并沿病灶的边界进行勾勒；

10、所述方案推荐模块用于分析病灶绘制模块标注的病灶，根据病灶的大小和位置关系，推荐手术方案，所述手术方案包括小型病灶切除、脑室镜手术、经鼻内镜颅底手术和经颅锁孔手术；

11、所述病灶更新模块用于分析影像融合模块融合后的影像，结合病灶绘制模块标注的病灶，对手术过程中病灶的大小、形状和位置的变化进行更新。

12、优选的一种技术方案，所述场景画面包括现实场景、虚拟三维模型场景、内窥镜场景和混合实现场景，所述现实场景用于显示双目相机拍摄的影像，所述虚拟三维模型场景用于显示三维模型构建的虚拟影像，所述内窥镜场景用于显示超细神经内窥镜拍摄的影像，所述混合实现场景用于显示影像融合模块生成的融合影像。

13、优选的一种技术方案，所述三维重建模块获取患者的ct的影像数据，将三维空间划分为均匀的小立方体单元，根据ct的影像数据对每个单元赋予对应的属性值，根据单元的位置和属性值，生成三维模型。

14、优选的一种技术方案，所述超细神经内窥镜设置有光学深度传感器，所述影像配准模块使用视觉同步定位和建图算法，处理超细神经内窥镜拍摄的影像数据，基于光学深度传感器的检测数据，结合三维模型对超细神经内窥镜进行实时定位，所述影像配准模块使用视觉三角测量法，基于双目相机和超细神经内窥镜拍摄的影像数据，计算患者头部结构的三维坐标，根据三维坐标推导患者头部结构的三维形状，所述影像配准模块使用刚体转换法，保持三维模型形状和大小不变的前提下，对三维模型进行平移和旋转，所述影像配准模块使用迭代最近点算法，迭代计算三维形状上的点与三维模型上的最近点之间的距离，并根据距离调整三维模型的大小，所述影像配准模块使用非刚体转换法，对三维模型进行局部的拉伸、挤压和弯曲，所述影像配准模块使用最小均方配准算法，调整变换参数，将三维模型与双目相机和超细神经内窥镜拍摄的影像数据的差异最小化；

15、迭代最近点算法的基本步骤为：选择一个点作为当前最近点，将其设为最小距离点，对于每个数据点，计算其与当前最近点之间的距离，如果该点距离小于当前最小距离，则将该点设为最小距离点，重复上述操作，直到计算完所有数据点，返回最小距离点作为最近点。

16、优选的一种技术方案，所述影像融合模块使用结构光投影法，基于超细神经内窥镜拍摄的影像数据，对三维模型进行投影，使三维模型投影和超细神经内窥镜拍摄的影像处在同一个平面上，所述影像融合模块使用金字塔融合算法，将同一平面下的三维模型投影和超细神经内窥镜拍摄影像进行多尺度分解，并在相同尺度下进行合成，生成合成影像，所述影像融合模块使用图像拼接算法，提取合成影像和双目相机拍摄的影像的特征点，使用尺度不变特征变换算法将两个图像的特征点进行匹配，确定特征点在不同图像的对应关系，基于匹配的特征点对，使用随机样本一致算法，计算标定矩阵，根据标定矩阵对图像进行透视变换，使用渐变融合法将变换后的图像进行融合，生成融合影像；

17、尺度不变特征变换算法的基本步骤为：在特征点周围划定一个32x32像素的图像块，在该图像块中计算每个像素的梯度和方向信息，根据梯度和方向信息，生成一个针对图像块的128维描述子，对第一个图像块的描述子与第二个图像的所有图像块的描述子进行比较，使用余弦相似度法计算描述子之间的相关性，选择相关性最高的特征点对作为匹配结果；

18、随机样本一致算法的基本步骤为：随机选择一个最小样本集合作为初始模型参数的估计，对于每个样本集合，计算基础矩阵，对于剩余的数据点，计算其与模型之间的误差，统计在误差阈值内的数据点，作为当前模型的支持点，当支持点超过原有数据点的四分之一，将支持点导入样本集，并重复上述步骤，直到迭代n次，寻找到拟合数据的最优标定矩阵；其中迭代次数n由医生进行设置，迭代的次数越多，计算的精度越高，消耗的计算效率也越多。

19、优选的一种技术方案，所述语音切换模块使用语音识别算法将医生的语音指令转换为文本形式，所述语音切换模块使用自然语言处理和理解算法对于识别的文本进行解析，并根据解析结果对场景画面进行切换。

20、优选的一种技术方案，所述病灶绘制模块储存有医生预设病灶的形状、颜色、纹理和轮廓特征，所述病灶绘制模块使用图像分割算法，基于ct的影像数据，结合影像融合模块的融合影像，将具有病灶类似特征的区域从融合影像中分割出来，并对分割的区域进行标注，所述病灶绘制模块使用主动轮廓模型法，基于标注的病灶初始轮廓，根据影像的梯度信息和约束力迭代地调整轮廓，并根据轮廓对病灶进行勾勒。

21、优选的一种技术方案，所述方案推荐模块使用规则引擎，将小型病灶切除、脑室镜手术、经鼻内镜颅底手术和经颅锁孔手术的手术方案，根据病灶的大小、形状和位置定义为预设规则，基于病灶绘制模块标注的病灶信息，应用预设规则来判断和推荐手术方案，所述病灶更新模块使用交叉微分算法，计算影像中像素点和临域像素点之间的差异，确定病灶的边缘位置，对病灶的大小、形状和位置进行更新。

22、与现有技术相比，本发明具有如下有益效果：

23、1.本发明将多个影像相结合，扩大医生在神经外科手术时的视野范围，使得医生在术中患者的病情能够有更加清晰地认识，极大地提高了手术过程中医生对于病况的判断，同时利用三维模型辅助手术，使医生在视野盲区中仍然能进行手术，为精准化的手术实施有效的依据。

24、2.本发明对患者的ct的影像数据进行分析，结合超细神经内窥镜拍摄的影像，标注勾勒患者病灶，分析患者病灶的大小和位置关系，推荐相应的手术方案，指导医生进行手术过程，提高了手术的效率，降低了医生的失误率。