基于结构光立体视觉的气管插管导航系统

1.本发明涉及医疗器械技术领域，特别涉及一种基于结构光立体视觉的气管插管导航系统。


背景技术：

2.气管插管是急救和手术的首要步骤，对于挽救生命至关重要，需要专业医师经过长时间培训方能熟练掌握。在气管插管操作时，医师与患者呼吸道直接近距离接触，职业暴露感染风险较高。因此，对患者的气管插管实现机器智能化操作，可显著降低医务人员的职业暴露风险。同时可有效解决灾难现场(高楼楼顶、灾害、航母、核污染现场等)抢救工作中专家缺乏、无法随行的缺陷。因此实现自动化气管插管操作，根据气道解剖导航规划路径至关重要。在此背景下，建立一套自动气管插管导航系统对于完善国家公共卫生应急体系建设具有重大的战略意义。


技术实现要素：

3.鉴于上述的分析，本发明旨在提供一种基于结构光立体视觉的气管插管导航系统；解决现有技术中的气管插管系统，需要依靠医生的经验和判断进行手动或半自动操作，无法实现气管插管自动导航的问题。
4.本发明的目的主要是通过以下技术方案实现的：
5.一方面，本发明提供了一种基于结构光立体视觉的气管插管导航系统，包括：光源模块、气管识别模块、数据处理模块和控制模块；
6.其中，光源模块用于为导管探头的当前位置投射不同的环境光；
7.气管识别模块包括第一摄像头模块和第二摄像头模块，设置于导管探头内，通过设置于导管内的数据传输线与所述数据处理模块通信连接，用于获取气管内的图像；
8.数据处理模块用于对获取的气管内的图像进行三维融合处理，并基于融合处理后得到的三维图像，利用预先训练的图像识别模型判定下一步导航方向；
9.所述控制模块用于根据预设的流程控制所述光源模块产生不同的环境光，并控制所述气管识别模块根据当前的环境光利用对应的摄像头模块获取图像；所述控制模块还用于通过设置于导管内的电机驱动线驱动所述探头根据下一步所述导航方向引导探头移动。
10.进一步的，所述光源模块包括光源、光纤、滤光片、透镜组和光栅；所述滤光片、透镜组和光栅均通过电机驱动线与所述控制模块连接；所述光源发出的光束经过依次设置于光纤的光束入射端的一组滤光片和透镜组进行滤波整形后，得到均匀的平行光；所述平行光经过光纤传导到光纤的光束出射端，所述光束出射端出射的光束再依次经过另一组滤光片、透镜组和光栅滤波整形后输出，为气管内探头当前位置提供结构光、红外光或可见光。
11.进一步的，第一摄像头模块包括一个红外摄像头，用于在光源模块投射结构光的状态下获取气管内的结构光图像；
12.第二摄像头模块包括两个相同的红外摄像头，用于在光源模块投射红外光的条件
下，获取双目视觉图像。
13.进一步的，系统还包括可见光摄像头模块，可见光摄像头模块包括至少一个可见光摄像头；可见光摄像头设置于探头内，通过设置于导管内的数据传输线与所述数据处理模块通信连接，用于在光源模块投射可见光的状态下，采集气管内当前位置的可见光图像；利用可见光图像对融合处理后得到的三维图像进行三维建模贴图操作，得到气管中当前位置的三维彩色图像；
14.基于当前位置的三维彩色图像，辅助判断下一步导航方向。
15.进一步的，还包括惯性导航模块，惯性导航模块包括加速度计、磁力计和陀螺仪，通过设置于导管内的数据传输线与所述数据处理模块通信连接；用于获取导管探头在导管探头坐标系下的姿态信息并发送至数据处理模块，数据处理模块将所述导管探头坐标系下的姿态信息转换至地球坐标系得到地球坐标系下的导管探头姿态信息，并基于地球坐标系下的导管探头姿态信息得到地球坐标系下的所述三维模型的姿态，并根据三维模型的所述姿态预测前进方向的坐标。
16.进一步的，数据处理模块用于对获取的气管内的图像进行三维融合处理，包括：
17.对结构光图像和双目视觉图像分别进行三维重建，得到结构光三维模型和双目视觉三维模型；
18.对结构光三维模型和双目视觉三维模型进行特征点融合，得到三维融合重建模型；
19.三维融合重建模型用于判定下一步导航方向。
20.进一步的，对结构光三维模型和双目视觉三维模型进行特征点融合，包括：
21.对结构光三维模型和双目视觉三维模型进行坐标系归一化；
22.基于结构光三维模型和双目视觉三维模型对应的两个特征点的深度差异和角度差异得到每个特征点的空间位置差异，对于每个特征点的空间位置差异进行求和，得到全局特征点空间位置差异，最小化全局特征点空间位置差异，构建得到三维融合重建结果；
23.对三维融合重建结果进行平滑滤波处理，得到三维融合重建模型。
24.进一步的，通过下式最小化结构光三维模型和双目视觉三维模型全局特征点的空间位置差异，构建得到三维融合重建的结果：
[0025][0026]
其中，ε(γ)为全局特征点的空间位置差异；为双目视觉三维模型中特征点(i,j,k)表面的垂直单位向量；为结构光三维模型中与特征点(i,j,k)匹配的特征点(i
′
,j
′
,k
′
)表面的垂直单位向量；为双目视觉三维模型中特征点(i,j,k)对应的向量；为结构光三维模型中特征点(i
′
,j
′
,k
′
)对应的向量。表示表面的垂直单位向量夹角差异；表示特征点对应向量夹角差异；表示
特征点对应向量距离原点距离差异。。
[0027]
进一步的，判断下一步导航方向包括：根据摄像头获取的图像，通过预先训练的图像识别模型判断导管探头所在的当前位置是否为关键位置；
[0028]
若非关键位置，则获取当前位置的三维融合重建模型的三维信息，并搜索深度最深的方向坐标，根据深度最深的方向坐标得到下一步导航方向；
[0029]
若为关键位置，则获取图像识别模型的指导导航方向坐标和三维信息中深度最深方向的坐标；若坐标夹角大于预先设置的阈值，则判断为转角，以深度最深的方向为下一步导航方向；若坐标夹角小于阈值，则以两个坐标中间的方向为下一步导航方向。
[0030]
进一步的，预先训练的图像识别模型为通过海量样本图片对神经网络模型进行预先训练得到的辅助诊断模型，样本图片为带有标注标签的气管内各位置图像，包括二维图像和三维立体图像；标注标签为标注关键特征位置和关键位置指导导航方向的标签。
[0031]
本技术方案的有益效果：
[0032]
本发明通过光源控制系统可以投射不同形式的光源，通过摄像头获取不同光照条件下的气管内图像，经过三维重建和融合处理，能够获得精确的深度信息并自动判断下一步导航移动方向，实现了高精度的全自动气管插管导航方法。
[0033]
本发明通过融合结构光图像和双目视觉图像，得到气管内精确的三维图像，极大程度上提高了自动气管插管导航的准确性。
[0034]
本发明还通过结合可见光图像贴图操作和惯性测量单元，为医生提供直观的气管插管导航设备前端的视频图像，用于辅助气管插管操作或进行其他诊疗操作，可精确的确定手术工具在进入过程中的前方情况、位置信息或者空间姿态，可以帮助医生在手动、自动操作的过程中实现精准导航。
[0035]
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分的从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
[0036]
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
[0037]
图1为本发明实施例的气管插管导航系统框图。
[0038]
图2为本发明实施例的气管插管结构图.
[0039]
图3为本发明实施例的气管插管探头及导管内部结构图。
[0040]
图4为本发明实施例的基于插值搜索的自适应的条纹搜索示意图。
[0041]
图5为本发明实施例的特征点融合示意图。
[0042]
图6为本发明实施例的气管导航系统工作流程示意图。
[0043]
图7为本发明实施例的计算导管下一步导航方向流程示意图。
具体实施方式
[0044]
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本技术一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
[0045]
本实施例中的一种基于结构光立体视觉的气管插管导航系统，如图1所示，包括：光源模块、气管识别模块、数据处理模块和控制模块；
[0046]
所述光源模块用于为导管探头的当前位置投射不同的环境光；
[0047]
气管识别模块包括第一摄像头模块和第二摄像头模块，设置于导管探头内，通过设置于导管内的数据传输线与所述数据处理模块通信连接，用于获取气管内的图像；
[0048]
数据处理模块用于对获取的气管内的图像进行三维融合处理，并基于三维融合处理后得到图像，利用预先训练的图像识别模型判定下一步导航方向；
[0049]
控制模块用于根据预设的流程控制所述光源模块产生不同的环境光，并控制所述气管识别模块根据当前的环境光通过对应的摄像头模块获取图像；所述控制模块还用于通过设置于导管内的电机驱动线驱动所述探头根据下一步所述导航方向引导探头移动。
[0050]
实际应用过程中，还可以设置显示模块，用于显示当前气管内的图像，便于医生进行辅助气管插管和诊疗操作。
[0051]
具体的，所述环境光包括结构光、红外光和可见光。
[0052]
具体的，如图2所示，本实施例的气管插管包括导管和探头。
[0053]
更具体的，如图3所示，气管插管的导管中包括光纤1、电机驱动线组2和数据传输线组3，其中光纤用于将光源发射的光束传到到探头的出光口；电机驱动线用于控制探头按导航方向移动；数据传输线用于将摄像头或惯性导航模块获取的数据传输至数据处理模块。
[0054]
探头中包括滤光片5、透镜组6和光栅7，光纤中出射的光束依次穿过滤光片、透镜组和光栅进行整滤波整形后，为探头当前位置提供环境光，在实际应用中，经过光栅出射的光束可进一步通过滤光片进行滤波，得到适用于系统需求的环境光；探头中还包括惯性导航模块4、第二摄像头模块的两个红外摄像头91和92、第二摄像头模块的红外摄像头8、可见光摄像头10和出光口11。
[0055]
作为一个具体的实施例，光源模块包括光源、光纤、两组滤光片、两组透镜组和一个光栅，所述滤光片、透镜组和光栅均通过设置于导管内的电机驱动线与所述控制模块连接，一组滤光片和透镜沿光束入射方向依次设置于光纤的光束入射端，另一组滤光片、透镜和光栅依次设置于光纤的光束出射端；光源发出的光束首先经过设置于光纤入射端的滤光片和透镜组进行滤波整形，得到均匀的平行光；所述平行光经过光纤传导到探头中的出光口，所述出光口出射的光束再经过滤光片、透镜组和光栅滤波整形后输出，为气管内探头当前位置提供结构光或红外光。其中，所述光纤出射端位于探头的出光口处。在后续的处理中，可以通过摄像头分别获取探头当前位置的结构光和红外光环境下的图像，用于三维重建和图像融合处理，得到高精度的三维融合图像。优选的，通过对比多种结构光方法，本实施例采用二值条纹结构光，二值条纹结构光图像三维重建算法更适合体内纹理较少的平滑曲面应用，其重建精度更高。
[0056]
进一步的，本实施例的气管识别模块包括第一摄像头模块和第二摄像头模块，所述第一摄像头模块和第二摄像头模块均设置于探头内，用于获取气管内的图像；其中，第一摄像头模块包括一个红外摄像头，用于在光源模块投射二值条纹结构光的状态下获取气管内的二值条纹结构光图像；第二摄像头模块包括两个相同的红外摄像头，用于在光源模块投射红外光的条件下，获取双目视觉图像；其中，在系统搭建过程中，第二摄像头模块中的
两个红外摄像头需根据数据处理模块的参数设置，固定设置于探头中的固定位置。第一摄像头模块中的红外摄像头可避开出光口在探头中任意位置固定设置。
[0057]
优选的，为了更直观的展现体内的具体环境及组织，本实施例的气管插管导航系统，还可以在探头中设置可见光摄像头；可见光摄像头通过设置于导管内的数据传输线与所述数据处理模块通信连接，用于在光源投射可见光的状态下，采集气管内当前位置的可见光图像；将摄像头获取的可见光下的彩色图片贴图到三维模型上，即经过可见光图像与经过三维重建得到的三维模型进行坐标系转换，将可见光图像中的像素点映射到三维模型上对应的像素点曲面，得到贴图后的更加直观的三维彩色模型。基于当前位置的三维彩色模型图像，可辅助判断下一步导航方向或进行诊疗操作。
[0058]
优选的，本实施例的气管插管导航系统还包括惯性导航模块，惯性导航模块包括加速度计、磁力计和陀螺仪；所述惯性导航模块通过设置于导管内的数据传输线与所述数据处理模块通信连接，并将获取的导管探头在导管探头坐标系下的姿态信息并发送至数据处理模块，数据处理模块将所述导管探头坐标系下的姿态信息转换至地球坐标系得到地球坐标系下的导管探头姿态信息，并基于地球坐标系下的导管探头姿态信息得到地球坐标系下的所述三维模型的姿态，并根据三维模型的所述姿态预测前进方向的坐标。需要说明的是，通过前述方法融合后得到的高精度三维模型可以在图像显示系统中进行显示，但体内导管探头的方向是随机旋转的，所以需要进行坐标系变换，使得前端探头的坐标系与地球坐标系保持一致，否则会引起导航系统以及医生观察诊断的错误。本实施例中，采用探头前端设置惯性导航模块进行坐标系转换，根据地球坐标系下的三维模型的姿态以及目前患者的体位可判断出正确的下一步前进方向。
[0059]
其中，可见光摄像头和惯性导航模块均可避开出光口在探头中任意位置固定设置。
[0060]
进一步的，本实施例的数据处理模块还用于对获取的气管内的图像进行三维融合处理，并基于三维融合处理后得到三维图像，通过预先训练的图像识别模型判定下一步导航方向。
[0061]
具体的，数据处理模块用于对获取的气管内的图像进行三维融合处理，包括：
[0062]
对所述结构光图像和双目视觉图像分别进行三维重建，得到结构光三维模型和双目视觉三维模型；
[0063]
对所述结构光三维模型和双目视觉三维模型进行特征点融合，得到三维融合重建模型；
[0064]
所述三维融合重建模型用于判定下一步导航方向。
[0065]
具体的，本实施例将二值条纹结构光图像传输至数据处理模块，采用格雷码和插值查找算法对二值条纹结构光图像进行三维重建，得到结构光三维模型；
[0066]
为了提高系统鲁棒性，本实施例采用格雷码加线移的方式进行二值条纹结构光编码。即，将整个编码区域分成256个子区域，4位线移将宽度为4的子区域赋予不同的码值。在解码中，相机坐标系的像素相位值为ρ＝ρg+ρ
l
，其中ρg为绝对相位，通过对投射8位格雷码获取的灰度图解码获取；ρ
l
为局部相位，通过对投射4位线移图案获取的灰度图解码获得。本实施例采用基于条纹边界亚像素定位的方法进行解码。即，基于投射正反条纹获取的灰度图，首先通过零交叉算子实现条纹边界像素级的定位，然后基于直线拟合或曲线拟合求交
点的方法获取条纹边界的亚像素级定位值。通过条纹亚像素定位算法，对于二值条纹编码的结构光系统可以获取微米级的重建精度。
[0067]
进一步的，基于格雷码编码图案中条纹的序列属性，为了提高算法的效率，实现快速自动插管，经过大量实验对比，本实施例采用基于插值搜索的自适应的条纹搜索算法，通过定义最小搜索区间，基于每一行与上一行的条纹边界连续性，层序遍历实现条纹边界的快速有序搜索，提高系统鲁棒性。
[0068]
具体的，本实施例的条纹边界具有一定的连续性特征，如图4所示，例如在3.2处搜索到条纹边界，那么在4.3和4.4范围内出现条纹边界的概率比第4层其他范围内出现条纹边界的概率要高。本实施例中，为提高精度，在搜索到条纹边界范围后，需要对该位置进行特征匹配，而不仅仅是搜索条纹边界就计算完毕，所以首先搜索出条纹边界对于本实施例的处理速度有非常关键的作用。本实施例的基于插值搜索的自适应的条纹搜索算法为基于二叉树搜索的自适应条纹搜索算法，在不考虑自适应的情况下，基于二叉树的搜索加特征匹配总的时间复杂度为ο(2
n+1
)，其中n为二叉树的层数，即格雷编码的位数。
[0069]
基于二叉树搜索的自适应条纹搜索过程为：根据上一行搜索得到的条纹边界的位置(a).(b)、(c).(d)和无条纹边界的位置(x).(y)，计算得出本行搜索顺序为：(a+1).(2b-1)；(a+1).(2b)；(c+1).(2d-1)；(c+1).(2d)；(x+1).(2y-1)；(x+1).(2y)。本实施例中对条纹边界搜索概率较大的位置优先进行搜索，如检测出条纹边界，可立即执行特征匹配计算，考虑关键位置的二叉树自适应搜索加特征匹配总的时间复杂度为ο(2n)，大大降低了条纹边界搜索的效率，降低计算时间。
[0070]
通过层次遍历访问节点，在每一层中，从条纹边界概率大的位置到概率小的位置，在实现格雷码序列中所有条纹边界的搜索的同时，运用优先排序的方法降低了时间复杂度。考虑格雷码序列中条纹之间的固有位置关系，实现了在最优搜索间隔内搜索条纹边界，而不是整体全局搜索，有效的减少了数据的访问量，减少计算时间。在条纹边界搜索过程中，基于上一次搜索的结果，即(a).(b)；(c).(d)，以及本次搜索的(a+1).(2b-1)、(a+1).(2b)、(c+1).(2d-1)、(c+1).(2d)，根据节点编号(2b-1)；(2b)；(2d-1)；(2d)的奇、偶性，即条纹边界的上升沿或下降沿属性(白-黑为上升沿，黑-白为下降沿)，可以更加有效的降低误检率。
[0071]
本实施例采用二值条纹结构光方法，结合格雷码和基于插值搜索的自适应的条纹搜索算法，适用于体内应用，理论上可以获得与图像传感器像素点一样的精度，三维重建后的精度可达微米级。采用最小搜索区间内搜索条纹边界可以有效的消除最小搜索区间外的噪声或遮挡对条纹搜索的影响，提高系统鲁棒性，对于降低误差具有很好的效果。
[0072]
进一步的，将双目视觉图像传输至图像分析系统；采用立体视觉视差匹配的方法对双目视觉图像进行三维重建，得到双目视觉三维模型。
[0073]
具体的，对双目视觉图像进行三维重建包括：
[0074]
摄像机标定：通过摄像机标定确定位置关系、内在参数和外在参数(内在参数是指两个摄像机固有的参数差异，外在参数主要指两个摄像机的相对位置和角度)，以获取空间点与图像点的映射关系，用于立体校正建立双目系统与约束对应点搜寻空间。
[0075]
图像预处理：通过防抖处理、白平衡、降噪、根据标定参数进行图像对齐等方法对获取的双目视觉图像进行预处理，以便于后续处理中更好的提取图像中关于目标物的基本
基元(如点、边等)，且有利于立体匹配中相似度量函数的计算。
[0076]
立体匹配：根据特征提取后获取的数据，设定基元(点、边等)间的对应关系，将一个空间内的同一物理点在两幅视图中相互对应起来，计算两组数据间的相关程度，将景物中的丰富信息以像素值的形式反映，得到相应的视差图像。
[0077]
三维重构：通过立体匹配算法得到视差结果后，根据三角法(左右视图成像面与被测物体之间形成的三角形)获取视差图像中所有点的深度值，将深度值代入摄像机几何成像模型中，根据逆向转换关系计算三维坐标，再对其进行点云可视化操作得到图像的三维信息，即得到双目视觉图像的三维模型。
[0078]
需要说明的是，采用双目视觉图像进行三维重建的方法，对于纹理越多的表面，三维重建的精度越高。在体内的特殊场景下，可见光获取的图像纹理较少，匹配精度较差，并且会出现因无法匹配造成三维重建后模型出现孔洞；而红外光因其特殊的穿透性，在体内可实现血管成像，而血管的纹理在体内又是非常复杂且具有不可复制性，对于体内特殊场景下做双目立体匹配非常适合。采集双目视觉图像后通过图像分析系统中立体视觉视差匹配的方法进行三维重建，可获得较好的三维建模效果。
[0079]
需要说明的是，结构光三维重建算法对于无纹理的平滑曲面重建精度非常高，但对于带有纹理的结构，立体结构较复杂的位置，重建后有误差。针对体内特殊的场景，例如血管或某些病变部位纹理较多的位置，或类似喉咙转弯处立体结构复杂的位置，为了提高三维重建后立体结构等对于医疗诊断的意义，本实施例结合双目立体视觉三维重建对二值条纹图像三维重建的误差进行融合与修正，提高了模型的准确性，为气管插管和其他医疗内窥镜应用场景提供了创造性的解决方案。
[0080]
进一步的，对结构光三维模型和双目视觉三维模型进行特征点融合，得到三维融合重建模型，包括，对结构光三维模型和双目视觉三维模型进行坐标系归一化；基于结构光三维模型和双目视觉三维模型对应的两个特征点的深度差异和角度差异得到每个特征点的空间位置差异，对于每个特征点的空间位置差异进行求和，得到全局特征点空间位置差异，最小化全局特征点空间位置差异，构建得到三维融合重建结果；对三维融合重建结果进行平滑滤波处理，得到三维融合重建模型。
[0081]
双目立体视觉算法中非常重要的步骤是计算特征点，以及对两幅图片进行特征点匹配。具体的，采用3x3区域进行两幅视差图的模板匹配，在计算出深度信息后，再取每个图像坐标对应的三维点云深度信息，在3x3模板中，可通过如下方法得出坐标为(i,j,k)的特征像素点表面的垂直单位向量
[0082]
如图5所示，以坐标为(i,j,k)的特征像素点为中心0点，扩展出3x3的模板，并沿顺时针方向为每个像素点编号，取编号1至8。通过0点和1点的点云信息，可以得到0点至1点的向量同样的方法可以计算本模板中以0点至1-8号像素点的向量则，和所张成平面p0p1pn(pn代表第n号像素的空间点位置)的垂直单位向量：
[0083][0084]
叠加后，得到坐标为(i,j,k)的特征像素点表面的垂直单位向量：
[0085][0086]
同样方法，对二值条纹结构光的每个像素点也做如上处理，若两种方法获取的图像坐标空间不一致，首先要对这两种方法的坐标空间进行归一化处理。对于二值条纹结构光，通过深度点云计算出坐标为(i,j,k)的特征像素点表面的垂直单位向量：
[0087][0088]
同时考虑角度约束和深度约束，得到坐标为(i,j,k)的特征像素点在双目立体视觉和二值条纹结构光两种方法下获取的深度点云的差异ε(i,j,k)：
[0089][0090]
其中，表示在双目立体视觉和二值条纹结构光两种方法下获取的表面垂直单位向量的角度差；表示在双目立体视觉和二值条纹结构光两种方法下获取的原点出发坐标为(i,j,k)的特征像素点的向量之间的角度差；δ(i,j,k)表示双目立体视觉和二值条纹结构光两种方法下获取的特征点对应向量距离原点距离差异；其中：
[0091]
γ为每一帧图像三维像素空间的特征点集合。
[0092]
两种方法所获取的三维模型融合问题，就转化为求解每一帧图像像素空间全局特征点的空间位置最小的极值问题。即：
[0093][0094]
其中，ε(γ)为全局特征点的空间位置差异，γ为每一帧图像三维像素空间特征点的集合，为双目视觉三维模型中特征点(i,j,k)表面的垂直单位向量；为结构光三维模型中与之匹配的特征点(i
′
,j
′
,k
′
)表面的垂直单位向量；为双目视觉三维模型中特征点(i,j,k)对应的向量；为结构光三维模型中特征点(i
′
,j
′
,k
′
)对应的向量。表示表面的垂直单位向量夹角差异；表示特征点对应向量夹角差异；表示特征点对应向量距离原点距离差异。在理想情况下，与
重合，与重合，故ε(γ)＝0。
[0095]
获得点云融合的结果后，因每个3x3模板在匹配计算过程中，都进行了纹理识别，纹理边缘部分还可进一步做平滑滤波处理，因本方案使用范围是人体体内，不存在或极少存在突变尖锐结构，这样处理后可获取误差更小，表面更加平滑的三维重建模型。
[0096]
本实施例中，二值条纹结构光方案适用于平滑曲面，纹理较少的情况；而双目立体视觉方案适用于纹理较多的情况，将二者配合使用很好的实现了气管插管和医疗内窥镜应用场景。
[0097]
作为一个具体的实施例，如图6所示，本发明的气管插管导航系统的工作流程为：首先保持导管静止，控制滤波片和发光装置投射红外光，通过双目视觉摄像头获取双目视觉图像，并进行三维重建得到双目视觉三维模型；在获取双目视觉图像后，控制滤波片和发光装置投射结构光，通过红外摄像头获取结构光图像，并进行三维重建得到结构光三维模型；在获取结构光后控制滤波片和发光装置投射可见光，通过可见光摄像头获取彩色图像。对双目视觉三维模型和三维模型进行特征融合，得到三维融合重建模型，进一步通过贴图操作，得到彩色的三维模型。可根据三维融合重建模型或贴图后的彩色三维模型预测下一步导航方向，或进行辅助诊断。
[0098]
需要说明的是，双目视觉图像、二值条纹图像和可见光图像的采集顺序可根据需要任意设置。但由于双目视觉图像三维重建运算量大，运算时间长，而结构光图像进行三维重建时间略短，所以本实施例每个时间步内的操作顺序根据运算量情况，按双目视觉、结构光和可见光的顺序进行图像采集和三维重建。以保证在最短的时间内得到导航结果，以提高导航的效率。
[0099]
进一步的，控制模块通过设置于导管内的电机驱动线与导管探头连接，用于驱动导管探头根据下一步导航方向引导导管探头移动。
[0100]
具体的，如图7所示，在判断下一步导航方向时，根据前端探头中的摄像头获取的二维图像或三维重建后的三维立体图像，通过预先训练的图像识别模型判断当前位置是否为关键位置；
[0101]
若非关键位置，则获取当前位置的三维融合重建模型的三维信息，并搜索深度最深的方向坐标，根据深度最深的方向坐标得到下一步导航方向；
[0102]
若为关键位置，则获取图像识别模型的指导导航方向坐标和三维信息中深度最深方向的坐标；若坐标夹角大于预先设置的阈值，则判断为转角，以深度最深的方向为下一步导航方向；若坐标夹角小于阈值，则以两个坐标中间的方向为下一步导航方向。
[0103]
其中，阈值根据大量样本数据统计得到，即在采集大量关键位置的三维信息后，进行统计计算得到。
[0104]
预先训练的图像识别模型为通过海量样本图片对神经网络模型进行预先训练得到的辅助诊断模型；其中，样本图片为带有标注标签的气管内各位置的图片，包括二维图像和三维立体图像；标注标签为标注关键特征位置和关键位置指导导航方向的标签。通过预训练后的图像识别模型，可识别出当前位置是否为关键位置，并且针对具体的关键位置可获取指导导航方向。
[0105]
在实际应用中，将探头前端摄像头获取的图片输入预先训练的辅助诊断模型，可自动判断出当前位置是否为关键位置，如悬垂体位置、气管与食管分叉位置等，并结合深度
信息和指导导航方向进一步准确的预测出下一步导航方向。
[0106]
综上所述，本发明提出的一种基于结构光立体视觉的气管插管导航系统，通过光源控制系统投射结构光和红外光，并通过气管识别模块分别获取结构光图像、双目视觉图像和可见光图像，利用数据处理模块进行三维重建和融合，得到精确且直观的三维模型；并通过预先训练的神经网络模型，准确的判断下一步导航方向；进一步结合自动插管机械控制系统实现气管插管导航系统的全自动化方案。可极大的降低急救、手术和气管插管过程中，医生职业暴露感染的风险，且在手术的过程中，减轻了医生的压力，在提升医疗质量方面具有重大的实际意义与应用价值。
[0107]
现有技术中的气管插管操作主要是根据气管插管设备前端摄像头提供的图像信息，人工操作，完成气管插管。而操作医师根据设备前端摄像头反馈的平面图像人工控制，存在一定的学习难度，操作医师需要利用自身已掌握的解剖知识，在大脑中构建出立体解剖进行操作，存在一定的误差。本发明通过光源控制系统投射不同的环境光，获取不同光照环境下的气管内图像，经过图像三维重建和融合处理得到精确的气管内图像，并结合图像识别模型，实现了气管插管导航的全自动化方案。
[0108]
本实施例所述的气管插管导航系统不仅可以用于气管插管场景，也适用于其他内窥镜使用场合中，通过二维图像与三维立体信息的融合，在提高可视化精度与范围的同时，利用三维模型使检查更加全面细致，不仅将先进的信息科学以及计算机辅助人工智能技术引入到医学行业，而且在手术的过程中，减轻了医生的压力，在提升医疗质量方面具有重大的实际意义与应用价值。
[0109]
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
[0110]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。