技术特征：
1.一种用于单目内窥镜手术中的多基线融合的深度估计方法，其特征在于，包括以下步骤：s1.采集内窥镜拍摄的照片；s2.根据内窥镜的内参矩阵和畸变系数对照片进行校正；s3.对校正后的照片进行深度估计；s4.用基线选取方法选出当前内窥镜画面中物体所处的深度范围下的最优基线；s5.将最优基线附近的几个基线对应的深度图进行融合，得到最终的深度图；s6.根据融合后的深度图在照片中标注出每个物体的深度值；s7.将标注深度后的照片显示在屏幕上，根据照片中的深度信息判断画面中物体的位置。2.根据权利要求1所述的用于单目内窥镜手术中的多基线融合的深度估计方法，其特征在于，所述的步骤s1具体包括：对内窥镜进行标定；将一张间距已知的棋盘格贴在模拟手术台的台面上，移动内窥镜并在不同位置、角度对棋盘格拍摄多张照片，用张氏标定法估算出内窥镜的内参矩阵a、外参矩阵[r|t]以及畸变参数[k1,k2,k3,p1,p2]；在进行手术时，用内窥镜分别向左和向右水平移动一定距离，并每隔相同距离采集一张照片，向左移动后拍摄的照片与向右移动后拍摄的照片分别一一对应组成多对左右图；并将上述照片传回计算机。3.根据权利要求1所述的用于单目内窥镜手术中的多基线融合的深度估计方法，其特征在于，在所述的步骤s5中，基线的选取包括以下步骤：首先设定基线可变化的范围；然后进行第一次迭代：在基线可变范围内等间隔取出n个基线，分别计算对应深度图的评价得分，取出最小得分对应的基线；第二次迭代：在第一次迭代得到的最优基线附近再等间隔取基线，再次取出最小得分对应的基线，即得到最终使用的基线。4.根据权利要求3所述的用于单目内窥镜手术中的多基线融合的深度估计方法，其特征在于，对深度图进行评价，采用以下深度图评价函数：imgq＝q1×
k1+q2×
k2其中，q1是评价指标1：黑点数量，用于判断基线是否过大，q1过大，说明基线过大；q2是评价指标2：深度
‑
视差函数的斜率的绝对值，用于判断基线是否过小，q2过大，说明基线过小。5.根据权利要求1所述的用于单目内窥镜手术中的多基线融合的深度估计方法，其特征在于，在所述的步骤s6中，将最优基线附近的几个基线对应的深度图进行融合，其中深度图融合具体包括以下步骤：用基线距离相邻的几张深度图进行融合；对于每个像素点，取出多个深度图中的非0深度值相加再取平均，得到融合图在该像素点的深度值；对某一个像素点，取出同一张深度图中以该像素点为中心的l*l方块，以其中的非0深度值的均值代替该像素点的深度值。6.根据权利要求1至5任一项所述的用于单目内窥镜手术中的多基线融合的深度估计
方法，其特征在于，所述的步骤s4中对每对左右图进行深度估计，深度估计的具体步骤包括：s41.计算每对左右图中两张照片的匹配代价；对两张照片进行水平sobel处理，之后计算得到bt代价值1，对水平sobel处理前的两张照片直接计算bt代价值2；将bt代价值1和bt代价值2计算得到的代价值进行相加融合；s42.对融合后的代价值进行成块计算；对每个像素的代价值用周围领域代价值的总和来代替，提高匹配的鲁棒性；s43.对代价值进行sgm优化；对每个像素点p都进行多个路径像素代价的聚合，聚合公式如下：s44.计算两张照片的视差；用胜者为王算法，选择代价最优的点作为对应的匹配点；s45.进行视差后处理；包括置信度检测和左右一致性检测；s46.计算深度值z；根据内窥镜内参中的焦距f和外参矩阵[r|t]估算出内窥镜在拍摄两张图片之间移动的基线距离b，根据深度计算公式计算出深度值；深度计算公式如下：z＝f
×
b/d式中，f是内窥镜焦距，b是基线距离，d是视差值。7.根据权利要求6所述的用于单目内窥镜手术中的多基线融合的深度估计方法，其特征在于，所述的置信度检测具体包括以下步骤：定义视差窗口范围内匹配像素点最低代价为c1，次低代价为c2；检查是否满足以下不等式：其中uniqratio是置信度检测参数；如果不满足，则说明最低代价和次低代价相差太小，即匹配的区分度不够，认为当前匹配像素点是误匹配；使最佳视差值与一定范围内的视差值在代价值上面保持一定的全局最优关系，避免算法中经常遇到的局部最优解问题。8.根据权利要求6所述的用于单目内窥镜手术中的多基线融合的深度估计方法，其特征在于，所述的左右一致性检测具体包括：通过得到的左视差图计算右视差图，对于左视差图中的一个点p，求得的视差值是d1，那么p在右图里的对应点为点(p
‑
d1)，点(p
‑
d1)的视差值记作d2；若|d1‑
d2|>threshold；将p标记为遮挡点；再分别水平往左和往右找到第一个非遮挡点，将点p的视差值赋值成左右两个非遮拦点中视差值较小的那一个。9.一种计算机设备，包括存储器和处理器，所述的存储器存储有计算机程序，其特征在于，所述的处理器执行所述的计算机程序时实现权利要求1至8任一项所述的方法的步骤。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述的计算机程序被处理器执行时实现权利要求1至8任一项所述方法的步骤。
技术总结
本发明属于深度估计领域和医学图像处理技术领域，更具体地，涉及一种用于单目内窥镜手术中的多基线融合的深度估计方法。能够应用到临床中，起到在术中辅助手术的作用。通过水平移动小段距离对当前手术画面获取两张不同视角的照片，可以对组织纹理较少的手术画面估计出较为准确的深度信息。本发明还提出了一种多基线深度图融合的方法，针对不同的深度范围在合适的基线附近选择多个基线，将不同基线得到的深度图进行融合，保证在不同深度范围时都能生成准确的深度图。能生成准确的深度图。能生成准确的深度图。
技术研发人员：黄凯 宋日辉 谭志东 凌晔华
受保护的技术使用者：中山大学
技术研发日：2021.07.29
技术公布日：2021/11/4