用于描述内窥镜和自动校准内窥镜摄像机系统的系统和方法与流程

用于描述内窥镜和自动校准内窥镜摄像机系统的系统和方法
1.相关申请的交叉引用
2.本技术要求于2019年10月7日提交的第62/911,950号美国临时专利申请(
“′
950申请”)以及于2019年10月7日提交的第62/911,986号美国申请(
“′
986申请”)的优先权和权益。
′
950申请和
′
986申请的全部内容特此以引用的方式并入本文中以用于所有目的。
技术领域
3.本公开大体上涉及计算机视觉和摄影测量领域，且具体地但非限制性地，当前公开的实施例用于外科手术和诊断的临床处理的背景中，以用于利用可更换、可旋转的光学器件(硬性内窥镜)校准内窥镜摄像机系统，标识特定的内窥镜是否正在使用中，或验证所述内窥镜是否正确组装到摄像头。这些内窥镜检查系统用于多种医学领域，例如矫形(关节镜检查)或腹部外科手术(腹腔镜检查)，并且摄像机校准使得能够应用于计算机辅助手术(cas)并增强可视化。


背景技术：

4.例如关节镜检查和腹腔镜检查的视频引导处理利用具备硬性内窥镜的摄像机，所述硬性内窥镜使得外科医生能够使所关注的解剖腔的内部可见。取决于医学专业性，硬性内窥镜可以是关节镜、腹腔镜、神经镜等，与包括摄像头和摄像机控制单元(ccu)的摄像机组合以形成内窥镜摄像机。这些摄像机与常规摄像机的不同之处主要在于两个特性。第一特性是，为了便于消毒，硬性内窥镜(也称为镜头窥镜或光学器件)通常是可更换的，外科医生在开始医疗处理之前在手术室(or)中将内窥镜附接到摄像头。利用连接器来实现这一附接，所述连接器允许内窥镜镜头围绕其对称轴线(图2中的机械轴线)相对于摄像头旋转，从而允许外科医生在无需平移内窥镜摄像机的情况下改变观察方向。内窥镜摄像机的第二独特特性是，其通常在沿着图像转发系统的某处包含场阻掩模(fsm)，所述fsm使所获取的图像在由黑色帧包围的圆区域中具有有意义的内容。fsm通常在圆边界上包含标记，其目的是允许外科医生推断向下方向。圆图像周边上的这一标记此后将被称为凹口(图2)。
5.计算机辅助关节镜检查或腹腔镜检查的一个重要启用步骤是摄像机校准，使得2d图像信息可与3d场景相关，以用于增强可视化、改善感知、测量和/或导航。校准在这种情况下包括具备镜头窥镜的摄像头的摄像机系统包含确定将3d中的投影光线映射为图像中像素坐标中的点的投影模型的参数，反之亦然(图1)。在医学内窥镜检查的背景下，校准的应用是广泛的——从对虚拟视图进行畸变校正和再现用于增强可视化到手术导航，其中摄像机用于测量3d点和距离并且相关信息通常涵盖了患者的身体结构。
6.在具有可旋转光学器件的内窥镜摄像机中，硬性内窥镜与摄像机传感器之间的运动引起摄像机系统的校准参数的变化，这意味着投影模型不会像在常规摄像机中那样随时间保持恒定。由于对光学器件相对于摄像头的每一可能位置执行独立校准是不切实际的，因此必须根据考虑这种相对运动的摄像机模型更新校准参数。有文献已提出用于确定这种相对旋转并相应地更新校准的解决方案，实例包含使用附接到摄像头的旋转编码器[1]，或
采用用于确定附接到窥镜镜筒的光学标记的位置的光学跟踪系统[2]。这些方法存在一个严重的缺点，即需要额外的设备和仪器，所述设备和仪器成本高昂，会占用or中的空间，且会扰乱既定的手术流程。
[0007]
第9,438,897号美国专利公开了一种解决一些上述问题的方法，用于在不需要任何额外仪器的情况下完成内窥镜摄像机校准。使用图像处理在每一帧时刻估计镜头窥镜的旋转，并且将结果用作模型的输入，所述模型在给定镜头窥镜相对于摄像头的特定角度位置(参考位置)处的摄像机校准的情况下，输出当前角度位置处的校准。然而，这种方法存在以下缺点：(i)参考位置处的校准需要在or中获取已知棋盘格图案(校准网格)的一个或多个帧，除了需要用户干预之外，这通常还是必须利用无菌网格执行的耗时过程，因此是不希望的且应避免，(ii)所公开的方法不允许在操作过程中改变光学变焦，因为它无法将校准参数更新到不同的变焦水平，以及(iii)所述方法需要镜头窥镜相对于摄像头仅旋转而不发生平移，其中必须明确地确定机械轴线与图像相交的点。
[0008]
当前公开的实施例涉及一种方法，所述方法避免了在将硬性窥镜组装到摄像头中之后需要在or中在特定角度位置处校准内窥镜摄像机。本专利公开了用于描述硬性内窥镜的模型、方法和设备，描述方式为使得能够确定任何内窥镜摄像机系统的校准，所述内窥镜摄像机系统包括独立于正在使用的摄像头的内窥镜，确定所述摄像头引入的变焦量，以及确定特定帧时刻时窥镜与摄像头之间的相对旋转或平移。这允许外科医生在外科手术中更换内窥镜和/或摄像头，并根据需要调整变焦，以便在不会对手术流程造成任何干扰的情况下更好地显示某些图像内容。
[0009]
本公开示出了如何单独校准硬性内窥镜以获得充分描述光学器件的一组参数——镜头描述子。提前(例如在制造时)执行镜头校准，接着将描述子加载到摄像机控制单元(ccu)中用作实时软件中的输入，所述实时软件在每一帧时刻自动提供完整内窥镜摄像机装置(包括摄像头和镜头)的校准，而不考虑两个组件之间的相对旋转。这是以对于用户无缝的方式实现的。
[0010]
由于这一描述子描述一个镜头或一批镜头，因此其也可用于进行标识和质量控制。因此，在这一功能性的基础上，还公开了一种用于检测加载到ccu中的镜头描述子与组装在摄像头中的实际硬性内窥镜之间的不一致性的方法。这种方法有助于在所使用的镜头不正确和/或镜头损坏或未正确组装在摄像头中的情况下警告用户。
[0011]
本公开可具体地但非限制性地与第9,438,897号美国专利中公开的方法结合使用以校正图像径向畸变并增强视觉感知，或与us 20180071032 a1中公开的方法结合使用以在关节镜检查期间提供指导和导航，以便在每一帧时刻完成摄像机校准，这是这些方法奏效的一个要求。


技术实现要素：

[0012]
用于确定内窥镜摄像机的校准的系统、方法和设备，所述内窥镜摄像机由配备可更换、可旋转的光学器件(硬性内窥镜)的摄像头组成，以使得2d图像点可与计算机辅助手术应用中的3d投影光线相关，并且其中硬性内窥镜预先(例如，在制造时在工厂中)进行了描述以完成摄像机校准，而无需用户在手术室(or)中进行任何干预。
[0013]
一种用于通过一组参数描述硬性内窥镜的方法，所述参数接着用作实时软件的输入，所述实时软件处理由配备硬性内窥镜的任意摄像头获取的图像，用以在每一帧时刻提供对完整内窥镜摄像机布置的校准，而不管镜头窥镜与摄像头之间的相对旋转或变焦设定。
[0014]
图像软件方法检测镜头描述子是否与所使用的硬性内窥镜不兼容，这可用于防止错误并警告用户错误情况，所述情况例如使用错误的镜头、镜头或摄像头中的缺陷或镜头在摄像头中的不当组装。
附图说明
[0015]
为了更全面地理解本公开，参考结合附图考虑的示例性实施例的以下详细描述。
[0016]
图1是摄像机投影模型的实施例，其描绘了由场景中的3d点x和摄像机的投影中心定义的投影光线到图像平面中的像素坐标中的2d点x的映射。所述模型可被视为投影p的组成，所述投影p根据将3d点x映射到2d上的针孔模型，解释光学器件所引入的由ξ量化的径向畸变的非线性效应的函数γ，以及摄像机的取决于焦距f和其中光学轴线投影到图像上的主点o的内部参数k(f，o)。
[0017]
图2示出了由具有可更换、可旋转的光学器件(硬性内窥镜)的内窥镜摄像机形成的图像的示例性实施例。镜头是圆柱形的且在旋转中心q中围绕其与图像平面相交的纵向、对称轴线旋转，所述轴线此后被称为机械轴线。硬性内窥镜在图像转发系统的某一位置处具有场阻掩模(fsm)，所述fsm作为围绕具有中心c的圆ω的黑色帧(圆边界)投影到图像平面上，所述圆包含有意义的视觉内容(参考图3的图示)。图像边界通常在图像点p中具有标记，所述标记此后称为凹口，所述标记允许外科医生推断窥镜与摄像头之间的旋转。如果窥镜相对于摄像头围绕机械轴线旋转角度δ，则圆中心c、凹口p和主点o也会围绕q旋转相同量δ。
[0018]
图3a示出了用于在每一帧时刻检测圆边界c和凹口p的步骤序列。从边界ω和凹口p的初始估计开始，所述算法包括：再现中心映射有p的环形图像(步骤1)；检测所述环形图像上的边缘点(步骤2)；以及迭代以下步骤直到满足停止准则：将边缘点映射回图像空间以用于估计边界圆建议(步骤3)；以及再现新环形图像以用于检测更准确的边缘点(步骤4)。当环形图像中的边缘点共线时，这一循环停止。最终步骤包含使用已知凹口模板的基于相关性的策略来检测环形图像中的凹口p。检测到的边界ω和凹口p将在随后的帧时刻用作初始设定。
[0019]
图3b示出了检测每一环形图像列的多个边缘点的优点。在强光分散(虚线椭圆)的情况下，对应于沿着环形图像的每一列的第一局部最大值的边缘点(红色点)并不总是对应于正确的图像边界，并且圆边界估计失败(黄色圆)。通过检测环形图像的每一列的多个局部最大值，并将这些边缘点用作稳健的圆估计方案(绿色圆)的输入来解决这一问题。
[0020]
图3c示出了用于解决生成其中镜头凹口区域不连续的环形图像的问题的策略。(步骤1)环形图像开头的固定角度位置(箭头)可能会导致凹口p被部分切割。(步骤2)可通过使用镜头凹口p的初始估计确定环形图像的中心来解决步骤1的问题。
[0021]
图3d示出了用于获得镜头特定的凹口模板的策略。在校准时间，且在生成环形图
像之后(步骤1)，提取镜头凹口位置p周围的特定区域(步骤2的虚线矩形)。然后，采用自适应二值化策略来生成由明亮三角形形状和暗矩形背景构成的凹口模板(步骤3)。
[0022]
图4a示出了从两个帧对旋转中心q进行估计，在所述帧中已检测到凹口pi、pj。q是通过简单地与线段和的平分线相交来估计的，其中ci、cj是在两个帧中检测到的边界的中心。
[0023]
图4b示出了通过仅利用在这些帧中检测到的边界的中心ci、cj、ck来从三个帧对旋转中心q进行估计。q是线段和的平分线的交点。
[0024]
图5示出了包含多个标记的场阻掩模(fsm)的实施例，所述标记具有不同形状以便可唯一地被标识。目标是具有冗余以改进旋转估计的准确性，并且能够弹性地适应圆边界部分地投影超过帧限制且单个凹口可能始终都不可见的情况，从而阻止或妨碍估计。
[0025]
图6示出了场阻掩模(fsm)的实施例，所述fsm具有椭圆形形状以使得其缺乏圆对称性允许始终推断凹口p的位置。
[0026]
图7示出了用于在参考位置i＝0处获得摄像机校准的步骤序列。在镜头窥镜处于参考角度位置时，用户从获取k≥1个校准图像而开始。然后执行内部摄像机校准以及对圆边界和凹口的检测。此数据存储在存储器中，从而使得用户有可能改变镜头窥镜的位置且重复上述步骤n次。然后执行同时最小化所有校准图像的重新投影误差的最终优化方案。
[0027]
图8示出了在窥镜的n＞1个角度位置i处获取校准图像时采用的优化方案，其中i＝0是参考位置且i＝1、
…
、n-1为额外位置。这一优化步骤强制执行了窥镜的旋转模型，其是围绕旋转中心q的角度为δi的平面旋转，分别将主点o0和凹口p0变换为点oi和pi。所述优化方案用于估计参考位置处的校准参数，同时最小化所有所获取校准图像中的重新投影误差并同时针对所有采样角度位置对窥镜旋转实施这一模型。可从图7所示的方法获得旋转中心q的初始设定。
[0028]
图9示出了校准参数的在线更新的步骤序列。每次获取新帧j时，就检测圆边界和凹口，并且使用从离线校准结果(模式1)或通过连续帧(模式2)的估计获得的旋转中心q的估计来计算角度移位。最后一个步骤，更新校准参数。
[0029]
图10示出了将表示为描述摄像机的摄像机系统中包含的镜头的参数与摄像头的贡献分离，从而得到镜头描述子以及利用其描述子对具备相同镜头的新摄像机系统(应用摄像机)的校准参数进行估计的过程。从利用描述摄像机获取的帧，考虑通过借助于相似性变换a变换图像的参考帧而获得的附接到边界的辅助参考帧。通过在边界坐标中表示校准参数来获得镜头描述子为了获得具备相同内窥镜镜头的应用摄像机的校准，采用相似性变换b将镜头描述子的在边界坐标中表示的条目转换成图像坐标。
[0030]
图11是内窥镜的组件的实施例，示出了旋转中心与fsm的中心之间的相关性关系。这允许更好地理解本专利中公开的镜头描述子的物理含义。
[0031]
图12示出了异常检测程序的步骤序列。对于每一所获取的帧j，执行对边界和凹口的检测以用于从镜头描述子获得更新后校准且用于使用先前检测到的边界和凹口来估计
旋转中心。这得到两个不同的旋转中心估计值(qj和)，所述估计值进行比较且允许检测异常。
[0032]
图13是包含通用计算系统环境的示例计算系统的图解视图。
具体实施方式
[0033]
应理解，尽管下文提供了一个或多个实施例的说明性实施方式，但可使用所属领域的普通技术人员已知的任何数目的技术实施各种具体实施例。本公开决不应限于下文所示的示例性实施例、图式和/或技术，包含本文中示出和描述的示例性设计和实施方案。此外，可在所附权利要求书的范围内及其等效物的全部范围内修改本公开。
[0034]
在本专利中，2d和3d矢量分别用粗体小写字母和大写字母书写。函数用小写斜体字母表示，且角度用小写希腊字母表示。平面中的点和其它几何实体在齐次坐标中表示，这与投影几何中的常见做法相同，其中平面中的2d线性变换由3
×
3矩阵表示，且等式按比例表示。另外，在全文中，不同的部分通过使用符号
§
的段落编号来引用。
[0035]
1.用于具有可更换、可旋转的光学器件的内窥镜系统的摄像机模型(硬性内窥镜)
[0036]
摄像机校准是确定将摄像机参考帧中的3d点x投影到像素坐标中的2d图像点x的摄像机模型的过程。替代地，摄像机模型可被解释为将图像点x反向投影到穿过场景中的3d点x的光线的函数。这一过程示出于图1中。摄像机校准是许多应用中的关键组成，包含视觉测程法和3d重建，且还包含去除图像伪影以便增强例如径向畸变的视觉感知。
[0037]
常规的常用摄像机由所谓的针孔模型描述，所述针孔模型可利用径向畸变模型扩增，所述径向畸变模型考虑由小型光学器件和/或鱼眼镜头引入的非线性效应。在这种情况下，场景中的点x根据公式x＝kγ
ξ
(px)投影到图像中的点x上，其中x和x在齐次坐标中表示且等式按比例表示，p＝[i 0
3x1
]是3
×
4投影矩阵，其中i表示3
×
3身份矩阵，k是具有维度3
×
3的所谓的内部参数矩阵，并且γ表示具有参数ξ的畸变函数。此后，在不丧失一般性的情况下，将假设摄像机是无偏斜的，具有统一的纵横比，从而得到非常接近大多数现代摄像机的模型，其中偏斜与零的偏差和纵横比与一的偏差可忽略不计。在这种假设下，k仅取决于焦距f和主点o＝[o
x
，oy，1]
t
的图像坐标，使得
[0038][0039]
畸变函数γ表示2d中的映射，且可以是文献中可用的许多畸变函数或模型中的任一者，包含但不限于多项式模型(也称为布朗模型(brown
′
s model))、分割模型、理性模型、鱼眼镜头模型等，在其一阶或更高阶(多参数)版本中，ξ分别是标量或矢量。
[0040]
从组合硬性内窥镜与摄像机产生的内窥镜摄像机具有可更换光学器件以便于消毒，其中内窥镜在近端具有使用连接器组装到摄像机的接目镜(或目镜)，所述连接器通常允许外科医生相对于摄像头旋转窥镜。如图2所示，围绕与图像平面在点q相交的内窥镜的纵向轴线(机械轴线)执行这一旋转。镜头窥镜中的场阻掩模(fsm)作为围绕具有视觉内容的区域的黑色帧投影到图像平面上，所述黑色帧包含具有中心c和凹口p的圆边界ω。
[0041]
所述机械轴线与目镜的对称轴线大致重合，所述对称轴线不必与圆柱形窥镜的对
称轴线对齐和/或不必穿过由所述fsm限定的圆区域的中心。这些对齐是有目的的，但由于内窥镜构建和制造过程中的机械公差，从未完美实现。因此，旋转中心q、圆边界的中心c和主点o在图像中一般是不同的点，这使摄像机模型变得复杂但如前文所公开，可用作标识特定内窥镜或类似内窥镜的批次的特征。
[0042]
考虑针对窥镜的特定位置校准内窥镜摄像机，以使得k(f，o)是内部参数矩阵，并且ξ是根据所选择模型γ量化径向畸变的畸变参数(图1)。如果窥镜相对于摄像头旋转角度δ，则畸变ξ和焦距f保持不变，但主点o围绕q旋转相同的量δ(图2)。这使得内部参数矩阵变成k(f，r(δ，q)o)，其中r(δ，q)是3
×
3矩阵，其表示图像中围绕点q＝[q
x
，qy，1]
t
的2d旋转，角度为δ。
[0043]
类似于在主点o中引起旋转使得其变成o
′
＝r(δ，q)o，窥镜相对于摄像头的旋转使得具有中心c和凹口p的圆ω变成具有中心c
′
＝r(δ，q)c和凹口p
′
＝r(δ，q)p的圆ω
′
(图2)。
[0044]
2.利用可更换、可旋转的光学器件校准内窥镜摄像机
[0045]
总之，为了始终获得内窥镜摄像机的正确校准参数，必须从摄像头与镜头窥镜之间的特定旋转角度(参考角度位置)已知焦距f、畸变ξ和主点o，并且必须在操作期间根据o
′
＝r(δ，q)o更新主点的位置，这需要知道旋转中心q和每一帧时刻的当前角度位置与参考角度位置之间的角度移位δ。
[0046]
可通过凹口p的位置轻松识别的参考角度位置处的内窥镜摄像机的校准可“离线”执行，之后遵循图7的步骤开始临床处理。f、ξ和o的确定需要使用内部摄像机校准方法(图7中的模块a)，所述方法接收在参考位置p(或p0)处获取的一个或多个帧作为输入，如
§§
[0045]-[0049]中所描述的。如果目标也是确定旋转中心q，则必须在i＝1，
…
，n的额外角度位置pi中获取输入帧，其中这些帧可用于提高在参考角度位置p0处确定f、ξ和o的精度，如
§§
[0065]-[0069]中所公开的。
[0047]
通过遵循
§§
[0070]-[0072]中进一步公开的图9的步骤，在临床处理期间在每一帧时刻“在线”进行摄像机模型的更新。可从多种方法确定角度移位δ：使用例如光学编码器[1]或光学跟踪[2]的额外仪器，或者完全依靠图像处理。所公开的实施例将考虑，在不丧失一般性的情况下，使用也公开的图像处理方法来确定镜头窥镜与摄像头之间的相对旋转。所述方法检测并估计每一帧i中具有中心ci和凹口pi的边界轮廓ωi的位置(在
§§
[0050]-[0057]中进一步公开的图9中的模块b)，接着在先前已知或未知旋转中心q的情况下推断相对于参考位置的对应角度移位δ(在
§§
[0058]-[0064]中进一步公开的图9中的模块c)。
[0048]
2.1在特定角度位置处的摄像机校准，包含内部参数k(f，o)和畸变ξ(图7中的模块a)
[0049]
文献中有大量用于校准具有径向畸变的针孔摄像头的方法，可分为两大类：显式方法和自动校准方法。显式方法使用可为一般3d对象、一组球体、平面棋盘格图案等的已知校准对象的图像，而自动校准方法则依靠未知、自然场景的连续帧之间的对应关系。这两种方法可能或多或少地需要用户监督，从手动到全自动，具体取决于特定方法和底层算法。
[0050]
所公开的实施例将在不丧失一般性的情况下考虑：将使用显式方法进行镜头窥镜相对于摄像头的特定角度位置处的摄像机校准，所述方法利用例如平面棋盘格图案的已知校准对象和使得能够建立图像与校准对象之间的点对应关系的任何其它平面图案。由于稳健性和精度方面的良好性能、易于制造校准对象(平面网格)以及有可能从专用设备(rig)
的从任意位置获取的单个图像完成整个校准，因此这种方法相对于大多数竞争方法是有利的。然而，可针对摄像头与内窥镜之间的特定相对旋转(参考角度位置)采用其它显式或自动校准方法来估计内窥镜摄像机的焦距f、畸变ξ和主点o。
[0051]
使用平面棋盘格图案的显式校准通常包括以下步骤：从任意位置或3d姿态获取校准对象的帧(对象相对于摄像机的旋转r和平移t)；采用图像处理算法来建立图像与校准对象之间的点对应关系x、x；执行适当的校准算法，所述算法使用点对应关系来估计焦距f、主点o和畸变参数ξ，以及对象相对于摄像机的姿态r、t。
[0052]
所述方法可应用于多个校准帧ik，k＝0，...，k-1，而不是应用于单个校准帧，以便提高稳健性和精度。在这种情况下，针对每一帧独立地进行校准，并且使用最小化重新投影误差的最后优化步骤来在多个帧之间强制执行相同的内部参数k(f，o)和畸变ξ，同时考虑每一帧的不同姿态rk、tk。
[0053]
2.2圆边界和凹口的检测(图7和图9中的模块b)
[0054]
如图3a所示，可检测fsm的圆边界和凹口。所述方法首先考虑用作再现所谓的环形图像的翘曲函数的输入的边界ω和凹口p的初始设定。可从多种方法获得边界ω和凹口p的初始设定，所述方法包含但不限于深度/机器学习、图像处理、基于统计的方法和随机方法。举例来说，关于边界ω，其可通过以下方式初始化：考虑以图像中心为中心且半径等于图像宽度与高度之间的最小值一半的圆；径向搜索图像的黑色帧与包含有意义信息的区域之间的转变；或使用深度学习框架来检测圆、一般性圆锥或任何其它所需形状。关于凹口p，其可在边界上的随机位置中初始化，或通过使用学习方案和/或图像处理用于检测凹口的已知形状来初始化。参考图3a的步骤1和2，通过考虑以ω的c为中心的内圆ωi和外圆ωo来获得环形图像，所述内圆和外圆的半径分别为ri＜r和ro＞r，其中r是ω的半径。ri和ro之间的均匀间距定义了一组同心圆ωj。对于每一ωj，对图像信号进行插补和连接。假定的凹口p映射到环形图像的中心。
[0055]
参考图3a的步骤2，通过沿从外围到边界中心的方向搜索亮度的急剧变化来检测环形图像上的边缘点，所述边缘点理论上对应于属于边界的点。这是通过分析沿着环形图像的每一列的1-d空间导数响应的幅值(梯度幅值)来实现的。选择这些边缘点的一个可能的解决方案是为每列选取梯度幅值的第一局部最大值。然而，如图3b所示，存在这种方法失败的情况(例如，边界附近的强光分散情况)。为了克服这一点，对于环形图像的每一列，选择对应于梯度幅值的局部最大值的一组m个边缘点。
[0056]
然后，将检测到的边缘点映射回笛卡尔图像空间，以便可估计圆边界。这是在稳健框架内使用圆拟合方法而执行的。给定一组可能受到异常值污染的噪声数据点，圆拟合的目标是找到一个使特定误差或成本函数最小化或最大化的圆，所述特定误差或成本函数量化给定圆与数据点的拟合程度。最广泛使用的技术最小化从圆到数据点的几何距离或代数(近似)距离。为了处理异常值数据点，通常采用例如ransac的稳健框架。迭代地执行环形图像再现步骤、边缘点检测步骤和稳健的圆估计步骤，直到检测到的边缘点以稳健的方式共线。如果发生这种情况，则算法通过利用凹口的已知模板执行相关性来进行凹口p的检测。此算法的输出是凹口位置p和具有中心c和半径r的圆ω。
[0057]
如图3c所示，通过使用凹口位置p的初始估计来确定环形图像的中心，保证了对应于凹口的图像部分是连续的，从而能够始终进行检测。此外，选择边缘点的共线性作为停止
准则，这是因为当且仅当所估计边界与真实边界完全同心时边缘点才成直线。
[0058]
如图3d所示，在校准时间提取镜头特定的凹口模板，所述模板通常由明亮三角形和暗矩形背景构成。
[0059]
所公开的用于边界和凹口检测的方法可具有其它应用，例如检测fsm中的纹样(engraving)以读取相关信息，包含但不限于镜头的特定特性。
[0060]
另外，尽管这种方法的实施方案假设边界可由圆精确地表示，但一般的圆锥拟合可在不进行大量修改的情况下用于所述方法中。
[0061]
2.3内窥镜与摄像头之间的相对旋转的基于图像的测量(图9中的模块c)
[0062]
如先前所提及，可通过使主点o(或o0)在参考角度位置处围绕旋转中心q旋转角度δi来完成对当前帧i的校准。在这种情况下，必须估计中心q和帧i与对应于参考位置的帧0之间的角度移位δi。
[0063]
图4a描绘了从在两个不同角度位置处获取的两个帧i和j估计q的过程。这是通过简单地相交线段的平分线来实现的，这些线段的端点分别是通过将图3的步骤应用于每一帧而确定的中心ci、cj和槽口pi、pj。如果由于遮挡、照明不良、过度曝光和光分散等原因，无法在图像中检测到凹口，则有可能仅使用在不同角度位置处获取的三个帧中检测到的圆边界的中心来估计q。所述过程如图4b所示，其中可看出，q是通过连接在帧i、j和k中检测到的边界的中心而获得的线段的交点。
[0064]
如果旋转中心q已知，且参考角度位置处的中心和凹口分别为c0和p0，则可从凹口pi、边界中心ci或同时从两者来推断角度移位δi，通过将图3的步骤应用于当前帧i来确定所述凹口和所述边界中心的位置。如果凹口p不可见，则可从c0、ci来确定δi。
[0065]
由于从旋转中心q到凹口p的距离明显大于q与c之间的距离，因此使用凹口p的估计通常更稳健和准确，且因此重要的是可在所有帧中检测到所述凹口。由于所述凹口的检测主要受遮挡情况的影响，因此一种解决方案是在fsm中考虑多个凹口，以确保至少一个凹口始终在帧中可见。图5示出了包含多个标记的一个示例性fsm，所述标记具有不同形状以便对其进行识别，其中这些标记中的一者用作参考点或标准凹口p。替代的解决方案是考虑投影到黑色帧上再现形状不具有圆对称性的图像边界的fsm，在这种情况下，检测到的形状缺乏圆对称性可用于推断不可见的凹口或参考点p的位置。图6示出了再现主轴线穿过凹口p的椭圆形边界的一个示例性fsm，这使得始终能够推断所述凹口的位置。
[0066]
在
§§
[0050]-[0057]中描述的用于检测凹口的算法可扩展到fsm包含多个凹口时的情况。为此，通过独立地确定每一凹口的相关性信号、使用凹口的已知相对位置将所有信号融合在一起并且找到相关性最高的点来修改图3a中的最后一个步骤。通过这种方法，可确保即使在一个或多个凹口被遮挡的情况下也能检测到至少一个凹口。
[0067]
在不丧失一般性的情况下，在本专利的其余部分中，假设fsm只具有一个始终可见的凹口p且旋转中心q是从两个帧确定的。
[0068]
每当在不同角度位置处获取两个以上的帧可用时，且为了过滤掉旋转中心q和相对旋转δi的可能噪声估计，可应用滤波方法。滤波器可采取先前对q和当前边界以及凹口的估计作为输入，并输出q的更新位置和相对旋转δi的估计。可使用任何时间滤波器，例如卡尔曼滤波器或扩展卡尔曼滤波器来实施这一滤波技术。
[0069]
2.4参考角度位置处的离线校准
[0070]
图7提供了用于获得参考角度位置i＝0处的摄像机校准的过程的示意图，所述参考角度位置可对应于硬性内窥镜与摄像头之间的任何相对角度。在镜头窥镜处于参考角度位置时，用户从获取k≥1个校准图像而开始。然后，通过提取每一图像的2d-3d对应关系并且检索校准对象姿态以及一组内部参数k(fi，oi)和畸变ξi来执行如在
§§
[0045]-[0049](模块a)中描述的内部摄像机校准。还通过遵循
§§
[0050]-[0057](模块b)中描述的方法来检测具有中心ci、半径ri和凹口pi的圆边界。此数据存储在存储器中，使得用户可通过使镜头窥镜相对于摄像头旋转来改变角度位置，且可重复图像获取、内部校准和边界/凹口检测的过程。这是针对总共n＞1个不同角度位置i进行的，其中i＝0，1，...n-1且i＝0是参考角度位置，可针对所述参考角度位置在全局优化步骤之后获得最终校准，所述全局优化步骤融合每一位置i处的估计值且同时最小化所有校准图像的重新投影误差(图8)。
[0071]
图7的离线校准方法可使用在单个角度位置或多个角度位置处获取的帧来执行，在单个角度位置的情况下，n＝1且所述位置是参考位置i＝0，在多个角度位置的情况下，n＞1。对于每一不同位置，所述帧可被获取为单个校准帧(k＝1)或多个校准帧(k＞1)。
[0072]
n＝1和k＝1的情况是需要最小用户气力的情况，特别适合于在or中进行快速校准，在or中，外科医生在将内窥镜组装到摄像头中后只需获取棋盘格图案的单个图像。随着帧数k的增加，校准参数的估计精度趋于提高。
[0073]
使用来自两个或更多个角度位置(n＞1)的信息使得有可能结合f、ξ和o0来估计旋转中心q，而与在每一位置处获取的帧数k无关。这可通过遵循图4所示且在
§§
[0058]-[0064]中公开的方法来实现。对于n＞1，在不同角度位置处获得的校准融合在大规模优化步骤中，所述步骤强制执行旋转模型，如图8的n＝3所示。可观察到，对于任意两个角度位置，主点o和凹口p围绕旋转中心q旋转相同量。优化方案用于估计畸变和参考位置处的校准参数，同时最小化所有所获取校准图像中的重新投影误差并同时针对所有采样角度位置对窥镜旋转实施这一模型。图8中存在的表达式针对n＝3个角度位置的情况提供这一优化方案的数学公式，其直接扩展到通用值n。函数r通过将点投影到图像平面上、得到并输出平方距离来计算平方重新投影误差，其中d是点与之间的欧几里得距离。ki是利用窥镜在角度位置i中获取的校准图像的数目。如数学表达式所示，所提出的优化方案找到失真ξ、旋转中心q、内部参数f和o0的值，以及校准对象姿态其最小化针对所有帧k和角度位置i计算的重新投影误差的总和。
[0074]
2.5校准参数的在线更新
[0075]
在操作期间，每次获取新帧j时，进行中的过程必须检测和测量相对于参考位置的角度移位，并相应地更新校准和摄像机模型。图9提供了这一过程的示意图。处理帧j以用于检测圆边界中心cj和凹口pj，这可通过遵循图3和
§§
[0050]-[0057]中所公开的步骤来实现。之后，如
§§
[0058]-[0064]中所公开的那样执行角度移位δj的估计，对于所述估计旋转中心q必须是已知的。
[0076]
检索q有两种可能的操作模式：在模式1中，旋转中心是从离线校准步骤预先已知
的，所述离线校准步骤如
§§
[0065]-[0069]中所公开的那样使用在n＞1个角度位置中获取的帧；在模式2中，旋转中心不是“演绎地”已知的，而是从连续帧即时估计的，对于所述连续帧，凹口p和/或圆边界的中心c被确定以使得可采用
§§
[0058]-[0064]和图4中所公开的方法。如图9所示，当前凹口pj和中心cj与基于先前帧j-1而检测到的凹口和中心结合使用以估计旋转中心q，所述先前帧是通过延迟操作、p
j-1
和中心c
j-1
存取的。作为最终步骤，通过将平面旋转应用于对应于参考位置的主点o0来更新校准参数，即通过将更新后主点计算为oj＝r(δj，q)o0。
[0077]
3.场外镜头校准，以避免or中的明确校准步骤
[0078]
已公开了一种方法，其用以始终确定内窥镜摄像机的校准，所述方法包括两个步骤或阶段：离线步骤，其旨在针对任意参考角度位置估计焦距f、畸变ξ和主点o；以及在线步骤，其在每一帧时刻确定相对于所述参考的角度移位并更新主点的位置以提供当前帧的校准。由于内窥镜摄像机的镜头是可更换的，因此离线和在线步骤都是在外科医生将内窥镜组装到摄像头中之后在or中现场进行的。虽然在线步骤旨在以对于用户无缝的方式即时地、与图像采集并行地运行，但离线步骤需要明确的用户干预来获取一个或多个校准帧，这是不希望的。
[0079]
为了最小化对现有手术流程的干扰，us 9438897 b2描述了一种方法，所述方法是
§§
[0065]-[0069]和图7中公开的离线步骤的n＝1和k＝1的特定情况。通过要求在参考位置处获取单个帧最小化外科医生的工作量，并且在如图9的模式2中的在线步骤中确定旋转中心q。然而，所述方法仍需要外科医生在or中进行干预，这仍然很耗时并且会干扰工作流程，并且需要使用无菌校准对象(在这种情况下为棋盘格图案)，所述无菌校准对象并不总是易于生产的并且会增加成本。
[0080]
本专利通过公开一种用于单独校准内窥镜镜头的方法来克服这些问题，所述方法可在场外(例如，在制造时)借助于摄像机或其它构件执行，且所述方法提供充分描述硬性内窥镜的一组参数，从而产生可用于不同目的的镜头描述子其中一个目的是实现具备镜头的任何内窥镜摄像机系统的校准，在这种情况下，描述子加载到摄像机控制单元(ccu)中，以用作在线方法中的输入，所述在线方法即时运行且在每一帧时刻输出摄像头+镜头布置的完整校准。
[0081]
由于镜头校准可在场外进行，即在制造时在工厂中执行，并且在线校准以对于用户无缝的方式即时运行，因此外科医生在or中不执行任何动作，这意味着内窥镜摄像机校准可在任何时间完成，而不会改变或干扰既定的例行程序。此外，并且与us 9438897 b2中所公开的方法不同，即使在变焦可变和/或镜头相对于摄像头平移的情况下，也可完成校准。
[0082]
在
§§
[0079]-[0083]中公开了用以生成描述子的硬性内窥镜的场外、离线校准的方法，而在
§§
[0084]-[0085]中描述了用以完成包括摄像头和光学器件的内窥镜摄像机的校准的在线方法。
[0083]
3.1场外、离线镜头校准
[0084]
将硬性内窥镜组装到任意摄像头(此后称为描述摄像机)中，并且采用图7、
§§
[0065]-[0069]中的离线校准方法，所述方法要求在n个不同的角度位置处获取k个校准图
像。这使得能够在参考角度位置i＝0处进行校准，包含已知内部参数k(f，o)、畸变ξ、凹口p、具有中心c和半径r的圆边界ω，以及在n＞1的情况下已知旋转中心q。
[0085]
校准结果是指摄像头与硬性内窥镜的复合布置，其中测量取决于所使用的特定摄像头以及镜头安装在摄像头中的方式。由于目标是单独描述内窥镜，因此必须消除摄像头的影响，以便最终描述子仅取决于镜头且对生成其的摄像头和/或设备保持不变。
[0086]
本文所公开的方法通过建立两个关键观察来实现这一目标：(i)摄像头通常遵循正交(或接近正交)投影模型，这意味着它仅有助于成像过程以及放大和度量单位到像素转换；以及(ii)场阻掩模(fsm)的图像始终有相似性变换关系，这意味着fsm可用作参考以对关于镜头的对于硬性运动和缩放保持不变的信息进行编码。
[0087]
假设应用图7的离线方法之后校准结果包括焦距f、畸变ξ、主点o、凹口p以及具有中心c和半径r的圆边界ω。镜头描述子是其中除以r用作归一化以说明摄像头引入的放大率，ξ和在离线校准步骤中测量的一样，因为它是不受摄像头影响的光学器件的固有特性，并且是在附到圆边界的坐标系(镜头坐标系)中参考的主点，中心为c且x轴线在按r缩放之后与连接中心c和凹口p的线段对齐(图10)。对于镜头参考帧的这一特定选择，图像与镜头之间的坐标变化通过相似性变换a执行，以使得且并且β是图像的x轴线与边界参考帧之间的角度。如果旋转中心q已知，则其也可通过使和堆叠到描述子而在镜头坐标中表示，所述描述子变成图像和镜头参考帧的这些特定选择是任意的，并且与所选择的参考帧有硬性变换关系的其它参考帧可在不违背所公开方法的情况下被考虑。
[0088]
3.2使用镜头描述子的在线摄像机校准
[0089]
当具有描述子的镜头安装到任意摄像头(此后被称为应用摄像机)上时，可通过按以下步骤操作自动获得完整布置摄像机+镜头的校准：对于每一帧j，应用图3的方法以检测凹口pj以及具有中心cj和半径rj的圆边界两者的位置，找到镜头参考帧在图像中的位置，并且确定将镜头坐标映射到当前图像坐标的相似性变换b，其中α是两个参考帧的x轴线之间的角度；最后，可通过对不同描述子条目进行解码来确定针对当前角度位置的内窥镜摄像机校准，在这种情况下焦距变为主点现为且畸变ξ由于是光学器件所固有的而不变。如果描述子还包括旋转中心，则其在帧j中的位置可通过使得以类似方式确定。
[0090]
3.3相关考虑因素
[0091]
使用单个图像进行场外离线镜头校准：一个重要的考虑因素是，此专利中公开的校准方法不需要已知旋转中心q来确定每一帧时刻的内窥镜摄像机校准。因此，如果场外校准过程的时间和精力成问题，则可通过获取单个校准图像来生成镜头描述子，在这种情况
下，图7、
§§
[0065]-[0069]的离线方法在k＝1且n＝1的情况下运行。在这种情况下，描述子将不包含条目
[0092]
相对旋转的调节(通过检测或通过跟踪进行校准)：由于内窥镜相对于摄像头的旋转δj引起与图像中的镜头参考帧类似的旋转，因此可隐式地执行每一帧j处的校准更新，而无需计算角移位δj并且显式地使主点围绕中心q旋转。在这种情况下，可单独地使用基于镜头描述子的所公开方法，其中在每一帧时刻通过
§§
[0084]-[0085]的在线方法对φ进行解码(通过检测进行校准)。替代方案是采用图9、
§§
[0070]-[0072]的方法，在这种情况下，镜头描述子用于获得在任意参考位置处的校准，并且此校准接着通过确定角度移位δj和旋转主点来更新(通过跟踪进行校准)。
[0093]
对光学变焦和/或镜头窥镜沿着正交于机械轴线的平面的平移的调适：在本公开中，通过按应用摄像机引入的放大率缩放归一化焦距来在每一帧时刻确定焦距fj，所述放大率是从圆边界的半径rj推断的。如果放大率是恒定的，则fj在连续帧j之间也是恒定的。然而，如果应用摄像机的光学变焦变化，则fj也会相应地变化。因此，且与us 9438897 b2中描述的方法不同，本文中公开的方法可以应对变焦变化以及镜头窥镜沿着正交于机械轴线的平面的平移。对变焦变化的调适是因为：变焦变化引起边界的半径rj的变化，所述半径用于对镜头描述子中的相关条目(即，fj、oi和qj)进行解码，从而提供所需的调适。对平移的调整是因为：附有镜头坐标系的圆边界与镜头一起平移，且已解码oj和qj的图像坐标相应地平移。
[0094]
用以生成镜头描述子的替代方式：描述子通过具有明确物理含义的参数或特征来描述镜头。例如，内窥镜的通常由镜头的近端中的目镜的对称轴线限定的机械轴线应穿过由fsm限定的圆的中心。如果这一条件成立，则中心c与旋转中心q重合且一般来说，如图11所示，由于制造过程中的机械公差，所述条件未被验证，在这种情况下，非零说明目镜与fsm之间的未对准。由于这是一种机械未对准，因此有可能通过除
§§
[0079]-[0083]中所公开的使用摄像机校准和图像处理来生成的方式之外的其它方式进行测量。此类替代方式包含使用卡尺、千分尺、量角器、量规、机器人测量设备或其任何组合，来物理地测量fsm的轴线与中心之间的距离。
[0095]
镜头描述子到应用摄像机的传输：在所公开的实施例中，镜头描述子在描述摄像机的帮助下在场外生成，接着必须被传送到连接到应用摄像机的将执行
§§
[0084]-[0085]的在线方法(图10)的ccu或计算机平台。这种传输或通信可通过多种方法实现，包含但不限于：借助于键盘或其它输入接口、网络连接将校准参数手动插入ccu和从远程服务器下载、从镜头描述子数据库检索、从usb快闪驱动器或任何其它存储介质读取、对qr码进行视觉读取和解码，以及对fsm中携带的信息进行视觉读取和解码，所述信息例如pct/us2018/048322中所公开的数字或二进制代码。
[0096]
一批镜头的描述子：描述子可描述特定镜头或表示具有类似特性的一批镜头。在表示具有类似特性的一批镜头的情况下，描述子可通过以下方法生成：使用利用一批镜头中的不同镜头获取的校准帧作为图7的离线校准方法的输入，在这种情况下在最终全局
优化步骤中强制使用单个描述子；或替代地，针对一批镜头中的每一镜头生成描述子，并对所述描述子的条目进行平均以获得单个表示。通过单个平均描述子对一批镜头的描述可避免为特定应用摄像机中使用的每一镜头加载特定描述子的需要，或可用于在生产时进行质量控制，在这种情况下，描述子中参数的变化是对制造过程的可重复性的测量。
[0097]
4.内窥镜摄像机异常的检测
[0098]
虽然
§§
[0041]-[0072]中呈现的校准方法始终提供内窥镜摄像机的正确校准，因为它是在or中组装和明确校准的，但本专利中公开的校准方法(
§§
[0073]-[0092])依赖于先前的假设，例如正确检索所存储的校准信息以及将镜头正确组装在摄像头中。如果这些假设未得到满足，则摄像机+镜头布置将无法准确校准，并且在使用校准信息以用于执行畸变校正、虚拟视图再现、可视化增强、手术导航等的系统中可能会发生故障。
[0099]
本专利公开了一种方法，所述方法利用镜头描述于来检测内窥镜摄像机校准中的异常，所述异常是由所加载的校准信息与所使用的镜头之间的不匹配和/或镜头在摄像头中的错误组装或任何这些组件的缺陷而引起的。
[0100]
图12提供了这种异常检测方法的示意图。对于每一所获取的帧j，执行对边界和凹口两者的检测以用于从所加载的镜头描述子获得更新后校准，如
§§
[0084]-[0085]中所描述的，以及用于估计旋转中心，如
§§
[0058]-[0064]中所描述的。这得到两个不同的旋转中心估计值(图12中的qj和)，所述估计值可进行比较以检测异常。这种方法背后的直觉知识如下：由于构建光学器件的机械公差，两个镜头不会以完全相同的方式旋转。因此，每一镜头相对于任何摄像头旋转的方式可作为标记，以将其与其它镜头区分开来。另外，如果由于目镜连接器中的缺陷/损坏、镜头本身的缺陷/损坏或导致摄像机与镜头之间的缺陷配合的任何其它方面而不正确地组装或损坏镜头，则所述镜头的旋转方式也将与正确组装时的旋转方式不同。
[0101]
镜头运动模型的这种变化可用于检测异常的存在，以及量化异常的严重程度，和警告用户需要验证组装和/或更换镜头。
[0102]
这种方法仅提供关于异常存在的信息，并且不指定正发生的异常类型，这将允许系统提供用于修复异常的用户特定的指令。为了实现这一点，可用另一种用于表示异常原因的方法来补充图12所示的异常检测方法。由于镜头在摄像头中的不正确组装会导致fsm在图像平面中的投影发生变化，因此可使用量化在校准和操作时间检测到的边界之间的差异的特征来区分由校准光学器件不匹配或有缺陷组装引起的异常。
[0103]
具体地说，如果fsm在镜头适当地组装在摄像头中时在图像平面中投影到圆上，则这一圆会在光学器件未正确组装时倾向于演化成椭圆。因此，在这种情况下，可测量操作期间检测到的边界的偏心率以验证组装是否正确，并且不需要知道在校准镜头期间检测到的边界的具体形状。
[0104]
如果fsm具有可以参数表示的形状，例如椭圆或任何其它几何形状，则这一方法有效。另外，模板匹配或机器学习技术可用于将操作期间检测到的边界与已知形状进行比较。
[0105]
总之，有两个重要特征可用于检测和标识异常。第一特征是qj分别在校准时间和操作期间获得的旋转中心估计值之间的差。第二特征是在校准时间和操作期间检测到的边界轮廓之间的差。虽然第一特征允许检测异常，无论是所加载校准与所使用的摄像机+
镜头布置之间的不匹配、镜头在摄像头中的错误组装还是这些组件中的任一者的缺陷，第二特征提供关于异常类型的信息，因为它仅在存在有缺陷组装时发生。
[0106]
因此，所公开的用于检测和标识利用这两个不同特征的异常的方法可使用级联分类器来实现，所述级联分类器首先使用第一特征来进行异常检测阶段，然后使用第二特征来区分校准不匹配与不正确的摄像头+镜头组装。除了级联分类器，还可使用其它方法，例如不同类型的分类器、机器学习、统计方法、数据挖掘。另外，取决于所需的应用，这些特征可单独地使用，在这种情况下，第一特征将允许检测异常而无需标识异常类型，并且第二特征将仅用于检测不正确的组装。
[0107]
图13是包含通用计算系统环境1200的说明性计算系统的图解视图，所述通用计算系统环境例如台式计算机、笔记本电脑、智能手机、平板电脑，或具有执行指令(例如存储在非暂时性计算机可读介质内的指令)的能力的任何其它此类装置。此外，尽管在单个计算系统1200的上下文中描述和示出，但本领域技术人员还将理解，下文描述的各种任务可以在分布式环境中实践，所述分布式环境具有经由本地或广域网链接的多个计算系统1200，其中可执行指令可以与多个计算系统1200中的一个或多个相关联和/或由其执行。计算系统环境1200或其部分可用于本公开的处理、方法和计算步骤。
[0108]
在最基本的配置中，计算系统环境1200通常包含可经由总线1206链接的至少一个处理单元1202和至少一个存储器1204。取决于计算系统环境的确切配置和类型，存储器1204可以是易失性的(例如，ram 1210)、非易失性的(例如，rom 1208、闪存等)或两者的某种组合。计算系统环境1200可以具有额外特征和/或功能。例如，计算系统环境1200还可以包含额外存储装置(可移除式和/或不可移除式)，包含但不限于磁盘或光盘、磁带驱动器和/或闪存驱动器。计算系统环境1200可以通过例如硬盘驱动器接口1212、磁盘驱动器接口1214和/或光盘驱动器接口1216访问此类额外存储器装置。如将理解的，将分别链接到系统总线1206的这些装置允许从硬盘1218读取和写入所述硬盘，从可移除式磁盘1220读取或写入所述可移除式磁盘，和/或从例如cd/dvd rom或其它光学介质的可移除式光盘1222读取或写入所述可移除式光盘。驱动器接口及其相关联的计算机可读介质允许计算机可读指令、数据结构、程序模块和用于计算系统环境1200的其它数据的非易失性存储。本领域技术人员将进一步理解，可存储数据的其它类型的计算机可读介质可以用于此相同目的。此类介质装置的实例包含但不限于磁卡、闪存卡、数字视频磁盘、伯努利盒、随机存取存储器、纳米驱动器、记忆棒、其它读/写和/或只读存储器和/或用于存储例如计算机可读指令、数据结构、程序模块或其它数据的信息的任何其它方法或技术。任何此类计算机存储介质可以是计算系统环境1200的一部分。
[0109]
多个程序模块可存储在存储器/介质装置中的一个或多个中。例如，包含有助于例如在启动期间在计算系统环境1200内的元件之间传输信息的基本例程的基本输入/输出系统(bios)1224可以存储在rom 1208中。类似地，ram 1210、硬盘驱动器1218和/或外围设备存储器装置可用于存储包括操作系统1226、一个或多个应用程序1228(例如执行本公开的方法和过程的应用程序)、其它程序模块1230和/或程序数据1232的计算机可执行指令。更进一步，可以根据需要例如经由网络连接将计算机可执行指令下载到计算环境1200。
[0110]
例如客户、零售员等最终用户可通过键盘1234和/或指向装置1236等输入装置将命令和信息输入到计算系统环境1200中。虽然未示出，但其它输入装置可包含麦克风、操纵
杆、游戏板、扫描器等。这些和其它输入装置通常借助于外围设备接口1238连接到处理单元1202，所述外围设备接口又将耦合到总线1206。输入装置可经由例如并行端口、游戏端口、火线或通用串行总线(usb)等接口直接或间接地连接到处理器1202。为了查看来自计算系统环境1200的信息，显示器1240或其它类型的显示装置也可以经由接口、例如经由视频适配器1242连接到总线1206。除了显示器1240之外，计算系统环境1200还可包含未示出的其它外围设备输出装置，例如扬声器和打印机。
[0111]
计算系统环境1200还可以利用到一个或多个计算系统环境的逻辑连接。计算系统环境1200与远程计算系统环境之间的通信可以经由例如负责网络路由的网络路由器1252的另一处理装置交换。与网络路由器1252的通信可以经由网络接口组件1254执行。因此，在例如互联网、万维网、lan或其它类似类型的有线或无线网络的此类联网环境中，应了解，相对于计算系统环境1200或其部分描绘的程序模块可存储在计算系统环境1200的存储器存储装置中。
[0112]
计算系统环境1200还可以包含用于确定计算系统环境1200的位置的定位硬件1256。在实施例中，定位硬件1256可仅包含例如gps天线、rfid芯片或读取器、wi-fi天线或可用于捕获或传输可用于确定计算系统环境1200的位置的信号的其它计算硬件。
[0113]
在本公开的第一方面中，提供了一种用于校准内窥镜摄像机的方法。内窥镜摄像机由组合硬性内窥镜与摄像机产生，其中硬性内窥镜或镜头窥镜具有再现具有中心c和凹口p的图像边界的场阻掩模(fsm)，并且可围绕与图像平面在点q相交的机械轴线相对于摄像头旋转角度δ，在这种情况下，c、p和主点o围绕q经历相同角度δ的2d旋转，且其中校准包含确定对于镜头窥镜相对于摄像头的选定角度位置(此后被称为参考角度位置i＝0)的焦距f、畸变ξ、旋转中心q和主点o0。所述方法包括：利用内窥镜摄像机在角度位置i处获取校准对象的一个或多个校准图像，而不使镜头相对于摄像头旋转；确定内窥镜摄像机的校准参数f、ξ和oi的第一估计值，以及每一校准图像的校准对象相对于摄像机的3d姿态(旋转和平移)；使用图像处理方法检测校准图像上的具有中心ci和凹口pi的边界；使镜头窥镜相对于摄像头旋转到新角度位置i并重复先前步骤，其中i递增，取连续值i＝0，1，...，n-1，其中n≥1是用于校准的不同角度位置的数目；确定旋转中心q和参考位置i＝0与连续校准位置i＝1，...n-1之间的角度移位δi的第一估计值；以及通过最终优化步骤改进校准参数f、ξ、q和o0，所述优化步骤强制主点、边界中心和凹口的模型在连续校准位置i＝0，...n-1处围绕中心q旋转角度δi。
[0114]
在第一方面的实施例中，校准对象是具有棋盘格图案或任何其它已知图案、已知3d对象的2d平面，或是不存在的，校准输入是图像之间的一组点对应关系，在这种情况下，分别通过来自平面的摄像机校准算法、来自对象的摄像机校准算法，或合适的自动校准技术获得校准参数的第一估计值。
[0115]
在第一方面的实施例中，使用重新投影误差、相片几何误差或任何其它合适的优化方法的迭代非线性最小化来执行最终优化步骤。
[0116]
在第一方面的实施例中，根据文献中的任何校准方法来确定校准参数的第一估计值。
[0117]
在第一方面的实施例中，校准参数的第一估计值包含文献中已知的任何畸变模型，例如布朗多项式模型、理性模型、鱼眼模型或具有一个或多个参数的分割模型，在这种
情况下，ξ分别是标量或矢量。
[0118]
在第一方面的实施例中，旋转中心q是事先已知的，在这种情况下，校准可从在一个或多个角度位置(n＞＝1)中获取的图像完成；所述旋转中心是从边界中心ci和凹口pi的图像位置确定的，在这种情况下，校准从在两个或更多个角度位置(n＞＝2)获取的图像完成；或者所述旋转中心是仅根据边界中心ci或凹口pi的图像位置确定的，在这种情况下，校准从在三个或更多个角度位置(n＞＝3)获取的图像完成。
[0119]
在本公开的第二个方面，提供一种用于在每一帧时刻更新内窥镜摄像机的校准参数的方法。内窥镜摄像机由组合硬性内窥镜与摄像机产生，所述摄像机包括摄像头和摄像机控制单元(ccu)，其中硬性内窥镜或镜头窥镜具有再现具有中心c和凹口p的图像边界的场阻掩模(fsm)，且可围绕与图像平面在点q相交的机械轴线相对于摄像头旋转角度δ，在这种情况下c、p和主点o围绕q经历相同角度δ的2d旋转，并且其中对于镜头窥镜相对于摄像头的参考角度位置i＝0，校准参数焦距f、畸变ξ、旋转中心q和主点o0以及具有中心c0和凹口p0的边界是已知的。所述方法包括：利用内窥镜摄像机获取新帧j以及检测边界中心cj和凹口pj；根据凹口p0、凹口pj和q估计内窥镜镜头相对于摄像头的角度移位δ；以及通过执行主点o0围绕q以角度δ进行2d旋转来估计内窥镜摄像机的更新后主点oj。
[0120]
在第二方面的实施例中，通过利用镜头窥镜在参考位置校准内窥镜摄像机或通过从ccu检索来获得参考角度位置i＝0处的校准参数焦距f、畸变ξ、旋转中心q和主点o0以及具有中心c0和凹口p0的边界。
[0121]
在第二方面的实施例中，使用两个或更多个边界中心cj和/或凹口pj来确定旋转中心q。
[0122]
在第二方面的实施例中，通过机械构件和/或通过利用光学跟踪来估计内窥镜镜头的角度移位，在这种情况下，无需已知边界中心c0和cj以及凹口p0和pj。
[0123]
在第二方面的实施例中，所述方法进一步包括采用用于对旋转中心q和角度移位δ的估计值进行滤波的技术，包含但不限于文献中已知的任何递归或时间滤波器，例如卡尔曼滤波器或扩展卡尔曼滤波器。
[0124]
在本公开的第三方面中，提供了一种用于通过获得包括归一化焦距畸变ξ、归一化主点和归一化旋转中心的描述子来利用引起具有中心c和凹口p的图像边界的场阻掩模(fsm)来描述硬性内窥镜的方法，所述方法包括：组合硬性内窥镜与摄像机以获得内窥镜摄像机(被称为描述摄像机)；在参考位置处估计描述摄像机的校准参数(焦距f、畸变ξ、主点o0和旋转中心q)；在参考位置处检测具有中心c0和凹口p0的边界；以及根据中心c0、凹口p0、焦距f主点o0和旋转中心q确定归一化焦距归一化主点和归一化旋转中心
[0125]
在第三方面的实施例中，归一化焦距是从计算而得的，其中r是中心c0＝[c
x
，cy，1]
t
与凹口p0之间的距离，并且归一化主点和旋转中心是分别通过计算和而获得的，其中和β是线段与向下方向之间的角度。
[0126]
在本公开的第四方面中，提供了一种用于校准内窥镜摄像机的方法。内窥镜摄像
机由组合硬性内窥镜与包括摄像头和摄像机控制单元(ccu)的摄像机产生，其中硬性内窥镜具有包括归一化焦距畸变ξ、归一化主点和归一化旋转中心的描述子并且具有再现具有中心c和凹口p的图像边界的场阻掩模(fsm)，并且其中校准包含确定对于镜头窥镜相对于摄像头的特定角度位置的焦距f、畸变ξ、旋转中心q和主点o。所述方法包括：通过内窥镜摄像机获取帧i，检测边界中心ci＝[c
x
，cy，1]
t
和凹口pi，和确定半径以及根据中心ci、凹口pi、归一化焦距归一化主点和归一化旋转中心来估计内窥镜摄像机的校准参数焦距f、旋转中心q和主点o。
[0127]
根在第四方面的实施例中，焦距f、主点o和旋转中心q是分别通过和计算而得的，其中和α是线段与向下方向之间的角度。
[0128]
在第四方面的实施例中，内窥镜镜头描述子是通过使用摄像机、通过使用卡尺、千分尺、量角器、量规、机器人测量设备或其任何组合测量内窥镜镜头或通过使用内窥镜镜头的cad模型而获得的。
[0129]
在第四方面的实施例中，内窥镜镜头描述子是通过将信息从数据库加载到ccu中或使用qr码、usb快闪驱动器、手动插入、fsm中的纹样、rfid标签、互联网连接等而获得的。
[0130]
在第四方面的实施例中，帧i包括两个或更多个帧，其中使用两个或更多个边界中心ci和/或凹口pi来确定旋转中心q。
[0131]
在第四方面的实施例中，内窥镜摄像机可具有镜头窥镜相对于摄像头的任意角度位置和任意变焦量。
[0132]
在本公开的第五方面中，提供了一种用于检测由摄像头中的硬性内窥镜的缺陷或不正确组装引起的异常，或由内窥镜摄像机中使用的所考虑校准和内窥镜镜头之间的不匹配引起的异常的方法，所述内窥镜摄像机由组合硬性内窥镜与包括摄像头和摄像机控制单元(ccu)的摄像机而产生，其中硬性内窥镜具有包括归一化旋转中心的描述子且具有再现具有中心c和凹口p的图像边界的场阻掩模(fsm)，所述方法包括：通过内窥镜摄像机获取至少两个帧，使硬性内窥镜处于相对于摄像头的不同位置，和检测每一帧的边界中心ci和凹口pi；使用检测到的边界中心ci或凹口pi来估计旋转中心根据归一化旋转中心边界中心ci和凹口pi来估计旋转中心q；以及将两个旋转中心和q进行比较且确定异常的存在。
[0133]
在第五方面的实施例中，内窥镜镜头描述子是通过将信息从数据库加载到ccu中或使用qr码、usb快闪驱动器、手动插入、fsm中的纹样、rfid标签、互联网连接等而获得的。
[0134]
在第五方面的实施例中，两个旋转中心和q以及关于异常的存在的确定是通过利用代数函数、分类方案、统计模型、机器学习算法、阈值或数据挖掘中的一个或多个而执行的。
[0135]
在第五方面的实施例中，比较在校准时间和操作期间检测到的边界，以标识异常的原因。
[0136]
在第五方面的实施例中，所述方法进一步包括向用户提供警报消息，其中标识异
常的原因，无论是所使用的镜头与所考虑校准之间的不匹配，还是硬性内窥镜和/或摄像头的物理问题。
[0137]
在本公开的第六方面中，提供了一种用于检测通过使用硬性内窥镜获取的帧中的具有中心c和凹口p的图像边界的方法，所述硬性内窥镜具有引起具有中心c和凹口p的图像边界的场阻掩模(fsm)，所述方法包括：使用具有中心c和凹口p的边界的初始估计值来再现环形图像，所述图像是通过在以c为中心的同心圆处对从所获取帧中提取的图像信号进行插补和连接而获得的，其中凹口p映射到环形图像的中心；检测环形图像中的显著点；重复以下步骤直到检测到的显著点共线；将显著点映射到所获取帧的空间中且将具有中心c的圆拟合到映射点；通过利用拟合圆再现新环形图像；检测新环形图像中的显著点；以及使用与已知模板的相关性来检测最终环形图像中的凹口p。
[0138]
在第六方面的实施例中，fsm包含多于一个凹口，所有凹口均具有不同的形状和/或大小以便可被标识，在这种情况下，模板包括相对位置已知的凹口组合。
[0139]
在第六方面的实施例中，凹口可具有任何所需形状。
[0140]
在第六方面的实施例中，映射在环形图像的中心中的凹口是任意凹口。
[0141]
在第六方面的实施例中，可从多种方法获得具有中心c和凹口p的边界的初始估计值，所述方法包含但不限于深度/机器学习、图像处理、基于统计的方法和随机方法。
[0142]
在第六方面的实施例中，将一般性圆锥拟合到映射点。
[0143]
在第六方面的实施例中，检测到的中心c和/或凹口p用于估计硬性内窥镜相对于安装有其的摄像头的角度移位。
[0144]
虽然已出于本公开的目的描述各种实施例，但此类实施例不应被视为将本公开的教导限制于那些实施例。可以对上述元件和操作进行各种改变和修改，以获得保持在本公开中描述的系统和过程范围内的结果。本文引用的所有专利、专利申请和公开参考文献在此以全文引用的方式并入。应当强调的是，本公开的上述实施例仅仅是实施方案的可能实例，仅仅是为了清楚地理解本公开的原理而阐述的。在基本上不脱离本公开的精神和原理的情况下，可以对上述实施例进行许多变化和修改。应了解，上文公开的若干和其它特征和功能或其替代方案可理想地组合到许多其它不同系统或应用中。所有此类修改和变化预期在本文中包含在本公开的范围内，如落入所附权利要求书的范围内。
[0145]
所描述的实施例在所有方面仅被视为说明性而非限制性的，因此，本公开实施例的范围由所附权利要求书而非前述描述指示。属于权利要求书的同等含义和范围的所有变化都应在其范围内。本领域技术人员可以针对每个特定应用以不同的方式实施所描述的功能性，但此类实施决策不应被解释为导致偏离所公开的系统和/或方法的范围。
[0146]
参考文献
[0147]
所有引用的参考文献均通过引用明确并入本文中。对任何参考文献的讨论并不意味着承认其是本公开实施例的现有技术，尤其是可能具有本技术的优先权日期之后的发布日期的任何参考文献。
[0148]
[1]t.yamaguchi、m.nakamoto、y.sato、k.konishi、m.hashizume、n.sugano、h.yoshikawa和s.tamura，“斜视内窥镜摄像机模型和校准程序的开发(development of a camera model and calibration procedure for oblique-viewing endoscopes)”，计算机辅助手术，第9卷，第5期，第203-214页，2004年2月。
[0149]
[2]c.wu、b.jaramaz和s.narasimhan，“斜视内窥镜的完整几何和光度校准方法(a full geometric and photometric calibration method for oblique-viewing endoscopes)”，计算机辅助手术，第15卷，第1-3期，第19-31页，2010年4月。