基于图像的定位方法和系统的制作方法

专利名称：基于图像的定位方法和系统的制作方法
基于图像的定位方法和系统本发明涉及对身体解剖区域进行基于图像的定位，以提供关于身体解剖区域之内的内窥镜相对于身体解剖区域扫描图像的姿态的基于图像的信息。支气管镜检查是一种通常利用标准支气管镜执行的体内操作流程，其中将支气管镜放在患者支气管树内部以提供内部结构的视觉信息。用于对支气管镜进行空间定位的一种已知方法是使用电磁(“EM”)跟踪。不过， 这种解决方案涉及额外的装置，例如，外部场发生器和支气管镜中的线圈。此外，精确度可能受到支气管镜的金属或手术区域附近其他物体引入的场畸变的影响。此外，EM跟踪中的配准流程涉及到设置外部坐标系(例如，EM场发生器的坐标系或动态参照基础的坐标系) 和计算机断层摄影(“CT”)图像空间之间的关系。典型地，通过点到点匹配来进行配准，这导致了额外的延迟。即使有配准，患者的活动，例如呼吸，也可能意味着实际位置和计算得到的位置之间的误差。用于对支气管镜进行空间定位的另一种已知方法是将手术前三维(“3D”)数据集与来自支气管镜的二维(“2D”)内窥镜图像配准。具体而言，将来自视频流的图像与支气管树的3D模型和摄像机掠过的相关截面进行匹配，以找到视频帧在患者图像的坐标系中的相对位置。这种2D/3D配准的主要问题是复杂，这意味着不能高效率、实时地以充分高精确度执行。为了解决这个问题，通过EM跟踪支持2D/3D配准，首先获得粗略配准，然后通过 2D/3D配准对变换参数进行细调。用于内窥镜工具图像引导的已知方法涉及到利用光学定位系统跟踪内窥镜探头。 为了在CT坐标系或磁共振成像(“MRI”)坐标系中定位内窥镜末端，必须要为内窥镜装配具有红外(“IR”)反射球的受跟踪刚体。必须要在插入内窥镜之前进行配准和校准，以便能够跟踪内窥镜的位置并将其关联到CT或MRI上的位置。目标是通过叠加“经配准的”手术前成像数据(CT或MRI)来增加内窥镜的视频数据。本发明的前提是利用手术前计划以在外部成像系统(例如，CT、MRI、超声、X射线和其他外部成像系统)拍摄的身体解剖区域的扫描图像之内生成内窥镜的虚拟图像。例如，如本文将要进一步解释的，根据本发明的虚拟支气管镜检查是使用支气管镜或成像插管(即，配备有成像装置的任何类型的插管)的运动学属性和支气管镜或成像插管光学属性的手术前内窥镜流程，利用所述运动学属性以生成对象解剖区域之内在运动学上正确的内窥镜路径，利用所述光学属性以可视地模拟从肺3D数据集获得的肺3D模型之内的支气管镜或成像插管执行手术前计划。在内窥镜为支气管镜的语境中，可以使用授予Trovato等人、2007年4月17日公开的、题为 “3D Tool Path Planning, Simulation and Control System” 的国际申请 WO 2007/042986A2教导的路径规划技术来生成支气管镜在肺的3D数据集表示的身体解剖区域之内支气管镜的运动学正确的路径。在内窥镜为成像嵌套插管的语境中，可以使用授予Trovato等人、2008年3月20 日公开的、题为"Active Cannula configuration For Minimally Invasive Surgery，，的国际申请WO 2008/032230A1教导的路径规划/嵌套插管配置技术，以生成肺3D数据集表示的身体解剖区域之内针对嵌套插管的运动学正确路径。本发明的另一前提在于利用图像检索技术比较对象解剖区域的手术前虚拟图像和内窥镜拍摄的内窥镜图像。本领域已知的图像检索是从图像数据库检索具有给定属性的图像的方法，例如，在如下文献中论述的图像检索技术=Datta, R.，Joshi，D.，Li，J.和 Wang, J. Ζ.的 Image retrieval :Ideas, influences, and trends of the newage. ACM Comput. Surv. 40, 2, Article5 (2008年4月)。可以基于与查询图像的相似性从数据库检索图像。可以使用测量图像特征(例如图像边缘)之间几何距离的几何度量或利用图像特征可能性的概率测度来确定图像之间的相似性测度，例如在如下文献中论述的相似性度量: Selim Aksoy, Robert Μ. Haralick. Probabilistic vs. Geometric Similarity Measures for Image Retrieval, IEEE Conf. Computer Vision and Pattern Recognition,2000,第 357-362 页，第 2 卷。本发明的一种形式是一种基于图像的定位方法，该方法具有手术前阶段，其涉及生成示出了身体解剖区域的扫描图像和生成从扫描图像导出的虚拟信息。虚拟信息包括根据内窥镜的运动学属性和光学属性对内窥镜在扫描图像之内相对于内窥镜路径的虚拟姿态的预测。在手术前阶段的示范性实施例中，使用扫描图像和内窥镜的运动学属性在扫描图像之内生成内窥镜路径。之后，使用内窥镜的光学属性生成示出了内窥镜路径在扫描图像之内的虚拟图像的虚拟视频帧。此外，向虚拟视频帧分配扫描图像之内的内窥镜路径的姿态，从虚拟视频帧提取一个或多个图像特征。基于图像的定位方法还具有手术中阶段，其涉及根据内窥镜路径生成示出了身体解剖区域的内窥镜图像，以及生成从虚拟信息和内窥镜图像导出的跟踪信息。所述跟踪信息包括与对所述内窥镜在所述扫描图像之内相对于内窥镜路径的虚拟姿态的预测对应的、 对所述内窥镜在所述内窥镜图像之内相对于内窥镜路径的姿态的估计。在手术中阶段的示范性实施例中，从内窥镜图像的每个视频帧提取一个或多个内窥镜帧特征。将(一个或多个)内窥镜帧特征匹配到(一个或多个)虚拟帧特征的图像匹配便于将虚拟视频帧的所分配姿态对应到内窥镜视频帧，因此对应到内窥镜的位置。出于本发明的目的，本文使用的术语“生成”被宽泛地定义成包括本领域当前已知或接下来已知的任何技术，该技术用于创建、供给、供应、获得、生产、形成、开发、演化、 修改、变换、改变或以其他方式制造可用信息(例如，数据、文本、图像、语音和视频)，以进行计算机处理和存储器存储/检索，尤其是图像数据集和视频帧。此外，本文使用的短语
“从......导出”被宽泛定义为包括本领域当前或接下来已知的用于从源信息集生成目标信息集的任何技术。此外，本文使用的术语“手术前”被宽泛定义成描述在内窥镜应用之前发生或与周期或准备相关的任何活动(例如，用于内窥镜的路径规划)，本文使用的术语“手术中”被宽泛地定义成描述在内窥镜应用过程中发生、执行或遇到的任何活动(例如，根据规划的路径操作内窥镜)。内窥镜应用的范例包括，但不限于支气管镜检查、结肠镜检查、腹腔镜检查和大脑内窥镜检查。在大多数情况下，手术前活动和手术中活动将在明确分开的时间周期内发生。尽管如此，本发明包括涉及到手术前和手术中时间周期在任何程度的重叠的情况。此外，术语“内窥镜”在本文被宽泛定义为能够从身体内部成像的任何装置。用于本发明目的的内窥镜范例包括，但不限于任何类型的柔性或刚性的观测器(例如关节内窥镜、支气管镜、胆总管窥镜、结肠镜、膀胱镜、十二指肠镜、胃窥镜、宫腔镜、腹窥镜、喉镜、神经窥镜、耳镜、推进式小肠镜、鼻喉镜、乙状结肠镜、鼻窦镜、胸腔窥镜等)以及任何类似于装备有图像系统的观测器的装置(例如，能够成像的嵌套插管)。成像是局部的，可以利用光纤、透镜或小型化(例如基于CCD的)成像系统获得表面图像。结合附图阅读以下详细描述的本发明各实施例，本发明的前述形式和其他形式以及本发明的各种特征和优点将变得更加明显。详细描述和附图仅仅例示本发明而不是加以限制，本发明的范围由权利要求书及其等价要件界定。

图1示出了表示本发明的基于图像的定位方法的一个实施例的流程图；图2示出了图1所示流程图的示范性支气管镜检查应用；图3示出了表示本发明的姿态预测方法的一个实施例的流程图；图4示出了根据图3所示流程图用于支气管镜的示范性内窥镜路径生成；图5示出了根据图3所示流程图用于嵌套插管的示范性内窥镜路径生成；图6示出了根据图3所示流程图的示范性坐标空间和不完整邻域的2D投影；图7示出了根据图3所示流程图的示范性光学规格数据；图8示出了根据图3所示流程图的示范性虚拟视频帧生成；图9示出了表示本发明的姿态估计方法的一个实施例的流程图；图10示出了根据图9所示流程图的示范性内窥镜跟踪；图11示出了本发明的基于图像的定位系统的一个实施例。图1中示出了表示本发明的基于图像的定位方法的流程图30。参考图1，流程图 30被分成手术前阶段S31和手术中阶段S32。手术前阶段S31包括外部成像系统(例如CT、MRI、超声、X射线等)，其扫描身体 (人或动物)的解剖区域以获得对象解剖区域的扫描图像20。基于手术中阶段S32期间对诊断或治疗的可能需求，根据手术前内窥镜流程由对象解剖区域的内窥镜执行模拟光学观察。生成详细描述从模拟观察预测的内窥镜姿态的虚拟信息，以便估计手术中阶段S32期间解剖区域的内窥镜图像之内的内窥镜的姿态，后面还将对此做出详细描述。例如，如图2的示范性手术前阶段S31所示，可以使用CT扫描机50扫描患者的支气管树40，获得支气管树40的3D图像20。之后可以基于在手术中阶段S32期间对执行支气管镜检查的需求执行虚拟支气管镜检查。具体而言，可以利用扫描图像20和内窥镜51的运动学属性执行规划的路径技术以生成针对内窥镜51通过支气管树40的内窥镜路径52， 并可以利用扫描图像20和内窥镜51的光学属性执行图像处理技术，以模拟在内窥镜51虚拟地贯穿内窥镜路径52时支气管树40的内窥镜51相对于扫描图像20的3D空间的光学观察。之后可以立即处理和/或在数据库53中存储详细描述从光学模拟导出的内窥镜51 在扫描图像20之内的预测虚拟位置(x，y，z)和取向(α，θ，φ)的虚拟信息21，以进行支气管镜检查。再次参考图1，手术中阶段S32包括根据内窥镜检查流程由内窥镜生成对象解剖区域的内窥镜图像22。为了估计内窥镜在对象解剖区域之内的姿态，参考虚拟信息21以将预测的内窥镜在扫描图像20之内的虚拟姿态对应到内窥镜图像22。生成详细描述对应结果的跟踪信息23是为了控制内窥镜以便于符合内窥镜检查流程和/或为了显示内窥镜在内窥镜图像22之内的估计姿态。例如，如图2的示范性手术中阶段S32中所示，在操作内窥镜51以贯穿内窥镜路径52时，内窥镜51生成支气管树40的内窥镜图像22。为了估计活动中的内窥镜51的位置(X，y，ζ)和取向(α，θ, φ)，参考虚拟信息21以将预测的内窥镜51在支气管树40的扫描图像20之内的虚拟姿态对应到支气管树40的内窥镜图像22。生成形式为跟踪姿态数据23a的跟踪信息23是为了向内窥镜51的内窥镜控制机构(未示出)提供控制数据，以便于符合内窥镜路径52。此外，生成形式为跟踪姿态图像23a的跟踪信息23是为了在显示器54上显示内窥镜51在支气管树40之内的估计姿态。图1和2的前面描述教导了本发明的基于图像的定位方法的一般性创新原理。在实践中，本发明未给实施流程图30的方式或模式提出任何约束或任何限制。尽管如此，图 3-10的以下描述仍然教导了流程图30的示范性实施例，以便于进一步理解本发明的基于图像的定位方法。图3中示出了表示本发明的姿态预测方法的流程图60。流程图60是图1的手术前阶段S31的示范性实施例。参考图3，流程图60的阶段S61包括对扫描图像20所示的身体的解剖区域执行 3D表面分割，以及生成表示该3D表面分割的3D表面数据24。本领域技术人员知道用于对对象解剖区域进行3D表面分割的技术。例如，可以利用已知的匹配立方表面提取从支气管树的CT扫描分割出一定体积的支气管树，以获得流程图60的阶段S62和S63所需的支气管树的内表面图像，后面还将对此做出详细描述。流程图60的阶段S62包括使用3D表面数据24和表示内窥镜的运动学属性的规格数据25执行规划的路径技术(例如，快速匹配或A*搜索技术)以生成针对内窥镜在扫描图像20之内的运动学定制路径。例如，在内窥镜为支气管镜的语境中，可以使用授予Trovato 等人、日期为 2007 年 4 月 17 日且题为“3D Tool Path Planning, Simulation and Control System"的国际申请WO 2007/042986A2中教导的已知路径规划技术，以生成由3D表面数据24(例如CT扫描数据集)表示的扫描图像20之内的运动学定制路径，该申请全文以引用方式并入本文。图4示出了针对支气管镜在支气管树的扫描图像70之内的示范性内窥镜路径71。内窥镜路径71在进入位置72和目标位置73之间延伸。同样作为范例，在内窥镜为成像嵌套插管的语境中，可以使用授予Trovato等人、 2008年3月 20 日公开的、题为“Active Cannula configuration For Minimally Invasive Surgery”的国际申请WO 2008/032230A1教导的路径规划/嵌套插管配置技术，以生成由3D 表面数据24(例如CT扫描数据集)表示的成像插管在对象解剖区域之内的运动学定制路径，该申请全文以引用方式并入本文。图5示出了针对成像用嵌套插管在支气管树的图像 74之内的示范性内窥镜路径75。内窥镜路径75在进入位置76和目标位置77之间延伸。继续参考图3，生成表示运动学定制路径的内窥镜路径数据26，是为了下文要解释的阶段S63，并为了在手术中阶段32期间经由内窥镜执行手术中流程(图1)。阶段S62 的手术前路径生成方法涉及到公知的离散化配置空间，根据适用邻域贯穿的配置空间的坐标生成内窥镜路径数据26。例如，图6示出了七条(7)线索81-87的三维不完整邻域80。 这包括从线索81表示的取向处的起始位置H能够到达的相对位置和取向。阶段S62的手术前路径生成方法优选涉及连续使用根据本发明的离散化配置空间，从而根据跨离散化配置空间的邻域的精确位置值生成内窥镜路径数据26。优选采用阶段S62的手术前路径生成方法作为路径生成器，因为其在不精确的离散化配置空间中提供了精确的运动学定制路径。此外，该方法能够在3D空间中计算和存储路径的6维规格。例如，配置空间可以基于3D障碍空间，例如通常由CT生成的各向异性 (非立方体体素)图像。尽管体素是分立的和非立方的，但规划器仍能够生成连续的平滑路径，例如一系列相连的弧。这意味着需要远远少的存储器并可以迅速计算路径。离散化的选择将会影响障碍区域，不过，从而会获得可行的路径。结果是连续坐标系中针对内窥镜的平滑的、运动学可行的路径。在授予Trovato等人，分别于2008年6月26日和2008年 9 月 23 日提交的题为"Method and System for Fast Precise Planning，，的美国专利申请No. 61/075886和61/099233中更详细地描述了这种情况，该申请全文以引用方式并入本文。返回到图3，流程图60的阶段S63包括根据由光学规格数据27表示的内窥镜光学属性，顺次生成2D截面虚拟图像帧21a，其示出了 3D表面数据和内窥镜路径数据26表示的扫描图像20之内内窥镜路径的虚拟图像。具体而言，在内窥镜路径上推进虚拟内窥镜，在内窥镜路径的预定路径点顺次生成虚拟视频帧21a，作为在内窥镜路径中推进的实际内窥镜拍摄的对象解剖区域的视频帧的模拟。考虑到物理内窥镜的光学属性完成这种模拟。例如，图7示出了与本发明相关的内窥镜90的若干光学属性。具体而言，内窥镜 90的透镜91的尺寸确定了观察区域92的观察角93，观察区域沿投影方向95具有焦点94。 前剪取面96和后剪取面97与投影方向95正交以界定内窥镜90的可视化区域，可视化区域类似于光学景深。额外的参数包括内窥镜90的光源(未示出)相对于透镜91的位置、 角度、强度和颜色。光学规格数据27(图3)可以表示针对适用内窥镜的一个或多个光学属性91-97以及任何其他相关特性。返回到图3，将实际内窥镜的光学属性应用于虚拟内窥镜。在模拟中的任何给定路径点，知道虚拟内窥镜在查看扫描图像20之内的哪里，虚拟内窥镜聚焦在扫描图像20的什么区域，虚拟内窥镜发射的光强度和颜色以及任何其他相关光学属性，便于生成虚拟视频帧作为实际内窥镜在该路径点拍摄的视频帧的模拟。例如，图8示出了从图5所示路径75的区域78拍摄的四个(4)示范性相继虚拟视频帧100-103。每个帧100-103都是在模拟中的预定路径点拍摄的。虚拟视频帧100-103 逐一示出了区域78的特定2D截面，以模拟内窥镜在对象支气管树之内拍摄的区域78的这种2D截面的光学观察。返回图3，流程图60的阶段S64包括每个虚拟视频帧21a的姿态分配。具体而言，使用扫描图像20的坐标空间，考虑到生成虚拟视频帧21a期间使用的每个路径点的位置和取向，确定每个虚拟视频帧21a在扫描图像20之内的唯一位置(X，y，ζ)和取向 (α, θ，φ)。阶段S64还包括从每个虚拟视频帧21a提取一个或多个图像特征。特征提取的范例包括，但不限于，分岔的边缘及其相对于视场的位置、分岔的边缘形状、像素强度的强度图案和空间分布(如果生成光学上逼真的虚拟视频帧的话)。可以使用简单的已知边缘算子(例如Carmy算子或Laplacian算子)，或使用更先进的已知算法(例如小波分析)来探测边缘。可以使用已知的形状描述符和/或利用主成分分析的形状建模方法分析分岔的形状。作为另一个范例，如图8所示，可以使用这些技术来提取帧100-103的边缘以及帧102 和103中所示的生长104。阶段S64的结果是虚拟数据集21b，其表示针对每个虚拟视频帧21a的手术前图像 20的坐标空间中的唯一位置(x，y，z)和取向(α，θ，φ)以及为了特征匹配的所提取的图像特征，后面还将对此做出详细描述。流程图60的阶段S65包括在具有适当参数字段的数据库之内存储虚拟视频帧21a 和虚拟姿态数据集21b。流程图60的阶段S66包括利用虚拟视频帧21a在对象解剖区域之内执行内窥镜的可视扫略，以进行诊断。再次参考图3，完成流程图60获得了虚拟视频帧21a和虚拟数据集21b的参数化存储，由此将使用数据库找到虚拟视频帧21a和所生成的对象解剖区域的内窥镜图像 22 (图1)的视频帧之间的匹配，并将每个虚拟视频帧21a的唯一位置(X，y，ζ)和取向 (α, θ, φ)对应到所匹配的内窥镜视频帧。除了这点之外，图9示出了表示本发明的姿态估计方法的一个实施例的流程图 110。在手术中流程期间，流程图110的阶段Slll包括从对象解剖区域的内窥镜检查获得的内窥镜图像22(图1)的每个2D截面视频帧22a提取图像特征。同样，特征提取的范例包括，但不限于，分岔的边缘及其相对于视场的位置、分岔的边缘形状、像素强度的强度图案和空间分布(如果生成光学上逼真的虚拟视频帧的话)。可以使用简单的已知边缘算子 (例如Carmy算子或Laplacian算子)，或使用更先进的已知算法(例如小波分析)来探测边缘。可以使用已知的形状描述符和/或利用主成分分析的形状建模方法分析分岔的形状。流程图110的阶段S112还包括将从虚拟视频帧21a提取的图像特征图像匹配到从内窥镜视频帧22a提取的图像特征。可以使用利用定义好的度量(例如形状差异、边距等)发现具有最相似特征的两幅图像的已知搜索技术来匹配图像特征。此外，为了获得时间效率，可以对搜索技术进行细化，以使用关于图像的在先匹配的实时信息，以便将数据库搜索限制到解剖区域的特定区域。例如，可以将数据库搜索限制到与上次匹配相差正负 IOmm的点和取向，优选首先沿预期路径搜索，然后在距预期路径有限距离和角度之内搜索。 显然，如果没有匹配(表示可接受标准之内的匹配)，那么位置数据不是有效的，系统应当登记误差信号。流程图110的阶段S113还包括将虚拟视频帧21a的位置(x，y，ζ)和取向 (α, θ, φ)对应到与虚拟视频帧21a的(一个或多个)图像特征匹配的内窥镜视频帧22a， 以便由此估计内窥镜在内窥镜图像22之内的姿态。更具体而言，在阶段S112中实现的特征匹配能够将每个虚拟视频帧21a在对象解剖区域的扫描图像20 (图1)的坐标系之内的位置(x，y，z)和取向(α，θ，φ)对应到内窥镜视频帧22a之一，作为对内窥镜在对象解剖区域的内窥镜图像22之内的姿态的估计。这种姿态对应便于生成跟踪姿态图像23b，跟踪姿态图像示出了内窥镜在对象解剖区域之内相对于内窥镜路径的估计姿态。具体而言，跟踪姿态图像23a是这样一种版本的扫描图像20 (图1)，其具有内窥镜和从内窥镜视频帧22a的分配姿态导出的内窥镜路径
9叠加。姿态对应进一步便于生成跟踪姿态数据23a，跟踪姿态数据表示内窥镜在对象解剖区域之内的估计姿态。具体而言，跟踪姿态数据23b能够具有任何形式(例如，命令形式或信号形式)，以用在内窥镜的控制机构中，从而确保符合规划的内窥镜路径。例如，图10示出了利用成像嵌套插管执行的虚拟支气管镜检查120提供的虚拟视频帧130以及利用同样的或运动学和光学等价的成像嵌套插管执行的手术中支气管镜检查提供的内窥镜视频帧131。从关联数据库检索虚拟视频帧130，由此，从虚拟视频帧130 提前或实时提取122图像特征133 (例如边缘特征)以及从内窥镜视频帧131提取图像特征132便于对一对帧进行特征匹配124。结果，坐标空间对应134使得能够对内窥镜125在跟踪姿态图像135中所示的支气管之内的估计位置和取向进行控制反馈和显示。由于内窥镜此前的位置和取向是已知的，且每个内窥镜视频帧131正变得实时可用，所以“当前位置”应当在附近，因此缩小了候选图像130的集合。例如，可能有很多看起来相似的支气管。沿着每个支气管拍“快照”会生成很大的似是而非的集合，但位置可能非常悬殊。此外，对于每个位置，即使是离散化的取向子集也将生成众多可能视图。不过，如果假设的路径已经是已知的，可以将该集合简化为像x，y，z位置并像α，θ，φ (rx,ry,rz) 取向的那些，可能在预期状态附近有一些变化。此外，基于先前的“匹配位置”，作为候选者的图像130的集合只限于在已过去的时间内从那些先前位置能够到达的那些。成像插管的运动学进一步限制了可能的选择。一旦在虚拟帧130和“实况图像” 131之间得到匹配，来自虚拟帧130的位置和取向标签给出成像插管在患者体内的实际取向的手术前空间中的坐标。图11示出了用于实施本发明各种方法的示范性系统170。参考图11，在手术前阶段期间，使用患者140体外的成像系统扫描患者140的解剖区域(例如，支气管141的CT 扫描)，以提供表示该解剖区域的扫描图像20。系统170的手术前虚拟子系统171实施手术前阶段S31 (图1)，或者更具体而言，实施流程图60 (图3)，以通过显示器160显示相关手术前内窥镜流程的视觉飞掠21c，并向参数化数据库173中存储虚拟视频帧21a和虚拟数据集21b。虚拟信息21a/b详细描述了内窥镜在解剖区域之内相对于内窥镜路径(例如，使用通过支气管树141的图像嵌套插管151的模拟支气管镜检查的内窥镜路径152)的虚拟图像。在手术中状态期间，操作系统180的内窥镜控制机构(未示出)以根据其中的规划内窥镜路径控制内窥镜在解剖区域之内的插入。系统180向系统170的手术中跟踪子系统172提供解剖区域的内窥镜图像22，手术中跟踪子系统实施手术中阶段S32 (图1)，或更具体而言，实施流程图110 (图9)，以向显示器160显示跟踪图像23a和/或向系统180提供跟踪姿态数据23b，从而进行控制反馈。跟踪图像22a和跟踪姿态数据23b共同表示物理内窥镜通过解剖区域的内窥镜路径(例如，实时跟踪成像嵌套插管151通过支气管树141)。 在系统172未能实现虚拟视频帧21a和内窥镜视频帧(未示出)之间的特征匹配的情况下， 跟踪姿态数据23a将包含标志失败的误差消息。尽管已经例示和描述了本发明的各种实施例，本领域的技术人员将要理解，这里所述的方法和系统是例示性的，可以做出各种变化和修改，并可以用等价要素替代其要素， 这些不脱离本发明的真实范围。此外，可以做出很多修改以针对实体路径规划调整本发明的教导而不脱离其中心范围。因此，本发明并非意在限于作为执行本发明而想到的最佳模式而公开的特定实施例，而是本发明包括落在权利要求书范围之内的所有实施例。
权利要求
1.一种基于图像的定位方法(30)，包括生成示出了身体的解剖区域(40)的扫描图像(20)；根据内窥镜(51)的运动学属性在所述扫描图像(20)之内生成内窥镜路径(52)；以及根据所述内窥镜(51)的光学属性生成示出了所述内窥镜路径(52)在所述扫描图像 (20)之内的虚拟图像的虚拟视频帧(21a)。
2.根据权利要求1所述的基于图像的定位方法(30)，还包括向所述虚拟视频帧(21a)分配所述扫描图像(20)之内的所述内窥镜路径(52)的姿态；以及从每幅虚拟视频帧(21a)提取至少一个虚拟帧特征。
3.根据权利要求2所述的基于图像的定位方法(30)，还包括生成参数化数据库(54)，所述参数化数据库包括所述虚拟视频帧(21a)和虚拟姿态数据集(21b)，所述虚拟姿态数据集表示所述内窥镜(51)的姿态分配和所提取的至少一个虚拟帧特征。
4.根据权利要求1所述的基于图像的定位方法(30)，还包括执行所述虚拟视频帧(21a)的视觉飞掠，其示出了所述内窥镜(51)在所述解剖区域 (40)之内相对于所述内窥镜路径(52)的预测姿态。
5.根据权利要求2所述的基于图像的定位方法(30)，还包括根据所述内窥镜路径(52)生成示出了所述身体的所述解剖区域(40)的内窥镜图像 (22)；以及从所述内窥镜图像(22)的每个内窥镜视频帧(22a)提取至少一个内窥镜帧特征。
6.根据权利要求5所述的基于图像的定位方法(30)，还包括将所述至少一个内窥镜帧特征图像匹配到所述至少一个虚拟帧特征；以及根据所述图像匹配将所述虚拟视频帧(21a)的所分配姿态对应到所述内窥镜视频帧 (22a)。
7.根据权利要求6所述的基于图像的定位方法(30)，还包括根据所述内窥镜视频帧(22a)的所述姿态分配生成示出了所述内窥镜(51)在所述内窥镜图像(22)之内的估计姿态的跟踪姿态图像(23a)；以及向显示器(56)提供所述跟踪姿态图像帧(23a)。
8.根据权利要求6所述的基于图像的定位方法(30)，还包括生成表示所述内窥镜视频帧(22a)的所述姿态分配的跟踪姿态数据(23b)；以及向所述内窥镜(51)的内窥镜控制机构(180)提供所述跟踪姿态数据(23b)。
9.根据权利要求1所述的基于图像的定位方法(30)，其中，根据与所述扫描图像(20) 相关联的离散化配置空间(80)之内的邻域节点的精确位置值生成所述内窥镜路径(52)。
10.根据权利要求1所述的基于图像的定位方法(30)，其中，所述内窥镜(51)是从包括支气管镜和成像插管的组中选择的。
11.一种基于图像的定位方法(30)，包括生成示出了身体的解剖区域(40)的扫描图像(20)；以及生成从所述扫描图像(20)导出的虚拟信息(21)，其中，所述虚拟信息(21)包括根据内窥镜(51)的运动学属性和光学属性对所述内窥镜(51)在所述扫描图像(20)之内相对于内窥镜路径(53)的虚拟姿态的预测。
12.根据权利要求11所述的基于图像的定位方法(30)，还包括根据所述内窥镜路径(52)生成示出了所述身体的所述解剖区域(40)的内窥镜图像 (22)；以及生成从所述虚拟信息和所述内窥镜图像(22)导出的跟踪信息(23)，其中，所述跟踪信息(23)包括与对所述内窥镜(51)在所述扫描图像(20)之内相对于所述内窥镜路径(52)的虚拟姿态的预测对应的、对所述内窥镜(51)在所述内窥镜图像 (22)之内相对于所述内窥镜路径(52)的姿态的估计。
13.一种基于图像的定位系统，包括手术前虚拟子系统(171)，其用于生成从示出了身体的解剖区域(40)的扫描图像(20) 导出的虚拟信息(21)，其中，所述虚拟信息(21)包括根据内窥镜(51)的运动学属性和光学属性对所述内窥镜(51)在所述扫描图像(20)之内相对于内窥镜路径(53)的虚拟姿态的预测；以及手术中跟踪子系统(172)，其用于根据所述内窥镜路径(52)生成从所述虚拟信息(21) 和内窥镜图像(22)导出的跟踪信息(23)，所述内窥镜图像示出了所述身体的所述解剖区域(40)，其中，所述跟踪信息(23)包括与对所述内窥镜(51)在所述扫描图像(20)之内相对于所述内窥镜路径(52)的虚拟姿态的预测对应的、对所述内窥镜(51)在所述内窥镜图像 (22)之内相对于所述内窥镜路径(52)的姿态的估计。
14.根据权利要求13所述的基于图像的定位系统，还包括显示器(160)，其中，所述手术中跟踪子系统(172)还用于向所述显示器(56)提供跟踪姿态图像 (23a)，所述跟踪姿态图像示出了所述内窥镜(51)在所述内窥镜图像(22)之内相对于所述内窥镜路径(52)的估计姿态。
15.根据权利要求13所述的基于图像的定位系统，还包括内窥镜控制机构(180)，其中，所述手术中跟踪子系统(172)还用于向所述内窥镜控制机构(180)提供跟踪姿态数据(23b)，所述跟踪姿态数据表示所述内窥镜(51)在所述内窥镜图像(22)之内相对于所述内窥镜路径(52)的估计姿态。
全文摘要
一种基于图像的定位方法(30)的手术前阶段涉及产生示出了身体的解剖区域(40)的扫描图像(20)；以及产生虚拟信息(21)，所述虚拟信息(21)包括根据所述内窥镜(51)的运动学属性和光学属性对内窥镜(51)在所述扫描图像(20)之内相对于内窥镜路径(52)的虚拟姿态的预测。该方法(30)的手术中阶段涉及根据内窥镜路径(52)产生表示解剖区域(40)的内窥镜图像(22)；以及产生跟踪信息(23)，所述跟踪信息(23)包括与对所述内窥镜(51)在所述扫描图像(20)之内相对于内窥镜路径(52)的虚拟姿态的预测对应的、所述内窥镜(51)在所述内窥镜图像(22)之内相对于内窥镜路径(52)的姿态的估计。
文档编号A61B19/00GK102186404SQ200980141372
公开日2011年9月14日 申请日期2009年10月12日 优先权日2008年10月20日
发明者K·I·特罗瓦托, A·波波维奇 申请人:皇家飞利浦电子股份有限公司