用于半自动路径规划的自动深度滚动和方向调节的制作方法
【专利摘要】规划工具、系统和方法包括处理器(114)和耦合到处理器的存储器(116)，存储器存储规划模块(144)。用户接口(120)耦合到处理器并被配置成允许用户选择穿过通路系统(148)的路径。规划模块被配置成上传与使用用户接口引导的用户控制的光标点(108)对应的图像体积(111)的一个或多个切片，使得当路径被导航时，一个或多个切片根据路径中的光标点的深度而被更新。
【专利说明】用于半自动路径规划的自动深度滚动和方向调节
【技术领域】
[0001]本公开涉及医疗仪器，且更具体地涉及用于使用图形接口工具来图形规划和帮助医疗程序的系统和方法。
【背景技术】
[0002]经支气管的活组织检查是常见的介入性程序，其中活组织检查针在支气管镜的工作通道中被输送，并在某个点处穿过气道壁前进以取回在肺或纵隔中的肿瘤、淋巴结等的样本。为了帮助规划以及实时引导这样的介入，执行患者的胸部扫描。例如计算机断层(CT)扫描的扫描可在放射标准视图中以及在腔内视图的虚拟呈现中被显示给用户(例如肺病专家)，类似于真实支气管镜照相机的光学图像。
[0003]在腔内视图中，对于来自真实内窥镜检查的光学图像或虚拟呈现，用户不能看到在气道壁后面的组织，特别是活体组织检查目标的位置或未被刺穿的血管的位置。类似地，在标准视图中，用户不能确切地看到某个点在腔内视图中所位于的位置。
[0004]用于支气管镜检查的半自动路径规划需要在三维CT图像体积中手动设置多个路径点。对于在二维显示中设置这些路径点，用户需要控制当前显示的视平面的三个位置和三个方向参数。这显著地使得工作流程变慢。
[0005]用于对周围目标(例如用于活组织检查)的支气管镜检查的路径规划是常见的但困难的临床任务。在目标和气管之间的全自动路径规划是合乎需要的，但可能并不总是交付最佳结果。相反，半自动手动路径规划需要在三维CT图像体积中设置多个路径点。
【发明内容】
[0006]根据当前的原理，规划工具、系统和方法包括处理器和耦合到处理器的存储器，存储器存储规划模块。用户接口耦合到处理器并被配置成允许用户选择穿过通路系统的路径。规划模块被配置成上传与使用用户接口引导的用户控制的光标点对应的图像体积的一个或多个切片，使得当路径被导航时，一个或多个切片根据路径中的光标点的深度而被更新。
[0007]具有操作地耦合的视口的系统包括处理器和耦合到处理器的存储器，存储器存储图像处理模块。图形用户接口耦合到处理器并被配置成允许用户选择穿过通路系统的路径。图像处理模块被配置成呈现通路的腔内视图、图像体积的一个或多个其它视图、以及虚拟线以提供在所有选定视图(包括腔内视图和一个或多个其它视图)中的空间参考。用户控制的光标点被配置成引导腔内视图，其中光标点用来允许对应于光标点上的选择更新而在所有选定视图中进行更新，使得在其它视图中的光标点周围的图像信息在用户接口中是同时看得见的。
[0008]用于规划程序的方法包括:在通路结构的图像体积中定位终点，图像体积由沿着深度的堆叠切片组成；在通路结构的图像体积中选择起始点；沿着通路结构延伸路径；根据与通路结构的图像切片 对应的通路结构的深度来沿着路径更新图像切片；沿着通路导航到终点；以及存储所述路径以用于创建对程序的规划。
[0009]用于操作地耦合视口的方法包括:在被配置成允许用户选择穿过通路系统的路径的图形用户接口中产生通路结构的腔内视图；产生图像体积的一个或多个其它视图；以及产生虚拟线以提供在多个视图(包括腔内视图和一个或多个其它视图)中的空间参考，使得虚拟线被配置成引导腔内视图，并用来提供参考，以允许对应于虚拟线的用户选择的位置更新而在其它视图中进行更新，使得在其它视图中的虚拟线周围的图像信息在用户接口中是同时看得见的。
【专利附图】
【附图说明】
[0010]从结合附图阅读的本发明的例证性实施例的下面的详细描述中，本发明的这些和其它目的、特征和优点将变得明显。
[0011]本公开将参考附图详细地呈现优选实施例的以下描述，其中:
[0012]图1是示出根据一个实施例的用于规划程序并同时观看不同视角的链接的显示视图的系统/方法的框图/流程图；
[0013]图2是示出根据例证性实施例的用于根据鼠标绘制的规划轨迹的深度来更新图像切片的方法的流程图；
[0014]图3是示出根据一个例证性实施例的用于根据光标位置(或鼠标点)来更新当前视平面的向量的图示；
[0015]图4A是示出根 据另一实施例的具有在腔内结构中绘制的路径轨迹的第一切片的图像；
[0016]图4B是示出根据图4A的实施例的具有沿着腔内结构延伸的路径轨迹的不同深度的后续切片的图像；
[0017]图5是示出根据当前原理使用虚拟线参考位置彼此关联的多个视点或窗格的显示屏图像；
[0018]图6是示出根据例证性实施例的用于规划程序的方法的流程图；以及
[0019]图7是示出根据例证性实施例的用于操作地耦合视口的方法的流程图。
【具体实施方式】
[0020]根据本原理，提供一种具有图形用户接口的系统，其具有当前显示的视平面的深度、位置和方向的自动适应，使得用户只需要控制内部结构(例如肺的气道中)的二维跟踪。视平面可被连续地更新。一种方法使用鼠标或类似的指向设备来执行对结构的局部跟踪，使用鼠标运动来自动改变所显示的视平面的位置及其方向。鼠标点位于结构(例如气道)中心，且视平面方向与结构的方向对齐。以这种方式，用户可从目标(例如活体组织检查目标)用鼠标拖动到起始位置(例如气管)的路径，而不需要调节视平面控制参数。这个图形用户接口和基本方法创建解释起来有效和容易得多的工作流程。
[0021]三维输入图像体积(例如CT扫描)通常只以一个或多个平面切片图像的形式显示。唯一的可能性包括x、y和z轴对齐的图像(轴向的、冠状的、矢状的)、倾斜平面或弯曲重组图像。在这些二维视平面内，用户可点击通路位置以设置或编辑路径控制点。对于在二维显示中手动设置这些路径点，用户需要控制当前显示的视平面的三个位置参数和三个方向参数。特别是，用户需要穿过切片滚动(以调节当前显示的切片的深度位置)并改变方向(例如围绕头脚向身体轴的旋转)，以实现通路的最佳可见性和可跟踪性。需要大量的用户互动，且这明显延迟了用于设置控制点的工作流程。
[0022]在根据本原理的一个实施例中，图形用户接口(⑶I)包括当前显示的视平面的深度位置和方向的连续自动适应。当用户在通路内部拖动指针或鼠标时，当前显示的视平面的深度位置被自动调节，使得鼠标点保持在局部通路的中央。可选地，所显示的视平面也围绕当前鼠标点旋转，使得气道的局部方向与所显示的切片视平面最佳地对齐。
[0023]这个工作流程包括用户将鼠标点放置在目标处，并接着沿着通路拖动鼠标直到起始点(例如气管)，而根本不必调节任何其它视图控制参数。用户只控制在视平面中的通路的二维跟踪，深度和旋转被自动适应。这通过基本算法或方法来实现，基本算法或方法对于每个新鼠标位置执行鼠标点当前所位于的通路的局部跟踪。局部通路的3D中心点及其局部方向被确定。如果在当前显示的深度或方向与所估计的通路中心和方向之间存在差异，则视平面参数相应地改变，且实时地(例如现场反馈)更新显示。
[0024]在另一实施例中，图形用户接口(GUI)包括几个视口或窗格，其允许在与来自真实内窥镜检查的图像反馈类似的虚拟腔内视图中的运动。视口提供倾斜重组以对腔内视图中的每个点显示:如果虚拟针将经过显示在图像窗格中的通路壁点而前进，则哪个组织将被穿越。这用来找到通向目标(例如目标肿瘤或淋巴结)的适当的活体组织检查路径，同时避开关键的组织 和血管。
[0025]在这个实施例中，虚拟和真实的腔内视图交互地耦合到视口和耦合在视口之间。将被从当前视点(照相机点)前进的针穿透的组织与在其它视图中的真实或虚拟图像相互关联。虚拟针或其它参考由腔内视图中的当前鼠标位置指定，且提供适当的针定向的倾斜重组视图的自动计算和显示。还实现了使用在腔内视图下面的深度信息使照相机位置在腔内视图中前进而不穿透气道壁的能力。
[0026]应理解，将从医疗仪器方面描述本发明；然而，本发明的教导广泛得多并可应用于执行通路导航的任何系统和方法。在一些实施例中，本原理用于跟踪或分析复杂的生物或机械系统中。特别是，本原理可应用于生物系统的内部跟踪程序、在身体的所有区域例如肺、胃肠道、排泄器官、血管等中的程序。在附图中描绘的元件可在硬件和软件的各种组合中实现，并提供可组合在单个元件或多个元件中的功能。
[0027]可通过使用专用硬件以及能够结合适当的软件执行软件的硬件来提供附图中所示的各种元件的功能。当由处理器提供时，功能可由单个专用处理器、由单个共用处理器、或由多个个体处理器(其中一些可被共用)提供。而且，术语“处理器”或“控制器”的明确使用不应被解释为专门指能够执行软件的硬件，而是没有限制地隐含包括数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)、非易失性存储装置等。
[0028]而且，在本文详述本发明的原理、方面和实施例的所有陈述以及其特定的例子被预期包括其结构和功能的等效形式。此外，意图是这样的等效形式包括当前已知的等效形式以及在未来发展的等效形式(即，执行相同功能而不考虑结构的开发的任何元件)。因此，例如，本领域中的技术人员将认识到，在本文示出的框图代表具体体现本发明的原理的例证性系统部件和/或电路的概念图。类似地，将认识到，任何作业图、流程图等代表可实质上在计算机可读存储介质中表示并由计算机或处理器这样执行的各种过程，而不管这样的计算机或处理器是否被明确示出。
[0029]此外，本发明的实施例可采取从计算机可用或计算机可读存储介质可访问的计算机程序产品的形式，计算机程序产品提供由计算机或任何指令执行系统使用或结合计算机或任何指令执行系统来使用的程序代码。为了这个描述的目的，计算机可用或计算机可读存储介质可以是可包括、存储、传递、传播或传输由指令执行系统、装置或设备使用或结合指令执行系统、装置或设备来使用的程序的任何装置。介质可以是电子、磁、光、电磁、红外或半导体系统(或装置或设备)或传播介质。计算机可读介质的例子包括半导体或固态存储器、磁带、可移动计算机磁盘、随机存取存储器(RAM)、只读存储器(ROM)、刚性磁盘和光盘。光盘的当前例子包括光盘-只读存储器(⑶-ROM)、光盘-读/写(CE-R/W)、Blu-Ray?和 DVD0
[0030]现在参考附图，其中相似的数字表示相同或相似的元件，且最初参考图1，根据一个实施例例证性示出用于图形路径规划和设备跟踪的系统100。系统100可用于医疗工作站中的图像显示模块中，且对专用支气管镜检查套装软件(例如介入性操纵室)或对血管跟踪(例如栓塞和血小板检查)特别有用。也可设想其它应用。
[0031]系统100可包括工作站或控制台112，程序从该工作站或控制台112被监督和/或管理。工作站112优选地包括一个或多个处理器114和用于存储程序和应用的存储器116。存储器116可存储图像处理模块115，其被配置成产生虚拟仪器，以符合用于观看来自真实照相机的图像、图像体积(手术前图像)、图像切片(CT扫描)等的多个视口，并在多个视图中重现事件。图像处理模块115被配置成沿着医疗设备或仪器(或虚拟仪器或设备)102和/或其周围区域的真实或虚拟通路重构真实和虚拟图像。医疗设备102可包括导管、导线、探针、针、内窥镜、机器人、电极、过滤设备、球囊设备、或其它医疗部件等或这样的设备的虚拟模型或表示。设备102可用于最初产生特定的通路系统148的手术前图像体积111。
[0032]可提供用于收集手术前成像数据或实时手术中成像数据的成像系统110。手术前成像可在另一设施、位置等处在任何程序前面执行。这些图像111可存储在存储器116中，并可包括患者或通路系统148 (真实或虚拟)的手术前3D图像体积111。
[0033]在特别有用的实施例中，设备/虚拟设备102用来发现或观察目标。目标可包括伤口、肿瘤、损伤部位、对象或其它目标。在另一实施例中，设备102根据是不需要的。反而，虚拟设备或光标可用来使用虚拟或手术前图像(111)绘制穿过通路的过程。
[0034]图像处理模块115包括通路确定模块或工具144。通路确定模块144向用户提供用于沿着手术前图像111中的通路规划导航以为介入性程序作规划的功能。工作站112可包括用于观看受验主体的内部图像的显示器118。图像可包括手术前图像、实时照相机图像和/或实时手术中图像。如果成像系统110被使用，则成像系统110可包括例如磁共振成像(MRI)系统、荧光镜检查系统、计算机断层扫描(CT)系统、超声(US)等。显示器118还可允许用户与工作站112及其部件和功能互动。显示器118优选地配置成在图形用户接口(⑶I) 106中显示一个或多个窗格或视口 124。视口 124优选地被关联，从而它们被基于真实或虚拟触发事件而同时更新。用户与显示器118的互动进一步由接口 120促进。接口 120可包括:硬件设备，例如键盘、鼠标、操纵杆或任何其它外围或控制装置；可包括软件设备，例如虚拟控制、面板、显示窗格等；或这两种设备的组合以允许用户与工作站112互动用于指向控制108。
[0035]在一个例证性实施例中，通路确定模块144产生并控制接口 120的软件设备。接口 120的鼠标或指向器设备(108)可用来帮助规划穿过通路系统148的适当路径，例如穿过肺的气道。用户可在特定的位置上点击鼠标108以将该位置识别为在介入性程序中稍后将被穿越的路径上的点位置。点位置可在例如来自CT扫描等的二维切片图像中被识别出。规划可在作为第一鼠标点位置的目标部位处开始。鼠标点位置将被定义为在使用鼠标或类似设备由点和点击型操作指示的虚拟图像中的位置。对于在当前显示的重组切片中的每个新鼠标点位置，可使用路径规划模块144执行下面的步骤以规划在随后执行的程序期间将被穿越的路径。
[0036]参考图2， 框图/流程图描述了用于规划穿过通路系统的路径的例证性步骤。下面的步骤可由规划模块144控制或执行。在块202中，通路的局部提取(分割)在两个方向上(例如上游和下游)执行。利用已知的分割算法，例如基于中心的区域生长算法或树分割和重构算法，提取优选地在被限制长度的块中被执行，以使确保实时可计算性。
[0037]在块204中，如果局部通路分割是不成功的或显示当前鼠标位置完全在通路内部的低置信度，则在块205中不执行对当前视平面的更新。否则，在块206中，确定通路的局部中心ca。在块208中，在所估计的通路中心Ca和当前鼠标点P之间确定差向量d = ca - p，且执行投影，其中s = d.η被投影到当前显示的视平面的法向量η上。然后，视平面的中心从C。更新到cjsn。在块210中，确定通路的局部方向向量va。在块212中，平行于法向量η的Va的向量分量和当前显示的视平面的垂直向量ev相减以得到正交向量V。然后，当前显示的视平面的水平向量eh被调节，使得它与ν对齐。为了实现此，围绕经过当前鼠标点P的头尾向轴旋转视平面。
[0038]在块214中，使用新平面参数(例如向量)来更新当前显示的视平面。在块216中，沿着通过鼠标拖动创建的路径的所有3D位置被跟踪并存储以用作用于半自动路径规划的输入。路径点可受到进一步的处理算法，例如在整个过程中的定中心和平滑化。
[0039]参考图3，其是例证性示出根据图2的示例性工作流程在上面描述的向量操作的向量图。当前视平面220示出局部分割的气道224的横截面。确定并估计通路的局部中心Ca0在所估计的通路中心Ca和当前鼠标点P之间确定差向量d = Ca-P。执行投影，其中s=(1.η被投影到当前显示的视平面220的法向量η上。然后，为了更好的可视化而更新视平面的中心(例如从C0到C()+sn)。确定通路的局部方向向量va。平行于法线η的Va的向量分量和当前显示的视平面220的垂直向量ev(其沿着头尾向轴222)相减以得到正交向量v(未示出)。然后，当前显示的视平面220的水平向量eh被调节，使得它与ν对齐。为了实现此，围绕经过当前鼠标点P的头尾向轴222旋转视平面。
[0040]使用新平面参数(例如向量)来更新当前显示的视平面222。在更新之后，中心点ca在视平面上，且平面法向量η正交于方向va。沿着通过鼠标拖动而创建的路径的所有3D位置被跟踪并存储以用作用于半自动路径规划的输入。路径点可受到进一步的处理(例如定中心和平滑化)。换句话说，路径从当前视图(重组)平面220上的当前鼠标点P起被局部地分割，且在连续的更新周期中，重组平面220沿着其平面法向量η前后移动，使得所估计的路径中心Ca进入位于重组平面220中，以及围绕头尾向轴222旋转平面220，使得重组平面220的法向量η变得与所估计的局部路径方向正交。[0041]再次参考图1，路径规划模块144可帮助使用由用户提供的鼠标拖动数据来计算路径。手术前图像111 (例如在程序前获取的诊断体积CT图像)用作程序的“道路图”，并提供患者的解剖的非常详细的信息。这些图像111用来规划例如以限定沿着肺的气道的最佳路径，例如以到达期望的目标。在一个实施例中，图像111还用来提供用于在规划路径时更新显示118的切片。切片是当鼠标沿着路径被拖动时更新的二维横截面。当深度沿着路径改变时，切片被以更当前的切片更新，从而规划可继续。切片可以基于鼠标点的定中心信息而被更新，或可被用户手动更新。
[0042]参考图4A和4B，例证性描述肺306的两个连续切片308和310。根据当前的原理，肺306是使用CT来成像的。在图4A中，鼠标点在气道304内被选择并沿着路径被拖动以提供鼠标拖动302。当鼠标拖动302延长时，它开始离开切片308中的气道304的腔内部分。规划路径模块(144)重新定鼠标拖动302的中心，并将当前视图切换到图4B中的切片310，其中鼠标拖动302可继续到其目的地点。切片310是下一 CT扫描切片，其与切片308的二维图像相对应，除了切片310具有与切片308不同的深度以外。通过提供待进入的气道304的腔内空腔的额外位置，这允许鼠标拖动302沿着期望的路径被更远地延伸。此外，导航过程只需要在二维上(在切片中)，因为深度(第三维)被通过图像处理来更新。这极大地简化了规划程序。可能优选地在目标位置处开始鼠标拖动302，并朝着如输入点或口的最初起始点(例如在肺的情况下的气管等)向后行进。
[0043]参考图5，例证性图形用户接口(⑶1)400包括多个视口 402、404、406和408。⑶1400可在工作站112 (图1)中使用，工作站112可包括支气管镜检查操纵室或用于规划和引导支气管镜检查程序的其它系统。视口 402、404、406和408在例证性布置中被描绘，且可以使用更多或更少数量的视口。视口 402、404、406和408可配置有不同的方向、不同尺寸的窗格等。在本例中，标准视图(SV)(轴向)在视口 402中示出。腔内视图(EV)在视口 404中示出。一个或多个倾斜重组视图(例如RV1、RV2、RV3等)在视口 406和408中示出。视口 404包括手 术前图像体积或计算机产生的图像体积。视口 402、404、406和408优选地都被几何地耦合，如在本文所述的，由虚拟线或被示为针向量410的针的基本概念管理。应理解，GUI400可用来规划程序的导航，或可在介入性程序期间用作工具。
[0044]在例证性例子中，在腔内视图404中的鼠标运动在下面的建议下实时地更新其它视口 402、406、408:当前鼠标点412将是在气道壁404中通过其使活组织检查针前进的点。点412由在视口 404的虚拟腔内呈现中的这个点的观察方向和在虚拟腔内呈现中的这个点412的基本深度值确定。给出这个气道壁点坐标，虚拟针向量被计算为在气道壁点412和腔内视图404的当前照相机位置之间的向量。可选地，可指定另一位置而不是照相机位置。例如，支气管镜的工作通道的嘴位置(而不是照相机位置)可被指定为虚拟针的起始点。也可使用虚拟位置。
[0045]计算并显示一个倾斜重组视图RV1406，其示出由当前腔内照相机位置(在视口404中)和针向量410给出的平面。可为由当前腔内照相机位置(在视口 404中)给出并平行于针向量410但正交于视口 406中的RVl的平面计算另一重组视图RV2(未示出)。为由当前腔内照相机位置(在视口 404中)给出但垂直(成直角、正交)于针向量410的平面计算第三重组视图RV3408。
[0046]虚拟针410被显示为在重组视图RVl(和/或RV2，如果示出的话)中绘制的线。针410垂直于RV3408，且因此只被标记为在RV3408中的单个点或十字丝。虚拟针410穿透气道壁的点被指示为在标准视图402中的标记418，且标准视图402的中心坐标被重置到这个点以使视图位于中心并使虚拟针410的轨迹变得可见。
[0047]在腔内视图404内的鼠标点击可用作用于沿着虚拟腔内呈现中的腔内空腔的方向移动照相机位置的方法。照相机位移向量的长度由在虚拟腔内呈现中的这个点的基本深度值的分数(fraction)表示。(这个步长分数可以是固定的，比如50%，或用户可调节的)。这确保下一照相机位置将仍然在气道内部，而不考虑用户在腔内视图404中点击哪里。然后所有气道被更新到新照相机位置。
[0048]应理解，上面描述的例子是例证性的，可根据当前的原理来使用很多变化。例如，在本例中标准视图402可以是轴平行的；然而，标准视图402可以在轴、冠状、矢状方向上，或所有三个方向可被同时提供。腔内视图404可被计算为直接体积呈现、来自网的表面呈现或阈值体积图像。重组视图406、408可包括薄切片重组、厚片重组(例如最大强度或平均强度)、或直接体积呈现厚片。也设想其它变化。
[0049]在标准视图(402)中的鼠标点击可用来触发在鼠标点击点处腔内视图(404)的呈现。使用适当的局部气道提取算法对这个点自动估计照相机方向。所有视口被相应地更新。应理解，更新任何视口可触发其它视图的更新。可按需要为所有视图或视图的子集实现这个更新特征。例如,在重组视图406或408中的鼠标点击将标准视图402的中心点以及腔内视图404的照相机点重置到选定点，并可相应地更新所有视口。对于在腔内视图404中可见的每个气道壁点，它的位置可在重组视图406、408(例如1^1、1^2、1^3等)中被彩色编码，使得腔内视图404的 观察范围作为在重组视图(未示出)中的边界轮廓线可见。在腔内视图404中，彩色覆盖层(未示出)可用来指示特定支气管镜的活组织检查针可从照相机角度偏离的最大角度。这个特征在对齐针中是有用的，以用于规划程序。
[0050]在特别有用的实施例中，在腔内视图404中的鼠标轮运动可用来改变当通过鼠标点击使照相机位置前进或凹进时所采用的步长。在鼠标点击之后具有当前步长的下一位置被指示为在重组视图406 (和RV2，如果被使用的话)中的标记。
[0051]重组视图RV3408可不仅通过当前照相机点被计算，而且可对虚拟针410上的任何点被计算，使得用户可以例如使用鼠标轮来连续选择这样的点，因而沿着(并垂直于)虚拟针410穿过图像体积滚动。鼠标拖动(与鼠标点击相反)可在腔内视图404中用来旋转照相机观察方向或改变照相机向上方向，这取决于鼠标拖动的方向。
[0052]⑶1400包括虚拟控制和按钮420，以提供视图选择、方向、图像处理等的设置。控制422提供控制指针/鼠标选项和控制。其它虚拟控制、菜单框等也可被使用。
[0053]参考图6，示出描述用于规划程序的方法的框图。在块502中，获取或提供用于通路结构的手术前图像。这可包括在程序前面的任何时间的CT扫描、磁共振成像(MRI)扫描等。在块503中，处理手术前图像。在块504中，通路结构被分割成与光标的当前位置对应的块。块应足够小以允许实时计算。在块505中，通路结构的腔内结构的局部提取优选地在两个方向上在光标位置周围被执行。
[0054]在块506中，第一终点位于通路结构的图像体积中。图像体积优选地由沿着深度的堆叠切片组成。图像体积可包括肺、血管或网络等。第一终点可包括将被介入性程序到达的目标，例如肿瘤、伤口、损伤等。在块508,在通路结构的图像体积中选择起始点。起始点选择可包括鼠标点击以选择鼠标拖动的起始位置。在块510中,路径沿着通路结构延伸。这可包括拖动鼠标以在图像体积的图像中延伸视觉上呈现的线。同时，也可提供描述鼠标点击和拖动的其它技术和行动。
[0055]在块512中，显示与在通路结构的路径中的深度的当前位置对应的图像切片。沿着与图像切片对应的通路结构，根据深度的变化沿着路径更新图像切片。在一个例子中，选择沿着腔内结构的路径。鼠标拖动遵循腔内结构的所计算出的中心线。在块514中，对路径中的腔内结构计算中心位置，且将中心位置与路径的轨迹进行比较以确定正在观察的堆叠切片是否应被更新。当鼠标拖动继续时，鼠标拖动的深度改变以遵循腔内结构。当深度改变时，图像切片被更新。
[0056]在块516中，路径(经由例如鼠标拖动)沿着通路被导航到终点。在块518中，存储路径以用于创建程序的规划。在块520中，可使用运动相关的多视图显示工具和方法来分析并修改路径(例如见图7)。
[0057]参考图7，示出用于操作地耦合视口的方法。视口可在规划程序中被使用；然而也可使用其 它应用。在块604中，在被配置成允许用户选择穿过通路系统的路径的图形用户接口中，产生通路结构的腔内视图。腔内视图可包括手术前图像、计算机产生的图像、图像网等。在块608中，产生图像体积的一个或多个其它视图。一个或多个视图可包括标准视图和重组视图中的一个或多个。重组视图可包括平行于虚拟线的视图或垂直于虚拟线的视图中的一个。腔内和其它视图优选地同时显示在显示设备上的多个窗格中。
[0058]在块612中，产生虚拟线以提供在多个视图(包括腔内视图和一个或多个其它视图)中的空间参考。虚拟线被配置成引导腔内视图，并用来提供参考，以同时允许对应于虚拟线的用户选择的位置更新而在所有视图中进行更新。围绕视图中的虚拟线的图像信息在用户接口中是同时看得见的。在块616中，通过使指向控制设备前进或后退，而在腔内视图或其它视图中使虚拟线前进或缩回。所有选定视图相应地被更新。在块620中，在一个实施例中，腔内视图用来确定在腔内结构的壁中的针插入点，且至少一个其它视图用来确定穿过壁在腔内视图中不可见的结构。虚拟线可用来对活组织检查针或其它仪器进行建模。可根据当前的原理提供其它视图和相关视口的使用。在块622中，优选地在所有选定视图中指示虚拟线。
[0059]在块624中，可使用指向控制设备来改变至少一个视图的照相机角度。指向控制设备可包括鼠标或等效设备。照相机控制可由鼠标轮等提供。
[0060]在解释所附权利要求中，应理解:
[0061]a)词“包括”并不排除除了在给定权利要求中列出的那些元件或动作以外的其它元件或动作的存在；
[0062]b)在元件之前的词“一(a) ”或“一(an) ”并不排除多个这样的元件的存在；
[0063]c)在权利要求中的任何参考符号并不限制它们的范围；
[0064]d)几个“装置”可由相同的项或硬件或软件实现的结构或功能表示；以及
[0065]e)除非明确指示，否则并不意图要求动作的特定序列。
[0066]在描述了用于半自动路径规划的自动路径滚动和方向调节的优选实施例(其意图是例证性的而不是限制性的)后，应注意的是，本领域中的技术人员可根据上述教导而做出修改和变化。因此应理解，可在所公开的本公开的特定实施例中做出在如所附权利要求所概述的在本文公开的实施例的范围内的变化。在这样描述了专利法所要求的细节和特征后，在所附权利要 求中阐述被专利证书保护的所主张和期望的内容。
【权利要求】
1.一种规划系统,包括: 处理器(114)； 存储器(I 16)， 其耦合到所述处理器并存储规划模块(144)，以及用户接口(120)，其耦合到所述处理器并被配置成允许用户选择穿过通路系统(148)的路径； 所述规划模块被配置成上传与使用所述用户接口引导的用户控制的光标点(108)对应的图像体积(111)的一个或多个切片，使得当所述路径被导航时，所述一个或多个切片根据所述路径中的光标点的深度而被更新。
2.如权利要求1所述的系统，其中所述规划模块(144)被配置成产生轨迹线以指示所述路径。
3.如权利要求1所述的系统，其中所述通路系统(148)包括肺，且所述路径在进入点和所述肺内的目标之间被确定。
4.如权利要求1所述的系统，其中所述用户控制的光标点(108)位于腔内结构的深度维度内的中心，且所述规划模块(144)以图像切片检查深度从而确定所述图像切片是否应被更新。
5.如权利要求1所述的系统，还包括图像处理模块(115)，其被配置成围绕光标位置在两个方向上执行通路的腔内结构的局部提取。
6.如权利要求1所述的系统，其中所述存储器(116)存储沿着由所述光标点的拖动所产生的路径的所有三维位置，以用作用于路径规划的输入。
7.如权利要求1所述的系统，其中所述图像体积(111)包括手术前收集的图像。
8.一种具有操作地耦合的视口的系统，包括: 处理器(114)； 存储器(116)，其耦合到所述处理器并存储图像处理模块(115)； 图形用户接口(106)，其耦合到所述处理器并被配置成允许用户选择穿过通路系统(148)的路径； 所述图像处理模块(115)被配置成呈现: 通路的腔内视图(404)； 图像体积(111)的一个或多个其它视图(402、406、408);以及虚拟线(410)，用于提供在包括所述腔内视图和一个或多个其它视图的所有选定视图中的空间参考； 用户控制的光标点(412)，其被配置成引导所述腔内视图，其中所述光标点用来允许对应于所述光标点中的选择更新而在所述所有选定视图中进行更新，使得在其它视图中的所述光标点周围的图像信息在所述用户接口中是同时看得见的。
9.如权利要求8所述的系统，其中一个或多个视图(402、406、408)包括标准视图和重组视图两者中的一个或多个。
10.如权利要求8所述的系统，其中重组视图包括平行于所述虚拟线的视图或垂直于所述虚拟线的视图两者中的一个。
11.如权利要求8所述的系统，其中所述虚拟线(410)通过指向控制设备的前进或后退而在所述腔内视图中前进或缩回。
12.如权利要求8所述的系统，其中所述腔内视图(404)用来确定在腔内结构的壁中的针插入点，且至少一个其它视图用来确定穿过壁在所述腔内视图中不可见的结构。
13.如权利要求8所述的系统，其中所述虚拟线(410)在所有选定视图中被指示出。
14.如权利要求8所述的系统，还包括被配置成改变用于至少一个所述视图的照相机角度的指向控制设备(108)。
15.如权利要求8所述的系统，其中所述图形用户接口(106)包括显示器(118)，使得对应于多个视图(124)的多个窗格被同时显不。
16.—种用于规划程序的方法,包括: 在通路结构的图像体积中定位(506)终点，所述图像体积由沿着深度的堆叠切片组成； 在所述通路结构的所述图像体积中选择(508)起始点； 沿着所述通路结构延伸(510)路径； 根据与所述通路结构的图像切片对应的所述通路结构的深度来沿着所述路径更新(512)所述图像切片； 沿着通路导航(516)到所述终点；以及 存储(518)所述路径以用于创建对程序的规划。
17.如权利要求16所述的方法，还包括将所述通路结构分割(504)成与光标的当前位置对应的块。
18.如权利要求16所述的方法，其中所述通路结构包括肺的气道，且所述路径在作为所述起始点的目标和作为所述终点的气管之间确定。
19.如权利要求16所述的方法，还包括计算(514)在所述路径中的腔内结构的中心位置，以及对所述中心位置与所述路径的轨迹进行比较以确定正在观察的堆叠切片是否应被更新。
20.如权利要求16所述的方法，还包括围绕光标位置在两个方向上执行(505)所述通路结构的腔内结构的局部提取。
21.如权利要求16所述的方法，其中所述图像体积包括手术前收集的图像(111)。
22.一种用于操作地耦合视口的方法，包括: 在被配置成允许用户选择穿过通路系统的路径的图形用户接口中产生(604)通路结构的腔内视图； 产生(608)图像体积的一个或多个其它视图；以及 产生(612)虚拟线以提供在包括所述腔内视图和所述一个或多个其它视图的多个视图中的空间参考，使得所述虚拟线被配置成引导所述腔内视图，并被用来提供参考，以允许对应于所述虚拟线的用户选择的位置更新而在其它视图中进行更新，使得在所述其它视图中的所述虚拟线周围的图像信息在所述用户接口中是同时看得见的。
23.如权利要求22所述的方法，其中一个或多个视图包括标准视图和重组视图中两者的一个或多个。
24.如权利要求22所述的方法，其中重组视图包括平行于所述虚拟线的视图或垂直于所述虚拟线的视图两者中的一个。
25.如权利要求22所述的方法，其中所述虚拟线通过指向控制设备的前进或后退而在所述腔内视图中前进或缩回。
26.如权利要求22所述的方法，其中所述腔内视图用来(618)确定在所述腔内结构的壁中的针插入点，且至少一个其它视图用来确定穿过壁在所述腔内视图中不可见的结构。
27.如权利要求22所述的方法，其中所述虚拟线在所有选定视图中被指示出(622)。
28.如权利要求22所述的方法，还包括使用指向控制设备改变(624)用于至少一个所述视图的照相机角度。
29.如权利要求22所述的方法，其中所述腔内视图和其它视图在多个窗格中同时被显示。
【文档编号】G06T19/00GK103957834SQ201280059479
【公开日】2014年7月30日 申请日期:2012年11月28日 优先权日:2011年12月3日
【发明者】R·维姆科, K·卢, S·徐, T·克林德, M·贝格特尔特 申请人:皇家飞利浦有限公司