专利名称：虚拟内窥镜检查的自动导航的制作方法
本申请要求保护题为“虚拟内窥镜检查自动导航”的申请的优先权，该申请是于2001年12月20日向美国专利和商标局提交的，授予序号为No.60/343,012，现将其内容引入作为参考。
背景技术：
1.发明领域本发明总的涉及计算机视觉和成像系统，更具体而言，涉及用于虚拟内窥镜检查中观察点的自动导航的系统和方法。
2.相关领域描述虚拟内窥镜检查(VE)指的是一种诊断方法，该方法基于病人特定的三维(3D)自动数据组对标准的，最小创伤性内窥镜检查过程加以模拟。现行的内窥镜检查的例子包括支气管镜检查，窦房结镜检查，上部胃肠道镜检查，结肠镜检查，膀胱镜检查，心脏镜检查以及尿道镜检查。用以获得病人特定解剖结构的非创伤性的VE显像，避免了与真实内窥镜检查相关的风险(例如穿孔，感染，出血等)，为内窥镜检查医生在进行真实的内窥镜检查之前提供了重要的信息。
这种认识可以将检查过程的困难减少到最小程度，降低病人的发病率，增强训练和有助于对治愈结果的更好理解。
在虚拟内窥镜检查中，3D图像是通过体积重建，例如，从二维(2D)计算机断层(CT)或磁共振成像(MR)数据产生的。这些3D图像的产生用以模拟来自真实的内窥镜，例如光纤内窥镜的图像。这意味着该虚拟内窥镜的观察点必须在器官或其它人体结构的腔内加以选择，并且必须用宽的视角，典型地为100度，利用透视重建对该器官加以重建。这一观察点必须沿该腔的内部移动，即是说必须采用3D的平移和3D转动。而交互控制这些参数却是一种挑战。
用于对虚拟内窥镜检查的一种常用技术是预先计算“飞行”路径并自动地将虚拟内窥镜沿该路径移动。但是，这种技术要求区段和轨道计算程序，而这一点却是耗时并且可能失败。
发明内容
提供一种用于虚拟内窥镜检查中对内窥镜观察点自动导航的系统和方法。本发明的这种系统和方法自动确定虚拟内窥镜的方向和方位。因此，使用者需要控制的只是一个参数朝前或朝后的速度。本发明允许在一个器官内的即刻交互式导航而无需预处理，如区段和路径发生。
根据本发明的一个方面，提供一种用于在结构的腔内为虚拟内窥镜的观察点导航的方法。该方法包括步骤(a)确定虚拟内窥镜的初始观察点，该初始观察点具有第一中心点和第一方向；(b)确定从该初始观察点至该腔的一条最长的径线，该最长的径线具有第一最长径线方向；(c)确定该初始观察点的第一方向和第一最长径线方向之间的第二方向；(d)将该观察点转到第二方向并将该初始观察点在该初始观察点的第一方向上移动一个第一预定距离；(e)计算该观察点的第二中心点；和(f)将该观察点移至该第二中心点。该方法进一步包括将步骤(b)至(f)加以重复直至该观察点达到意想目标。
该方法进一步包括将该结构的三维(3D)图像加以重建的步骤，其中重建步骤包括对结构进行扫描以采集多幅二维(2D)图像和从该多幅2D图像重建3D图像。
在本发明的另一个方面中，该观察点的第二方向是用初始观察点的第一方向和第一最长径线方向的加权之和加以确定的。
本发明还有一个方面，计算第二中心点包括在与该观察点的第二方向垂直的一个平面上投射多根径线；确定腔内该多根径线的每一根的交叉点；决定该交叉点的平均值以作为第二中心点。作为选择，计算第二中心点包括确定同第一中心点交叉的多个平面，每个平面具有不同的取向；在该多个平面上投射多根径线；决定多根径线中的每一根径线同该腔的交点；以及决定这些交点的平均值以此作为第二中心点。
根据本发明的另一个方面，机器可读的程序存储设备，真实驻留可由该机器执行的指令程序以实现在一个结构腔内为虚拟内窥镜的观察点导航的方法步骤，它包括其方法步骤(a)确定该虚拟内窥镜的一个初始观察点，该初始观察点具有一个第一中心点和第一方向；(b)确定从该初始观察点至该腔的最长的径线，该最长的径线具有第一最长径线方向；(c)确定该初始观察点的该第一方向和该第一最长径线方向之间的第二方向；(d)将该观察点转至该第二方向并在初始观察点的第一方向上将该初始观察点移动一个第一预定距离；(e)计算该观察点的一个第二中心点；(f)将该观察点移至该第二中心点；和重复步骤(b)至(f)直至该观察点达到意想目标。
本发明还有一个方面，用于虚拟内窥镜检查的一种系统包括图像重建器，用于从多幅二维(2D)图像重建一种结构的三维(3D)图像；处理器，用于在该结构的3D图像内为虚拟内窥镜的观察点导航；以及显示设备，用于显示该观察点。该处理器确定该虚拟内窥镜的一个初始观察点，该初始观察点具有第一中心点；确定从该初始观察点至该腔的一最长径线，该最长径线具有第一最长径线方向；确定该初始观察点的第一方向和第一最长径线方向之间的一个第二方向；将该观察点转至第二方向并将该初始观察点在该初始观察点的第一方向上移动一个第一预定的距离；计算该观察点的第二中心点，和将该观察点移至该第二中心点。
该系统进一步包括扫描仪设备，用于对该结构的多幅二维(2D)图像扫描，以及光标控制设备，用于确定该观察点的移动速度。
参照附图，结合如下详细描述，本发明的上述和其它情况，特点以及其优点将变得更为清晰，其中图1是根据本发明用于虚拟内窥镜检查中的自动导航的一种示例性系统的方框图；图2是一种流程图，用以显示根据本发明的虚拟内窥镜检查中自动导航的方法；图3(a)至3(e)是进入一个器官或一种结构空腔的虚拟内窥镜的几种视图，显示根据本发明的一种实施方案在虚拟内窥镜检查中的自动导航方法。
图4是根据本发明用以显示图2中的方法的中心定位技术。
优选实施方案详细描述以下将参照附图对本发明的优选实施方案加以描述。在以下的描述中，对那些熟知的功能和结构都不再详细叙述避免由于不必要的细节而模糊本发明。
提供用于虚拟内窥镜检查中观察点自动导航的系统和方法。本发明将径线投射技术(raycasting technique)用于人体的结构或内部器官，例如结肠的重建后透视图像。在径线投射中，对所显示的图像的每一像素，将一径线投射并计算它与器官壁的交点。在本发明的这种方法中，最长的径线被加以储存，并计算它与该器官壁的交点用于该虚拟内窥镜的取向。选择该虚拟内窥镜的位置以观察该最长径线的方向。在这种方式中，该虚拟内窥镜总是观察在观察点内最远一点的方向。然后将该内窥镜沿这个方向推进与选定的使用者速度相对应的量。
但是，这也许意味着在弯曲和折叠的情况下该虚拟内窥镜的观察点会总是向接近于器官壁的位置移动。因此，在与该观察点正交的方向选择另外的径线以将该观察点重新定心。将所有这些侧向径线同该器官壁的交点相加并将其结果投影到该虚拟内窥镜的该正交平面上以产生该虚拟内窥镜的一个新的观察点。
此外，为了避免摆动，利用权重因子对新计算的取向用以前的取向加以捏合，该权重因子同该虚拟内窥镜的观察点的速度(δ位移)有关。假如速度高，则新的定向具有较高的权重；假如该速度低，则前面的定向具有较高的权重。
显然，本发明可以用不同形式的硬件，软件，固件，专用处理器，或它们之组合加以实现。在一种实施方案中，本发明可以用软件实现，这种软件作为一种应用程序真实地驻留在程序储存设备上。该应用程序可以装入到包含有诸如图1中所示的任何合适结构的机器上并被它执行。
该机器100最好是在计算机平台上实现，该计算机平台具有的硬件有诸如1个或多个中央处理器(CPU)102，随机存取存储器(RAM)104，只读式存储器(ROM)106和诸如键盘108的输入/输出(I/O接口)，光标控制设备(例如，鼠标或操纵杆)110和显示设备112。该计算机平台还包括操作系统和微指令码。此处所描述的各种处理和功能既可以是该微指令码的一部分，也可是该应用程序(或两者之组合)的一部分，它们都是经由该操作系统加以执行的。此外，多种其它的外周设备可以连接到该计算机平台上，这些外围设备有诸如附加的数据存储设备114和打印设备。而且，扫描仪设备116，例如X射线机或MRI(磁共振成像)机器，可以连接到该机器100用于收集二维(2D)图像数据，这些数据经处理和重建以三维(3D)图像数据形式出现在显示设备112上。
当然，因为在附图中所揭示的某些系统结构组件和方法步骤可以在硬件中实现，所以系统部件(或处理步骤)之间的实际连接可以不同，取决于本发明的编程方式。在了解此处所提供的对本发明的教授之后，相关领域内的普通技术人员将能够领悟本发明的这些和类似的参照图2和图3，根据本发明的一种实施方案将对一种虚拟内窥镜内的观察点的自动导航加以描述，其中图2是流程图，用以显示该方法，图3展示虚拟内窥镜导航一器官，例如结肠，的几种视图。显然，在操作中使用者将看见显示设备112上该虚拟内窥镜的观察点，就如同实际的内窥镜检查正在进行一样。在图3所示的这种视图其目的是用于阐述导航一观察点的实施方案，因而将不加以显示。
此外，虽然用结肠来描述本发明的系统和方法，但显然可以将本发明的该系统和方法用于任何人体或动物体内的器官或结构，只要它们具有诸如血管，气道等的空腔。
在进行该导航方法之前，待测试对象需经扫描设备116进行扫描处理，诸如螺旋CT扫描仪或磁共振成像扫描仪(MRI)。在各种扫描完成并采集了一串二维(2D)图像之后，借助于常规的重建方式(步骤202)，诸如径线投射，溅射显示(splatting)，变形反卷，基于硬件的三维纹理映射途径等将所要观看的该器官的3D图像再现在显示设备112上。
图3(a)显示虚拟内窥镜镜302，它处于进入重建图像的一虚拟腔304的一初始位置，在观察观察点V的方向。在将该图像重建之后(步骤204)得到最长的径线方向R。如果将径线投射作为图像重建方法，则该最长的径线R被自动加以计算。否则，在该图像用上述任何已知图像重建技术重建之后可以计算最长的径线。在最长的径线R被计算出之后，要求使用者，例如外科医生或放射科医生，例如通过移动鼠标或利用操纵杆将该虚拟内窥镜的观察点移动一距离d(步骤206)。
参照图3(b)，将一新的取向观察点V’作为该初始方向V和最长径线方向R的一种加权之和加以计算(步骤208和210)，具体如下w＝min(abs(d/f)，1.0) (1)
此处f为定标因子，而v′＝wR+(1-w)v (2)权重因子w的选择是这样，在低速(低移位d)时其初始方向V占优势(方向上低变化)，而在较高速度时，该最长径线方向R占优势(方向上快速变化)。实行该加权步骤以降低振荡和摆动运动，此点将在下面加以描述。定标因子f用于调整该虚拟内窥镜的速度，高值f使虚拟内窥镜变慢，而低值f使虚拟内窥镜变快。
参照图3(c)，该内窥镜118被加以转动以观察该新的观察方向V’(步骤212)，然后沿该初始观察方向V移动距离d(步骤214)。而后，对虚拟内窥镜302计算新的中心点S，如图3(d)所示。
为使内窥镜处于中心(步骤216)，在与该虚拟内窥镜302的观察点成正交的平面内投射侧向径线，例如，在全方位使用8条不同长度的侧向径线，每40度角投射一根，以形成如图4所示的圆形模式402。计算这些径线同结构壁的交点并将它投影到该垂直面上。将这些点的平均值作为中心点S加以计算。
作为选择，该中心点S可以利用8根径线朝前指向的另一种圆形模式(404)和8根径线朝后指向的另一种圆形模式(406)加以计算。径线越多提供的稳定性和准确性越大。还有一种实施方案，采用5圆形模式，每个为8根径线，具体做法如下正交平面上的径线，朝前倾斜20度的径线，朝后倾斜20度的径线，朝前倾斜45度的径线和朝后倾斜45度的径线。将从虚拟内窥镜位置至和结构表面的交点的所有矢量相加，然后将相加后的矢量投影到该正交平面上。该点即中心的近似点并将用作新的观察点。
当虚拟内窥镜302从一个观察点向另一观察点侧向运动时(由于中心定位步骤)，需要了解摆动的发生。如果该虚拟内窥镜推进缓慢，则在中心定位步骤中最长径线方向上的变化势将产生改变，从而导致侧向运动。当围绕一个弯曲，例如腔内折叠而转动时，这种效应特别明显。在此种情况下，对权重因子加以修正将减小该定位的变化和中心定位步骤的变化，从而减小侧向运动。
该虚拟内窥镜302现在将位移至中心位置S，将它的定向保持朝前向观察点V’(步骤218)，如图3(e)所示。该方法将被加以重复直至该虚拟内窥镜302达到它的意想目标(步骤220)，例如肿瘤，结节等。
同以往的通过内部结构“飞行”的方法相反，本发明的该方法不要求在开始导航之前计算飞行路程，因而显著地节省了时间。
尽管参照某些优选实施方案对本发明作了展示和说明，但本领域内的技术人员将理解可以在形式上和细节上做出各种改变，只要不偏离所附的权利要求中所规定的本发明的构思和范围。
权利要求
1.一种用于在结构的腔内对虚拟内窥镜的观察点导航的方法，该方法包括步骤(a)确定该虚拟内窥镜的初始观察点，该初始观察点具有第一中心点和第一方向；(b)确定从该初始观察点至该腔的一条最长径线，该最长径线具有第一最长径线方向；(c)确定该初始观察点的第一方向和该第一最长径线方向之间的第二方向；(d)将该观察点转至第二方向，并在该初始方向的第一方向上将该初始观察点移动第一预定距离；(e)计算该观察点的第二中心点；(f)将该观察点移至第二中心点。
2.如权利要求1的方法，进一步包括将步骤(b)至(f)加以重复直至该观察点达到意想的目标。
3.如权利要求1的方法，进一步包括将该结构的三维(3D)图像加以重建的步骤。
4.如权利要求3的方法，其中该重建步骤进一步包括对该结构的扫描以采集多幅二维(2D)图像和从多幅2D图像重建3D图像。
5.如权利要求3中的方法，其中确定最长径线的步骤和重建步骤是由径线投射图像重建技术完成的。
6.如权利要求1的方法，其中该观察点的第二方向被确定为该初始观察点的第一方向和第一最长径线方向的加权和决定的。
7.如权利要求6的方法，其中该加权和的计算如下V′＝wR+(1-w)V式中V是该初始观察点的方向，R是第一最长径线方向，w是权重因子。
8.如权利要求7中的方法，其中权重因子w的计算如下w＝min(abs(d/f)，1.0)式中d为第一预定距离，f为定标因子。
9.如权利要求1的方法，其中计算第二中心点包括步骤在与该观察点的第二方向相垂直的平面上投射多根径线；对多根径线决定每一根与腔的交点；决定这些交点的平均值将它作为第二中心点。
10.如权利要求1的方法，其中计算第二中心点包括步骤决定同第一中心点相交的多个平面，每个平面具有不同的取向；在该多个平面中的每一平面上投射多根径线；决定该多根径线的每一根与腔的交点；和决定这些交点的平均值将它作为第二中心点。
11.机器可读的程序存储设备，真实储存由该机器可执行的指令程序用以完成在结构腔内为虚拟内窥镜的观察点导航的方法步骤，该方法步骤包括(a)确定该虚拟内窥镜的一个初始观察点，该初始观察点具有第一中心点和第一方向；(b)确定从该初始观察点至腔的最长径线，该最长径线具有第一最长径线方向；(c)确定该初始观察点的第一方向同第一最长径线方向之间的第二方向；(d)将该观察点转至第二方向并在该初始观察点的第一方向上将该初始观察点移动第一预定距离。(e)计算该观察点的第二中心点；以及(f)将该观察点移至第二中心点。
12.如权利要求11中的程序存储设备，进一步包括将步骤(b)至(f)加以重复直至该观察点达到意想目标为止的步骤。
13.如权利要求11的程序存储设备，进一步包括重建结构的三维(3D)图像的步骤。
14.如权利要求13的程序存储设备，其中该重建步骤进一步包括将该结构扫描以采集多幅二维(2D)图像和从这些2D图像重建3D图像。
15.如权利要求13的程序存储设备，其中确定最长径线步骤和重建步骤是由径线投射图像重建技术完成的。
16.如权利要求11的程序存储设备，其中该观察点的第二方向被确定为该初始观察点的第一方向和第一最长径线方向的加权和。
17.如权利要求16的程序存储设备，其中加权和的计算为V′＝wV+(1-w)R此处V是初始观察点的方向，R是第一最长径线方向，w是权重因子。
18.如权利要求17的程序存储设备，其中该权重因子的计算为w＝min(abs(d/f)，1.0)此处d是第一预定距离，f是定标因子。
19.如权利要求11的程序存储设备，其中计算第二中心点包括步骤确定与第一中心点相交的多幅平面，每个平面具有不同的定向；在多个平面的每一平面上投射多根径线；确定多根径线的每一根径线同腔的相交点；和决定这些交点的平均值将它作为第二中心点。
20.用于虚拟内窥镜检查的系统包括图像重建器，用于从多幅二维(2D)图像重建结构的三维(3D)图像；处理器，用于在该结构的3D图像内对虚拟内窥镜的观察点导航；和显示设备，用于显示其观察点。
21.如权利要求20的系统，其中处理器确定该虚拟内窥镜的一个初始观察点，该初始观察点具有第一中心点和第一方向；确定从该初始观察点至腔的最长径线，该最长径线具有第一最长径线方向；确定该初始观察点的第一方向同第一最长径线方向之间的第二方向；将该观察点转至第二方向并在该初始观察点的第一方向内将该初始观察点移动第一预定距离；计算该初始观察点的第二中心点，以及将该初始观察点移至第二中心点。
22.如权利要求20的系统，进一步包括扫描仪设备，用于对结构的多幅二维(2D)图像扫描。
23.如权利要求21中的系统，进一步包括光标控制设备，用于确定观察点的移动速度。
全文摘要
提供一种用在结构腔内对虚拟内窥镜观察点导般的方法。该方法包括步骤(a)确定该虚拟内窥镜的一初始观察点，该初始观察点具有第一中心点和第一方向；(b)确定从该初始观察点至该腔的最长径线，该最长径线具有第一最长径线方向(步骤204)；(c)确定该初始观察点的第一方向同第一最长径线方向之间的第二方向(步骤210)；(d)将该观察点转至第二方向(步骤212)并在该初始观察点的第一方向上将初始观察点移动第一预定距离(步骤214)；(e)计算该观察点的第二中心点(步骤216)；(f)将该观察点移至第二中心点(步骤218)；和重复步骤(b)至(f)直到该观察点达到意想目标。
文档编号G06T15/00GK1606759SQ02825809
公开日2005年4月13日 申请日期2002年12月19日 优先权日2001年12月20日
发明者B·盖格 申请人:西门子共同研究公司