专利名称：用于ct体积图像组中的对象一致性的图形用户界面的制作方法
技术领域：
本发明一般涉及一种用于识别计算机断层扫描(CT)体积数据组之间的对象一致性的图形用户界面，以及涉及一种特别用于识别CT体积数据组之间的肺结节一致性的图形用户界面。
背景技术：
肺计算机断层扫描(CT)技术已被医生广泛用于肺癌的检查和诊断中。医生可以从肺CT图像中寻找结节并基于包括形状、大小等等的结节的统计信息来判断其恶性。一条非常重要的信息是结节随时间的状态变化、例如形状、大小和密度的变化。最重要的定量测量值之一是肺结节在一段时间内的增长率。因此，对在不同时间帧所捕捉的两个或更多肺CT图像中同一结节的一致性进行识别是至关重要的。
迄今为止，都是手动地完成该任务，由于数据量极大，因此该任务单调乏味、进展缓慢且易于出错。因为CT数据是3D数据，即使该任务是完全可完成的，对医生来说也变得非常困难。在当前的临床实践中，需要医生依次浏览3D图像数据的2D切片并设法找到两组图像中结节的一致性。一组数据的切片数是好几百，并且一个切片包含250000个像素。此外，在CT研究中，病人的成像条件可能是各式各样的，并且在两次这样的研究之间身体可能发生变形。在很多情况下，很难辨别结节在一段时间之后是否已消失或仍然存在，因为医生不能识别图像之间的一致性。
在医学图像分析系统、例如用于分析肺CT图像的系统中，经常需要快速地从大的3D图像数据中记录局部的感兴趣体积(VOI)。例如在肺癌的检查和诊断中，非常重要的信息是新结节的出现、以前出现的结节的消失以及肺结节的增长率。因此，对在不同时间帧所捕捉的两个或更多肺CT图像中同一结节的一致性进行识别是至关重要的。在大多数情况下，结节的特性及其周围组织在局部上是有差别的，因此对于结节的一致性识别来说，记录局部的VOI就够了。
所需要的是为两组或更多组图像提供进行便利地检查的图形用户界面(GUI)，其允许用户在一组图像上立即识别出感兴趣的对象，并因此依靠自动系统在剩余的图像组上自动地识别出相对应的感兴趣区域，这避免了记录整个体积，但快速并且精确地记录了两个局部的VOI。GUI还应提供一组不同的功能、例如同步滚动两组数据中的切片，以使检查和比较变得简单。
发明概述公开一种图像用户界面(GUI)，其包括多个主显示区，每个主显示区用于显示一组图像；用户交互系统，用于从用户接收一组图像中感兴趣对象的第一位置；以及相关系统，用于找到并显示至少另一组图像中相对应的第二感兴趣体积的第二位置，其对应于所述第一位置。
在GUI的另一个方案中，第一感兴趣体积被限定在所述感兴趣对象的第一位置周围。
在GUI的另一个方案中，所述第一和第二感兴趣体积被提供作为阴影表面显示。
在GUI的另一个方案中，图像组被提供作为阴影表面显示。
GUI的另一个方案还包括允许用户用自由视点来检查所述感兴趣体积的显示区。
GUI的另一个方案还包括一个或更多用于显示至少一组图像的图像特性的数据窗口。
GUI的另一个方案还包括用于同步地滚动两组或更多组图像的锁定滚动系统。
GUI的另一个方案还包括用于并排显示两个或更多横滚投影旋转窗口的横滚投影系统。
GUI的另一个方案还包括第一特性显示区，用于显示所述感兴趣对象的物理特性；第二特性显示区，用于显示位于所述第二感兴趣体积内的第二感兴趣对象的物理特性；以及其中可以并排显示所述第一和第二特性显示区。
公开一种程序存储设备，其可由机器读取，真实地包含可由所述机器执行的指令程序，所述指令程序用于实现对象一致性系统的图形用户界面的方法步骤，所述方法步骤包括提供多个主显示区，每个主显示区用于显示一组图像；从用户接收一组图像中感兴趣对象的第一位置；以及从相关系统接收第二感兴趣体积的第二位置，所述第二位置对应于所述第一位置。
在存储设备的另一个方案中，第一感兴趣体积被限定在所述感兴趣对象的第一位置周围。
在存储设备的另一个方案中，所述第一和第二感兴趣体积被提供作为阴影表面显示。
在存储设备的另一个方案中，图像组被提供作为阴影表面显示。
存储设备的另一个方案还包括允许用户用3D的自由视点同步地检查所述感兴趣体积的功能。
存储设备的另一个方案还包括一个或更多用于显示至少一组图像的感兴趣体积的图像特性的数据窗口。
存储设备的另一个方案还包括用于同步地滚动两组或更多组图像的机器可读代码。
存储设备的另一个方案还包括用于并排显示两个或更多横滚投影旋转窗口的机器可读代码。
存储设备的另一个方案还包括机器可读代码，其用于为显示所述感兴趣对象的物理特性提供第一特性显示区；为显示位于所述第二感兴趣体积内的第二感兴趣对象的物理特性提供第二特性显示区；以及并排显示所述第一和第二特性显示区。
公开一种用于对象一致性识别系统的与用户进行图形接口的方法，包括以下步骤提供多个主显示区，每个主显示区用于显示一组图像；从用户接收一组图像中感兴趣对象的第一位置；以及从相关系统接收第二感兴趣体积的第二位置，所述第二位置对应于所述第一位置。
在本发明方法的另一个方案中，第一感兴趣体积被限定在所述感兴趣对象的第一位置周围。
在本发明方法的另一个方案中，所述第一和第二感兴趣体积被提供作为阴影表面显示。
在本发明方法的另一个方案中，所述感兴趣体积被提供作为阴影表面显示。
本发明方法的另一个方案还包括提供允许用户用3D的自由视点同步地检查所述感兴趣体积的功能。
本发明方法的另一个方案还包括一个或更多用于显示至少一组图像的图像特性的数据窗口。
本发明方法的另一个方案还包括提供用于同步地滚动两组或更多组图像的锁定滚动系统。
本发明方法的另一个方案还包括提供用于并排显示两个或更多横滚投影旋转窗口的横滚投影系统。
本发明方法的另一个方案包括为显示所述感兴趣对象的物理特性提供第一特性显示区；为显示位于所述第二感兴趣体积之内的第二感兴趣对象的物理特性提供第二特性显示区；以及并排显示所述第一和第二特性显示区。
附图简述
图1示出了本发明的图形用户界面的一个实施方案。
图2示出了示例性的检测到的一致性的SSD。
图3示出了本发明的一个实施方案的流程图。
优选实施方案详述在本发明中，两组图像之间的对象一致性的识别是自动的，这使操作更精确并且更客观。所提供的图形用户界面(GUI)可以同时显示两组或更多组体积图像数据。医生可以利用本发明在一组图像上单击一对象，系统在该单击点周围限定感兴趣体积，然后自动地在其他图像组中识别出相对应的感兴趣体积。因为在两个富有组织结构的感兴趣体积之间进行识别，所以用户能容易地识别这些体积中对象的一致性，或者确信地判定相对应的感兴趣体积中的对象经过两次计算机断层扫描(CT)之间的时间已消失。其次，一致性识别是实时的，也就是说，在单击结节时立即完成了感兴趣体积的一致性识别。
本发明对于例如跟踪肺结节的医学成像特别有用。在GUI中可以并排显示对病人肺的两次扫描，当用户单击一组图像上的结节时，系统则自动地在剩余的图像组中识别出相对应的位置。于是，医生可以立即看出该结节是否正在发生变化、正在移动或已经完全消失。优选地，还并排显示感兴趣的结节及其特性测量值。
参见图1，公开了一种新的GUI。该新颖的GUI是基于两个以前提交的共同转让的US专利申请中的GUI设计，这两个专利申请是由Novak等在2001年4月23日提交的序列号为USSN 09/840,267的Interactive Computer-Aided Diagnosis Method and System forAssisting Diagnosis of Lung Nodules in Digital VolumetricMedical Image sets，以及Novak等在2000年6月29日提交的序列号为USSN 09/606,564的Computer-Aided Diagnosis Method forAiding Diagnosis of Three Dimensional Digital Image Data，在此结合这两个专利申请的全部公开内容作为参考。在这些专利中公开的GUI允许CT肺图像组的显示、滚动、旋转以及表面阴影显示(SSD)透视图。通过并排放置两个这样的GUI并且增加新功能构成了本发明新颖的GUI。
用医学成像作为例子，在主显示窗口15中显示同一病人的两组或更多组图像20以进行比较，每个图像组表示在不同时间的病人的肺。图像组优选地为三维的，这意味着用户可以利用交互式工具、例如通过按鼠标的中键并且移动鼠标或其他已知的GUI交互式工具来浏览每组图像的切片。用户还可以在任一组图像上选择感兴趣对象30，并且执行旋转50或者完成以感兴趣对象为中心的感兴趣体积(VOI)40上的表面透视图60。在上述交互式计算机辅助诊断(ICAD)专利中提供了这些功能，但现在使其可同时用于多组图像，而不是只用于一组图像。在一个优选的实施方案中，当用户选择了旋转功能时弹出旋转窗口50，并且可以通过用户输入来清除该旋转窗口。
优选地，本发明的GUI将提供附加的功能、例如允许用户选择锁定滚动模式。在该模式下，当用户浏览一组图像的切片时，在其他显示窗口中显示其他图像组的相对应切片。换句话说，本发明提供一种用于同步地滚动图像组中的切片的系统。本发明还将优选地包括一系统，以允许并排地同时显示两个或更多横滚投影旋转窗口50，每组图像中有一个这样的窗口，因此用户可以调整两个感兴趣体积(VOI)的相对应的投影角。这帮助用户在视觉上比较两个VOI中的组织。附加地，可以在屏幕上提供不同的显示区70，以显示有用的参数和测量值、例如感兴趣对象的当前位置、对象的大小、增长率。这里，并排地示出了允许用户比较两个感兴趣对象的物理特性的特性显示区70。可提供用于控制切片深度、具有自由视点的VOI透视图以及其他显示特征的各种控制器80。“自由视点”意味着3D图像可以被自由地旋转，这允许从任何视点观察VOI，视点的数目基本上是无限的。
本发明的GUI 10拥有新颖的核心功能，即一组图像中感兴趣对象的选择促使系统在剩余的图像组中以对应于感兴趣对象的位置的那个位置为中心来限定感兴趣体积。再次参见图1，例如在左边的主显示窗15a中，用户已选择了一个结节30，并且用户交互式子系统已接收到该用户的输入并且用线标出了与该结节有关的第一感兴趣体积40a。然后，利用一致性识别子系统在右上方的显示窗中在其他图像组上自动地识别出并用线标出相对应的第二感兴趣体积40b。正如在由Shen等在2002年2月7日提交的代理号为2002P02203US的、被共同转让的US专利申请Object Correspondence Identification Without FullVolume Registration中所公开的一样，这通过为本发明的GUI系统提供该位置的精确的或估计的定位来实现，在此结合该申请的全部公开内容作为参考。在下面并排的两个显示窗口60a和60b中提供了相对应的两个感兴趣体积的阴影表面显示(SSD)和测量值，以帮助用户进行比较。
优选地，系统还将允许用户用自由视点同步地检查两个SSD，以便在视觉上比较两个结节和VOI的特性。优选地，还将显示周围组织以说明一致性的正确性。优选地，在数据窗70中显示对象的几何特性以用于比较。因此，在所示的例子中，感兴趣对象是一个肺结节，系统通过检查几何特性可以容易地计算出该结节随时间的增长率。如果在一个感兴趣体积中不存在结节，那么医生可以很确信地得出结论，即该结节已消失，而不是没有检测到，因为周围的组织表明两个感兴趣体积40之间的正确匹配。
优选地，在两个方向上都能完成一致性匹配。也就是说，用户也可以在第二组图像20b中单击并选择一个结节，在第一组图像20a中将自动地出现感兴趣体积。
参见图2，示出了在SSD中提供的在线检测到的一致性。示出了三种不同的情况。在最高的一排显示100中，显示了两个相对应的结节130，优选地用相同的方式、例如通过颜色或通过例如具有所示斜线的图案来标出这两个结节。这为用户指出软件已确定两个感兴趣对象符合所寻找的对象的标准。在我们的肺的例子中，这意味着对象符合结节的标准。从两个相对应的结节的体积和时间间隔可以计算出该结节的增长率。在第二组显示110中，检测到两个相对应的对象30、30’，但是其中之一30’用不同的方式、例如通过另一种颜色或如所示垂直线的图案标出。这为用户指出软件已确定第二个对象30’不符合结节的标准。在底部那排中的第三对图像120中，感兴趣对象30已从右边的VOI上消失。从周围的组织中，我们可以清楚的看出两个VOI之间正确的一致性，并且我们可以得出结论该结节在一段时间之后已消失。
图3是本发明的一个实施方案的流程图，其示出了怎样可以实现GUI的命令流，当然在编程方法中有许多可能的命令流的变形方案。参见图3，可以看出在步骤200中加载图像组。可选地，加载图像组的这个步骤可以自方框240已作为文件操作被执行。在方框210中，GUI等待用户命令，该命令可以是(1)单击感兴趣对象，(2)用于改变显示的用户输入，或者(3)菜单选项。一般，方框210由事件驱动。如上所述，剩余的方框示出了命令的执行以及返回方框210的流程。依据选择1，流程转到方框220，其中激活相关系统，以在第二组图像中定位相对应的VOI。还在第一感兴趣对象周围限定第一VOI。然后，流程转到方框230，其中在控制流程返回在方框210处的用户之前显示VOI和对象的特性。依据选项2，在控制返回用户之前，在方框250中实时地执行上述的任何一个或更多的显示变化。依据选项3，在方框240中执行任何一个标准的或特殊的菜单操作，包括例如文件操作(例如打开文件、关闭文件、保存文件等等)、用户和程序参数选择和设置、访问帮助文件或简单地退出程序的常见操作。
因此，表明本发明将大大简化结节的一致性识别并提高其质量，以及之后大大简化肺癌的检查和诊断并提高其质量。从而大大提高临床处理量和诊断的精确性。
虽然根据两组图像说明了本发明，但是可以很容易地将本发明原理扩展到更多数量的图像组。
本发明的方法可以作为指令程序实现，可通过例如计算机的机器来读取和执行，并且真实地包含和存储在例如计算机存储设备的机器可读媒介上。
应理解的是，除非明确地指出，否则这里公开的所有物理量不应解释为完全等同于所公开的量，而是大约等同于所公开的量。此外，例如“大约”或类似的限定词的缺少不应解释为明确的暗示，即任何一个这种所公开的物理量是明确的量，而不管这里所公开的任何其他的物理量是否使用了这样的限定词。
虽然已经说明和描述了优选的实施方案，但在不背离本发明的精神和范围的情况下可以另外作出各种各样的改进和替代。相对应的，应理解的是，只通过例子描述了本发明，但例如这里已公开的例子和实施方案不应解释为对权利要求的限制。
权利要求
1.图形用户界面，包括多个主显示区，每个主显示区用于显示一组图像；用户交互系统，用于从用户接收一组图像中感兴趣对象的第一位置；以及相关系统，用于找到并显示在至少另一组图像中相对应的第二感兴趣体积的第二位置，其对应于所述第一位置。
2.如权利要求1所述的图形用户界面，其中第一感兴趣体积被限定在所述感兴趣对象的第一位置周围。
3.如权利要求2所述的图形用户界面，其中所述第一和第二感兴趣体积被提供作为阴影表面显示。
4.如权利要求1所述的图形用户界面，其中图像组被提供作为阴影表面显示。
5.如权利要求1所述的图形用户界面，还包括允许用户用自由视点检查所述感兴趣体积的显示区。
6.如权利要求1所述的图形用户界面，还包括一个或更多用于显示至少一组图像的图像特性的数据窗口。
7.如权利要求1所述的图形用户界面，还包括用于同步地滚动两组或更多组图像的锁定滚动系统。
8.如权利要求1所述的图形用户界面，还包括用于并排显示两个或更多横滚投影旋转窗口的横滚投影系统。
9.如权利要求1所述的图形用户界面，还包括第一特性显示区，用于显示所述感兴趣对象的物理特性；第二特性显示区，用于显示位于所述第二感兴趣体积内的第二感兴趣对象的物理特性；以及其中可以并排显示所述第一和第二特性显示区。
10.程序存储设备，可由机器读取，真实地包含可由机器执行的指令程序，所述指令程序用于执行对象一致性系统的图形用户界面的方法步骤，所述方法步骤包括提供多个主显示区，每个主显示区用于显示一组图像；从用户接收一组图像中感兴趣对象的第一位置；以及从相关系统接收第二感兴趣体积的第二位置，所述第二位置对应于所述第一位置。
11.如权利要求10所述的存储设备，其中第一感兴趣体积被限定在所述感兴趣对象的第一位置周围。
12.如权利要求11所述的存储设备，其中所述第一和第二感兴趣体积被提供作为阴影表面显示。
13.如权利要求10所述的存储设备，其中图像组被提供作为阴影表面显示。
14.如权利要求11所述的存储设备，还包括用于允许用户用3D的自由视点同步地检查所述感兴趣体积的机器可读代码。
15.如权利要求10所述的存储设备，还包括一个或更多用于显示至少一组图像的感兴趣体积的图像特性的数据窗口。
16.如权利要求10所述的存储设备，还包括用于同步地滚动两组或更多组图像的机器可读代码。
17.如权利要求10所述的存储设备，还包括用于并排显示两个或更多横滚投影旋转窗口的机器可读代码。
18.如权利要求10所述的存储设备，还包括机器可读代码，其用于为显示所述感兴趣对象的物理特性提供第一特性显示区；为显示位于所述第二感兴趣体积内的第二感兴趣对象的物理特性提供第二特性显示区；以及并排显示所述第一和第二特性显示区。
19.用于对象一致性识别系统的与用户进行图形接口的方法，包括以下步骤提供多个主显示区，每个主显示区用于显示一组图像；从用户接收一组图像中感兴趣对象的第一位置；以及从相关系统接收第二感兴趣体积的第二位置，所述第二位置对应于所述第一位置。
20.如权利要求19所述的方法，其中第一感兴趣体积被限定在所述感兴趣对象的第一位置周围。
21.如权利要求20所述的方法，其中所述第一和第二感兴趣体积被提供作为阴影表面显示。
22.如权利要求19所述的方法，其中所述感兴趣体积被提供作为阴影表面显示。
23.如权利要求19所述的方法，还包括提供利用自由视点同步地对3D的所述感兴趣体积进行检查。
24.如权利要求19所述的方法，还包括一个或更多用于显示至少一组图像的图像特性的数据窗口。
25.如权利要求19所述的方法，还包括提供用于同步地滚动两组或更多组图像的锁定滚动系统。
26.如权利要求19所述的方法，还包括提供用于并排显示两个或更多横滚投影旋转窗口的横滚投影系统。
27.如权利要求19所述的方法，包括为显示所述感兴趣对象的物理特性提供第一特性显示区；为显示位于所述第二感兴趣体积之内的第二感兴趣对象的物理特性提供第二特性显示区；以及并排显示所述第一和第二特性显示区。
全文摘要
公开了一种图形用户界面(10)，包括多个主显示区(15)，每个主显示区用于显示一组图像(20)；用户交互系统，用于从用户接收一组图像(20a)中感兴趣对象(30)的第一位置；以及相关系统，用于找到并显示在至少另一组图像(15b)中相对应的第二感兴趣体积(40b)的第二位置，其对应于所述第一位置。
文档编号G06T15/00GK1639739SQ03805243
公开日2005年7月13日 申请日期2003年3月4日 优先权日2002年3月4日
发明者H·沈, J·钱, L·范 申请人:西门子共同研究公司