医学图像全景显示的系统和方法

专利名称：医学图像全景显示的系统和方法
技术领域：
本发明涉及数字医学图像的交互式显示。
背景技术：
从由当前成像系统获取的数据得到的诊断高级信息能够在更早或更易于治疗阶段检测到潜在的疾病。如果从成像系统可获得大量详细数据，则必须开发各种算法以有效和准确地处理图像数据。在计算机的辅助下，图像处理中的改进通常在数字或数字化图像上进行。
数字图像由表示与特定阵列位置标注的解剖学位置点有关的特性(如灰阶值或磁场强度)的数值阵列形成。该解剖学位置点集包括图像域。在二维数字图像或切片截面中，离散阵列位置称为像素。三维数字图像可通过现有技术中已知的各种创建技术由层叠的切片截面创建而成。三维图像由离散的体积元素形成，该离散的体积元素也称作体素，是由二维图像像素组成的。像素或体素特性可经处理来确定与这些像素或体素相关的关于病人解剖学结构的各种特性。
医学图像数据的绘制不仅在计算硬件需求、数据存储和传输方面，而且在选择控制显示的合适参数方面都是非常需要的。然而，近来关于电子病人记录管理和健康在线管理增长的功能性的发展提出需要一种易于使用的低端可视化技术。例如，这将允许病人在他们家中访问包括医疗图像的检查结果。
发明概述在此描述的本发明示范性实施例通常包括从体积数据集进行数字医学图像全景显示的系统和方法。
根据本发明的一个方面，提供一种使数字医学图像可视化的方法，该方法包括下述步骤提供具有对应于三维空间中点域的多个强度的图像，在该图像域中选定一个点，从所述选定点向环绕所选定点的虚显示屏传播多束光，其中所述虚显示屏包括多个像素，且沿通过图像域的每束光的路径计算与每个像素有关的值，从所述虚显示屏生成全景数字照片，以及向交互式显示应用程序提供所述全景数字照片。
根据本发明的另一方面，通过沿穿过图像域的每束光的路径对与图像中每个域点有关的不透明度值进行积分来计算与每个像素有关的值，且其中一旦达到一阈值就终止不透明度值的积分。
根据本发明的另一方面，虚显示屏为环绕所选定点的立方体形式。
根据本发明的另一方面，虚显示屏为环绕所选定点的圆柱体形式。
根据本发明的另一方面，虚显示屏为环绕所选定点的球体形式。
根据本发明的另一方面，交互式显示应用程序为独立应用程序。
根据本发明的另一方面，交互式显示应用程序为嵌入式应用程序。
根据本发明的另一方面，交互式显示应用程序为另一应用程序的插件程序。
根据本发明的另一方面，该方法还包括注释该全景数字照片。
根据本发明的另一方面，该方法还包括向该全景数字照片添加超链接。
根据本发明的另一方面，该方法还包括对那些对应于待在全景数字照片中再现的组织类型的不透明度值进行积分。
根据本发明的另一方面，全景数字照片可合并到数字医学记录数据库中。
根据本发明的另一方面，数字医学记录可通过计算机网络从所述数据库进行检索。
根据本发明的另一方面，交互式显示应用程序能够进行数字照片缩放、数字照片摇摄全景和改变数字照片的观察方向中的至少一种。
根据本发明的另一方面，提供一种计算机可读程序存储设备，有形地包括由计算机执行以完成使数字医学图像可视化的方法步骤的指令程序。
附图简要说明

图1示出根据本发明实施例的合成图像如何生成为圆柱几何体的自顶向下的示意图。
图2示出根据本发明实施例的允许观察者显示图像并在整个图像中导航的示范性web网页。
图3是根据本发明实施例的图像体积全景可视化方法的流程图。
图4是根据本发明实施例的实施全景可视化系统的示范性计算机系统的框图。
优选实施例的详细描述在此描述的本发明示范性实施例通常包括从医学图像数据生成合成全景图像的系统和方法。为清楚起见，在此没有详细描述实际实施中本领域技术人员已知的全部特征。
如在此所使用的，术语“图像”指由离散图像元素(例如，二维图像像素和三维图像体素)组成的多维数据。该图像可以是，例如由计算机断层扫描、磁共振成像、超声或任何其它本领域技术人员已知的医学成像系统采集的对象的医学图像。该图像还可由非医学环境，诸如，例如，遥感系统、电子显微镜等提供。虽然可把一幅图像看作是从R3至R的函数，但本发明的方法不限于这类图像，且可应用于任何维数的图像，例如，二维图片或三维体积。对于二维或三维图像，图像域典型为二维或三维矩形阵列，其中每个像素或体素代表可参照一组二维或三维相互正交轴进行寻址的强度。在此所用的术语“数字”和“数字化”将指适当地通过数字采集系统或通过从模拟图像的转换获得的数字或数字化格式的图像或体积。
许多网站为用户提供全景视图和在整个视图上进行导航的性能。例如，房地产网站可为用户提供选择房子或公寓进行观察的性能，且而后为用户提供可模拟如果观察者在房间内转过全部地方，他或她将会看到的情景的全景视图。典型地，这类网站为用户提供箭头记号或其它用户可在其上点击来开始和控制导航的屏幕上的按钮。在控制视图方向之外，这些按钮还可使用户能够放大场景中待观察的一个物体或从该物体逐渐后退。典型地，通过提供待显示场景的数字二维照片，以及为观察者提供显示该照片的网站就能够获得这些导航视图。通过拍摄多幅场景，如一个房间的照片，其中照相机保持静止而视角移动一个小的角度，就能够完成全景视图。该角度应足够小以提供某种重叠，且使得到的图像能够装订到一起以形成全景视图。
根据本发明的一个实施例，从医学图像数据集中生成合成全景图像将满足许多低端可视化需求和约束条件。医学图像数据集典型地包括千兆字节数量级的数据，而适于显示的全景图像的尺寸可是如兆字节一样小。为了从其中象素形成三维矩形阵列的三维体积数据集生成全景图像，选择一个点作为观察位置，而后选择在该观察点周围的点的一个或多个平面子集。对于全景视图，观察点优选位于数据集内。在本发明的一个实施例中，从观察点沿每个垂直观察方向生成六幅视图，以形成立方体全景。在本发明的另一实施例中，圆柱体全景可由通过围绕中央轴转动不断缓慢地改变观察方向生成多幅视图而模拟形成。在本发明的另一实施例中，球体全景可由通过围绕中央观察点不断缓慢改变观察方向生成多幅视图而模拟形成。这些观察几何体是示范性的，而多边形、椭圆形或其它视图均是可能采用的，且均落在本发明实施例范围之内。
根据本发明实施例，按照观察方向生成的图像可以是来自体积数据集的二维切片，其中该切片距离观察点预定象素距离，且该切片的范围由观察角度确定。
根据本发明的另一个实施例，基于现有技术中的体绘制技术，生成对应于每个观察方向的合成图像。在许多成像模式中，基于图像内的强度范围，可将得出的强度值或数值范围与特定类型组织联系起来，从而使人能够区分，例如，骨、肌肉、肉、和脂肪组织、神经纤维、血管、器官壁等。图像中的原始强度值作为传递函数的输入，其输出为可描述组织类型特点的透明或不透明值。用户而后可以通过从观察点向待生成的二维图像中的一点传播光束，并沿该路径对透明或不透明值积分直到达到临界不透明度，在该点处传播终止，而从观察点生成合成图像。使用不透明值对组织进行分类还使用户能够选择显示哪一组织，以及仅对对应于所选定组织的不透明值进行积分。以这种方式，用户可以生成只显示，例如仅有血管、仅有肌肉、仅有骨骼等的合成图像。
图1示出合成图像如何生成为圆柱几何体的自顶向下的示意图。其中示出像素的平面切片15，以及已被选为观察点的像素10。观察轴沿附图平面的法线方向穿过点10。光束11在附图平面内从观察点10传播到虚显示屏12上的一个像素，该虚显示屏可由二维阵列表示。虽然未示出，但光束可从所述轴向该区域中的虚显示屏在附图平面上方或下方传播，从而虚显示屏中的每个像素与单个光束相关联。
因此，根据本发明的一个实施例，图像包括包含有合成图像的全景图像。此外，根据本发明的一个实施例，同一个观察几何体(例如，圆柱体)可以生成多幅全景图像，每幅全景图像显示特定组织类型。
一旦从医学图像数据集生成全景医学图像，就可以提供若干交互式显示选项。根据本发明的一个实施例，独立观察应用程序可用于观察图像。这些观察应用程序包括，但不限于，如Adobe Acrobat，Windows Picture和Fax Viewer等这类的程序。根据本发明的另一实施例，标准工具的插件程序，如web浏览器和word处理器，可用于观察图像。这些插件程序可包括嵌入式应用程序，如使观察者能够在web浏览器中运行的Java，以及现有技术已知的用于用户应用程序的其它标准插件程序。根据本发明的一个实施例，观察应用程序设置有屏幕按钮或其它机构以使观察者能够改变显示器上所显示图像的观察方向(即摇摄全景)，或放大或缩小图像。
图2示出允许观察者显示图像并在整个图像中导航的示范性web网页。其中示出了结肠的合成全景图像20。用户可以将光标放置在图像20上以对该图像进行导航。图像下面的栏25表示当光标移动时所呈现的形状，以及与每个形状相关联的操作。如果光标呈现导航十字21形式时，用户可以按鼠标键并将光标向他或她所希望移动的方向移动。如果光标呈现放大箭头22的形式时，用户可以按鼠标键来扩大图像，而如果光标呈现缩小箭头23的形式时，用户可以按鼠标键来减小图像。此外，在某些实施例中，当光标具有箭头形状时，用户可以向上下左右移动光标以分别放大或缩小图像。左边的按钮24可以与各种用户操作相关联，如呈现有效图像的清单以在web网页上显示或融合两幅或多幅图像。虽然在Windows环境下，通常使用鼠标左键进行导航，应当理解的是，导航可通过右键或单键鼠标来进行。
根据本发明的另一实施例，观察应用程序或插件程序可包括注释图像数据集的手段。这种注释可包括，但不限于，文字、符号、模拟元素和超链接。注释功能使医生、放射师或其他技术人员能够指示图像中的感兴趣物体，如虚拟结肠镜检查中的息肉。注释可导致鼠标光标变化，以指示存在关于被注释物体进一步信息的超链接。此外，注释可起到标记作用，从而可跟踪和分析后续图像中的物体尺寸形状的变化。
根据本发明实施例的交互式观察应用程序可使观察者能够缩放、摇摄全景和改变观察方向。此外，交互式观察应用程序可允许观察者改变观察参数。例如，在提供多幅合成图像的应用场合下，观察者可以在显示骨骼的视图和显示肌肉的视图之间切换。在本发明的另一实施例中，交互式应用程序可使观察者能够融合由不同显示参数生成的图像，例如将一幅显示骨骼的图像与一幅显示血管的图像重叠。在本发明的另一实施例中，交互式应用程序可指示图像中的热点，该热点表示，例如注释或链接到关于图像的附加信息、主题的进一步体绘制的附加视点，或链接到另外的可视化技术，如照相机围绕特定细节的动画。在本发明的另一实施例中，交互式观察应用程序允许观察者向图像中添加他或她自己的注释。
图3示出根据本发明实施例的全景图像观察方法的流程图。参见该图，在步骤31中，提供具有对应于三维空间内点域的多个强度的数字医学图像。在步骤32，选择图像中的观察点。在步骤33，多束光从观察点传播到环绕观察点的虚显示屏上。虚显示屏上的每个像素与一束光相关联。在步骤34，从虚显示屏形成二维全景数字图像。在步骤35，数字图像在交互式显示应用程序中显示。该应用程序优选提供按钮或其它方式以允许用户选择供观察的图像，在图像中导航，包括摇摄全景、改变观察方向和缩放图像，以及注释图像。在步骤36，用户可进行一个或多个导航操作来观察图像。用户还可注释图像，并可选择另外的图像来进行两幅或多幅图像的同时、融合显示。
根据本发明的一个实施例，交互式全景显示应用包括在因特网上使数字图像数据可视化，如患者或用户在网上使用web浏览器访问提供医学记录数据库服务器的web网址，使物理介质，如由医疗诊所或办公室提供的CD上的数字图像数据可视化。可视化数据可以，可选择地，部分是数字患者记录，并可包括在医学放映期间获得的数据。根据本发明的另一个实施例，另一个应用为浏览大型图像数据集，其中交互式全景显示可用作数据检索工具。
应当理解，虽然全景图像的交互式显示在上面一直是用在医学图像显示的情况中，但这一概念可延伸到其它领域，如使从工业CT获得的结果可视化来进行质量控制。在这些情况下，输入的图像数据可以是体积数据、多边形网格数据(polygonal mesh data)等，并可由测量、模拟得到或被创建。这些应用均落入本发明的范围内。
应当理解，本发明可以以硬件、软件、固件、特殊目的处理或它们的组合的各种形式实施。在一个实施例中，本发明可以以软件的方式实施，该软件为有形地包含在计算机可读程序存储设备中的应用程序。该应用程序可上载至和由包括任何合适结构的机器执行。
现参见图4，根据本发明的一个实施例，用于实施本发明的计算机系统41可包括，特别是，中央处理单元(CPU)42，存储器43和输入输出(I/O)接口44。计算机系统41通常通过I/O接口44连接到显示器45和各种输入设备46，如鼠标和键盘。支持电路可包括如高速缓冲存储器、电源、时钟电路和通信总线等电路。存储器43可包括随机存储器(RAM)，只读存储器(ROM)，磁盘驱动器，磁带驱动器等，或它们的组合。本发明可作为存储在存储器43内的例行程序47实施并由CPU42执行以处理来自信号源48的信号。同样地，计算机系统41为通用目的的计算机系统，该系统当执行本发明的例行程序47时就变为特定目的的计算机系统。
计算机系统41还包括操作系统和微指令码。在此描述的各种处理和功能即可是微指令码的一部分，也可以是应用程序的一部分(或其组合)，其通过操作系统执行。此外，各种其它外围设备可连接到计算机平台，如附加的数据存储设备和打印设备。
应进一步理解的是，由于附图中示出的有些子系统部件和方法步骤可以以软件方式实施，系统部件(或处理步骤)之间的实际连接可基于本发明编程的方式而不同。通过在此提供的本发明所给出的教导，本领域普通技术人员将能够预料到本发明构造的这些或类似实施方式。
上述公开的具体实施例仅是举例说明性的，由在此给出的教导，对本发明进行变型和以不同但等同的方式实施对本领域普通技术人员来说是显而易见的。此外，除了下面权利要求所描述的之外，在此所示的结构或设计细节并不会受到限制。因此，很明显，可对上面公开的具体实施例进行更改和变型，且这些变化全部落入本发明的范围和精神内。因此，本发明的保护范围由下面权利要求书所公开的内容限定。
权利要求
1.一种使数字医学图像可视化的方法，所述方法包括下述步骤提供具有对应于三维空间中点域的多个强度的图像；在该图像域中选定一个点；从所述选定点向环绕所选定点的虚显示屏传播多束光，其中所述虚显示屏包括多个像素，且沿通过图像域的每束光的路径计算与每个像素有关的值；从所述虚显示屏生成全景数字照片；以及向交互式显示应用程序提供所述全景数字照片。
2.根据权利要求1所述的方法，其中通过沿穿过图像域的每束光的路径对与图像中每个域点有关的不透明度值进行积分来计算与每个像素有关的值，且其中一旦达到一阈值就终止不透明度值的积分。
3.根据权利要求1所述的方法，其中虚显示屏为环绕所选定点的立方体形式。
4.根据权利要求1所述的方法，其中虚显示屏为环绕所选定点的圆柱体形式。
5.根据权利要求1所述的方法，其中虚显示屏为环绕所选定点的球体形式。
6.根据权利要求1所述的方法，其中交互式显示应用程序为独立应用程序。
7.根据权利要求1所述的方法，其中交互式显示应用程序为嵌入式应用程序。
8.根据权利要求1所述的方法，其中交互式显示应用程序为另一应用程序的插件程序。
9.根据权利要求1所述的方法，还包括注释该全景数字照片。
10.根据权利要求1所述的方法，还包括向该全景数字照片添加超链接。
11.根据权利要求2所述的方法，还包括对那些对应于待在全景数字照片中再现的组织类型的不透明度值进行积分。
12.根据权利要求1所述的方法，其中该全景数字照片可合并到数字医学记录数据库中。
13.根据权利要求12所述的方法，其中数字医学记录可通过计算机网络从所述数据库进行检索。
14.根据权利要求1所述的方法，其中交互式显示应用程序能够进行数字照片缩放、数字照片摇摄全景和改变数字照片的观察方向中的至少一个。
15.一种显示三维数字图像的方法，所述方法包括以下步骤提供具有对应于三维空间中点域的多个强度的图像；在该图像域中选定一个点；通过从所述选定点传播多束光而创建二维全景数字图像，其中所述全景数字图像包括多个像素，每个像素与传播的光中的一束相关联，且其中通过沿穿过图像域的每束光的路径对与图像中每个域点有关的不透明度值进行积分来计算与每个像素有关的值，且其中一旦达到一阈值就终止不透明度值的积分；以及在交互式显示应用程序中观察所述全景数字图像。
16.根据权利要求15所述的方法，其中所述图像为医学图像，该方法还包括对那些对应于待在全景数字照片中再现的组织类型的不透明度值进行积分。
17.根据权利要求16所述的方法，还包括创建多幅全景数字图像，其中每幅数字图像包括单一类型组织的再现。
18.根据权利要求17所述的方法，还包括在所述交互式显示应用程序中同时观察两幅或多幅全景图像。
19.根据权利要求15所述的方法，其中所述数字图像由环绕三维图像中所选定点的虚显示屏形成，且其中所述光从所选定点向所有方向传播。
20.根据权利要求15所述的方法，还包括在所述显示应用程序中导航所述二维全景数字图像，且重现所述三维数字图像。
21.一种计算机可读程序存储设备，有形包括由计算机执行以完成使数字医学图像可视化的方法步骤的指令程序，所述方法包括以下步骤提供具有对应于三维空间中点域的多个强度的图像；在该图像域中选定一个点；从所述选定点向环绕所选定点的虚显示屏传播多束光，其中所述虚显示屏包括多个像素，且沿通过图像域的每束光的路径计算与每个像素有关的值；从所述虚显示屏生成全景数字照片；以及向交互式显示应用程序提供所述全景数字照片。
22.根据权利要求21所述的计算机可读程序存储设备，其中通过沿穿过图像域的每束光的路径对与图像中每个域点有关的不透明度值进行积分来计算与每个像素有关的值，且其中一旦达到一阈值就终止不透明度值的积分。
23.根据权利要求21所述的计算机可读程序存储设备，其中虚显示屏为环绕所选定点的立方体形式。
24.根据权利要求21所述的计算机可读程序存储设备，其中虚显示屏为环绕所选定点的圆柱体形式。
25.根据权利要求21所述的计算机可读程序存储设备，其中虚显示屏为环绕所选定点的球体形式。
26.根据权利要求21所述的计算机可读程序存储设备，其中交互式显示应用程序为独立应用程序。
27.根据权利要求21所述的计算机可读程序存储设备，其中交互式显示应用程序为嵌入式应用程序。
28.根据权利要求21所述的计算机可读程序存储设备，其中交互式显示应用程序为另一应用程序的插件程序。
29.根据权利要求21所述的计算机可读程序存储设备，该方法还包括注释该全景数字照片。
30.根据权利要求21所述的计算机可读程序存储设备，该方法还包括向该全景数字照片添加超链接。
31.根据权利要求22所述的计算机可读程序存储设备，该方法还包括对那些对应于待在全景数字照片中再现的组织类型的不透明度值进行积分。
32.根据权利要求21所述的计算机可读程序存储设备，其中该全景数字照片可合并到数字医学记录数据库中。
33.根据权利要求32所述的计算机可读程序存储设备，其中数字医学记录可通过计算机网络从所述数据库进行检索。
34.根据权利要求21所述的计算机可读程序存储设备，其中交互式显示应用程序能够进行数字照片缩放、数字照片摇摄全景和改变数字照片的观察方向中的至少一种。
全文摘要
一种显示医学图像的方法，包括在医学图像中选定(32)一点，通过从所选定点传播(33)多束光来创建(34)全景数字图像，其中所述全景数字图像包括多个像素，每个像素与一束传播的光相关联，且其中通过沿穿过图像域的每束光的路径对与图像中每个域点有关的不透明度值进行积分来计算与每个像素有关的值，其中一旦达到一阈值就终止不透明度值的积分，以及在交互式显示应用程序中观察(35)所述全景数字图像。该交互式显示应用程序使观察者能够缩放和摇摄全景图像，以及改变方向。该全景数字图像可以合并到患者医学记录中并存储在数据库内。
文档编号G06T15/08GK1691067SQ20051007620
公开日2005年11月2日 申请日期2005年4月23日 优先权日2004年4月23日
发明者J·古林 申请人:西门子共同研究公司