专利名称：用于融合图像显示的方法
技术领域：
本发明涉及一种用于融合显示由第一图像拍摄装置采集的第一图像信息和由第二图像拍摄装置采集的第二图像信息的方法，这些图像信息涉及人体或动物体的同一检查区域，尤其是空腔器官。
背景技术：
由生物技术公知发出荧光的代谢物质，这种物质或者只聚集在特定区域，如肿瘤、发炎部位或其它特定病灶，也就是只存在于局部的特定区域，或者分布在全身，但只在特定区域例如通过发出荧光的特定肿瘤的酶活动而被激活。由于这种物质具有发出荧光的特性，因此可以将其用作标记物或标记材料，以标记或采集特定的例如已经是病态的区域。通过用荧光彩色物质发出的具有特殊激励波长的光照射该区域，并检测在荧光团的相应发射波长内所发射的光来识别通过上述方式被荧光标记的区域。这种检查方法的可能应用领域是所有接近体表的器官，这些器官位于光的渗透深度范围内，并且具有癌肿、发炎过程或其它对荧光物质的聚集很敏感的疾病。优选的应用例如是检查前列腺、肠、食道、支气管或血管。
为了能合理利用这些荧光标记的诊断信息内容，需要能当场最小侵入地采集这些标记。此外，还需要向医生以很强的表现力显示这些图像信息，由此医生可以借助所拍摄的图像信息进行准确的诊断。
发明内容
由此本发明要解决的技术问题在于提供一种方法，该方法向医生提供表现力强的、可用于诊断的图像信息显示。
为了解决该技术问题，提出了一种如开始所述类型的方法，其中-在采用侵入式进入检查区域的医疗器械、尤其是导管的条件下，通过用光激励该检查区域的荧光区域，以荧光图像的形式拍摄该检查区域的多幅二维单个图像，-借助所述二维单个图像产生适用于三维再现该检查区域的荧光立体图像的三维荧光图像数据组，-采用另一种检查模块拍摄该检查区域的另一个三维图像数据组，该三维图像数据组适用于三维再现该检查区域的另一幅立体图像，-相互记录(Registrieren)所述三维荧光图像数据组和另一个三维图像数据组，以及-在监视器上，借助由该记录获得的成像规则位置精确地在借助所述另一个三维数据组产生的另一幅立体图像中显示该检查区域的一个或多个用荧光标示的重要区域，其中，或者a)在三维荧光图像数据组中获得该检查区域的一个或多个用荧光标示的重要区域的空间位置，并在所述另一幅立体图中只显示所提取的部分图像区域，或者b)在利用预定灰度值遮盖体素(Voxel)的条件下将整幅荧光立体图像叠加在所述另一幅立体图像上。
根据本发明进行两个三维图像数据组的融合，即一个是荧光图像数据组而另一个是立体图像数据组，该立体图像数据组是用另一种检查模块(例如磁共振设备、计算机断层造影设备、超声波设备或X射线设备)拍摄的，并显示相同的检查区域。这使得可以在检查区域的三维显示中位置精确地显示用荧光标示的区域，这些区域是在荧光立体图像中通过荧光检查获得的。由此，医生一方面获得关于检查区域中用荧光标示的、可能已经是病态的位置的信息，另一方面又由于融合得到关于该检查区域的解剖结构的信息，并由此获得关于涉及所标示区域的解剖关系的信息。借助这种组合的图像显示，医生可以进行明显改善的诊断，并找到检查区域中用荧光标记的区域，所述诊断可以更为精确和具有说服力地进行。
在本发明方法的范围内，首先在采用医疗器械(例如导管、内诊镜、腹腔镜或结肠镜)的条件下根据该器械连续可控的运动例如获得空腔器官的检查区域的多幅二维图像，从而可以将这些单个图像组合成三维荧光数据组。该数据组还包括关于用荧光标示的区域的信息，下面将该区域称为荧光-焦点(Fluoreszenz-Foci)。接着用例如由MR设备拍摄并包含同一检查区域的高分辨率三维解剖图像数据的三维数据组记录该荧光数据组。该记录用于获得一种成像规则，利用该规则可以相互形成所再现立体的二维单个图像照片的每个像素、即每个体素，所述二维单个图像照片是荧光数据组和另一个三维数据组的基础。记录的概念在数字图像数据处理领域是非常熟悉的，在此不必详细定义。也就是说在获得该成像规则之后，可以将三维荧光立体图像的每个体素成像在MR照片的三维立体图像的相应体素上。这也使得可以将荧光立体图像或作为该荧光立体图像基础的数据组与MR立体图像或作为该MR立体图像基础的数据组融合，并在监视器上显示共同的融合图像。由于MR图像(同样适用于CT图像或三维血管造影图像或三维超声波图像)高分辨率地和三维地、非常精确地显示了检查区域的解剖结构，因此有利的是医生可以在观察该融合显示时获得非常精确的、关于检查区域中已有物质的解剖信息和关于荧光标示区域的重要解剖信息。由此可以非常精确地识别和定位重要区域。
采用侵入式进入检查区域的医疗器械也以特别的优点允许直接在现场、也就是在检查区域本身内进行光激励。如果例如也检查心脏内的血管，则采用导管，而对于肠检查则采用结肠镜。在每种情况下相关器械都使得可以当场发射激励光并当场接收以荧光发射的响应光。该响应光可以是特别为了该目的而向患者提供的代谢标记物所发射的光，也可以是身体自身的、由于已存在的病灶等等而激活其荧光特性的物质的光。
由于基于荧光的图像拍摄是以采集只由那些聚集了荧光物质的区域发射的、以激励为条件的响应光为基础，因此所拍摄的荧光单个图像在发射响应光的区域示出明亮区域，而其它不发射光的区域则为暗淡区域。为了能显示荧光重要区域，在本发明的一种方式中，在三维荧光图像数据组中获得检查区域的一个或多个用荧光标示的重要区域的空间位置，并只将这些区域位置精确地显示在另一幅立体图像中。也就是说，从整个数据组中提取出明亮的、用荧光标示的区域，在融合图像中只显示该提取出的部分图像信息。在此，可以只将所提取的部分数据与另一个三维数据组融合，或者将两个完整的数据组融合，但在实际的融合图像显示时进行提取。重要区域的确定可以适当借助单个图像的像素灰度值或立体图像的体素灰度值进行。除所述提取之外还存在一个可能性，即将完整的荧光立体图像叠加到另一个立体图像上，必要时在利用预先给定的灰度值遮盖体素的条件下进行。为了避免在融合图像中由于荧光立体图像中的不发射响应光的黑色区域而使图像显示受到影响，例如可以近似遮盖荧光立体图像的黑色立体区域，这可以借助局部灰度值以简单方式获得。
为了一方面进行立体再现另一方面利用另一个三维数据组进行记录，合适的是，在拍摄荧光单个图像的同时对于每一幅单个图像都在位置采集系统的坐标系统中记录描述该单个图像空间位置的位置数据。为此采用一个外部位置采集系统，该系统与进入检查区域的医疗器械(例如导管)上的传感器一起发挥作用。优选的，该传感器允许以六个自由度采集运动，即三个空间轴x、y和z以及围绕这些轴的各个旋转。这样的位置采集系统是公知的，它们尤其是采用电磁线圈和电磁信号来采集运动和位置。由于另一个三维数据组也以一个自己的、其中精确定义每个单个图像的位置的坐标系统为基础，因此可以通过这两个坐标系统进行所述记录，并由此获得成像规则。
除此之外还存在一个可能性，即借助不同单个图像中的重合图像区域来再现荧光立体图像，并借助在两个立体图像中都具有的解剖学标记来进行利用另一个立体图像的记录。
在此不记录位置数据，而是通过采集时间上连续拍摄的单个图像的重合图像片段来再现荧光立体图像，然后借助这些所采集的相互之间的重合将连续拍摄的单个图像进行组合以进行图像再现。由于荧光立体图像和另一个立体图像示出同一个检查区域，因此这两幅图像中具有相同的解剖学标记。然后借助该解剖学标记进行记录。其前提是在荧光立体图像中实际也可以看见这些解剖学标记，这要求在该区域聚集荧光标记物。主要在天然荧光的情况下是这样。在各种情况下可以通过该方式获得成像规则，该规则允许将荧光-焦点显现在例如MR立体图像中。这样就表明，当然是分别相互记录用于产生立体图像的数据组而不是立体图像本身。
关于融合立体图像的显示可以考虑不同的显示方式。各种显示最终取决于按照哪一种形式来显示另一个立体图像，例如MR或CT图像，其中重叠地示出重要区域。可以将另一个立体图像可视化为“内窥镜视图”显示，其中显现出重要的区域。这种也称为“穿越式”(Fly Through)显示的可视化尤其是用于可视化空腔器官和血管的内部。荧光焦点作为伪彩色编码热点显现在相同拍摄方式的另一个解剖三维数据组的“内窥镜视图”显示中，以例如可视化血管中的发炎过程。
此外还存在一种可能性，即将另一个立体图像显示为MPR(multi-planareReformatierung，多平面整形)显示，在此也将荧光焦点显现为伪彩色编码热点，以显示按照MPR显示可视化的、围绕荧光-焦点的解剖结构。
此外还存在一种可能性，即将另一个立体图像可视化为MIP(maximumintensity projection，最大密度投影)显示。在此也将荧光焦点显现为伪彩色编码的热点。MIP显示适用于可视化注射了造影剂的对象，例如血管。
此外还存在一种可能性，即将立体图像再现为SSD(surface shaded display，表面明暗显示)。在此也将荧光-焦点显现为伪彩色编码的热点。
最后还可以显示为VRT(volume rendered technic，体积着色技术)显示，其中在此也将荧光焦点显现为伪彩色编码的热点。在此，可以借助变换函数这样改变VRT可视化的不透明性，使得另一个立体图像的VRT可视化中所显示的体素相对于荧光-焦点来说具有较低的不透明度。由此可以在“透明的”解剖结构中很好地看见伪彩色编码的荧光区域。
上述显示可能性并未完全列举出来，本发明不限于这些所给出的可能性。
由于利用所述检查模块存在这样一种可能性，即可以拍摄近似任意大小的检查区域，因此对于用户来说希望通过简单和快捷的方式获得显示在该检查空间中的特定感兴趣区域。为了实现这一点，在本发明的一种扩展中，用户可以选择检查空间的一个重要区域，并在监视器上再现展示该区域的融合的图像显示。通过这种方式可以在融合数据中查找到一个或多个荧光-焦点，因为用户可以在该图像显示内进行“浏览”。
这种可能性的第一实施方式在于，用户借助监视器上显示的一个表格来选择待显示的区域，该表格包含整个检查空间的各重要区域的位置数据。因此根据本发明的该实施方式，通过在该表格中简单选择一个以其位置数据而被采集到该表格中的区域，可以进行上述选择并由此进行更改的显示。其中，可以自动借助荧光单个图像或荧光立体图像来确定各重要区域的位置数据，并采集到表格中。也就是说，自动地从现有的图像数据中提取位置数据。这可以例如在前面所述的区域提取的框架下进行，只要对单个图像记录了相应的位置数据。在列表中，提取出的各区域例如具有号码，从而使用户可以完全有针对性地逐个区域地“翻页”，并相应更改显示。
在此合适的是，用户可以将一个或多个位置数据的条目设置到表格中。因此，用户可以对各条目设置附加信息，该附加信息例如给出在特别重要的特定解剖位置处的“易受伤害的痛苦”，或者补充任意其它说明，这些说明在进行选择时对用户可能有所帮助。
除了通过表格进行选择之外，用户可以通过一个在显示于监视器上的融合立体图像中的可移动的标记选择一个重要区域，然后以更改的显示再现该区域，由此实现图像变化。通过该标记(例如光标)，用户例如“点击”所示出的一个重要区域，此后相应放大或以其它方式进行更改来显示该区域或融合的立体图像，以便更清楚地展示所选择的区域。根据对另一个立体图像所选择的可视化类型，选择或显示方式可以不同。在MIP显示的情况下，立体图像数据组不包含深度信息，因为在这种显示类型中不采用断层图像，而是在整个数据组中只显示具有特定亮度的体素。MIP显示一直是透明的，也称为“玻璃缸显示”。为了能在正确的显示级中精确展示期望的区域，在这种情况下在监视器上再现两个MIP显示，这两个MIP显示从两个优选为相互垂直的方向展示了检查区域。由于在这两个显示中都能看见待选择的重要区域，因此用户必须“点击”这两个MIP显示，此后可以在立体数据组中选择所选择的荧光-焦点的三维位置，并进行相应的更改的显示。
MPR、SSD和VRT显示分别以断层图像为基础，该显示还包含深度信息。在此可以直接在融合的显示中选择期望的焦点，并“跳跃”到该焦点。
本发明的其它优点、特征和详情由下面描述的实施例并借助附图给出。
图1以示意性的形式示出一个流程图，从中可以提取出基本方法流程。
具体实施例方式
在所示例中，首先通过医疗器械1(例如导管)拍摄多幅二维荧光单个图像，为此导管受控地例如穿过空腔器官运动。导管具有集成装置，用于发射促使荧光物质发射响应光的激励光，以及用于接收该响应光，为此该导管与合适的光源或处理装置耦合，该处理装置在此未详细示出。
与单个图像拍摄并行的还存在一种可能性，即对每一单个图像都采集位置数据，这些位置数据给出，相应的单个图像是在未详细示出的位置数据采集系统的坐标系统中的哪个位置上拍摄的。
接着，基于所拍摄的二维荧光单个图像获得三维荧光图像数据组。只要进行拍摄，就可以在采用单个图像的位置数据的条件下进行这一过程，或者还存在这样一种可能，即基于重合的图像部分相互连接单个图像。
通过外部检查模块2，其在所示例中为磁共振设备，在较早时刻拍摄关于同一检查区域的图像信息，并基于该图像信息产生三维MR图像数据组。将该数据组输入一个进行全部图像数据处理、在此未详细示出的处理装置。在下一步骤中，三维荧光图像数据组和三维MR图像数据组相互记录，以确定成像规则，该成像规则使得可以将相应的、可以根据三维荧光图像数据组或三维MR图像数据组再现的立体图像的每一个体素分别成像到相应的另一个立体图像上。因此，在完成记录之后，可以根据该成像规则将相应的立体图像体素或相应的数据直接相互对应。
在下一步骤中，基于该成像规则融合两个三维数据组，该融合使得可以在未详细示出的监视器上显示一幅融合图像。在该融合图像中显示出重要的、用荧光标示的区域，这些区域例如是在荧光导管检查中获得的，并具有从MR检查中获得的、精确的、高分辨率显示的解剖结构。
关于MR立体图像的显示类型可以考虑不同的显示方式，这些显示方式在开始部分已经详细描述过。
由于本发明方法的中心意图是将用荧光标示的、可能的病态区域在其实际解剖环境中精确显示出来，因此可以考虑将这些区域显现到MR立体图像中的各种可能。一方面可以从融合的三维数据组中提取出包含在三维荧光图像数据组中的区域，并只叠加显示这些区域。或者，还可以叠加整个荧光立体图像，但是例如遮盖那些具有特定灰度值或者超过或低于某个灰度阈值的体素，就会遮盖在荧光体积中实际为黑色的、不发射响应光的区域。
此外还存在一种可能，即由用户在显示的融合图像上进行更改，并尤其是可以跳跃到任意的重要区域。也就是说，用户可以通过合适的标记(例如监视器光标)在融合图像中选择特定的重要区域，然后例如将其扩大地或在监视器中央或以类似方式显示该区域，由此可以在所显示的融合图像中快速查找和重新找到重要的区域。
除了上述可能之外，可以考虑借助监视器上显示的表格来选择区域。为此，优选自动产生一个包含各重要区域的位置数据的表格，该表格可以由用户自己产生，其中用户例如用监视器鼠标“点击”所显示的区域，然后自动确定相应的位置数据并将该位置数据录入表格。此外还存在一种可能，如图1所示，从一开始就在产生三维荧光图像数据组之后提取重要区域的位置数据，并将该位置数据自动录入表格。数据的提取在现有的位置数据采集中是比较简单的，因为可以借助立体图像数据组中的灰度值分布毫无困难地确定重要区域。
为了进行相应的选择，用户现在只需在表格中选择一个特定区域，然后相应的变化就自动在立体图像中进行。
权利要求
1.一种用于融合显示由第一图像拍摄装置采集的第一图像信息和由第二图像拍摄装置采集的第二图像信息的方法，这些图像信息涉及人体或动物体的同一检查区域，尤其是空腔器官，在该方法中-采用侵入式进入检查区域的医疗器械、尤其是导管，通过用光激励该检查区域的荧光区域，以荧光图像的形式拍摄该检查区域的多幅二维单个图像，-借助所述二维单个图像产生适用于三维再现该检查区域的荧光立体图像的三维荧光图像数据组，-采用由另一检查模块所拍摄的该检查区域的另一个三维图像数据组，该三维图像数据组适用于三维再现该检查区域的另一幅立体图像，-相互记录所述三维荧光图像数据组和该另一个三维图像数据组，以及-在监视器上，借助由该记录获得的成像规则位置精确地在借助所述另一个三维数据组产生的另一幅立体图像中显示该检查空间的一个或多个用荧光标示的重要区域，其中，或者a)在所述三维荧光图像数据组中确定该检查区域的一个或多个用荧光标示的重要区域的空间位置，并在所述另一幅立体图中只显示所提取的部分图像区域，或者b)利用预定灰度值遮盖体素，将整幅荧光立体图像叠加在所述另一幅立体图像上。
2.根据权利要求1所述的方法，其特征在于，对所述部分图像区域的提取是借助所述单个图像的像素灰度值或所述立体图像的体素灰度值来进行的。
3.根据权利要求1或2所述的方法，其特征在于，在拍摄所述荧光单个图像的同时，对每一单个图像都在位置采集系统的坐标系统中采集描述该单个图像空间位置的位置数据。
4.根据权利要求1或2所述的方法，其特征在于，借助不同单个图像中的重合图像区域来再现所述荧光立体图像，并且借助在两个立体图像中都具有的解剖学标记来进行利用所述另一幅立体图像的记录。
5.根据上述权利要求之一所述的方法，其特征在于，将所述另一幅立体图像再现为“内窥镜视图”显示、MPR显示、MIP显示、SSD显示或VRT显示，其中叠加地显示重要区域。
6.根据上述权利要求之一所述的方法，其特征在于，用户可以选择所述检查空间的一个重要区域，并在监视器上再现展示该重要区域的融合的图像显示。
7.根据权利要求6所述的方法，其特征在于，用户可以借助监视器上显示的、包含各重要区域的位置数据的表格来选择待显示的区域。
8.根据权利要求7所述的方法，其特征在于，自动借助所述荧光单个图像或荧光立体图像获得所述各重要区域的位置数据，并将这些位置数据采集到所述表格中。
9.根据权利要求8所述的方法，其特征在于，用户可以将所述位置数据的一个或多个条目设置到所述表格中。
10.根据权利要求6所述的方法，其特征在于，用户可以通过监视器上的、可在所示融合立体图像中移动的标记来选择一个重要区域，然后以更改后的显示再现该重要区域。
全文摘要
本发明涉及融合显示由第一图像拍摄装置采集的第一图像信息和由第二图像拍摄装置采集的第二图像信息的方法，图像信息涉及同一检查区域。采用侵入式医疗器械，用光激励检查区域的荧光区域，拍摄检查区域的二维图像；产生用于三维再现的三维荧光图像数组；采用另一检查模块拍摄的检查区域的用于三维再现另一立体图像的另一三维图像数组；相互记录三维荧光图像数组和另一三维图像数组；借助成像规则位置精确地在另一三维数组产生的另一立体图像中显示检查区域的荧光标示重要区域，在三维荧光图像数组中确定检查区域荧光标示重要区域的空间位置，在另一立体图中只显示提取的部分图像区域，或利用预定灰度值遮盖体素，将整幅荧光立体图像叠加在另一立体图像上。
文档编号A61B5/00GK1627324SQ20041009837
公开日2005年6月15日 申请日期2004年12月8日 优先权日2003年12月8日
发明者马丁·克林, 马库斯·菲斯特, 诺伯特·拉恩 申请人:西门子公司