用于生成患者的图像的成像设备和方法与流程

本发明涉及使用患者的医学成像和关于界标的处理信息的图像处理。具体地，本发明涉及一种用于生成患者的图像的成像设备和方法。

背景技术：

图像引导微创治疗正在多数介入和微创治疗中获得其动力。该途径的主要前提是：对患者的创伤小、快速的恢复时间、更少的血液流失和改善临床结果。当执行微创介入治疗时为了提供增强的图像引导，成像和导航必须被硬件和软件地无缝结合和集成。

技术实现要素：

需要改善用于对患者进行成像和跟踪的成像装置和方法。

这些需要可以通过独立权利要求的主题来满足。其他范例性实施例从从属权利要求和以下描述中是显而易见的。

本发明的第一方面涉及一种用于生成患者的图像的成像设备。所述成像设备包括相机装置，其被配置为使用第一波长带来提供患者的第一图像信息，并且其被配置为使用第二波长带来提供患者的第二图像信息，其中，第一波长带和第二波长带是不同的。第一图像信息和/或第二图像信息包括作为自然标记的患者的血管或皮肤中的其他浅层组织结构的界标信息。另外，所述设备包括数据处理器，其被配置为基于第一图像信息和第二图像信息来生成示出对比度在预定义阈值以上的自然标记的融合图像。数据处理器还被配置为探测融合图像中的自然标记。

在范例中，数据处理器被配置为光学地解析融合图像中的界标。

本发明有利地允许通过相机装置以谱解析自然位置标记，其标记例如被呈现在患者的皮肤上，但是其通过rgb相机可以是不可见的，即，以谱解析。

例如，可以提供改进的成像设备，其允许增强的患者跟踪，优选地不使用人工标记，即，使用已经存在但可见性差的自然位置标记或界标。

例如，提供一种医学成像系统，其可以被用于介入流程，并且其使用被集成到探测器外壳的相机用于增强的图像引导。

本发明基于由于皮肤组织的不足的对比度分辨率以及在患者表面(即皮肤)本身上的不同解剖标记的缺乏，在根本上需要标记的概念。另一方面，血管或皮肤中的其他浅层组织结构能够是自然解剖标记的良好候选，但是血管或皮肤中的其他浅层组织结构使用可见谱的正规光学相机是不完全可见的。

根据本发明的成像设备/成像系统以及方法通过组合来自不同波长带的图像数据来提供使用血管或其他浅层组织结构作为自然标记的选项。在范例中，第一波长带和第二波长带被选择以便提供针对融合图像中的自然标记的相对高的对比度。优选地，波长带包含在可见范围内的一个带以及在不可见范围的一个带，例如红外或紫外。根据来自每个带的两个图像可以创建融合图像，其示出了高对比度的血管或皮肤中的其他浅层组织结构。图像融合优选地包括部分减法或其他数据操作。

例如，根据在对比阈值-对比血管图像以上方面的高-高，即来自不同观察位置的两个图像，探测特征点，根据所述特征点来创建解剖组织结构或甚至整个患者的三维模型。通过本发明能够精确地跟踪在三维模型内的组织结构的位移，并且时间相关模型可以精确地表示患者自身的任何位移。

本发明有利地允许通过皮肤的图像获得血管的高对比度图像，其被记录在至少两个波长带中，可以以包括从第二图像部分地减去第一图像的步骤的方式根据两个被记录的图像来创建融合图像。可以实时执行减法。

根据本发明的又一第二方面，医学成像系统包括根据第一方面的成像设备或如提供的第一方面的任何实施形式。所述医学成像系统还包括用于显示融合图像的显示设备，以及用于提供患者的x-射线图像信息的x-射线设备。数据处理器被配置为基于第一图像信息和第二图像信息以及x-射线图像信息来生成融合图像。

根据本发明的又一第三方面，提供了一种用于生成患者的图像的方法。所述方法包括以下步骤：

a)由相机装置使用第一波长带来提供患者的第一图像信息；

b)由相机装置使用第二波长带来提供患者的第二图像信息；其中，所述第一波长带和所述第二波长带是不同的；并且其中，第一图像信息和/或第二图像信息包括作为自然标记(m)的患者(p)的血管或皮肤中的其他浅层组织结构的界标信息；以及

c)由数据处理器基于第一图像信息和第二图像信息来生成示出对比度在预定义阈值以上的自然标记的融合图像，并且探测融合图像中的自然标记。

如以下提出的通过本发明的从属权利要求表示本发明的优点和实施例。

根据本发明的范例性实施例，所述相机装置被配置为记录在关于患者的第一位置中的第一图像信息，并且记录在关于患者的第二位置中的第二图像信息。这有利地允许改进的三角测量，并且因此改进的三维建模或患者跟踪。来自两个不同位置的图像信息有利地实现基于图像信息和其中识别的界标而获得的深度和三维(3d)结构的确定。

根据本发明的又一范例性实施例，所述相机装置包括相机设备，其被配置为提供第一图像信息和第二图像信息两者。这有利地允许自然标记的(例如皮肤下面的血管)改进的成像和光学解析。相机设备也可以被称为主相机或集成相机或双图像相机。

根据本发明的又一范例性实施例，所述相机设备被配置为沿着包括第一位置和第二位置的预定义轨道被移动。这有利地允许使用单相机设备来提供三维空间内的组织结构的位移的三角测量或三维建模的信息。

根据本发明的又一范例性实施例，所述相机设备被配置为使用在作为第一波长带的红外谱内的波长带来提供患者的第一图像信息。这有利地允许自然位置标记的改进的谱解析。

根据本发明的又一范例性实施例，相机装置包括第一相机设备，其被配置为提供第一图像信息，以及第二相机设备，其被配置为提供第二图像信息；所述第一相机设备被配置为记录在第一位置中的第一图像信息，以及第二相机设备被配置为记录在第二位置中的第二图像信息。这有利地允许建立患者的改进的三维模型或患者的结构的三维模型。

根据本发明的又一范例性实施例，第一相机设备被配置为使用在作为第一波长带的红外谱内的波长带来提供患者的第一图像信息。这有利地允许界标的改进的谱解析。

根据本发明的又一范例性实施例，第二相机设备被配置为使用在作为第二波长带的红外谱内的波长带来提供患者的第二图像信息。这提供了界标的改进探测。

根据本发明的又一范例性实施例，数据处理器被配置为生成通过对界标进行光学解析而识别的结构的三维模型。

根据本发明的又一范例性实施例，成像设备可以包括用于显示融合图像的显示设备。这改进了通过图像信息处理执行的数据处理的结果的数据通信。

根据本发明的又一范例性实施例，成像设备被配置为基于由相机装置的连续记录和由数据处理器的融合图像的连续生成来探测患者的运动，导致融合视频数据流。这有利地允许改进的患者跟踪，即，患者的任何移动的跟踪。

执行本发明的方法的计算机程序可以被存储在计算机可读介质中。计算机可读介质可以是软盘、硬盘、cd、dvd、usb(通用串行总线)存储设备、ram(随机存取存储器)、rom(只读存储器)和eprom(可编程只读存储器)。计算机可读介质也可以是数据通信网络，例如因特网，其允许下载程序代码。

本文描述的方法、系统和设备可以被实施为在数字信号处理器(dsp)中，在微控制器或在任何其他端处理器中的软件，或在专用集成电路(asic)内的医疗设备的硬件电路。

本发明能够被实施在数字电子电路中，或在计算机硬件、固件、软件中或其组合中，例如，在医学成像设备的可用硬件中或在专用于处理本文描述的方法的新硬件中。

参考下文描述的实施例，本发明的这些和其他方面将显而易见并得以阐述。

附图说明

参考以下示意图将更清晰地理解本发明的更完整理解和其优点，其未按比例绘制，其中：

图1示出了根据本发明的范例性实施例的用于生成患者的图像的成像设备的示意图；

图2示出了根据本发明的范例性实施例的用于生成患者的图像的方法的流程示意图；

图3示出了根据本发明的范例性实施例的医学成像系统的示意图；

图4示出了根据本发明的范例性实施例的医学成像系统的示意图；

图5示出了用于解释本发明的生成融合图像的处理的示意图；

图6示出了用于解释本发明的由相机设备记录的图像的示意图；

图7示出了用于解释本发明的由第二相机设备记录的图像；以及

图8示出了根据本发明的范例性实施的如由医学成像系统生成的图像。

具体实施方式

附图中的图示仅仅是图示性的，并且不旨在提供比例关系或尺寸信息。在不同绘图或附图中，相似或相同的元件被提供具有相同的参考数字。一般地，相同的部分、单元、实体或步骤被提供具有在描述中的相同参考符号。

图1示出了根据本发明的范例性实施例的用于生成患者的图像的成像设备100。图1示出了包括相机装置10和数据处理器30的成像设备100。

成像设备100还可以包括x-射线设备40，其用于提供患者p的x-射线图像i3。成像系统100还可以包括显示设备50，其用于显示融合图像ie。

相机装置10可以被配置为使用第一波长带来提供患者p的第一图像信息i1，并且使用第二波长带来提供患者p的第二图像信息i2。第一波长带和第二组波长带是不同的，并且第一图像信息和/或第二图像信息包括患者p的界标m的界标信息。具体地，至少一个波长带可以在可见谱之外，并且更具体地在红外谱内。

根据本发明的范例性实施例，相机装置10可以包括一个相机设备10-0，其被配置为提供第一图像信息i1和第二图像信息i2两者。

根据本发明的范例性实施例，如例如关于图4随后示出和描述的，相机装置10可以包括第一相机设备10-1，其被配置为提供第一图像信息i1，以及第二相机设备10-2，其被配置为提供第二图像信息i2。第一相机设备10-1被配置为记录在第一位置中的第一图像信息i1，并且第二相机设备10-2被配置为记录在第二位置中的第二图像信息i2。

相机装置10的第一波长带和/或第二波长带可以是包括例如以下的若干波长带的可见或不可见光谱：

(1)蓝色：0.450-0.520μm(微米)

(2)绿色：0.515-0.600μm

(3)红色：0.60-0.69μm

(4)可见：0.45-0.7μm

(5)红外线：0.7-1.0μm

(6)近红外线：1.0-3.0μm

(7)中红外线：3.0-50.0μm

(8)远红外线：50.0-1000.0μm

在不可见光谱中，血管可以更好地进行光学解析，即在预定义阈值以上的对比度，其允许更精确地跟踪位置标记。

根据本发明的范例性实施例，通过三角测量和使用两个不同的相机位置，可以改进结构的三维模型或整个患者的三维模型的生成。

根据本发明的范例性实施例，数据处理器设备30可以被配置为使用由融合图像ie中探测到的界标m识别的结构的三维模型、基于第一图像信息i1和第二图像信息i2来生成融合图像ie。

对用作位置标记的界标m的探测和谱解析允许结构的三维定位，其与位置标记m有关。换言之，如果记录时间相关图像序列，位置标记中的每个被分配给允许跟踪运动的某结构部分，或允许在三维空间内定位分配的结构。

根据本发明的范例性实施例，相机设备10-0、10-1、10-2可以是高谱或多谱滤片相机，其用于利用400到1000nm(纳米)或从1000到1700nm或从500到1700nm的谱范围进行高谱或多谱成像，具有各种(例如6或8或甚至更多)可互换滤波器，具有1392x1040像素分辨率或在光栅图像中的物理点的电荷耦合设备ccd，或例如具有砷化铟镓(ingaas)或具有640x512像素分辨率的任何其他半导体，或具有任何其他像素分辨率的传感器。

如本发明使用的术语“高谱成像”是指收集和处理来自在可见范围外延伸的电磁谱的范围上的信息。

如本发明使用的术语“多谱成像”是指获取在电磁谱上在体频率处的图像数据。波长可以通过滤波器或通过对具体波长敏感的仪器的使用来分离，即，使用多谱，其是术语“多谱成像”的原因。这可以包括来自在可见光范围之外的频率的光，诸如红外，然后其也可以通过前述术语“高谱成像”的术语“高”来定义。

谱-是其多谱或高谱-成像可以允许从图像中提取额外的信息，尤其人类眼睛不能够用其针对红、绿和蓝的接收器捕捉的信息。

根据本发明的范例性实施例，相机装置10可以具有10fps(每秒帧数)或16fps或20fps或任何其他的帧率，例如更快的帧率。

根据本发明的范例性实施例，成像系统100还可以包括x-射线设备40。x-射线设备40可以被用于以患者p的x-射线图像形式记录x-射线图像信息i3。当生成融合图像ie或当生成结构的三维模型时，还可以使用x-射线图像信息i3。

根据本发明的范例性实施例，成像系统100还可以包括被配置为显示融合图像ie的显示设备50。

图2示出了根据本发明的范例性实施例的用于生成患者的图像的方法的流程示意图。用于生成患者的图像的方法可以包括以下步骤：

作为所述方法的第一步骤，执行由相机装置10使用第一波长带来提供s1所述患者p的第一图像信息i1。

作为所述方法的第二步骤，执行由相机装置10使用第二波长带来提供s2所述患者p的第二图像信息i2；其中，所述第一波长带和第二波长带是不同的；并且其中，所述第一图像信息和/或第二图像信息包括患者p的界标m的界标信息，其中，通过在可见谱之外的至少一个波长带来导出界标信息。

作为所述方法的第三步骤，执行由数据处理器30基于第一图像信息i1和第二图像信息i2来生成s3融合图像ie，并且执行探测融合图像ie中的界标m。

图3示意性地示出了包括根据本发明的范例性实施例的用于提供患者的内部的x-射线图像的x-射线设备104的医学成像设备400。见图3，x-射线设备104具有通过轮108支撑的基架106、可移动c-臂110和用于支撑患者114的手术台112(也被称为参考p)，在该具体范例中其患者114是人类。

c-臂110关于主轴116可旋转，其主轴116具有对应于手术台112的主要取向的方向，并且c-臂110关于第二轴118可旋转，其第二轴118垂直于主轴116并且平行于手术台112。优选为矩形和平板探测器的x-射线源120和x-射线探测器122被安装在c-臂110上，使得x-射线源和x-射线探测器驻留在关于第二轴118的彼此的对侧。

被提供为第一相机设备10-1用于提供患者的外部的相机图像流的第一相机124被安装在x-射线探测器122旁边的c-臂110上。在该具体范例中，第一相机124可以对可见谱中的波长敏感。第一相机124也可以被提供为获取不同时间点处的图像流或单一图像。

被提供为第二相机设备10-2用于提供患者的外部的相机图像流的第二相机126被安装在x-射线探测器122旁边的c-臂110上。在该具体范例中，第二相机126可以对可见谱中的波长敏感。第二相机126也可以被提供为获取不同时间点处的图像流或单一图像。

参考图3，数据处理器128、30基于由可移动标记提供的空间相关性将x-射线图像和相机图像流绘制成复合图像流。复合图像流在几何重叠意义上显示患者的内部和患者的外部，以及可移动标记、手术场、肿瘤和患者的身体轮廓。

图4示出了根据本发明的又一范例性实施例的医学成像系统200的示意图。

医学成像系统200可以包括成像设备100的范例、显示设备50的范例，以及x-射线设备40的范例。显示设备50可以被配置为显示融合图像ie。x-射线设备40可以被配置为提供患者p的x-射线图像信息i3。所述数据处理器30可以被配置为基于第一图像信息i1和第二图像信息i2以及x-射线图像信息i3来生成融合图像ie。相机装置10可以包括第一相机设备10-1，其被配置为提供第一图像信息i1，以及第二相机设备10-2，其被配置为提供第二图像信息i2。

根据本发明的范例性实施例，成像系统200可以通过将光学相机与高谱相机组合来提供使用血管作为自然标记的选项。优选地，多谱或高谱相机的波长带包含可见光范围中的一个带以及不可见光范围中的一个带。根据来自每个带的两个图像可以创建融合图像，其示出了高对比度的血管。例如，图像融合可以包括部分减法。

图5示出了用于进一步解释本发明的生成融合图像的处理的示意图。

融合图像ie可以使用识别的结构(例如血管或皮肤中的其他浅层组织结构)的三维模型，基于合并第一图像信息i1和第二图像信息i2。如由数据处理器30执行的，解析的界标m可以用作位置标记用于进一步处理。

作为用于生成融合图像ie的又一基础，数据处理器30也可以使用x-射线图像信息i3。

图6示出了用于解释本发明的又一图像。

例如由第一相机设备10-1可以记录图像。图像可以获取患者p的手。为了记录图像，可以使用具有10nm带宽的838nm滤波器。

图7示出了例如由第二相机设备10-2记录的在具有10nm带宽的482nm滤波器上采集的患者p的手的图像。系数0.7指示滤波器衰减0.7系数的强度。

备选地，代替两个相机设备，可以使用单一多谱相机设备10-0。在成像期间，例如，可以以交替的方式采用例如838nm和482nm的滤波器。

图8示出了使用融合滤波器的图像，其是如在图6和7中描述的图像的组合。如在图8的图像中示出的组合可以是，例如，结合如在图6和7中描述的两个图像执行的部分减法或任何其他类型的计算。

在又一实施例中，可以采用执行在多于两个波长的成像的多谱相机。例如，可以添加通过680nm附近波长的光的第三滤波器。在该实施例中，例如，融合图像基于在不同波长带采集的图像的加权组合。权重优选地被调整以便显现出根据本发明足够用于图像跟踪的对比度水平的感兴趣的自然标记。

必须注意，参考不同主题描述本发明的实施例。尤其，参考方法类型权利要求描述一些实施例，而参考设备类型权利要求描述其他实施例。

然而，本领域技术人员将从以上和前述描述中获悉，除非另作说明，除属于一个类型主题的特征的任意组合之外，涉及不同主题的特征之间的任意组合也被认为是这个申请内的公开。然而，能够组合所有特征，提供比特征的简单总和更多的协同效果。

尽管已经在附图和前述描述中详细图示并描述了本发明，这样的图示和描述被认为是图示性或范例性的而非限制性的；本发明不限于所公开的实施例。

通过研究附图、说明书和权利要求书，本领域技术人员在实践所主张的本发明时，能够理解并实现对所公开实施例的其他变型。

在权利要求中，“包括”一词不排除其他要素或步骤，并且不定冠词“一”或“一个”不排除复数。单个处理器或控制器或其他单元可以实现在权利要求中列举的若干项的功能。

在互不相同的从属权利要求中记载的特定措施并不表示不能有利地使用这些措施的组合。在权利要求中的任何附图标记不应被解释为对范围的限制。