用于路线绘图的设备位置依赖性的叠加的制作方法

用于路线绘图的设备位置依赖性的叠加的制作方法
【专利摘要】一种用于支持心脏介入或神经介入的图像处理器(IP)和图像处理方法。成像器(100)在介入工具前进通过诸如心脏脉管的感兴趣区域(ROI)时采集一系列荧光透视图像(F)。图像处理器(IP)操作为从所述感兴趣区域的多个被存储的先前采集的血管造影片(A)选择前后关联的一个，能够从所述前后关联的一个提取前后关联的路线图(RM)。所述前后关联的路线图被选择为适配当前的心脏相位和所述设备(GW)的当前位置二者。所选择的前后关联的血管造影片及其前后关联的路线图能够以高对比度示出在所述当前的设备位置处的所述脉管(ROI)的外形。
【专利说明】用于路线绘图的设备位置依赖性的叠加

【技术领域】
[0001] 本发明涉及图像处理装置、图像处理方法、图像处理系统、计算机程序单元以及计 算机可读介质。

【背景技术】
[0002] 当由医学人员将导管引入到患者的身体中时，常常通过荧光透视成像设备来支持 心脏介入和神经介入。使设备前进通过合适的支线动脉而到患病位点或病灶位点。
[0003] 由放射科医生在屏幕上监测设备的前进。在所述屏幕上显示荧光透视图像，所述 荧光透视图像是由X射线投影成像器在整个介入过程中采集的。在心脏学的背景中，对例 如狭窄的病灶被定位在其中的冠状血管是感兴趣的。由于血管的低放射不透明性，血管自 身一般在荧光透视图像中是很难看到的，如果真有的话。为了仍然为放射科医生提供导航 辅助，使用路线绘图技术。路线图是在投影视图中表示诸如血管的解剖结构（使导管前进 通过所述解剖结构）的外形的图形。路线图通常被示为在当前的荧光透视图旁边以提供期 望的导航线索。单个路线图一般不覆盖导管行进通过的冠状动脉的整个区域。根据以前的 解决方案，许多局部性路线图被缝合到一起成为复合路线图，以从而提供视觉导航辅助。
[0004] US 2010/049038描述了一种心脏路线绘图程序。


【发明内容】

[0005] 因此可以具有在介入程序期间支持医学人员的备选装置的需要。
[0006] 本发明的目的通过独立权利要求的主题得以解决，其中，其他实施例被并入从属 权利要求。应当理解，本发明的以下方面同样地应用于图像处理方法、图像处理系统、计算 机程序单元以及计算机可读介质。
[0007] 根据本发明的第一方面，提供了一种图像处理装置，包括：
[0008] 输入端口，其用于接收当设备驻留在相对于对象的位置处时采集的所述设备的投 影图像，所述对象能够在至少第一对象状态与第二对象状态之间进行转换，并且所述设备 是可复位的；
[0009] 对象状态确定器，其被配置为确定所述对象的当前状态；
[0010] 设备定位器，其被配置为使用所接收的投影图像中的图像信息来确定所述设备的 位置；
[0011] 对象图像选择器，其被配置为从多个被存储的对象图像选择前后关联的 (contextual)对象图像，所述前后关联的对象图像为：i)所述前后关联的对象图像的组对 应于所确定的对象状态，并且ii)所述前后关联的对象图像的图像信息指示所确定的设备 位置。根据所述第一对象状态和所述第二对象状态将所述多个被存储的对象图像进行分 组，至少一个组包括所述对象图像中的一个以上；以及
[0012] 图形显示生成器，其被配置为生成用于在屏幕上显示的组合图像，所述组合图像 包括所选择的前后关联的对象图像和所接收的设备投影图像的部分。
[0013] 根据一个实施例，所述装置可以被使用在心脏设定中，以用于在介入荧光透视中 的血管路线绘图。在该实施例中，所述设备可以是诸如引导导管的导丝的医学介入工具，并 且对象是患者的心脏脉管。脉管的状态是由心脏活动引起的脉管的周期性位置来改变。设 备投影图像是在介入期间采集的荧光透视图像，并且对象投影图像是心脏脉管的被分组的 多个预先记录的血管造影片。前后关联的血管造影片的部分然后能够被提取为路线图，并 且能够被与当前的荧光透视图像组合以形成组合图像。组合图像然后能够被显示在屏幕 上，以如此为临床医生提供视觉辅助，以用于在介入期间安全地导航设备通过脉管。血管造 影片已经在许多心脏周期上被记录，并且分组是根据各自的心脏相位的，其中根据一个实 施例，每个组包括在相同的心脏相位处记录的以及当由于血管造影术的造影剂通过脉管的 流而引起的脉管的不同部分被灌注（"填充"）以不同的水平时记录的多个血管造影片。换 言之，当以适当的灰度值进行绘图而在屏幕上观看时，如在来自相同的组的血管造影片中 记录的脉管的覆盖范围的部分一般将针对血管造影片中不同的一些而以不同的灰度阴影 来显示。
[0014] 不同于先前的系统，不存在针对特定时刻固定的脉管路线图，也不存在根据若干 时刻形成（"缝合"）用于显示一个复合脉管路线图的需要。相反地，所提出的装置针对荧 光透视图像的即时流来定制并调整所述装置对血管造影片的选择。所述装置使用在荧光透 视图中的设备位置和当前的心脏相位来在荧光透视图像流采集的运行时间期间搜索在被 存储在对应于当前的心脏相位的组中的血管造影图的"储备堆积"中的前后关联的血管造 影片。选择是两阶段的，在第一阶段中，确定组（即，对象）的状态，并且然后在第二阶段中， 从所述组选择血管造影图。
[0015] 根据一个实施例，图形显示生成器被配置为在由对象状态确定器确定新的对象状 态时生成新的组合图像。换言之，在对新的对象状态的检测后，动态更新并重新计算组合图 像。针对新的前后关联的图像的搜索或选择操作被重新聚焦到新的组，并且在对所更新的 前后关联的血管造影片的选择后，在新的组合图像中显示可从其提取的新的前后关联的路 线图。以类似的方式，也在对新的设备位置的检测后触发新的选择。简言之，对当前的前后 关联的血管造影片的选择遵循心脏相位和设备位置二者。
[0016] 根据一个实施例，如果前后关联的图像的组被确定为是分别具有所述至少两个对 象图像或至少两个对象图像的所述组或组，则对象图像选择器被配置为使用设备图像中在 设备位置周围的图像邻域，以在所匹配的对象图像的组中的所述至少两个对象图像中确立 对应的图像邻域。选择器被配置为使用评分方案来为所述至少两个对象图像中的每个赋予 一评分，所述评分基于各自所确立的图像邻域中的像素值，其中，前后关联的对象图像为至 少两个对象图像中的具有比至少一个其他对象图像更高评分的所选择的一个。根据一个实 施例，像素信息是在考虑中的组中的各自血管造影片（或其经滤波的版本）的所述图像邻 域中的对比度。在一个实施例中，在将当前的设备位置周围的各自的邻域中的对比度进行 比较之前，使用脊状滤波器或其他方向滤波器。这样的滤波器响应于细长的图像结构，但是 应当理解，在预期其他覆盖范围形状时可以使用其他滤波器。在导丝的情况下，设备位置可 以被当作设备的尖端的位置，但是设备的确定导航路径的其他明显或相关部分可以同样地 用于定义各自血管造影片的所述图像邻域。其他实施例包括通过计算各自的血管造影片邻 域中的像素强度的均方根（RMS)来测量对比度。换言之，前后关联的图像是空间前后关联 的，即，所述前后关联的图像不仅能够示出在当前的设备位置处的血管，而且还能够因此以 与所述组中的剩余的血管造影片相比的高对比度来示出所述位置。换句话说，所述装置将 前后关联的血管造影片返回为这样的一个：所述前后关联的血管造影片i)被与当前的心 脏相位同步，ii)能够示出在所确定的设备位置处的脉管，并且iii)是在所确定的设备位 置处的脉管中的造影剂浓度或灌注高于针对在相同的心脏相位处采集的血管造影片中的 全部或大多数的造影剂浓度或灌注时的时间处采集的。
[0017] 根据一个实施例，确定器的确定操作包括匹配操作，以将所接收的设备图像匹配 到在所述多个被存储的对象图像之中的匹配的对象图像，并且返回对应于所述匹配的对象 图像的组的状态作为所确定的对象状态。根据一个实施例，匹配是通过对对象图像中的对 象的覆盖范围进行滤波并且然后通过将经滤波的对象覆盖范围与设备图像中的经滤波的 设备覆盖范围进行对齐来进行的。然后将对象覆盖范围进行移位，以便与设备覆盖范围相 交并且使所述相交的部分针对任意对的血管造影片与当前设备图像尽可能地大。然后确定 其被移位的覆盖范围定义设备覆盖范围中的总体最大的重叠或相交区的血管造影片，然后 确定匹配的血管造影片及其组作为当前的对象状态。针对心脏设定，由于预期细长的覆盖 范围，因此使用方向滤波。在其他设定中，可以使用对应于所预期的覆盖范围形状（在其他 设定中可以是圆形或椭圆形）的其他滤波器。
[0018] 在一些情况下，可以发生：用于确立血管造影片是否是前后关联的标准是模糊的， 从而得到多个前后关联的图像，每个均满足适用标准。根据一个实施例，为了解决该模糊性 并且为了输出一个单个血管造影片作为在任意给定实例中都是前后关联的，图像选择器操 作为返回前后关联的图像作为具有在时间上最接近先前选择的前后关联的图像的采集时 间的一个。从而能够在从一个路线图改变到另一个时避免闪烁或者保持低闪烁。与以上提 及的评分联合地使用到先前的前后关联的图像的时间接近度。在一个实施例中，使用两个 评分，使得高对比度血管造影片能够仍被确定为前后关联的，尽管其并不是最接近的一个， 并且相反地，从其局部对比度评分接近的两个血管造影片中，最接近的一个将被返回作为 前后关联的血管造影图。
[0019] 根据一个实施例，在选择后提取可从所选择的前后关联的血管造影片提取的前后 关联的路线图。根据备选实施例，在先前的预备步骤中从血管造影图中的每个提取路线图， 并且然后将所述路线图存储为与它们各自的血管造影片相关联。在血管造影片已经被确定 为相对于心脏相位和设备位置是前后关联的后，然后能够取回相关联的路线图作为前后关 联的路线图。
[0020] 应当理解，以上对心脏设定的引用仅是示例性的实施例。同样地设想诸如神经学 的其他设定作为本文中提出的装置的应用。具体地，对血管造影片、荧光透视图像、心脏相 位以及心脏脉管和导管/导丝的引用仅是出于对示例性实施例的举例说明的目的。具体 地，对象可以是能够在多个状态之中改变或能够采取多个状态的任何器官实体或非器官实 体。状态可以指对象能够采取的不同的空间构型或非空间构型中的任一种，只要所述状态 是可记录的或者能够在对象图像中得以表明。具体地，"对象状态"可以指患者的呼吸周期， 这是因为在呼吸期间胸部的运动同样地影响人类（或动物）脉管的特定部分的位置。
[0021] 定义
[0022] 本文中使用的图像中的"覆盖范围"意指投影图像中对应于主体（解剖结构或医 学设备）到所述图像的图像平面上的投影的图像部分。

【专利附图】

【附图说明】
[0023] 现在将参考以下附图描述本发明的示例性实施例，其中：
[0024] 图1示出了用于支持介入的图像处理布置，所述图像处理布置包括成像器和图像 处理器；
[0025] 图2是图1的图像处理器的部件的方框图；
[0026] 图3示意性地示出了由图2的图像处理器生成的图形显示的序列。
[0027] 图4是用于根据被成像的对象的状态对路线图进行分组的设备的部件的方框图；
[0028] 图5是图像处理方法的流程图。

【具体实施方式】
[0029] 参考图1，示出了除了别的以外能够在介入程序中使用的荧光透视成像布置的基 础部件。
[0030] 患者PAT可以罹患在他或她的冠状脉管ROI中的狭窄或其他病灶。在介入程序期 间，医学人员将导丝GW引入到患者PAT的股动脉中，并且然后将导管引导到患者的冠状脉 管ROI中的患病部分（狭窄被定位在其中）。随着导丝GW前进通过患者的P心脏脉管，由 X射线成像器100采集一系列相继的荧光透视图像F。
[0031] 在介入期间，患者PAT被布置在成像器100的X射线管XT与检测器D之间的床B 上。X射线管XT和检测器D被附接到刚性框架C，所述刚性框架C被可旋转地安装在轴承 B上。从计算机控制台CC控制荧光透视成像操作。介入放射科医生能够经由所述控制台 CC控制图像采集，并且能够通过致动操纵杆或脚踏板来"拍摄"个体荧光透视帧（荧光透视 图）中的每个。根据一个实施例，成像器100是C型臂类型的。
[0032] 在图像采集期间，X射线p从X射线管XT发射，穿过脉管ROI，经历由与其中的物 质的相互作用造成的衰减，并且经如此衰减的光束P然后在构成检测器D的多个检测器单 元中的一个处撞击检测器D的表面。被射束撞击的每个单元通过发出相应的电信号而做出 响应。所述信号的集合然后被转换成表示所述衰减的各自的数字值。构成脉管ROI的物质 的密度决定了衰减的水平，其中高密度物质引起比较低致密的物质更高的衰减。然后将针 对每个X射线P的经如此配准的数字值合并成数字值的阵列，从而形成针对给定的采集时 间和投影方向的荧光透视图。换言之，每个荧光透视图都是沿着投影方向的投影视图的数 字图像，并且所述方向是由C型臂在给定的采集时间或时刻处的旋转决定的。然后由数据 采集单元DAS以数字方式处理所述系列的荧光透视图F，并且然后将所述系列的荧光透视 图F转送到图像处理器IP，所述图像处理器IP的目的和操作将在下文进行更加详细地解 释。
[0033] 在荧光透视图像F中一般只有高衰减的对象，所述高衰减的对象的覆盖范围是可 辨别的。更具体地，只有由高不透明性材料制成的导丝GW在每个荧光透视图中可见为一般 为细长的覆盖范围GWF。随着以约30个图像每秒的帧速率采集荧光透视图像F的流，能够 监测导丝GW通过患者PAT的身体的进度。
[0034] 导丝GW用于将例如气囊导管引导到病灶位点。
[0035] 介入放射科医生的任务是顺利通过心脏血管树ROI中的众多分支，以将气囊导管 的尖端安全地递送到病灶位点。血管通过分流术连接到彼此，并且导丝必须被"穿线"通过 适当的分流器以到达病灶。为了给放射科医生提供关于即时心脏脉管的视觉线索，已经在 先前由相同的成像器或由不同的成像器在先前的过程中从患者采集了血管造影片（血管 造影图）的序列。
[0036] 用于采集血管造影图A的程序基本上与以上联系荧光透视图F所描述的程序类 似，然而，在血管造影图A的采集期间，高不透明性造影剂（"染料"）被递送给患者PAT并 且然后随着血液流动逐渐通过脉管ROI。换言之，染料或造影剂为脉管结构ROI (其否则是 不可见的）提供不透明性，并且脉管树在血管造影图A中的每个中表现为蜘蛛样覆盖范围。 由于染料的前进通过脉管，因此脉管的不同部分在每个血管造影图中显现为不同的强度或 对比度。因此在每个血管造影片中，对比度或变暗的量在不同的位置处是不同的。如所提 及的，血管造影片是在以上的荧光透视图支持介入之前在预备阶段中被采集的。根据一个 实施例，其他的预备步骤涉及路线图提取器RMX，所述路线图提取器RMX可操作为从其对应 的血管造影片提取一系列路线图图形冊。下面参考图4解释用于从血管造影图A获得所述 路线图RM的设备RMX。路线图是数字图像，所述数字图像的像素信息指示或能够示出脉管 的覆盖范围的剪影的外形，如在对应的血管造影图中所记录的。
[0037] 整个脉管ROI可以如此大，使得没有单个血管造影片以同样高的对比度示出所述 脉管覆盖范围的每个部分，或者出于某种原因而记录了不完整的血管造影图。一般仅注射 最小量的染料，以避免在患者中的有害健康的影响。换言之，在血管造影片的采集期间，随 着染料相对于给定的位置前进通过脉管，脉管的近端部分将被充分灌注（"填充"）染料，而 远端部分还没有被充分填充染料，或者随时间逝去染料在近端部分处已经渐弱而远端部分 得以充分填充。
[0038] 大致来讲，图像处理器IP操作为接收荧光透视图F的流，并且将每个荧光透视图 与对应的路线图进行组合，以产生针对任何接收到的荧光透视图F的组合图像CI。然后能 够为了放射科医生的利益，在介入期间在监视器M上将所述组合图像CI显示为图形显示 GD。这是因为如此产生的图形显示GD将示出在对应于当前的荧光透视图的采集时间的位 置处的导丝覆盖范围GWF，其中所述对应的路线图描画在导丝尖端的当前位置处的脉管的 轮廓。可以不以足够的对比度显示脉管中尖端当前未驻留在其中的部分，然而这不是必须 的，这是因为对于放射科医生，仅对导丝尖端的当前所在处感兴趣，以安全地导航导丝。更 具体地，由本文中所提出的图像处理器IP产生的图形显示GD能够与多个路线图中选择的 一个一起示出即时荧光透视图。路线图被如此选择，使得脉管的外形被至少以用户可调节 的对比度表示在当前的导丝尖端周围的用户可定义的附近处。根据一个实施例，对比度是 预设的并且不能够被用户改变。
[0039] 本文中所提出的图像处理器IP在对路线图与当前的荧光透视图进行组合时考虑 到患者的当前的心脏相位。由于心脏活动影响所考虑的脉管在任意给定时间处的形状和位 置，因此考虑心脏相位。冠状动脉ROI "泮住"心肌并且随着肌肉在收缩期和舒张期期间分 别进行周期性地收缩和舒张而周期性地产生位移。因此，由血管造影图A所记录的脉管树 覆盖范围的支路倾向于随着舒张期和收缩期而显现出被移位。本文中所提出的图像处理器 IP根据被保存在数据库中的可用的路线图来选择与当前的心脏相位和导丝或其他介入设 备或工具的当前位置适配最好的一个。
[0040] 不同于先前的解决方案，图像处理器IP在每个心脏相位所存储的多个血管造影 片的"储备堆积"上进行操作，并且从其选择能够至少以用户可定义的对比度示出当前的导 丝位置的一个。换言之，所选择的前后关联的血管造影图不仅是在对应于当前的荧光透视 图的心脏相位的心脏相位处采集的，而且还是在当前的设备位置处的染料浓度比在采集针 对相同的心脏相位的剩余的血管造影图时更高时采集的。由于在相关的局部尖端位置处的 该高对比度，从前后关联的血管造影图提取的路线图"忠实"于在当前的设备位置处的血管 的真实轮廓。这不同于先前的系统的"一刀切"的方法，其中不具有针对任意给定的当前的 心脏相位和给定的导管位置的多个路线图以由系统从中选择。在先前的系统中，特定的路 线图是针对任意给定的位置提前预先选择的，并且然后显示的是该预先选择的路线图。不 同于图像处理器IP，在先前的系统中，不具有在运行时间期间从多个同样同步的血管造影 图的选择，这具有在导航期间在一些点处路线图不良地勾画在介入工具的当前位置周围的 血管的风险。
[0041] 现在将参考图2更加详细地解释图像处理器IP的操作。
[0042] 操也
[0043] 路线图或血管图图像RM及其各自的血管造影图A被保存在数据库DB中，并且每 个均是通过从一系列血管造影片A中的各自的一个提取而获得的。由于被保存在数据库DB 中，路线图RM及其血管造影图A被分组成η个组，例如，（η = 3)个组S1-S3。每个组S1-S3 表示特定的心脏相位，并且各自的组中的每个路线图/血管造影图能够示出脉管的各自部 分的覆盖范围何时在各自的心脏相位处。在实践中为了遵循心脏相位，η在10〈η〈18的区 域中。由于已经在许多心脏周期期间采集了血管造影图Α，因此每个心脏相位组S1-S3包 括每个心脏相位的多个不同的路线图。换言之，当被显示时，各自的组Si中的每个路线图 能够示出在基本上相同的心脏相位处的各自的脉管覆盖范围，但是由于在不同的脉管部分 中，利用造影染料的灌注在不同的时间处是不同的，因此所述组中的每个路线图一般示出 脉管的不同部分和/或以不同的对比度或灰度像素值。分成心脏相位S1-S3的分组或分类 能够例如由关联性的阵列数据结构来实施，例如，在PERL编程语言中已知的"哈希表"。每 个路线图均与各自的血管造影图A (所述路线图是从所述各自的血管造影图A提取的）相 关联，并且对血管造影图A的心脏相位分组引起在从经分组的血管造影图A提取的或可提 取的路线图RM的集中的类似分组。
[0044] 处理器模块IP包括输入端口 IN、对象状态确定器SD、设备定位器L、路线图选择器 S以及图形显示生成器G。
[0045] 现在将参考具体的荧光透视图Ftl来描述图像处理器IP的操作，但是应当理解， 完全相似的操作应用于在稍后的时间处在输入端口 IN处接收的任意荧光透视图像。
[0046] 在对荧光透视图tl的接收后，设备定位器L在所述图像中检测导丝覆盖范围GWF。 由于介入设备的形状一般是已知的，因此能够应用基于灰度级别取阈的样式匹配。在导丝 GW的情况下，其覆盖范围GWF -般将显现为在图像平面上的细长结构。能够在切线方向上 跟随细长覆盖范围并且对在其中出现灰度级别的突降的图像位置进行配准来确定导丝的 尖端。然后可以将所述位置缓存为当前的设备位置。
[0047] 对象状态检测器SD基于所接收的荧光透视图FTl来进行操作，以检测被记录在其 中的当前的心脏相位。
[0048] 根据一个实施例，这是通过以下来完成的：从被保存在数据库DB中的血管造影图 A的"储备堆积"取回或选择被记录在其中的血管覆盖范围形状或曲率与所提取的导丝覆盖 范围GWF和/或血管造影图中的其他"标志"（例如，在介入期间驻留在患者PAT中的另一 医学设备的覆盖范围）适配最好的一个。例如，在到冠状动脉的入口处常常具有驻留在支 线动脉中的导管，在血管造影期间通过所述冠状动脉施予染料。
[0049] 根据一个实施例，为了实现心脏相位确定，在从当前的荧光透视图Ftl提取的覆 盖范围GWF与在与各自的血管造影图A中记录的脉管覆盖范围的部分之间执行对齐或匹配 操作，所述血管造影图A与对针对该荧光透视图Ftl的受欢迎的路线图RM相关联。血管造 影图A可以被保存在与从其提取的路线图RM相同的数据库DB中，或者被保存在不同的数 据库中。
[0050] 心脏相位检测器SD包括覆盖范围匹配器M和心脏相位选择器CS作为子部件。心 脏相位选择器CS对覆盖范围匹配器M的输出进行操作，如现在将描述的。
[0051] 覆盖范围匹配器M的匹配操作依赖于以下假设：柔性导丝GW驻留在脉管的血管支 路中，并且因此倾向于采取所述支路的形状。脉管ROI中的每个血管支路随着心脏周期而 在不同的心脏相位期间改变其空间构型，并且所述空间构型改变将也被传给导丝GW。脉管 ROI (包括其支路）一般将随着血压的周期性上升和下降而经受扩张和收缩，并且也将响应 于所述周期性的压力脉动而经历轻微的来回移位。所述移位也将被传给驻留在血管中的导 丝GW。
[0052] 由于在血管造影程序期间脉管中的染料灌注，使用灰度值取阈的分割器对每个血 管造影图A进行操作，以获得各自的图像部分，每个图像部分均表示一血管树，S卩，已经在 各自的血管造影图A中以足够的对比度记录了脉管的该部分的覆盖范围。
[0053] 根据一个实施例，然后将每个血管树进一步分解或分割成血管支路覆盖范围。匹 配器M然后操作为将如在荧光透视图FTl中所获得的导丝覆盖范围的形状匹配到如在各自 的血管造影图A中所分割的血管支路覆盖范围。
[0054] 根据一个实施例，通过计算应用于导丝覆盖范围的变换的参数来尝试匹配，以将 所述覆盖范围变型到每个血管造影图中的血管支路覆盖范围的形状和/或与每个血管造 影图中的血管支路覆盖范围的形状对齐。参数定义来自预设家族的变换的具体变换。根 据一个实施例，参数描述针对刚性仿射变换或非刚性仿射变换的矩阵的条目。根据一个实 施例，仿射变换定义在图像平面上的移位，以将导丝覆盖范围GWF单独地叠置在血管支路 覆盖范围中的任一个上。然后比较并核查变换定义的参数，并且输出针对每个血管造影 图-荧光透视图匹配的评分。血管造影图-荧光透视图评分测量在当前考虑的血管造影图 中，经变换的导丝覆盖范围GWF遵循各自的（一个或多个）血管支路的程度。然后输出最 佳评分或优于预定义的阈值的评分作为成功匹配。然后将针对一个或多个最佳匹配的血管 造影图的识别符传递到心脏相位选择器CS。心脏相位选择器CS然后查找引起最佳评分或 满足阈值的评分的血管造影图的组，从而确立当前的心脏相位，所述当前的心脏相位由在 当前考虑的荧光透视图Ftl中的导丝覆盖范围GWF的形状和位置记录。
[0055] 根据优选实施例，在匹配器M的操作之前，不具有如以上所描述的经分割的血管 树到血管子支路的细分割。作为代替，经分割的血管树覆盖范围被转送到滤波器，所述滤波 器测量沿着经分割的覆盖范围的纵向方向的方向对比度。该如此滤波的血管造影图在分割 边界之外被归零，并且对应于所述分割边界之内的滤波器响应。脊状滤波器能够用于实施 该实施例。然后将类似的滤波器应用于经分割的导丝覆盖范围GWF。然后，例如通过在每 个血管造影图的图像平面上对导丝覆盖范围GWF进行移位来使经滤波的覆盖范围相对于 彼此进行对齐。针对每个血管造影图，确立导丝覆盖范围GWF与各自的经滤波的血管树覆 盖范围的各自的最大相交。针对每个相交在像素方面的大小被记录作为针对每个荧光透视 图-血管造影图对的评分。得到导丝覆盖范围GWF中的最大相交的荧光透视图-血管造影 图对被视为匹配。与以上在先前的实施例中的类似，查找血管造影图中引起与经滤波的导 丝覆盖范围GWF的最大的最大相交的或重叠的组。如以上所提及的，一个以上的血管造影 图可以被匹配器M用于对任意一个荧光透视图的匹配操作。然后将执行针对荧光透视图关 于复合血管造影图的匹配，所述复合血管造影图包括示出在冠状动脉的入口处的染料注射 导管的覆盖范围的血管造影图。用于匹配的复合覆盖范围则由导丝覆盖范围GW和所述染 料注射器导管的覆盖范围形成。能够通过使用该复合方法来提升匹配的准确度。仅出于匹 配的目的并且为了确立心脏相位来构建复合血管造影图，并且相对于所述复合血管造影图 来执行以上所描述的对齐。
[0056] 根据一个实施例，为了加快以上提及的针对覆盖范围适配程序的优化的计算时 间，匹配器M不是操作为在每个和每一个血管造影图中进行匹配，而是仅针对血管造影图 中随机选择的一些来进行操作，每个血管造影图表示组中的一个且仅一个。
[0057] 根据另一实施例，（心脏相位组）代表性的血管造影图并不是随机选择的，而是根 据对血管树覆盖范围滤波器的响应来选择的。从每个组选择引出最高脊状滤波器响应的血 管造影图作为针对所述组的代表性血管造影图。换言之，针对每个心脏相位，在血管中的 "全局"染料浓度最高时采集的血管造影图被选择为针对所述组的代表性血管造影图。
[0058] 在心脏相位选择器CS将对如此确定的所述组的识别转送到路线图选择器S后，流 量控制然后继续传到路线图选择器S。所述选择器S操作为从所述候选组或目标组中的血 管造影图之中选择"前后关联的"血管造影图，所述"前后关联的"血管造影图能够在被观看 时以比所述目标组中的血管造影图中的全部或至少大多数更高的对比度来示出在所确定 的设备尖端位置处的脉管。现在，将路线图选择器S对最佳或适当的前后关联的路线图的 搜索的取回操作或搜索操作约束到被保存在如由匹配器M确立的所确定的组中的路线图。 因此从以上应当理解，心脏相位确定器SD操作为"引领"选择器S到右边的目标组，并且选 择器然后仅在针对前后关联的血管造影图的组之内进行搜索，以如此产生对当前的心脏相 位和空间背景适配最好的所期望的前后关联的路线图。
[0059] 路线图选择器S然后使用所确定的尖端位置，以在所述确定的"目标"组中的血管 造影图中的每个中确立对应的位置。使用在每个血管造影图中的所述对应的位置周围的预 定义的邻域，例如，圆形、方形或椭圆形，针对所述目标组中的每个血管造影图计算对应的 局部化的对比度评分。
[0060] 根据一个实施例，如以上在一个实施例中由匹配器M所计算的移位或平移能够用 于在血管造影图邻域中的每个上移动导丝覆盖范围GWF，以与所述血管造影图邻域相交，并 且然后将方向脊状滤波器应用于最大相交的每个区。然后将该相交区中的滤波器的响应当 作针对对比度评分的量度。本文中将脊状滤波器的高响应当作指示局部像素信息的高对比 度。较早用于确立心脏相位并且用于引领选择器S到即时组的血管造影片可以产生或不产 生吸引最高评分，这是因为所述血管造影片是针对全局对比度来评分的，而路线图选择器 仅针对相交中的高对比度进行滤波。
[0061] 然后返回对最高评分血管造影图或血管造影图中具有比所述目标组中的血管造 影图中的大多数更高的评分的一个的识别符。然后，如果已经提取或在计算前后关联的血 管造影图后提取了血管路线图，则查找该前后关联的血管造影图的血管路线图，以如此产 生前后关联的路线图。前后关联的血管造影图是"双重"前后关联的，这是因为其已经被确 定为适配当前的心脏相位和医学设备GW的当前位置二者。如此确定的前后关联的血管造 影图在所述设备位置处具有最高的对比度，或者具有比预设的对比度阈值更高的对比度。 由于在当前的尖端位置处的高对比度，从其提取的前后关联的路线图能够被采取来以高保 真度描画在相关位置处的血管的真实轮廓。如从以上应当理解的，图像处理器IP的操作是 个两阶段的，这是因为其操作为确定i)当前的心脏相位，以及ii)用于从每个确定的心脏 相位的候选血管造影图的储备堆积确定与（即，具有最高的对比度）在当前的设备位置处 的脉管在视觉上适配最好的一个。即使包括血管ROI和染料注射导管的覆盖范围的复合血 管造影图可以已经用做如以上所描述的匹配操作，但是没有这样的复合血管造影图被路线 图选择器S使用以确立前后关联的血管造影图。
[0062] 然后将如此识别的前后关联的路线图转送到图形显示生成器G，所述图形显示生 成器G操作为将前后关联的路线图叠加到当前的荧光透视图Ftl上，以产生组合图像CItl。 组合图像能够被显示在屏幕M上的图形显示GD中，以如此辅助介入放射科医生导航脉管 R0I。在组合图像CIt中，像素信息与当前的荧光透视图的相同，除了由被叠加的路线图识 别的像素位置处。路线图识别的像素位置（即，相对于血管造影图中的剩余的像素信息高 亮显示血管覆盖范围剪影），以如此使脉管的外形更好地突显在观察者的眼中。在一个实施 例中高亮显示是通过颜色编码实现的。在一个实施例中，外形轮廓之间的区域被同样地进 行颜色编码，并且导丝覆盖范围GWF像素被编码为不同的颜色，以实现二者之间的在视觉 上的高对比度。根据一个实施例，组合图像CI中在前后关联的路线图内部的图像部分被显 示为红色，其中导丝覆盖范围GWF被显示为黑色。
[0063] 然后，针对以采集时间t > tl的任意新接收的荧光透视图，重复图像处理器IP的 以上操作。以这种方式，然后产生并且按次序地输出组合图像CIt的序列，作为在屏幕M上 的图形显示GDt，每个较晚的组合图像都更新当前显示的较早的一个。
[0064] 根据一个实施例，在心脏相位检测器SD计算时或在接收到由ECG设备拾取的信号 后，针对每个新接收的荧光透视图Ft重复对组合图像CIt的计算，或者至少针对每个新确 立的心脏相位重复对组合图像CIt的计算。在新心脏相位的情况下，选择器S然后将其搜 索重新聚焦在对应于所检测的心脏相位的新的组中，并且利用新的荧光透视图取回新的路 线图并在屏幕上显示新的路线图。路线图取回以及如此获得的路线图因此被保存为与当前 的心脏相位同步。
[0065] 根据一个实施例，为了实现在各自的组合图像CIt中被连续显示的前后关联的路 线图之间的平滑转换，并且为了如此避免"闪烁"，图像处理器IP的路线图选择器S在优化 中包括时间平滑函数，以用于计算前后关联的血管造影图或路线图，以便避免从一个路线 图到非常不同的一个路线图的尖锐"跳跃"，例如，在一秒的1/15中从近端填充的路线图到 远端填充的一个路线图。根据一个实施例，平滑函数对模糊度进行操作，这发生在存在其 评分在阈值以上的一个以上的候选血管造影图时，即，存在多个前后关联的或"最佳"血管 造影图时。如果存在两个或更多个候选血管造影图Ai、Aj，每个具有各自的采集时间i和 j，并且如果先前显示的路线图对应于具有采集时间k的血管造影图，则路线选择器S将在 i-k I〈 I j-k I时返回血管造影图Ai，否则返回血管造影图Aj。换言之，在评分模糊度的情况 下，（在时间上）接近当前显示的一个的血管造影图将被返回作为前后关联的血管造影图， 并且与所述血管造影图相关联的路线图将被显示在随后的组合图像中。以这种方式，能够 为每个血管造影图或其路线图授予一时间接近度评分以及以上提及的血管造影图-荧光 透视图评分。时间评分强加一正则化，所述正则化促进连续的血管造影图与连续的荧光透 视图相关联。两个评分能够被合并成复合评分，并且路线图选择器S基于所述复合评分来 返回前后关联的血管造影图或前后关联的路线图冊。
[0066] 参考图3,示出了根据一个实施例的图形显示⑶tl、⑶t2的示意性序列，如它们将 在连续时间tl〈t2处在屏幕M上显现的。
[0067] 在时间t = tl处，导丝GW驻留在位置Pl处，如由导丝覆盖范围GWF表明的。显 示近似聚焦的路线图RMl，其高亮显示在当前的位置Pl周围的地点。
[0068] 随着时间推进，在t = t2处，由于导丝的位置现在已经从Pl改变到P2,因此更新 图形显示GD。如所能够看见的，放射科医生对导丝进行导航通过分流器到不同的血管支路 中。先前显示的路线图RMl不再被显示，并且取而代之，相对于先前的位置P1，远端聚焦的 相对的路线图RM2现在被显示为聚焦在新采用的导丝位置P2上。换言之，路线图RMl、RM2 的序列适于当前的心脏相位，并且显现为随着导丝GW前进通过脉管而"跟随"导丝GW的轨 迹。每个路线图冊1、RM2均起因于对各自的前后关联的血管造影图的提取，并且每个前后 关联的血管造影图都是从各自的组选择的，每个组存储多个同样的心脏相位同步化的血管 造影图。如图3所示，不需要将各个路线图缝合到一起来用于显示，而仅显示在任意给定的 时间tl、t2处的路线图中的局部最感兴趣的一个（即，各自的前后关联的一个）。避免显 示经缝合的路线图允许避免可能出现的伪影，尤其是在不同的经缝合路线图之间的转换处 可能出现的伪影，所述伪影能够误导临床医生。
[0069] 参考图4,示出路线图提取器RMX，所述路线图提取器RMX能够用于产生如被保存 在数据库DB中的经分类或分组的路线图，图像处理器IP使用所述数据库DB来形成所述系 列的组合图像CI。
[0070] 根据一个实施例，分组使用与各自的血管造影片的采集同时采集的外部ECG信 号。按其各自的ECG信号来对每个血管造影片建立索引。在该情况下，分组是对各自的ECG 索引的查找练习，以实现分组。
[0071] 根据另一实施例，不要求外部ECG信号，并且能够通过在路线图RM之间的图像识 别或样式识别来实现分组。由于序列血管造影片一般是在多个心脏周期上采集的，因此这 是能够完成的。由于厚度和（更显著地）动脉血管的位置周期性地改变，因此对应的相似 度在血管树覆盖范围中将是可辨别。类似于以上的覆盖范围匹配器M的操作，尝试通过合 适的变换来使每个路线图与剩余的路线图中的每个对齐，并且它们的对齐达到最高评分的 那些对的路线图将被认为属于相同的心脏相位并且被相应地分组。
[0072] 提取器XTR经由合适的输入端口（未示出）接收血管造影图A的流。在一个实施 例中，首先将用于检测细长结构的脊状滤波器应用于每个血管造影图。引出最高响应的区 域然后被转送到分割器。分割器然后经由灰度值取阈对所述高滤波器响应部分进行操作， 以提取各自的血管树覆盖范围作为各自的路线图冊，每个路线图RM与它们的血管造影图 (从其提取路线图RM)相关联。如此提取的路线图RM实质上是各自的血管造影片或经滤波 的血管造影片的被遮蔽的版本。换言之，通过分割被确定为是脉管覆盖范围的部分的像素 保留它们的原始像素值，而剩余的像素被归零。在其他实施例中，遮蔽是反向的，因此在血 管覆盖范围之内的像素被归零，并且在血管覆盖范围之外的像素被保持。如此产生的系列 的路线图然后被转送到心脏相位提取器CPH，所述心脏相位提取器CPH然后产生将路线图 分成心脏相位组S1-S2的分组。
[0073] 如之前所提及的，路线图提取器RMX的操作发生在先于介入期间的荧光透视图的 位置采集之前的预备阶段，换言之，路线图提取器RMX的操作发生在先于图像处理器IP的 操作的阶段。然而，在备选实施例中，路线图的提取发生在前后关联的血管造影图已经被识 别后。在该情况下，不执行对路线图的分组，并且仅仅是血管造影图自身被分组成心脏组 S1-S5。
[0074] 尽管在图2中，全部部件或图像处理器IP被示为驻留在相同的上，但这仅仅是一 个实施例。在其他实施例中，使用分布式架构，其中在合适的通信网络中使部件彼此连接。 图像处理器IP能够被用作针对现有的成像器的附加组件。根据一个实施例，图像处理器IP 可以被布置为专用FPGA或硬连线的独立的芯片，或者可以作为控制台CC上的模块运行。图 像处理器IP可以在合适的科学计算平台（例如，Matlab?:或Simulink? )中被编程，并 且然后被翻译成C++程序或C程序，所述C++程序或C程序被维护在文件库中，并且在被中 央操作控制台CC调用时被链接。
[0075] 参考图5,示出了本文所提出的图像处理方法的流程图。
[0076] 在步骤S505处，接收在特定时刻处采集的荧光透视图像。
[0077] 在步骤510处，基于所接收的荧光透视图和预先采集的血管造影图的序列或基于 从外部接收的ECG信号来确定当前的心脏相位。
[0078] 在步骤S515处，基于设备在所接收的荧光透视图中的覆盖范围来确定诸如导管 导丝的医学设备的位置。
[0079] 在步骤S520处，从多个存储的血管造影图选择前后关联的血管造影图。血管造影 图被选择为适配并且对应于所确定的心脏相位和如较早在步骤S510中确定的位置二者。 在S520处的选择是从每个确定的心脏相位的多个路线图进行的。
[0080] 在步骤S525中，然后将提取的或与所选择的如后关联的路线相关联的如后关联 的路线图与当前的荧光透视图进行组合，并且然后将如此组合的图像显示在屏幕上。
[0081] 在步骤S527中，确定是否已经接收到新的荧光透视图像，并且如果是，则针对所 述新接收的荧光透视图重复步骤S510-S525。
[0082] 也可以以不同的顺序运行以上步骤。例如，检测心脏相位步骤的步骤和确定设备 位置的步骤可以以相反的顺序发生。
[0083] 在本发明的另一示例性实施例中，提供了一种计算机程序或计算机程序单元，其 特征在于适于在适当的系统上运行根据前述实施例中的一个的方法的方法步骤。
[0084] 因此，所述计算机程序单元可以被存储在计算机单元上，所述计算机单元也可以 是本发明的实施例的部分。该计算单元可以适于执行或诱导上述方法的步骤的执行。此外， 所述计算单元可以适于操作上述装置的部件。所述计算单元能够适于自动操作和/或运行 用户的命令。所述计算机程序可以被加载到数据处理器的工作存储器中。因此，可以配备 数据处理器来实施本发明的方法。
[0085] 本发明的该示范性实施例覆盖从一开始就使用本发明的计算机程序，以及通过将 现有程序更新转换为使用本发明的程序的计算机程序二者。
[0086] 更进一步的，计算机程序单元可以能够提供所有必要步骤以完成如上所述的方法 的范例性实施例的过程。
[0087] 根据本发明的又一示例性实施例，提出一种计算机可读介质，例如，CD-ROM，其中， 所述计算机可读介质具有被存储在其上的计算机程序单元，前述章节描述了所述计算机程 序单元。
[0088] 计算机程序可以被存储和/或分布在合适的介质上，例如，与其他硬件一起或作 为其他硬件的部分供应的光学存储介质或固态介质，但是也可以以其他形式被分布，例如， 经由互联网或其他有线或无线的通信系统。
[0089] 然而，计算机程序也可以被呈现在网络上，如万维网，并且能够从这样的网络下载 到数据处理器的工作存储器中。根据本发明的其他范例性实施例，提供用于使计算机程序 可用于下载的介质，所述计算机程序单元被布置为执行根据本发明的先前描述的实施例中 的一个的方法。
[0090] 必须指出，已经参考不同的主题对本发明的实施例进行了描述。具体地，参考方 法型权利要求对一些实施例进行了描述，而参考装置型的权利要求对其他实施例进行了描 述。然而，除非另有说明，本领域技术人员将会从以上和以下的描述中推断出，除了属于一 种类型的主题的特征的任意组合之外，涉及不同主题的特征之间的任意组合也被认为在本 申请中公开。然而，所有的特征都能够被组合来提供多于特征的简单加合的协同效应。
[0091] 尽管已经在附图和前面的描述中详细图示和描述了本发明，但是这样的图示和描 述应当被认为是图示性或示范性的，而非限制性的。本发明不限于所公开的实施例。本领 域技术人员通过研宄附图、公开内容以及权利要求，在实践请求保护的发明时能够理解和 实现对所公开的实施例的其他变型。
[0092] 在权利要求书中，"包括" 一词不排除其他元件或步骤，并且词语"一"或"一个"不 排除多个。单个处理器或其他单元可以实现在权利要求中记载的若干项的功能。尽管在互 不相同的从属权利要求中记载的特定措施，但是这并不指示不能有效地使用这些措施的组 合。权利要求中的任何附图标记都不应被解释为对范围的限制。
【权利要求】
1. 一种图像处理装置（IP)，包括： 输入端口，其用于接收当设备（GW)驻留在相对于对象（ROI)的位置处时采集的所述设 备（GW)的投影图像（F)，所述对象（ROI)能够在至少第一对象状态与第二对象状态之间进 行转换，并且所述设备是可复位的； 对象状态确定器（D)，其被配置为确定所述对象（ROI)的当前状态； 设备定位器（L)，其被配置为使用所接收的投影图像中的图像信息来确定所述设备的 位置； 对象图像选择器（SD)，其被配置为从多个被存储的对象图像（A)选择前后关联的对象 图像，根据所述第一对象状态和所述第二对象状态将所述多个被存储的对象图像（A)进行 分组，其中，至少一个组（S1-S3)包括所述对象图像中的一个以上，对于所述前后关联的对 象图像：i)所述前后关联的对象图像的组（S1-S3)对应于所确定的对象状态，并且ii)所 述前后关联的对象图像的图像信息指示所确定的设备位置；以及 图形显示生成器（G)，其被配置为生成用于在屏幕（M)上显示的组合图像（Cl)，所述组 合图像（Cl)包括所选择的前后关联的对象图像和所接收的设备投影图像的部分（RM)。
2. 如权利要求1所述的装置，其中，所述图形显示生成器（G)被配置为在由对象状态确 定器（D)确定新的对象状态时生成新的组合图像。
3. 如权利要求2或3中的任一项所述的装置，其中，如果所述前后关联的图像的组被确 定为是分别具有所述至少两个对象图像或至少两个对象图像的所述组或组，则所述对象图 像选择器（S)被配置为使用在所述设备图像中的所述设备位置周围的图像邻域，以在所匹 配的对象图像的所述组中的所述至少两个对象图像中确立对应的图像邻域，所述选择器被 配置为使用评分方案来为所述至少两个对象图像中的每个赋予一评分，所述评分基于各自 所确立的图像邻域中的像素值，其中，所述前后关联的对象图像被选择为所述至少两个对 象图像中的具有比所述至少一个其他对象图像更高评分的一个。
4. 如权利要求1-3中的任一项所述的装置，其中，确定器（D)的确定操作包括匹配操 作，以将所接收的设备图像匹配到在所述多个被存储的对象图像之中的至少一个匹配对象 图像，并且返回对应于所述匹配对象图像的组的状态作为所确定的对象状态。
5. 如权利要求1-4中的任一项所述的装置，其中，如果针对所述当前的设备图像存在 多个前后关联的图像，则图像选择器操作为返回所述前后关联的图像作为具有在时间上最 接近先前选择的前后关联的图像的采集时间的一个。
6. 如权利要求1-5中的任一项所述的装置，其中，所述组合图像（Cl)是这样的一个： 所述部分（RM)是从所述对象图像提取的路线图图像，所述路线图图像被叠加到所述设备 图像上。
7. 如权利要求1-6中的任一项所述的装置，其中，所述设备是导丝或其他介入器械。
8. 如权利要求1-7中的任一项所述的装置，其中，所述设备图像是荧光透视图像，或者 所述对象是人类或动物脉管的部分，或者所述对象图像是所述对象的血管造影片。
9. 一种图像处理方法，包括： 接收（S505)在设备驻留在相对于对象的位置处时采集的所述设备的投影图像，所述 对象能够在至少第一对象状态与第二对象状态之间转换，并且所述设备是可复位的； 确定（S510)所述对象的当前状态； 通过使用所接收的投影图像中的图像信息来确定（S515)所述设备的位置； 从多个被存储的对象图像选择（S520)前后关联的对象图像，根据所述第一对象状态 和所述第二对象状态将所述多个被存储的对象图像进行分组，其中，至少一个组包括所述 对象图像中的一个以上，对于所述前后关联的对象图像：i)所述前后关联的对象图像的组 对应于所确定的对象状态，并且ii)所述前后关联的对象图像的图像信息指示所确定的设 备位置； 生成（S525)用于在屏幕上显示的组合图像，所述组合图像包括所选择的前后关联的 对象图像和所接收的设备投影图像的部分。
10. 如权利要求9所述的图像处理方法，在确定新的对象状态后，基于新确定的所述对 象状态来生成（S525)新的组合图像。
11. 如权利要求9或10所述的图像处理方法，其中， 如果所述前后关联的图像的组被确定为是分别具有所述至少两个对象图像或至少两 个对象图像的所述组或组，则所述选择（S520)包括使用在所述设备图像中的所述设备位 置周围的图像邻域，以在所匹配的对象图像的所述组中的所述至少两个对象图像中确立对 应的图像邻域，所述选择（S520)包括为所述至少两个对象图像中的每个赋予一评分，所述 评分基于各自所确立的图像邻域中的像素值，其中，所述前后关联的对象图像被选择为所 述至少两个对象图像中的具有比所述至少一个其他对象图像更高评分的一个。
12. -种图像处理系统，包括： 如前述权利要求1-8中的任一项所述的装置； X射线成像器（100)，其用于供应所述设备图像； 存储器（DB)，在所述存储器（DB)中存储所述多个被分组的对象图像（A); 所述屏幕（M)。
13. 如权利要求12所述的系统中的所述存储器（DB)。
14. 一种计算机程序单元，其用于控制如权利要求1-8中的任一项所述的装置，所述计 算机程序单元在被处理单元运行时，适于执行如权利要求9-11所述的方法。
15. -种计算机可读介质，其具有被存储在其上的如权利要求14所述的程序单元。
【文档编号】A61B6/00GK104519798SQ201380041342
【公开日】2015年4月15日 申请日期:2013年7月24日 优先权日:2012年8月3日
【发明者】V·M·A·奥夫雷, R·弗洛朗 申请人:皇家飞利浦有限公司