用于将多个图像拼接成全景图像的方法和系统的制作方法

专利名称：用于将多个图像拼接成全景图像的方法和系统的制作方法
技术领域：
本发明涉及基于医学放射的成像的领域。更具体地，本发明涉及将几个图像拼接 或组合成一个全景图像。
背景技术：
χ射线透视图像(Fluoroscopic χ-ray image)在多种手术过程中起关键作用，例 如，骨折复位、椎弓根螺钉的插入和用于治疗髋骨折的植入物。外科医生在手术室(OR)中 使用移动式χ射线透视机(C臂)，以确定骨骼、植入物和手术器具的位置和方向。χ射线透 视器具具有几个局限性，其中一个是窄视场(FOV)，这阻碍成像大的所关注的区域(ROI)， 例如，在长植入物放置的情况下。一种处理该问题的方式为，获取ROI的几个单独的重叠图 像并通过找到单个图像之间的足够的相关性组成单个χ射线图像的等价物。因此最终全景 的(或拼成的)图像可以是装置的原始视场的几倍宽。全景χ射线视图在许多整形外科手术过程的不同阶段期间可以是有用的。手术 前，它们用作诊断和测量。手术进行时，此时它们是特别有用的，它们帮助避免定位错误并 使外科医生能够有全面、无装饰的ROI视野。手术后，它们还可以提供关于手术结果的有用 的信息。全景χ射线成像同样在医学成像的其他领域是有用的，包括长血管的心血管造影 和例如脊骨或腿的骨架部分的数字放射成像(DR)。现代DR基于一般被限制在43cm的作用 范围的数字χ射线检测器。较长的解剖学结构通过取样几个重叠图像并将它们拼接在一起 来成像。从单独的图像中创建全景视图在现有技术中是已知的，并且构成在图形计算领域 的非常活跃的研究领域。组成全景图像的技术例如在US5，262, 856中被公开，并且用于单 独的重叠图片的自动对准的方法可以在US 5，649，032中找到。简言之，全景图像的产生需 要三个不同的步骤1)校正通常由光学系统引起的每单个图像的失真，2)对准并拼接单独 的图像，以及3)组成最终的全景图像。几个公布涉及用于校正χ射线数字成像的光学失真， 例如US 4，736，399或US 6，618，494。然而，最困难的步骤仍然是对准并拼接单独的图片。为了说明产生全景图像的几何困难，我们考虑如

图1中示意性所示的χ射线成像 系统100，χ射线源102发射锥形光束104，该锥形光束104被平面检测器接收。系统100 用于在第一位置产生一个χ射线图像，并且然后源102和检测器106都被横向平移距离X 并用于在第二位置产生第二图像。对象A、B、C和D代表在成像范围内所关注的特征。在 平面108中的对象A是在两个图像的重叠区域，所以其在两个图像中都出现。为了拼接图 像，可在两个图像中的每一个中识别对象A并且相对于彼此平移图像直到该对象在两个图 像中准确地重叠为止。这种情况下，平面108中的其他特征将聚焦出现在被拼接的全景图 像中。然而，在平面110中的对象B将模糊或双双出现在被拼接的图像中，并且在平面110 中的对象C和D(其不是在重叠区域)将聚焦出现，但处于错误的它们之间的距离。通常，图像对准仅可以在离χ射线源的某一距离处来实现，被称为所关注的平面 (POI)的表面。不管它的名字，POI不限于单个空间平面，例如在整条腿的全景图像中，沿着(可能不同的)股骨平面和胫骨平面拼接有时是有用的。实际上，POI可以是χ射线源和检 测器之间的任何连续的空间表面。根据某一POI的图像的拼接使在该POI范围外的对象是 “模糊的”，这一现象普遍被叫做视差。在图像之间的物理重叠、关于成像系统位置的几何约束以及图像之间的映射类型 被认为是影响拼接过程的主要参数(Ziv et Josckowicz，IEEE Trans, on Med. Im.，23(1) 1-9)。有关成像系统平移的信息由运动控制系统在自动化运动中提供，或通过图像分析方 法来提供。早期的现有技术的、基于图像分析的拼接方法依赖连续图片中的具体特征的识 别。然而，χ射线透视成像中显著的解剖结构特征的检测和对准被认为是不可靠的且偶尔 不准确的。因此，发展了使用具体放置在FOV内的人工标记的其他方法，如例如在EP 1 632 181中所描述的。当被精确定位在平面中的一个或几个标记出现在两个连续图像中时，相应 地可以计算确切的平移。可选择地，Ziv和Joskowicz主张用于使用手动状态关于真实的ROI聚焦全 景图像的方法，在手动状态中用户指示要“焦点对准”的边缘且相应地设置P0I[Ziv et Josckowicz, IEEE Trans, on Med. Im. ,23(1) :1-9].商业上被叫做“智能拼接(SmartStitch) ”的软件和硬件封装由^qne’ ham, Israel的CMT医学技术有限公司来配销。封装允许几个数字χ射线图像的获取，其中χ射 线源和检测器相对于患者在快照(shot)之间平行移动，且患者被保持静止。操作来产生χ 射线图像上的标尺标记的χ射线标尺被放置在患者的旁边。为了使拼接成功，标尺必须被 定位在与例如脊骨或腿的所关注的解剖结构特征离源相同的距离处。拼接操作包括连续图 像之间的重叠区域中标尺标记的对准。合成的全景图像提供对于标尺平面中而非其他平面 中的特征的聚焦的准确图像。“智能拼接”不提供对于POI及其中的解剖结构特征相对于成 像系统及其运动倾斜的事例的解决方案。类似的封装由DR和CR系统的其他卖方来提供。对通过拼接多个χ射线图像获取全景视图的一些其他解决方案可以在下述专利 中找到-EP O 655 861和相应的美国专利6，097，833通过重叠由χ射线源和沿着患者的 长度平移的图像增强器获得的一系列连续的子图像，提供图像组成方法。为了在拼接处理 中准确地匹配连续的子图像，在成像器的两个位置之间的移位通过找到重叠部分中的像素 值之间的最大相关性来确定。上面的参考还提出嵌入在患者躺的工作台上的χ射线标尺的 使用。然而，他们没有提出如何在任何POI重建聚焦的图像的解决方案。-EP 1 255 403涉及用于在数字χ射线成像中使用的图像组成方法。装置由移动 检测器组成，该移动检测器可以沿着在静态的X射线源前面的轴平移，该静态X射线源具有 使锥形光束能够与检测器位置同步方位的具体的准直器。相同的效果可以通过当检测器移 动时不定地倾斜X射线源而不改变焦点位置来获得。该方法消除类似立体视觉的几何失 真，但因为在C臂上源和检测器一起移动，该方法不可以在标准的C臂装备上来实现。-Wilson的US 5，123，056提供用于外围血管造影设置中整条腿的全景图像的处 理和显示技术，其基于高分辨率图像和低分辨率图像的处理和显示，其中重叠图像的对准 由POI中特征的视觉外观的手动或自动最优化来实现。-均转让给德国西门子AG的Chou 等人的US 5，833，607和Murthy等人的US 6，101，238描述了用于在外围血管造影中使用 的其他图像组成方法。χ射线检查装置由通过χ射线源和图像增强器的同步平移获取重叠
7图像的机动化C臂组成。图像被处理以强调某些特征并且通过检测并匹配重建平面上的有 意义的特征来对准。对现有技术的该调查显示，大多数用于基于多个χ射线创建全景视图的方法基于 不可以在手术进行时使用的昂贵且体积大的系统。此外，对于X射线透视全景成像具体开 发的一些方法优选地使用装置的X射线源的位置作为参考来拼接连续的图像。全部这些系 统至少部分地校正具体平面处的视差，但是POI难于操作。同样，这些系统不能够提供可以 使外科医生能够测量合成图像上的特征长度和方位的度量系统。因此本发明的目的是提供可以用于获取所关注的区域的χ射线全景视图的系统， 其大于成像装置的视场。本发明的另一目的是提供可以提供这样的所关注的区域的χ射线全景视图的系 统，其根据所关注的解剖结构由操作者可调节地在POI处聚焦。本发明的又一目的是基于出现在连续图像中的具体特征提供用于拼接多个χ射 线图像的方法并组成全景视图，连续图像中具体特征不一定定位在POI中。本发明的又一目的是提供可以适于移动式C臂透视机在手术室中获取手术进行 时的全景视图的系统。本发明的又一目的是提供在重建平面中执行度量测量的可能性。本发明的进一步的目的是提供在组成的全景图像中插入附加图像的可能性。本发明的其他目的和优点将在进行描述时呈现。发明_既述本发明是用于基于一组部分重叠图像生成全景图像的方法和系统，例如由基于辐 射的成像设备或系统产生的那些部分重叠图像。根据本发明的一些实施方式，所关注的区 域(ROI)的全景图像可以通过沿着ROI设置一组标记来生成，其中ROI大于基于辐射的成 像设备的视场。成像设备可以沿着ROI获取一组图像，其中获取的图像可以具有至少部分 重叠的部分。图像处理逻辑可以是专用的图像处理系统的部分或可以是运行在通用处理器 上的编码，该图像处理逻辑可以通过对准在两个图像中找到的共同标记来对准至少两个分 立的图像，并且可以补偿在从辐射源到标记元件的距离和从所述辐射源到所关注的平面的 距离之间的差异。根据本发明的另外的实施方式，再现模块可以是专用的图像处理系统的 部分或可以是运行在通用处理器上的编码，该再现模块可以通过生成包括组合的图像的像 素值的数据集而使得重叠图像部分的相应的像素被组合，来实质上组合所有对准的图像。根据本发明的一些方面，基于辐射的成像设备/系统可以是基于X射线的。根据 一种用于获得所关注的区域(ROI)的χ射线全景图像的方法，χ射线全景图像聚焦在所选 的所关注的平面(POI)中被聚焦，可以实现下述步骤a)沿着ROI定位拼接标记；b)使用包括χ射线源和检测器的χ射线系统，以获取覆盖大于χ射线系统的视场 (FOV)的ROI的多个χ射线图像；c)检测分立的χ射线图像中的标记元件；d)根据标记元件对准分立的X射线图像；e)重新调节分立的χ射线图像和/或其对准，以解决在从χ射线源到标记元件的 表面的距离和从X射线源到POI的距离之间的差异；以及
f)通过对于每个像素，从适当的分立的χ射线图像中适当的像素中选择或组成一 值，构造作为结果的全景图像。该方法的特征在于，定位拼接标记，使得拼接标记不一定被定位在所选的POI内； 然而，拼接标记显示在所有相关的图像中。在手术进行时可以应用本发明的方法。所获取的图像可以是用移动式透视C臂获取的透视图像。在其他实施方式中，χ射 线系统可以是放射成像系统，并且检测器可以是数字放射成像检测器，或者X射线系统可 以是放射成像系统，并且检测器可以是计算机放射成像平板，或者X射线系统可以是血管 造影透视系统，并且该方法应用于心血管系统的成像。在本方法的实施方式中，操作者可以基于单独的X射线图像的单个获取多次交互 地改变Ρ0Ι。在不同的实施方式中，X射线源和检测器相对于成像主体自动移动，X射线源 和检测器相对于成像主体手动移动，或者χ射线源和检测器是静止的并且成像主体相对于 它们移动。在本发明的方法的优选实施方式中，所获取的图像重叠达到仅每个图像的中心用 于形成全景图像的程度。对准分立的χ射线图像以形成单个图像可以包括对准标记使得相邻图像中的相 同的标记重叠，并且可以包括一个或两个下述类型的图像平面的运动平移和围绕成像轴 的旋转。重新调节分立的χ射线图像的对准以解决在从χ射线源到POI的距离和从χ射线 源到标记元件的表面的距离之间的差异可以包括，通过两个距离之间的比率围绕它们的成 像中心重设图像的比例，或者可以包括相对于彼此平移分立的图像而没有改变比例。在本方法的实施方式中，组成聚焦在POI处的全景图像的步骤包括下述步骤i)创建在标记元件表面上对准的分立的χ射线图像、χ射线图像源和它们的方位 的3D几何模型；ii)计算3D模型中POI的3D位置；iii)定义将每个全景图像像素(或点)与3D POI点匹配的连续双射函数；iv)对于在目标图像中的每个像素及其相应的3D POI点，在χ射线图像中定位对 应于经过POI点的X射线的像素或子像素点。在本发明的方法的实施方式中，对于在作为结果的全景图像中的每个像素，选择 或组成适当的分立的χ射线图像中适当的像素的值包括下述步骤中的任一个i)选择最接近于其初始X射线图像的中心的像素；ii)选择初始像素的平均值；iii)选择加权平均值；或iv)选择最大或最小灰度值。在本方法的实施方式中，POI可以通过使用下述的任一项被选择a)确定POI中的具体点的解剖结构标记或人造标记；b)指示POI的高度和方位的标尺；c) POI的高度和方位的手动指示；d)用于逐渐改变显示设备上的POI的高度和方位参数的调谐按钮。图像的获取可以由透视系统以连续脉冲模式执行，可选地可以用图像去模糊处理以标准的连续模式由透视系统执行，或者可选地可以用与ROI覆盖和图像质量相关的、向 操作者显示的附加信息以标准的脉冲模式由透视系统执行。用本发明的方法获取的全景图像允许沿着POI的各种类型的角度和距离的测量。 全景图像可以显示布置在ROI中的标尺设备，其中标尺设备允许空间角度和距离的测量， 其中测量不限于POI。本发明的方法可以用于规划大于FOV的ROI之上的恰当的轨迹。其还可以用于可 视化并定位全景图像情景下的医学植入和器具的虚拟模板。在本发明的实施方式中，在获得全景图像之后，显示钻孔导向装置、标尺或另一类 型的手术器具的附加图像被插入到全景图像中。在本发明的实施方式中，在获得全景图像之后，全景图像的一部分的新图像被捕 获，其显示解剖结构上的或另外的特征的方位或结构上的改变，并且新的全景图像被计算， 其并入新图像并对于方位或结构上的改变调节整个全景图像。在另一方面，本发明是一种用于获得所关注的区域(ROI)的χ射线全景图像的系 统，X射线全景图像在所选的所关注的平面(POI)中。该系统包括i) χ射线装置，其能够获取多个χ射线图像，包括χ射线源和检测器；ii) 一组拼接标记，其被放置在FOV中；以及iii)计算机和专用软件，其适用于处理获取的多个χ射线图像并由获取的多个χ 射线图像组成全景图像。该系统的特征在于，拼接标记被配置成使得它们不一定必须被定位在所选的POI 内，然而它们被定位成使得它们显示在所有相关的图像中；以及，装置被适配使得其可以相 对于成像主体从图像到图像地移动，使得在图像之间存在重叠。本发明的系统的实施方式还可以包括显示系统。拼接标记可以被包括在刚性结构、辐射半透明柔性结构中，或者它们可以包括连 续标记。系统的实施方式适用于允许使用计算机可视算法、在分立的χ射线图像中自动地 检测拼接标记。在其他实施方式中，系统适用于使用定位设备，通过允许用户向系统指示在 分立的X射线图像上哪里拼接标记是可视的，来允许在分立的X射线图像中手动地检测拼 接标记。在系统的实施方式中，χ射线装置是移动式透视C臂，χ射线装置是放射成像系统， 并且检测器是数字放射成像检测器，X射线装置是放射成像系统并且检测器是计算机放射 成像平板，或者X射线装置是血管造影透视系统，其适用于允许心血管系统的成像。在系统的实施方式中，其适用于允许操作者基于单独的χ射线图像的单个获取来 多次交互地改变POI。χ射线源和检测器可以相对于成像主体自动或手动移动，或者χ射线源和检测器 可以是静止的，并且成像主体相对于它们移动。附图简要说明在说明书的结束部分特别指出并清楚地要求看作发明的主题。然而，当与附图一 起理解时，关于操作的结构和方法两者的本发明，与其目的、特征和优点一起，可通过参考 下述详细的描述最好地被理解，其中
-图1示意性地说明生成全景图像的几何上的困难；-图2示意性地说明本发明的系统；-图3显示在其上带有检测并标记的拼接标记的分立的χ射线透视图像；-图4显示由拼接过程产生的全景图像；-图5显示在标记的高度处已经对准图像之后用于确定POI的界面；-图6显示在下肢中解剖结构上的机械轴的估计；-图7是设置在股骨上的长的接近于股骨的钉子的模板的全景图像；以及-图8A至图8D说明用于创建ROI的全景视图的本发明的方法的步骤。发明详细描述本发明涉及多个重叠的χ射线图像的具体获取、计算拼接参数的专用算法、控制 全景图像形成和可视化的系统、以及广泛利用这样的全景图像的相关的医学或其他应用。 本发明涉及呈现全景图像的构造的新颖的方法的系统、和基于全景图像的新颖的应用两 者。系统可以是独立系统或X射线成像机的部分，其或者是通过采样视频输出或者通过使 用数字连通性接收来自X射线成像机的图像。X射线成像机可以是透视机或是一次获得一 个图像且能够获得一系列图像的机器。如在此所使用的，所关注的平面(POI)不一定被限 制于单个空间平面。POI可以是位于χ射线源和检测器之间的任何连续的空间表面。现参考图2，系统200是本发明的实施方式。χ射线源202发射锥形光束204，该 锥形光束204由检测器206接收。检测器206可是图像增强器、平板检测器或任何其他本 领域已知的χ射线平面检测器。在源和检测器之间的空间中患者212定位在的患者支撑物 214上。在不同的实施方式中，患者可躺、坐或站，并且源一检测器设置可以在相对于图2的 例子的不同方位中。χ射线源202和检测器206安装在构台上(在图中未示出)，例如透视 C臂或其他本领域已知的构台，并且使其一起相对于患者移动并产生一系列χ射线照射，如 在图2中由第一光束204和最后的光束20 所指示的。为了清楚，在平移期间发射的多个 光束未示出。注意到，在系统的其他实施方式中，有患者在其上的患者支撑物214可以相对 于固定的成像系统移动。χ射线源和数据获取由系统控制器216监控。已经被患者212衰 减且被检测器206检测的χ射线的衰减数据由图像处理器218获取并处理，并且可选地被 显示在显示监控器220上。另外，根据本发明，图像进一步由全景图像处理器222处理并可 由全景显示监控器2 显示。系统控制器216、图像处理器218和全景图像处理器222可被 整合到一个硬件系统上或在独立的硬件系统上运行。同样地，显示监控器220和2M可根 据特定应用被整合或分开。相对于彼此对准捕获的χ射线图像的处理使用了可以在每个图像内被自动检测 的辐射吸收标记元件。这些标记被标记为图2中的226，其中它们通过被安置在患者支撑物 214上的例子的方式被显示。这些标记元件226的功能进一步在下文中被描述。本发明的系统包括-捕获覆盖大于FOV的ROI的多个图像的χ射线机；-放置在FOV内的一组标记元件；-运行计算机软件用于创建整个ROI的单个图像的计算机。用于全景图像的构造的本发明的方法基于保证在获取过程中实现图像之间的充 分的重叠。例如，考虑使用移动式透视C臂的实施方式，系统优选地使用“连续脉冲”模式。这表示在短时间间隔获得一系列的图像，连续图像之间有大的重叠。不同于脉冲模式，该操 作模式每秒提供多个图像(例如，使用GE OEC 9800C臂每秒达到12张图片)。连续脉冲模 式的优点在于，其提供与以连续模式获得的多个不清楚的图像不同的清晰图形。如果C臂 不支持“连续脉冲”模式，那么其可以使用标准连续模式，优选地带有图像去模糊后处理。可 选择地，可以使用标准脉冲模式。在这种情况下，捕获过程优选地与附加信息的显示耦合。 附加信息来确保足够质量的图像之间的必要的重叠。在优选的标准脉冲实施方式中，系统 向操作者提供与ROI覆盖和图像质量例如动态范围、噪音、视频形成等有关的反馈。反馈可 以是用图表示的。如果拼接标记具有预定配置，那么系统自动检测ROI的哪些区域还没有 很好地被捕获，并显示那些信息。可以通过机械的或手动的方式移动C臂。在本发明的优选实施方式中，例如，操作 者推动具有沿着ROI (例如患者的腿)的轮子的C臂构台。C臂运动并非必须维持不变的速 度。关于其速度的唯一的需求是其必须足够缓慢以使能连续图像之间的足够的重叠，其中 所需的重叠取决于所需的准确度和标记的间距。C臂运动并非必须沿直线而行，也不必约束 于单个平面，但是在所有图像中图像平面需要是平行的。用于根据本发明创建ROI的全景视图的优选的实施方式使用下述信息a)由充分重叠得到分立的χ射线图像，包含一组在χ射线图像中可见的标记元件。 所有X射线图像的图像平面需要是平行的，但允许成像设备围绕轴从X射线源到检测器的 旋转。b)在每个分立的X射线图像处从X射线到标记的表面(在其上安放标记元件的表 面)的距离。该信息可以手动输入到系统中或优选地由系统、使用例如标记元件的尺寸自 动推导出来。对于每个分立的X射线图像，给定X射线机的几何模型精通图像处理的技术 工程师设计标记元件并创建计算机软件应该没有问题，其重构了从X射线源到标记元件的 表面的距离。c)对于每个分立的χ射线图像从χ射线源到POI的距离。这再一次可以手动或自 动地完成，如下面在文中所描述的。d)其中χ射线源的运动不受限于单个平面的实施方式另外使用描述成像设备的 运动或标记元件表面的形状的信息。用于创建ROI的全景视图的本发明的方法的优选实施方式包括下述步骤a)沿着ROI安放拼接标记通过标记表示在χ射线图像中看到的限定形状的x辐 射不透明物体，例如图2中的元件226。安放专用的拼接标记，使得它们显示在所有相关的 图像中。然而，它们不一定被安放在POI内。关于标记的可能的位置的约束的这一放宽使得 能够远离操作区域安放标记，因此简化手术室程序。拼接标记可以包括在刚性结构中，例如 嵌入刚性辐射半透明材料中的金属球，其可便于图像中标记的检测和标记位置的重构。可 选择地，拼接标记可以具有辐射半透明柔性结构，例如嵌入不限制其在空间中的定位的塑 料带中的金属球。可选择地，可以提供例如在工业中已知的连续标记作为χ射线标尺。b)捕获覆盖大于FOV的ROI的多个图像；c)检测标记元件系统首先在分立的χ射线图像中检测标记元件。这可以手动地 或使用根据标记的形状可变化的计算机视觉算法自动地来完成。在手动情况中，用户使用 指示设备，例如计算机鼠标，向系统指出在分立的X射线图像的哪里标记元件是可视的。
d)根据标记元件空间对准分立的X射线图像对准图像，使得相同的标记在相邻 的图像中重叠。对准可包括在平面中的平移和旋转。作为结果的对准聚焦在标记元件的表 面处，该表面不一定是POI。注意到，在一些情况中，在标记元件不全部在平行于成像平面的 相同的平面中的地方，标记元件同样遭受视差。这表示准确对准不能在全部的标记元件上 来实现。在这种情况下，对准应该发出标记中的一些。标记元件表面将仅包括用在对准过 程中的标记元件。同样，如果X射线源靠近在一个X射线图像而不是另一图像中的特定的 标记元件，那么相应地必须重设分立的χ射线图像的比例。e)高度调节系统然后重新调节在全景图像中的分立的χ射线图像的对准，以解 决在从X射线源到POI的距离和从X射线源到标记元件的表面的距离之间的差异。做这件 事的一种方式是，通过从POI到χ射线源的距离和标记元件表面和在图像中心处的χ射线 源之间的距离之间的比率，围绕它们的成像中心重设图像的比例。该比率被已知为图像放 大比率。确定围绕它们的中心的图像实现两个目的首先，图像的对准在分立的χ射线图像 中心处对于POI是合适的；以及其次，改变图像的比例按照每毫米像素的数量使它们全部 都达到相同的比例。在图像之间仅存在小的重叠的情况中，通过使用不同于改变比例的变 换来调节图像的高度差是可能的。这些另外的变换可以是非线性的。调节在全景图像中的分立的X射线图像的对准以解决在从χ射线源到POI的距离 和从X射线源到标记元件的表面的距离之间的差异的另一种方式是，通过移动分立的图像 而没有改变比例。这表示通过将不同的平移运动应用于每个分立的图像得到图像的重新对 准，即根据其相对的图像放大比率来推动图像更靠近在一起或进一步分开。结果是一图像， 在该图像中，更靠近X射线源的类似的物体看来比那些更远离X射线源的大。作为结果的 图像将更类似于从单个源获得的实际χ射线图像，然而，在其上的测量将是非线性的。f)全景图像构造在对准分立的χ射线图像并关于其放大比率对其进行调节之 后，系统通过对于作为结果的图像中的每个像素，从适当的X射线图像中的适当的像素选 择或组成一值，构造作为结果的全景图像。如果这种适当的像素出现在多于一个的X射线 图像中，那么本发明的优选的实施方式使用在其初始X射线图像中最靠近中心的像素，以 便最小化图像失真。对于该像素，X射线最接近于正交于图像表面。其他实施方式可以使 用初始像素的平均值、加权平均值、最大或最小灰度值、或任何其他判定规则。用于创建ROI的全景视图的本发明的方法的一些实施方式使用组成全景图像的 另一方式，使得全景图像聚焦在POI处。在这些实施方式中，初始图像或它们各自的对准不 像上面所描述的那样被调整。代替地，上面的步骤e通过下述步骤被取代i)创建标记元件表面、χ射线图像源及其方位的3D几何模型。使用根据标记元件 的图像对准、X射线源和在每个图像处的标记元件表面之间的距离以及(可能地)关于X射 线源的高度或标记元件表面的形状的信息创建3D模型。ii)在3D模型中计算POI的3D位置。iii)定义用3D POI点匹配每个全景图像像素(或点)的连续双射函数。这样的 函数的例子包括对应于正交投影的函数和保存测地距离的函数(假如POI被嵌入平面中)。iv)对于目标图像中的每个像素及其相应的3D POI点，对应于经过POI点的χ射 线的像素或子像素点位于分立的X射线图像中(每个图像至多一个)。最后，对于目标图像中的每个像素，它的值使用上面步骤f中所描述的判定规则
13之一来从来自分立的图像的匹配像素的值中选择或由其形成。图8A至图8D显示了说明上面所描述的过程的各种步骤的示意性例子。图8A中 显示一组带有可视的标记元件的捕获图像。图8B中显示使用标记拼接的全景图像。在焦 点以外显示骨骼。图8C中显示由成比例的图像组成的全景图像，其骨骼焦点对准而标记在 焦点以外(骨骼在左侧上靠近标记而朝右更靠近χ射线源)。图8D中显示通过根据骨骼高 度在平面内平移初始图像而聚焦在骨骼处的全景图像。以图像之间的高重叠的获取省掉用户确定POI和标记元件之间的可在图像中识 别的高度差，或者至少最小化与没有使用或使用该高度的近似测量相关联的误差。因为成 像射线几乎垂直于Ρ0Ι，获得仅每个图像的中心区域的误差减少，并且减少依赖改变图像的 分析的比例的高度的需求，而带有高重叠的多个图像的获取是所期望的，本发明的其他实 施方式中仅获取数个重叠图像，例如脊骨或下肢的数字放射成像中的两个或三个图像。图3显示股骨末端的一连串六张透视χ射线图像。图像是视作为使用OEC 9800 血管C臂机的较长连续的一部分、以每秒12脉冲(PPS)CINE模式的连续图像，该模式构成 较早提及的连续脉冲模式。可以表明典型的圆形的C臂F0V。与图像毗邻的星形物表示由 系统的软件程序应用的算法发现这些图像适合于用在拼接过程中。布置在患者支撑台上且 作为黑点出现在图像上的拼接标记由系统软件识别并用圆形物标记。在该特定的一连串拍 摄中，在相对于患者移动C臂时获得IM个图像，并且用于组成图4中所示的全景图像。在将连续的透视χ射线图像拼接在一起并组成聚焦在标记的平面上的全景视图 之后，本发明使用户能够选择对应于所关注的解剖结构上的特征的特定POI并为其组成全 景图像。POI深度信息可以通过几种方式来获得，包括a)使用相应的图像点例如考虑所关注的骨骼的清晰边缘或附加到这样的骨骼 的小标记。因为已经已知X射线源运动，在POI内的该真实世界的点可以在连续图像中被 检测到，并且其关于移动的χ射线源的三维坐标可以通过显示POI深度的三角测量来计算。 少数POI点通常足以限定到POI各处的距离。b)使用指示POI的高度和方位的一个或多个标尺，如由本申请的申请人的在审理 中的以色列申请IL 184151中所描述的，包括在其中参考的公布的其描述在此通过引用并 入。通过将标尺与POI校准，例如，通过在关于骨骼的已知位置和方位中设置标尺，显示POI 位置和方位。c)手动馈送沿着全景视图的几个位置处的POI的高度。一种选项是馈送关于标记 的平面的POI深度。d)使用调谐按钮(在下文限定)。调谐按钮在得到聚焦在期望的POI上的优质全景图像上是特别有用的，由此避免 重要的解剖结构特征看起来模糊、重复或“在焦点以外”。调谐按钮优选地是⑶I按钮，可用 于软件程序中显示全景图像，但是也可以是用于向计算机软件提供反馈的物理按钮。用户 可以采用调谐按钮以逐渐地改变所选的Ρ0Ι，同时系统实时校正全景图像，直到所期望的特 征出现“焦点对准”。该调谐过程可以在全景图像上的一个具体位置处完成，产生高度不变 的Ρ0Ι，或者在全景图像的几个位置处完成，从而根据图像中的位置产生带有不同高度的分 割的POI。在另一实施方式中，软件检测类似于解剖结构特征或邻近图像中的手术器具的可 观察到的物体。从它们的相对位置，如果它们在指定的POI上面或下面，则软件可以计算，并且用描述它们高度的颜色标记它们。当用户调整POI的高度时，所选的特征的颜色相应 地改变，直到用户满意图像。图5显示本发明的系统的实施方式的图形用户界面(GUI)的屏幕截图。屏幕的左 侧显示C臂端部的高度，较低部分代表X射线源，位于高度0cm，而顶部部分代表用作X射线 检测器的图像增强器。位于大约65cm处的线代表关于χ射线源的拼接标记的高度(在过 程的该阶段已知的)，即患者躺在其上的患者台的高度。主要由被拼接以被聚焦在标记元 件的平面的图像组成的全景图像可以在屏幕的底部被看到。在该特定的情况下，标记非常 靠近是ROI的骨骼，并且因此骨骼不会出现“在焦点以外”，如果标记不靠近POI通常就是这 样。解剖学上的虚拟特征(在该例子中的股骨骨骼)以图形方式显示在屏幕的上部。软件 程序要求用户给出在由C臂扫描的端部划界的空间内的骨骼的确切空间位置。为了完成上 述操作，用户应该指出在下面的全景图像上的股骨骼和膝盖的水平位置并指定它们的高度 (使用标记位于其中的平面作为参考)。在更复杂的情况中，需要更多的点，以便重新构成 整个骨骼，例如，三个点用于整条腿(股骨和胫骨)扫描。在手动模式中，用户测量骨骼两 端的真实高度并将其输入到系统的软件中(或用鼠标拖拽虚拟的骨骼的端部)，并且在屏 幕上显示它们。在图5中所示的例子中，膝盖被提升超过标记(工作台)19cm并且股骨骼 被提升超过工作台10cm。在自动模式中，一个或多个定位标记可以被放置在例如患者的膝 盖上以确定它的高度，由此使部分过程自动化，这是因为标记可以以图像上的垂直比例准 确地指示它们的高度这样的方式来设计。如本文上面所述的，在本发明的优选实施方式中，仅每个获取的图像的中心部分 (关于长度方向)用在全景图像的组成中。现在考虑具有圆形、方形或宽矩形视场的成像系 统，每个图像(除了端部图像)的“超前”部分和“拖尾”部分不用于全景图像。根据本发 明的一些实施方式，提供准直器以准直光束成(宽)扇形，以使当在连续图像之间维持重叠 时，每个图像有很少的区域不被使用。准直器可以被提供作为C臂系统的一部分，在该情况 下调节该准直器成矩形。在没有装备适当的可调节准直器的成像系统中，带有适当的光束 开口的外部准直平板可以被提供并安装在患者的前面。应该注意确保在任何连续图像对的 重叠中仍然存在拼接标记。用这种方式使用准直器的优点是对于患者减少χ射线剂量。用于图像拼接的本发明的方法和系统可应用于身体的任何部分，允许基于新颖全 景视图的应用的实现，例如a)包括多个接缝的全景图像可以被用于估计所关注的解剖结构上的和机械上的 轴。其还允许各种类型的角度和距离的测量。测量过程被指示，用于例如脊柱侧凸的变形 和外伤手术。图6显示例如下肢的解剖结构上的和机械上的轴的估计。解剖结构上的股骨 轴自下肢的机械轴外翻6度。在左侧，显示带有两个拉伸轴的全景图像。在右侧，顶部图片 显示清晰的解剖结构上的股骨轴，中间的图片显示股骨骼中心，以及底部图片显示远端胫 骨的中心。b)在创建全景图像之后，系统可以使用户能够通过使用如在前所描述的以色列专 利申请IL 184151中所描述的标记设备标尺产生二维标度，在图像上进行角度和距离的测 量。测量设备布置在ROI并出现在被拼接在一起以形成全景图像的图像中。使用该标度， 像素的测量可以不仅沿着POI还沿着由标尺设备限定的任何三维方向被平移几毫米。c)本发明的方法可以被用于规划所关注的区域(ROI)之上的恰当的轨迹，ROI大于由透视机限定的F0V。而且，关于本发明的方法，可能规划并可视化模板，即代表工具或 设备的图形覆盖，其大于正常的F0V。基于与标记合并的导引线的当前位置的分析，可实 现模板位置的动态评估，标记如在前所引用的以色列专利申请IL 184151中所描述的。该 评估允许外科医生检查作为一个整体的模板的恰当的位置。例如，图7显示在股骨的全景 图像上的长的股骨近端髓内钉子(PFN)的模板。该图通过在本发明的全景图像上使用IL 184151的“模板”特征而是可能的。本发明的方法可以被用于关于将附加图像插入组成的 全景图像中的可能性来跟随手术室中的手术过程。例如，在创建了完整的腿部的全景图像 之后，外科医生可以将钻孔导向装置或如在以色列专利申请IL 184151中所描述的标尺保 持在股骨骼上并获得另一张透视图像。附加图像的方位由其上所示的标记来确定，并且计 算其到全景图像中的恰当的拼接。在全景图像内附加图像的对准使导向装置也能够在全景 图像中被看到。此外，其使能其他特征，例如可视钻孔的轨道或为外科医生显示植入模板。在将附加图像插入组成的全景图像中的另一例子中，外科医生可以首先创建整条 腿的全景图像。他然后改变膝盖或骨骼的角度，例如，高位胫骨切骨术(HTO)过程，并且然 后仅获得膝盖(或弯曲的骨骼区域)的另一图像。系统识别附加图像仅是膝盖的，并相应 地更新全景图像以解决局部角度的改变。d)所述方法可以用在非破坏性测试中或国土安全应用中，其中例如大于成像系统 的FOV的项目可以在拼接标记存在的情况下由一系列锥形束χ射线图像来扫描。该方法然 后可以用于重构一系列全景图像，每一个聚焦在项目内的不同高度处。本发明的实施方式已经关于在手术室环境中通过透视C臂的图像获取，经过非限 制性例子来描述。然而，本发明可以应用于其他X射线成像系统和其他临床的或非临床的 设置。例如，本发明可应用于心血管造影成像系统，其中需要长血管的全景视图。其还可应 用于数字放射成像和计算的放射成像，其中有时需要比成像器的长度长的解剖学上的全景 图像，例如完整的脊骨或腿的图像。进一步，本发明可应用于非人类X射线成像，例如在非 破坏性测试和国土安全中。尽管本发明的实施方式已经经过说明被描述，将理解的是本发明可以关于许多变 化、修改和适配来实现，而没有超出权利要求的范围。
权利要求
1.一种用于获得所关注的区域ROI的χ射线全景图像的方法，所述χ射线全景图像聚 焦在所选的所关注的平面POI中，所述方法包括a)沿着所述ROI设置拼接标记；b)使用包括χ射线源和检测器的χ射线系统，以获取覆盖大于所述χ射线系统的视场 FOV的ROI的多个χ射线图像；c)检测分立的χ射线图像中的所述标记元件；d)根据所述标记元件对准所述分立的χ射线图像；e)重新调节所述分立的χ射线图像和/或其对准，以解决在从所述χ射线源到所述标 记元件的表面的距离和从所述χ射线源到所述POI的距离之间的差异；以及f)通过对于在作为结果的全景图像中的每个像素，从适当的分立的χ射线图像中的适 当的像素中选择或构成一值，来构造所述作为结果的全景图像；所述方法特征在于，设置所述拼接标记，使得所述拼接标记不一定被设置在所述所选 的POI内；然而，所述拼接标记显示在所有相关的图像中。
2.根据权利要求1所述的方法，其中在手术进行时应用所述方法。
3.根据权利要求1所述的方法，其中所获取的图像是用移动式透视C臂获取的透视图像。
4.根据权利要求1所述的方法，其中所述χ射线系统是放射成像系统，并且所述检测器 是数字放射成像检测器。
5.根据权利要求1所述的方法，其中所述χ射线系统是放射成像系统，并且所述检测器 是计算机放射成像平板。
6.根据权利要求1所述的方法，其中所述χ射线系统是血管造影透视系统，并且所述方 法应用于心血管系统的成像。
7.根据权利要求1所述的方法，其中操作者能够基于单独的χ射线图像的单个获取来 多次交互地改变所述POI。
8.根据权利要求1所述的方法，其中所述χ射线源和检测器相对于成像主体自动地移动。
9.根据权利要求1所述的方法，其中所述χ射线源和检测器相对于所述成像主体手动 地移动。
10.根据权利要求1所述的方法，其中所述X射线源和检测器是静止的，并且所述成像 主体相对于所述χ射线源和检测器移动。
11.根据权利要求1所述的方法，其中所获取的图像重叠达到仅每个图像的中心用于 形成所述全景图像的程度。
12.根据权利要求1所述的方法，其中对准所述分立的χ射线图像以形成单个图像包括 对准所述标记使得相邻图像中的相同的标记重叠。
13.根据权利要求1所述的方法，其中对准所述分立的χ射线图像以形成单个图像包括 下述类型的图像平面运动中的一个或两个平移和围绕成像轴的旋转。
14.根据权利要求1所述的方法，其中重新调节所述分立的χ射线图像的对准以解决在 从所述χ射线源到所述POI的距离和从所述χ射线源到所述标记元件的表面的距离之间的 差异包括，按所述两个距离之间的比来围绕它们的成像中心重设所述图像的比例。
15.根据权利要求1所述的方法，其中重新调节所述分立的χ射线图像的对准以解决在 从所述χ射线源到所述POI的距离和从所述χ射线源到所述标记元件的表面的距离之间的 差异包括，相对于彼此平移所述分立的图像而不改变比例。
16.根据权利要求1所述的方法，其中构成聚焦在所述POI处的全景图像包括i)创建在所述标记元件表面上被对准的分立的χ射线图像、χ射线图像源和它们的方 位的3D几何模型； )计算所述3D模型中所述POI的3D位置；iii)定义将每个全景图像像素(或点)与3DPOI点匹配的连续双射函数；iv)对于在所述目标图像中的每个像素及其相应的3DPOI点，在所述分立的χ射线图 像中定位对应于经过所述POI点的χ射线的像素或子像素点。
17.根据权利要求1所述的方法，其中对于在所述作为结果的全景图像中的每个像素， 选择适当的分立的χ射线图像中适当的像素的值包括下述中的任一项i)选择最接近于其初始χ射线图像的中心的像素； )选择所述初始像素的平均值；iii)选择加权平均值；或iv)选择最大或最小灰度值。
18.根据权利要求1所述的方法，其中所述POI能够通过使用下述中的任一项被选择a)用于确定所述POI中的具体点的解剖结构标记或人造标记；b)用于指示所述POI的高度和方位的标尺；c)对所述POI的高度和方位的手动指示；d)用于在显示设备上逐渐改变所述POI的高度和方位参数的调谐按钮。
19.根据权利要求1所述的方法，其中所述图像的获取由透视系统以连续脉冲模式来 执行。
20.根据权利要求1所述的方法，其中所述图像的获取由透视系统以标准的连续模式 以及后图像去模糊处理来执行。
21.根据权利要求1所述的方法，其中所述图像的获取由透视系统以标准的脉冲模式 以及向所述操作者显示的与ROI覆盖和图像质量相关的附加信息来执行。
22.根据权利要求1所述的方法，其中所述全景图像允许沿着所述POI的各种类型的角 度和距离的测量。
23.根据权利要求1所述的方法，其中所述全景图像显示了布置在所述ROI中的标尺设 备，其中所述标尺设备允许空间角度和距离的测量，其中所述测量不限于所述Ρ0Ι。
24.根据权利要求1所述的方法，其中所述方法用于规划大于所述FOV的ROI之上的恰 当的轨迹。
25.根据权利要求1所述的方法，其中所述方法用于可视化并设置所述全景图像情景 中的器具和医学植入物的虚拟模板。
26.根据权利要求1所述的方法，其中在获得所述全景图像之后，显示钻孔导向装置、 标尺或另一类型的手术器具的附加图像被插入到所述全景图像中。
27.根据权利要求1所述的方法，其中在获得所述全景图像之后，所述全景图像的一部 分的新图像被捕获，该新图像显示了解剖结构特征或其它特征的方位或结构上的改变，并且新的全景图像被计算，该新的全景图像并入了所述新图像并对于方位或结构上的所述改 变调节整个全景图像。
28.一种用于获得所关注的区域ROI的χ射线全景图像的系统，所述χ射线全景图像在 所选的所关注的平面POI中，所述系统包括i) χ射线装置，其包括χ射线源和检测器，所述χ射线装置能够获取多个χ射线图像； ) 一组拼接标记，其被放置在FOV中；以及iii)计算机和专用软件，其适于处理所述获取的多个χ射线图像并由所述获取的多个 χ射线图像构成全景图像；所述系统特征在于，所述拼接标记被配置，使得它们不一定必须被设置在所述所选的 POI内，然而它们能够被设置成使得它们显示在所有相关的图像中；以及，所述装置被适 配，使得其能够相对于成像主体从图像到图像地移动，使得在所述图像之间存在重叠。
29.根据权利要求观所述的系统，包括显示系统。
30.根据权利要求观所述的系统，其中所述拼接标记被包括在刚性结构中。
31.根据权利要求28所述的系统，其中所述拼接标记被包括在辐射半透明柔性结构中。
32.根据权利要求观所述的系统，其中所述拼接标记包括连续标记。
33.根据权利要求观所述的系统，其中所述系统适于允许使用计算机可视算法来自动 地检测分立的χ射线图像中的所述拼接标记。
34.根据权利要求观所述的系统，其中所述系统适于通过允许用户使用定位设备向所 述系统指示在所述分立的χ射线图像上哪里所述拼接标记是可视的来允许手动地检测所 述分立的χ射线图像中的所述拼接标记。
35.根据权利要求观所述的系统，其中所述χ射线装置是移动式透视C臂。
36.根据权利要求观所述的系统，其中所述χ射线装置是放射成像系统，并且所述检测 器是数字放射成像检测器。
37.根据权利要求观所述的系统，其中所述χ射线装置是放射成像系统，并且所述检测 器是计算机放射成像平板。
38.根据权利要求观所述的系统，其中所述χ射线装置是适于允许心血管系统的成像 的血管造影透视系统。
39.根据权利要求观所述的系统，适于允许操作者基于单独的χ射线图像的单个获取 来多次交互地改变所述POI。
40.根据权利要求28所述的系统，其中所述χ射线源和检测器相对于所述成像主体自 动地移动。
41.根据权利要求28所述的系统，其中所述χ射线源和检测器相对于所述成像主体手 动地移动。
42.根据权利要求观所述的系统，其中所述χ射线源和检测器是静止的，并且所述成像 主体相对于它们移动。
43.一种用于生成所关注的区域ROI的全景图像的方法，所述ROI大于基于辐射的成像 设备的视场，所述方法包括沿着所述ROI设置标记；沿着所述ROI获取一组图像，其中所获取的图像具有至少部分地重叠的部分；通过对准在两个图像中找到的共同标记来对准至少两个分立的图像，并且补偿在从辐 射源到所述标记元件的距离和从所述辐射源到所关注的平面的距离之间的差异。
44.根据权利要求43所述的方法，还包括通过生成包括组合的图像的像素值的数据集 而使得重叠图像部分的相应的像素被组合，来实质上组合所有对准的图像。
45.一种用于从两个或更多基于辐射的成像系统图像生成全景图像的系统，所述系统 包括图像处理逻辑，其适于通过对准在两个图像中找到的共同标记来对准至少两个分立的 图像，并且补偿在从辐射源到标记元件的距离和从所述辐射源到所关注的平面的距离之间 的差异。
46.根据权利要求45所述的系统，还包括再现逻辑，该再现逻辑适于通过生成包括组 合的图像的像素值的数据集而使得重叠图像部分的相应的像素被组合来实质上组合所有 对准的图像，来再现全景图像。
全文摘要
公开一种用于生成所关注的区域(ROI)的全景图像的方法，ROI大于基于辐射的成像设备的视场，所述方法包括沿着ROI设置标记，沿着ROI获取一组图像，其中获取的图像具有至少部分地重叠的部分，通过对准在两个图像中找到的共同标记并补偿在从辐射源到标记元件的距离和从辐射源到所关注的平面的距离之间的差异，对准至少两个分立的图像。
文档编号G01N23/00GK102124320SQ200980131714
公开日2011年7月13日 申请日期2009年6月18日 优先权日2008年6月18日
发明者丹·拉帕波特, 拉姆·纳撒尼尔, 艾沙伊·戈尔丁 申请人:苏尔吉克斯有限公司