多模态扫描图像配准方法、装置、计算机设备和存储介质与流程

本申请涉及图像处理领域，特别是涉及多模态扫描图像配准方法、装置、计算机设备和计算机可读存储介质。

背景技术：

目前的一体化医学图像混合成像系统包括pet(positronemissioncomputedtomography，正电子发射型计算机断层显像)-ct(computedtomography，电子计算机断层扫描)、pet-mr(magneticresonanceimaging，磁共振成像)、spect(single-photonemissioncomputedtomography，单光子发射计算机断层成像术)-ct和spect-mr等，混合成像系统能够进行多种模态数据的同时采集，并分别生成各自模态的医学图像，使临床医生快速了解病灶和组织的解剖、生理和代谢的同步变化，为临床医生进行诊断提供更丰富的信息。

以pet-ct混合成像系统为例，一体化pet-ct可同时采集pet和ct图像，从而获得与人体有关的解剖、功能和代谢方面的全方位信息，在协助临床医生更早期、准确地诊断全身各种肿瘤、心血管病和神经系统疾病，以及指导合理治疗、及时监测疗效等方面具有不可替代的优势。一体化pet-ct被视为常规体检的最佳手段之一，但因扫描视野较大，常常需要覆盖全身。在实际的图像采集过程中，往往有着被检查部位远大于图像检测器面积的情况，此时需要将该检查部位分几次拍摄，然后再按照一定的规则拼接起来，以得到大视野的全身ct图像和pet图像。通常，一体化pet-ct扫描机的代谢图像与解剖图像通过同机坐标系记录的配准关系实现多模态图像的对齐与融合，可同时显示代谢活性与解剖位置，方便医生进行关联分析。但是在实际扫描过程中，由于扫描时间较长，如30min至60min，患者身体会发生移动，使得系统对齐的pet与ct或者pet与mr从图像内容上来观察，并没有达到没有解剖结构的配准。

针对上述无法达到配准的问题，在相关技术中通过采用图像混合成像系统获取第一模态采集的多段图像以及第二模态采集的多段图像，然后对第一模态采集的多段图像和第二模态采集的多段图像进行配准，最后再将配准后的多段图像进行拼接的方式，实现了多模态图像的配准。但是发明人在研究过程中发现，上述方案存在图像配准质量低的问题。

目前针对相关技术中存在图像配准质量低的问题，尚未提出有效的解决方案。

技术实现要素：

本申请实施例提供了一种多模态扫描图像配准方法、装置、计算机设备和计算机可读存储介质，以至少解决相关技术中图像配准质量低的问题。

第一方面，本申请实施例提供了一种多模态扫描图像配准方法，所述方法包括：

获取对相同的被扫描对象进行扫描所得到的多段第一模态扫描图像和多段第二模态扫描图像；

将所述多段第一模态扫描图像拼接成第一模态拼接图像，以及将所述多段第二模态扫描图像拼接成第二模态拼接图像；

在所述第一模态拼接图像和所述第二模态拼接图像中选取对应于相同的扫描视野的至少一对感兴趣区域；

对所述至少一对感兴趣区域中的每对感兴趣区域分别进行图像配准。

在其中一些实施例中，所述一对感兴趣区域包括从所述第一模态拼接图像中选取的第一感兴趣区域和从所述第二模态拼接图像中选取的第二感兴趣区域；对所述至少一对感兴趣区域中的每对感兴趣区域分别进行图像配准包括：

以所述第一感兴趣区域作为参考图像，对所述第二感兴趣区域进行空间变换，以实现所述第一感兴趣区域与所述第二感兴趣区域的配准。

在其中一些实施例中，在对所述第二感兴趣区域进行空间变换之后，所述方法还包括：

将进行空间变换后的所述第二感兴趣区域与所述第二模态拼接图像中的非感兴趣区域进行空间拼接。

在其中一些实施例中，在所述第一模态拼接图像和所述第二模态拼接图像中选取对应于相同的扫描视野的至少一对感兴趣区域包括：

在用户交互界面中按横断面、矢状面和冠状面中的至少两个面显示所述第一模态拼接图像和所述第二模态拼接图像；

根据用户的第一操作指令，在所述第一模态拼接图像和所述第二模态拼接图像的冠状面扫描图像、矢状面扫描图像和横断面图像中的任意两种或三种图像中框选出对应于相同的扫描视野的所述至少一对感兴趣区域。

在其中一些实施例中，在所述第一模态拼接图像和所述第二模态拼接图像中选取对应于相同的扫描视野的至少一对感兴趣区域包括：

在用户交互界面中按横断面、矢状面和冠状面中的至少两个面显示所述第一模态拼接图像和所述第二模态拼接图像；

根据用户的第二操作指令，在所述第一模态拼接图像的冠状面扫描图像、矢状面扫描图像和横断面图像中的任意两种或三种图像中的第一扫描部位标记第一标记点，以及在所述第二模态拼接图像的冠状面扫描图像、矢状面扫描图像和横断面图像中的任意两种或三种图像中的所述第一扫描部位标记第二标记点；

根据所述第一标记点确定所述第一模态拼接图像的感兴趣区域，以及根据所述第二标记点确定所述第二模态拼接图像的感兴趣区域。

在其中一些实施例中，根据所述第一标记点确定所述第一模态拼接图像的感兴趣区域，以及根据所述第二标记点确定所述第二模态拼接图像的感兴趣区域包括：

确定所述第一标记点的第一三维坐标信息和所述第二标记点的第二三维坐标信息；

根据所述第一三维坐标信息，识别出所述第一模态拼接图像的感兴趣区域，以及根据所述第二三维坐标信息，识别出所述第二模态拼接图像的感兴趣区域。

在其中一些实施例中，对所述至少一对感兴趣区域中的每对感兴趣区域分别进行图像配准包括：

将所述第一三维坐标信息和所述第二三维坐标信息作为迭代配准算法的初值，使用所述迭代配准算法基于所述感兴趣区域的图像特征进行图像配准，其中，所述图像特征包括以下至少之一：像素灰度特征、梯度特征、边缘特征、纹理特征。

第二方面，本申请实施例还提供了一种多模态扫描图像配准装置，所述装置包括：

获取模块，用于获取对相同的被扫描对象进行扫描所得到的多段第一模态扫描图像和多段第二模态扫描图像；

第一拼接模块，用于将所述多段第一模态扫描图像拼接成第一模态拼接图像，以及将所述多段第二模态扫描图像拼接成第二模态拼接图像；

选取模块，用于在所述第一模态拼接图像和所述第二模态拼接图像中选取对应于相同的扫描视野的至少一对感兴趣区域；

配准模块，用于对所述至少一对感兴趣区域中的每对感兴趣区域分别进行图像配准。

第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的多模态扫描图像配准方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的多模态扫描图像配准方法。

相比于相关技术，本申请实施例提供的多模态扫描图像配准方法、装置、计算机设备和计算机可读存储介质，通过获取对相同的被扫描对象进行扫描所得到的多段第一模态扫描图像和多段第二模态扫描图像；将多段第一模态扫描图像拼接成第一模态拼接图像，以及将多段第二模态扫描图像拼接成第二模态拼接图像；在第一模态拼接图像和第二模态拼接图像中选取对应于相同的扫描视野的至少一对感兴趣区域；对至少一对感兴趣区域中的每对感兴趣区域分别进行图像配准的方式，解决了相关技术中图像配准质量低的问题，提高了图像配准质量。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的多模态扫描图像配准方法的流程图；

图2是根据本申请另一个实施例的多模态扫描图像配准方法的流程图；

图3是根据本申请又一个实施例的多模态扫描图像配准方法的流程图；

图4是根据本申请实施例ct头部图像与pet头部图像的示意图；

图5是根据本申请实施例框选ct拼接图像感兴趣区域的示意图；

图6是根据本申请实施例框选pet拼接图像感兴趣区域的示意图；

图7是根据本申请实施例配准后的ct拼接图像的示意图；

图8是根据本申请实施例全身ct图像与胸腔ct图像的示意图；

图9是根据本申请实施例点对配准之后的ct图像的示意图；

图10是根据本申请实施例全身ct图像与盆腔ct图像的示意图；

图11是根据本申请又一个实施例点对配准之后的ct图像的示意图；

图12是根据本申请实施例全身ct图像与头颈ct图像的示意图；

图13是根据本申请另一个实施例点对配准之后的ct图像的示意图；

图14是根据本申请实施例的多模态扫描图像配准装置的结构框图；

图15是根据本申请实施例的计算机设备的硬件结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

本实施例所提供的多模态扫描图像配准方法可以在医学图像混合成像系统的计算机设备中执行，也可以在通用的计算机设备中执行。

本实施例提供的多模态扫描图像配准方法用于混合成像系统同步采集多段第一模态扫描图像和多段第二模态扫描图像，并且将多段第一模态扫描图像拼接成第一模态拼接图像，以及将多段第二模态扫描图像拼接成第二模态拼接图像后，然后在第一模态拼接图像和第二模态拼接图像中选取对应于相同的扫描视野的至少一对感兴趣区域之后，自动的或者根据用户输入的配准参数对至少一对感兴趣区域中的每对感兴趣区域分别进行图像配准。其中涉及的多种模态包括但不限于ct、mri以及pet，本申请并不做限定。

本实施例提供了一种多模态扫描图像配准方法。图1是根据本申请实施例的多模态扫描图像配准方法的流程图，如图1所示，该流程包括如下步骤：

步骤s101，获取对相同的被扫描对象进行扫描所得到的多段第一模态扫描图像和多段第二模态扫描图像。

本步骤中，多段第一模态扫描图像和多段第二模态扫描图像可以是实时获取的，也可以是从多段第一模态扫描图像和多段第二模态扫描图像对应的数据库中获取的。且在本步骤中，通过获取多段扫描图像，可以提高对被扫描对象的细节展示。

需要说明的是，第一模态与第二模态可以是同模态，也可以是不同模态。

步骤s102，将多段第一模态扫描图像拼接成第一模态拼接图像，以及将多段第二模态扫描图像拼接成第二模态拼接图像。

在相关技术中，直接将步骤s101中得到的多段扫描图像线进行配准，然后再进行多段扫描图像的拼接的。而采用相关技术中的方式，会导致图像配准质量低的问题。例如，扫描人体的全身图像，首先对人体进行扫描得到多段图像，在该扫描过程中可能只存在人的头部存在偏差。而采用相关技术中的方式，直接进行配准，然后再拼接得到最终配准之后的全身图像，该最终配准之后的全身图像会存在人的颈部或者其他部位存在偏移的情况。因此，采用相关技术中的方式会导致图像配准质量低的问题。

而在本步骤中，先将多段扫描图像进行拼接得到拼接图像，可以便于在执行步骤s103和s104时只需根据用户感兴趣区域进行配准，而不需要对多段图像均进行配准，避免了在相关技术中在配准某一个扫描部位时，容易出现的另一个扫描部位发生偏差的问题。

步骤s103，在第一模态拼接图像和第二模态拼接图像中选取对应于相同的扫描视野的至少一对感兴趣区域。

在本步骤中，感兴趣区域可以是但不限于存在偏差或偏移的图像区域。

步骤s104，对至少一对感兴趣区域中的每对感兴趣区域分别进行图像配准。

在本步骤中，一对感兴趣区域可以包括从第一模态拼接图像中选取的第一感兴趣区域和从第二模态拼接图像中选取的第二感兴趣区域，且实现图像的配准可以是以下方式：以第一感兴趣区域作为参考图像，对第二感兴趣区域进行空间变换，以实现第一感兴趣区域与第二感兴趣区域的配准。同时在一些实施例中也可以以第二感兴趣区域作为参考图像，本申请并不做限定。通过该方式，实现了感兴趣区域的图像配准。

在本实施例中，实现图像配准的方式可以是但不限于基于第一感兴趣区域和第二感兴趣区域的图像特征进行图像配准。其中，图像特征可以是但不限于像素灰度特征、梯度特征、边缘特征、纹理特征。

在其中一些实施例中，在对第二感兴趣区域进行空间变换之后，还可以通过将进行空间变换后的第二感兴趣区域与第二模态拼接图像中的非感兴趣区域进行空间拼接，以得到第二模态扫描图像的全景图像的方式，实现了感兴趣区域与其对应的全景图像的拼接。

在一些实施例中，也可以通过将进行空间变换后的第二感兴趣区域与第二模态扫描图像中的非感兴趣区域进行空间拼接与第二感兴趣区域进行空间变换同步进行的方式，节省图像配准的时间。

基于步骤s101至步骤s104，通过感兴趣区域来实现图像配准的方式，可以避免相关技术中在配准某一个扫描部位时，导致另一个扫描部位存在偏差的问题，解决了相关技术中图像配准质量差的问题，提高了图像配准质量。

在相关技术中，在扫描得到的多段的扫描图像的后续处理中，通常将拼接和配准封装成不同的方式。对同模态多段扫描图像中有重叠区域的扫描图像按照一定的规则拼接起来，然后合并成一个全景图像，这是拼接任务。对两个全景图像进行同步浏览，对其中一个图像进行空间变换，使得其和另一个图像的相同解剖结构达到空间坐标的一致，这是配准任务。然而人体的四肢躯干运动灵活自如，身体内部的器官也有各自的运动特性，多模态的两个全景图像在采集过程中的时间跨度较大，只通过系统硬件的配准关系难以保证图像配准状态。故需要设计面向全景图像的配准方式。然而在相关技术中，常见的图像配准有以下几种方式：

方式1，自动配准：该方式不需要用户手动交互，全自动地对两个医学图像体数据进行算法处理得到配准空间关系，自动配准通常是采用基于像素灰度的图像配准算法，配准算法的精度取决于迭代优化过程的参数设计，且两个医学体数据集的像素灰度分布情况会影响自动配准算法精度。因此，对于两个医学体数据集的扫描范围相差较大时，自动配准算法易陷入局部最优；另外对于两个图像配准效果的评价，用户是有主观性的，对局部的感兴趣区域的配准效果对用户来说更为重要。例如，对于胸腹部连扫图像的配准过程，对于肝脏的病变评估，用户会更关注肝脏的位置对齐情况；对于肺部的病变评估，用户会更关注肺的位置对齐情况，因此采用相关技术中的自动配准方式，自动配准算法存在不具备识别用户感兴趣区域的能力的问题。

方式2，手动配准：该方式是用户手动操作，对两个医学体数据集进行位置对齐进而达到配准目的，该位置对齐包括通过旋转、平移、缩放等操作。但是采用该方式，操作过程会比较繁琐且耗费时间。

方式3，点配准：该方式是用户手动在两个医学体数据集内进行匹配点对的选择，算法基于三组或三组以上不共面的匹配点对，对匹配点对的坐标关系进行求解得到映射关系，即得到点集的空间配准关系。发明人在研究过程中发现，点配准方式不依赖两个医学体数据集的像素信息，并且点集的空间配准关系与两个医学体数据集之间的配准关系存在一定的误差，不能准确地达到用户的处理目的。

由此可见相关技术中的配准方式，是面向两个体数据的全局配准，对于全景图像的配准考虑较少。

因此，针对上述方式1的面临的问题，本实施例还提供了一种多模态扫描图像配准方法。图2是根据本申请另一个实施例的多模态扫描图像配准方法的流程图，如图2所示，该方法流程包括：

步骤s201，获取对相同的被扫描对象进行扫描所得到的多段第一模态扫描图像和多段第二模态扫描图像。

需要说明的是，获取到的多段第一模态扫描图像和多段第二模态扫描图像可以包括冠状面扫描图像、矢状面扫描图像和横断面图像中的至少两种图像。

步骤s202，将多段第一模态扫描图像拼接成第一模态拼接图像，以及将多段第二模态扫描图像拼接成第二模态拼接图像。

步骤s203，在用户交互界面中按横断面、矢状面和冠状面中的至少两个面显示第一模态拼接图像和第二模态拼接图像。

本步骤中，在用户交互界面中可以显示第一模态拼接图像对应的冠状面扫描图像、矢状面扫描图像和横断面图像中的任意两种或三种的组合，以及显示第二模态拼接图像对应的冠状面扫描图像、矢状面扫描图像和横断面图像中的任意两种或三种的组合，通过该方式，可以更好的展示拼接图像的细节，也便于步骤s204框选用户感兴趣区域，以及便于s205进行图像配准。

步骤s204，根据用户的第一操作指令，在第一模态拼接图像和第二模态拼接图像的冠状面扫描图像、矢状面扫描图像和横断面图像中的任意两种或三种图像中框选出对应于相同的扫描视野的至少一对感兴趣区域。

本步骤中，基于步骤s203显示的第一模态拼接图像和第二模态拼接图像，可以在第一模态拼接图像和第二模态拼接图像对应的横断面图像、冠状面图像、矢状面图像至少2个平面上手动拖拽边界框(boundingbox)，然后来确定感兴趣区域，并确定感兴趣区域在三个方向上的边界(例如前后、左右、上下)，在本步骤中需要在第一模态拼接图像和第二模态拼接图像上分别确定边界框。

步骤s205，对至少一对感兴趣区域中的每对感兴趣区域分别进行图像配准。

在本实施例中，通过将根据用户的第一操作指令，来选取一对感兴趣区域，进而实现对该一对感兴趣区域的配准的方式，解决了方式1中自动配准算法不具备识别用户感兴趣区域的能力的问题，实现了用户感兴趣区域配准，提高了图像配准的效果。

针对上述方式3的面临的问题，本实施例还提供了一种多模态扫描图像配准方法。图3是根据本申请又一个实施例的多模态扫描图像配准方法的流程图，如图3所示，该方法流程包括：

步骤s301，获取对相同的被扫描对象进行扫描所得到的多段第一模态扫描图像和多段第二模态扫描图像。

需要说明的是，获取到的多段第一模态扫描图像和多段第二模态扫描图像可以包括冠状面扫描图像、矢状面扫描图像和横断面图像中的至少两种图像。

步骤s302，将多段第一模态扫描图像拼接成第一模态拼接图像，以及将多段第二模态扫描图像拼接成第二模态拼接图像。

步骤s303，在用户交互界面中按横断面、矢状面和冠状面中的至少两个面显示第一模态拼接图像和第二模态拼接图像。

本步骤中，在用户交互界面中可以显示第一模态拼接图像对应的冠状面扫描图像、矢状面扫描图像和横断面图像中的任意两种或三种的组合，也可以显示第二模态拼接图像对应的冠状面扫描图像、矢状面扫描图像和横断面图像中的任意两种或三种的组合，通过该方式，可以更好的展示拼接图像的细节，也便于步骤s304进行标记，以及便于s306进行图像配准。

步骤s304，根据用户的第二操作指令，在第一模态拼接图像的冠状面扫描图像、矢状面扫描图像和横断面图像中的任意两种或三种图像中的第一扫描部位标记第一标记点，以及在第二模态拼接图像的冠状面扫描图像、矢状面扫描图像和横断面图像中的任意两种或三种图像中的第一扫描部位标记第二标记点。

本步骤中，标记点的方式可以是在横断面图像、冠状面图像、矢状面图像的任一平面一个上，用户通过医学背景经验确认出相同的解剖结构，并在该解剖结构对应的体素上分别进行1个点的标记，形成1个点对；若确认出的相同的解剖结构存在一定的体积，可以在该相同的解剖结构内部分别进行1个点的标记，形成1个点对。通过该交互方式，简化了用户操作过程，同时符合用户观看图像过程中找寻关键结构的习惯，且用户的接受度较高。

步骤s305，根据第一标记点确定第一模态拼接图像的感兴趣区域，以及根据第二标记点确定第二模态拼接图像的感兴趣区域。

在一些实施例中，根据第一标记点确定第一模态拼接图像的感兴趣区域，以及根据第二标记点确定第二模态拼接图像的感兴趣区域的方式可以是：确定第一标记点的第一三维坐标信息和第二标记点的第二三维坐标信息；根据第一三维坐标信息，识别出第一模态拼接图像的感兴趣区域，以及根据第二三维坐标信息，识别出第二模态拼接图像的感兴趣区域。

在本实施例中，可以预先为原始医学图像建立一个坐标系，这样在原始医学图像中确定初始mpr(multi-planarreconstruction，多平面重建)平面之后，初始mpr平面上的各个像素点的二维坐标就可以得到了，之后可以将初始mpr平面上的各个像素点的二维坐标通过如下公式(1)的转换关系计算得到感兴趣区域中的三维坐标：

其中，(x0，y0，z0)为初始mpr平面的中心点坐标，为已知量，(x1，y1，z1)为初始mpr平面的x轴向量，为已知量，(x2，y2，z2)为初始mpr平面的y轴向量，为已知量，那么对初始mpr平面中任意二维像素点坐标(x，y)，为已知量，通过公式(1)就可以得到初始mpr平面上各二维像素点(x，y)在感兴趣区域中对应的三维像素点坐标，记为各目标像素点的三维坐标

在得到感兴趣区域中各目标像素点的三维坐标之后，也就能得到各目标像素点的三维坐标上的像素值(感兴趣区域上各个像素点的像素值已知)，然后将三维坐标上的像素值直接设置进对应的二维坐标上，得到感兴趣区域。

步骤s306，对至少一对感兴趣区域中的每对感兴趣区域分别进行图像配准。

在一些实施例中步骤s306可以包括：将第一三维坐标信息和第二三维坐标信息作为迭代配准算法的初值，使用迭代配准算法基于感兴趣区域的图像特征进行图像配准，其中，图像特征包括以下至少之一：像素灰度特征、梯度特征、边缘特征、纹理特征。

需要说明的是，配准算法一般可分为基于图像灰度统计特性配准算法、基于图像特征配准算法和基于图像理解的配准算法。

基于步骤s301至步骤s306，根据第一标记点和第二标记点的三维坐标信息自动识别出用户的感兴趣区域，并将第一标记点和第二标记点的三维坐标信息作为配准算法迭代过程的初值输入，在配准算法迭代优化求解过程中，避免了陷入局部最优的情况，从而得到符合用户需求的配准结果。

针对方式3中当两个医学体数据集的扫描视野相差很大致使重叠区域非常有限的情况，通过本申请实施例的方式还可以达到提升图像配准的精度的有益效果。且与方式3中的点配准方式相比，本实施例通过用户手动标记的两个标记点的坐标进行配准关系计算，并且采用基于像素灰度特征的图像配准算法的方式，来实现图像的配准，降低了对标记点的坐标选取的要求。

基于上述实施例均无需用户手动旋转、平移、缩放等操作，因此采用上述实施例中的方式还可以解决方式2中用户操作过程繁琐且耗费时间的问题，简化了用户操作过程。

与相关技术相比，本申请实施例提出的多模态扫描图像配准方式，通过根据用户输入分别在两个拼接图像中勾画并限定相同或相近的视野范围(即感兴趣区域)，其中第一个拼接图像的内容保持不变，自动执行第二个拼接图像局部视野相对于第一个拼接图像局部视野的图像配准，并完成第二个拼接图像的局部视野和其对应的全景图的拼接，更新第二个拼接图像对应的全景图的方式。解决了相关技术中图像配准质量低的问题，提高了图像配准质量。

下面结合附图来对本申请实施例进行描述和说明。

在本实施例中，在本实施例中，以第一模态为pet，第二模态为ct为例，以及以pet扫描图像为参考图像配准ct图像为例。如图4所示，图4中的a图为ct头部图像，图4中的b图为pet头部图像。同机pet-ct在进行全身扫描时，由于被扫描对象在扫描pet图像和扫描ct图像期间头部发生运动，故头部pet图像与头部ct图像出现旋转和平移的空间变换，而身体其他部位的pet图像和ct图像没有相对位置变化。此时用户可以在界面上分别对pet图像和ct图像执行手动框选边界框操作，且还可以定义待配准的感兴趣区域，如图5和图6所示。

其中，图5是根据本申请实施例框选ct拼接图像感兴趣区域的示意图，图5中的a图为ct扫描的横断面图像，图5中的b图为ct扫描的冠状面图像，图5中的c图为ct扫描的矢状面图像。图6是根据本申请实施例框选pet拼接图像感兴趣区域的示意图，图6中的a图为pet扫描的横断面图像，图6中的b图为pet扫描的冠状面图像，图6中的c图为pet扫描的矢状面图像，且图5和图6中的方框可以代表用户定义的待配准的感兴趣区域。

图7表示定义的待配准的感兴趣区域配准后的ct拼接全景图像，其中，图7中的a图为配准后的ct扫描的横断面图像，图7中的b图为配准后的ct扫描的冠状面图像，图7中的c图为配准后的ct扫描的矢状面图像。

在本实施例中，根据用户的需要从两个医学体数据集内选择一组解剖结构对应点，以及根据该组点对自动确定感兴趣区域并执行配准算法，完成感兴趣区域图像相对于参考图像的对齐重建或者更新所在的拼接全景图的方式可以包括：

方式a：以第一模态和第二模态均为ct为例，以及以全身ct图像和胸腔ct图像进行配准为例。本实施例中根据用户的选择从横断位图像中选择气管分叉处作为一组点对，其选择的结果如图8所示，其中，图8中的a图为全身ct图像，图8中的b图为胸腔ct图像，其采用点对配准方式得到的配准融合图像如图9所示。

需要说明的是，图8中的a图中的气管分叉的三维坐标为(257，286，213)，图8中的b图中的气管分叉的三维坐标为(520，602，132)。

方式b：以第一模态和第二模态均为ct为例，以及以全身ct图像和盆腔ct图像进行配准为例。用户可以从横断位图像中选择髋骨起始处作为一组点对，其选择的结果如图10所示，其中，图10中的a图为全身ct图像的横断面图像，图10中的b图为盆腔ct图像的横断面图像，其采用点对配准方式得到的配准融合图像如图11所示。

需要说明的是，图10中的a图中的髋骨起始处的三维坐标为(189，30，308)，图10中的b图中的髋骨起始处的三维坐标为(168，297，10)。

方式c：以第一模态和第二模态均为ct为例，以及以全身ct图像和头颈ct图像进行配准为例。用户可以从横断位图像中选择枕骨大孔作为一组点对，其选择的结果如图12所示，其中，图12中a图的为全身ct图像的横断面图像，图12中b图的为头颈ct图像的横断面图像，其采用点对配准方式得到的配准融合图像如图13所示。

需要说明的是，图12中的a图中的髋骨起始处的三维坐标为(253，283，29)，图12中的b图中的髋骨起始处的三维坐标为(250，301，76)。

本实施例还提供了一种多模态扫描图像配准装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图14是根据本申请实施例的多模态扫描图像配准装置的结构框图，如图14所示，该装置包括：

获取模块141，用于获取对相同的被扫描对象进行扫描所得到的多段第一模态扫描图像和多段第二模态扫描图像；

第一拼接模块142，耦合至获取模块141，用于将多段第一模态扫描图像拼接成第一模态拼接图像，以及将多段第二模态扫描图像拼接成第二模态拼接图像；

选取模块143，耦合至第一拼接模块142，用于在第一模态拼接图像和第二模态拼接图像中选取对应于相同的扫描视野的至少一对感兴趣区域；

配准模块144，耦合至选取模块143，用于对至少一对感兴趣区域中的每对感兴趣区域分别进行图像配准。

在其中一些实施例中，配准模块144包括：第一配准子模块，用于以第一感兴趣区域作为参考图像，对第二感兴趣区域进行空间变换，以实现第一感兴趣区域与第二感兴趣区域的配准。

在其中一些实施例中，该装置还包括：第二拼接模块，用于将进行空间变换后的第二感兴趣区域与第二模态拼接图像中的非感兴趣区域进行空间拼接。

在其中一些实施例中，选取模块143包括：第一显示子模块，用于在用户交互界面中按横断面、矢状面和冠状面中的至少两个面显示第一模态拼接图像和第二模态拼接图像；框选子模块，用于根据用户的第一操作指令，在第一模态拼接图像和第二模态拼接图像中框选出对应于相同的扫描视野的至少一对感兴趣区域。

在其中一些实施例中，选取模块还包括：第二显示子模块，用于在用户交互界面中按横断面、矢状面和冠状面中的至少两个面显示第一模态拼接图像和第二模态拼接图像；标记子模块，用于根据用户的第二操作指令，在第一模态拼接图像的冠状面扫描图像、矢状面扫描图像和横断面图像中的任意两种或三种图像中的第一扫描部位标记第一标记点，以及在第二模态拼接图像的冠状面扫描图像、矢状面扫描图像和横断面图像中的任意两种或三种图像中的第一扫描部位标记第二标记点；

确定子模块，用于根据第一标记点确定第一模态拼接图像的感兴趣区域，以及根据第二标记点确定第二模态拼接图像的感兴趣区域。

在其中一些实施例中，确定子模块包括：确定单元，用于确定第一标记点的第一三维坐标信息和第二标记点的第二三维坐标信息；识别单元，用于根据第一三维坐标信息，识别出第一模态拼接图像的感兴趣区域，以及根据第二三维坐标信息，识别出第二模态拼接图像的感兴趣区域。

在其中一些实施例中，配准模块144还包括：第二配准子模块，用于将第一三维坐标信息和第二三维坐标信息作为迭代配准算法的初值，使用迭代配准算法基于感兴趣区域的图像特征进行图像配准，其中，图像特征包括以下至少之一：像素灰度特征、梯度特征、边缘特征、纹理特征。

需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。

另外，结合图1描述的本申请实施例多模态扫描图像配准方法可以由计算机设备来实现。图15是根据本申请实施例的计算机设备的硬件结构示意图。

计算机设备可以包括处理器151以及存储有计算机程序指令的存储器152。

具体地，上述处理器151可以包括中央处理器(cpu)，或者特定集成电路(applicationspecificintegratedcircuit，简称为asic)，或者可以被配置成实施本申请实施例的一个或多个集成电路。

其中，存储器152可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器152可包括硬盘驱动器(harddiskdrive，简称为hdd)、软盘驱动器、固态驱动器(solidstatedrive，简称为ssd)、闪存、光盘、磁光盘、磁带或通用串行总线(universalserialbus，简称为usb)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器152可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器152可在数据处理装置的内部或外部。在特定实施例中，存储器152是非易失性(non-volatile)存储器。在特定实施例中，存储器152包括只读存储器(read-onlymemory，简称为rom)和随机存取存储器(randomaccessmemory，简称为ram)。在合适的情况下，该rom可以是掩模编程的rom、可编程rom(programmableread-onlymemory，简称为prom)、可擦除prom(erasableprogrammableread-onlymemory，简称为eprom)、电可擦除prom(electricallyerasableprogrammableread-onlymemory，简称为eeprom)、电可改写rom(electricallyalterableread-onlymemory，简称为earom)或闪存(flash)或者两个或更多个以上这些的组合。在合适的情况下，该ram可以是静态随机存取存储器(staticrandom-accessmemory，简称为sram)或动态随机存取存储器(dynamicrandomaccessmemory，简称为dram)，其中，dram可以是快速页模式动态随机存取存储器(fastpagemodedynamicrandomaccessmemory，简称为fpmdram)、扩展数据输出动态随机存取存储器(extendeddateoutdynamicrandomaccessmemory，简称为edodram)、同步动态随机存取内存(synchronousdynamicrandom-accessmemory，简称sdram)等。

存储器152可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器152所执行的可能的计算机程序指令。

处理器151通过读取并执行存储器152中存储的计算机程序指令，以实现上述实施例中的任意一种多模态扫描图像配准方法。

在其中一些实施例中，计算机设备还可包括通信接口153和总线150。其中，如图15所示，处理器151、存储器152、通信接口153通过总线150连接并完成相互间的通信。

通信接口153用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信接口153还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。

总线150包括硬件、软件或两者，将计算机设备的部件彼此耦接在一起。总线150包括但不限于以下至少之一：数据总线(databus)、地址总线(addressbus)、控制总线(controlbus)、扩展总线(expansionbus)、局部总线(localbus)。举例来说而非限制，总线150可包括图形加速接口(acceleratedgraphicsport，简称为agp)或其他图形总线、增强工业标准架构(extendedindustrystandardarchitecture，简称为eisa)总线、前端总线(frontsidebus，简称为fsb)、超传输(hypertransport，简称为ht)互连、工业标准架构(industrystandardarchitecture，简称为isa)总线、无线带宽(infiniband)互连、低引脚数(lowpincount，简称为lpc)总线、存储器总线、微信道架构(microchannelarchitecture，简称为mca)总线、外围组件互连(peripheralcomponentinterconnect，简称为pci)总线、pci-express(pci-x)总线、串行高级技术附件(serialadvancedtechnologyattachment，简称为sata)总线、视频电子标准协会局部(videoelectronicsstandardsassociationlocalbus，简称为vlb)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线150可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。

该计算机设备可以基于获取到的多段第一模态扫描图像和多段第二模态扫描图像，执行本申请实施例中的多模态扫描图像配准方法，从而实现结合图1描述的多模态扫描图像配准方法。

另外，结合上述实施例中的多模态扫描图像配准方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种多模态扫描图像配准方法。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。