一种图像配准方法、图像配准装置和计算机可读存储介质与流程

1.本技术涉及深度学习技术领域，具体涉及一种图像配准方法、图像配准装置和计算机可读存储介质。


背景技术：

2.影像配准指对同一场景下具有不同视角或不同时相的图像进行匹配的技术，配准精度直接影响后续图像融合、图像拼接、变化检测或三维重建等应用的效果。由于场景差异、亮度变化、视角变换或重叠度低等因素的影响，不同时间的影像在进行配准时存在计算量过大以及错误匹配过高等问题。


技术实现要素：

3.本技术提供一种图像配准方法、图像配准装置和计算机可读存储介质，能够提升配准的准确度，且无需训练网络。
4.为解决上述技术问题，本技术采用的技术方案是：提供一种图像配准方法，该方法包括：采用预先训练完的特征提取网络分别对基准图像与待配准图像进行提取处理，得到第一特征图集与第二特征图集；基于第一配准特征图与第二配准特征图，对待配准图像与基准图像进行配准处理，得到映射图像，第一配准特征图为第一特征图集中的一个第一特征图，第二配准特征图为第二特征图集中的一个第二特征图；采用特征提取网络对映射图像进行提取处理，得到第三特征图集；基于第一特征图集与第三特征图集，对基准图像与映射图像进行配准处理，得到匹配结果。
5.为解决上述技术问题，本技术采用的另一技术方案是：提供一种图像配准装置，该图像配准装置包括互相连接的存储器和处理器，其中，存储器用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的图像配准方法。
6.为解决上述技术问题，本技术采用的另一技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的图像配准方法。
7.通过上述方案，本技术的有益效果是：将基准图像与待配准图像分别输入预先训练完的特征提取网络，得到第一特征图集以及第二特征图集；然后利用第一特征图集中的第一配准特征图与第二特征图集中的第二配准特征图，对待配准图像与基准图像进行配准处理，得到映射图像；然后将映射图像输入特征提取网络，得到第三特征图集；再利用第一特征图集与第三特征图集，对基准图像与映射图像进行配准处理，得到匹配结果；由于采用了现有的特征提取网络，因此无需要额外的训练过程，实现简单，计算量小；而且，通过基于特征金字塔的配准方法来实现两张图像的配准，充分利用了不同层的特征图的特点，有助于提升匹配的准确度。
附图说明
8.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
9.图1是本技术提供的图像配准方法一实施例的流程示意图；
10.图2是本技术提供的多尺度的特征金字塔图的结构示意图；
11.图3是本技术提供的repblock的结构示意图；
12.图4是本技术提供的图像配准方法另一实施例的流程示意图；
13.图5是图4所示的实施例中s48的流程示意图；
14.图6是本技术提供的匹配结果的示意图；
15.图7是本技术提供的图像配准装置一实施例的结构示意图；
16.图8是本技术提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
17.下面结合附图和实施例，对本技术作进一步的详细描述。特别指出的是，以下实施例仅用于说明本技术，但不对本技术的范围进行限定。同样的，以下实施例仅为本技术的部分实施例而非全部实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
18.在本技术中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
19.需要说明的是，本技术中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本技术的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
20.在影像配准技术中，图像配准流程大多由特征检测、特征描述、特征匹配和几何变换四个模块串联组成，在这个流程中，前置模块的输出是后置模块的输入，每一个模块在不同的场景中会产生不同的误差，从而造成误差的积累，影响最终的配准精度。传统的特征点检测和描述算法，如：哈里斯(harris)或尺度不变特征变换(scale-invariant feature transform，sift)等，往往更关注底层像素级的信息，而忽略图像本身的高级语义信息，对几何变换和光照的鲁棒性低，在复杂的场景下导致大量的错误匹配；而深度学习的算法在获取高级语义特征上相较传统算法有巨大优势，但其需要海量的数据来训练特征检测和特征描述网络，因此如何获取大量数据来训练配准模型成了主要困难。
21.基于上述问题，本技术要解决的问题是如何高效且准确地对两张不同视角或不同时相的图像进行配准，本技术提供的方案采用现有的、已训练好的特征提取网络进行特征提取，避免额外的数据获取及模型训练过程，且相比传统配准方法的准确率更高，下面对本技术所采用的方案进行详细阐述。
22.请参阅图1，图1是本技术提供的图像配准方法一实施例的流程示意图，该方法包括：
23.s11：采用预先训练完的特征提取网络分别对基准图像与待配准图像进行提取处理，得到第一特征图集与第二特征图集。
24.先获取特征提取网络，该特征提取网络为预先训练完的、用于实现特征提取功能的网络，可从模型库中获取特征提取网络；然后将基准图像输入特征提取网络，生成第一特征图集，该第一特征图集包括多层第一特征图；而且，将待配准图像(即浮动图像)输入特征提取网络，生成第二特征图集，该第二特征图集可以为一个第二特征图，或者第二特征图集包括至少两层第二特征图。具体地，第一特征图与第二特征图的层数可根据应用需要进行设置，比如：3层、4层或5层；基准图像与待配准图像可以为遥感图像，本实施例所采用的特征提取网络为常见的特征提取网络，用于对输入图像逐层计算特征，比如：视觉几何组(visual geometry group，vgg)或残差网络(residual neural network，resnet)等，第一特征图集与第二特征图集为均为特征金字塔，可以通过降采样形成多尺度的特征金字塔；一般来说，网络越深，特征图的语义信息越丰富，但分辨率越低，位置信息越粗糙；网络越浅，特征图的语义信息越少，但分辨率越高，位置信息越准确。
25.进一步地，本实施例通过重参数化vgg(repvgg，re-parameterization vgg)网络提取特征，原因在于repvgg网络在推理时只有卷积层和修正线性单元(rectified linear unit，relu)层，推理速度较快。如图2所示，对于repvgg网络来说，其一共分为五层(即layer1-layer5)，每一个特征层的分辨率分别为输入图像的1/2、1/4、1/8、1/16、1/32；每一层分别由数量为{4，6，16，1}的多个重参数块(re-parameterization block，repblock)组成，每个repblock包括一个3
×
3的卷积(convolution，conv)层和一个relu层，如图3所示，除每层的第一个repblock的卷积层的步长为2外，其余的步长均为1；取出每一层最后一个repblock的输出构成多尺度的特征金字塔{layer1，layer2，layer3，layer4，layer5}，layer1为最浅层特征层，layer5为最深层特征层。可以理解地，repvgg的具体实现原理与相关技术中类似，在此不再赘述。
26.s12：基于第一配准特征图与第二配准特征图，对待配准图像与基准图像进行配准处理，得到映射图像。
27.在获取到第一特征图集与第二特征图集后，从第一特征图集中选出第一配准特征图，即第一配准特征图为多层第一特征图中的一个第一特征图，比如：第一配准特征图为第一特征图集中最后一个特征层的第一特征图；同时，从第二特征图集中选出第二配准特征图，即第二配准特征图为多层第二特征图中的一个第二特征图，比如：第二配准特征图为第二特征图集中最后一个特征层的第二特征图；然后利用第一配准特征图与第二配准特征图，对待配准图像与基准图像进行粗配准，并将待配准图像通过粗略估计的几何变换关系进行映射，得到映射图像。
28.可以理解地，第一配准特征图与第二配准特征图的选取可根据具体应用需求进行
设置，并非仅限于最后一个特征层的特征图；比如：以特征提取网络包括3个特征层为例，可将第3个特征层输出的特征图作为配准特征图，或者将第2个特征层输出的特征图作为配准特征图。
29.s13：采用特征提取网络对映射图像进行提取处理，得到第三特征图集。
30.在获取到映射图像后，将映射图像输入特征提取网络，生成相应的特征金字塔(即第三特征图集)，该第三特征图集包括多层第三特征图。
31.s14：基于第一特征图集与第三特征图集，对基准图像与映射图像进行配准处理，得到匹配结果。
32.利用第一特征图集中的第一特征图与第三特征图集中的第三特征图，对基准图像与映射图像进行精细的配准，生成匹配结果。
33.可以理解地，第一特征图集可以为步骤s11生成的第一特征图集，或者重新采用预先训练完的特征提取网络对基准图像进行提取处理得到。
34.本实施例提出了一种基于特征金字塔的图像配准方法，采用一个两阶段架构来执行两张图像之间的配准，在阶段一通过粗配准得到初始的配准结果，通过一个预先训练的特征提取网络(如：repvgg)对两张图像进行提取特征，然后在最后一个特征层上对两张图像进行粗配准，并将待配准图像通过粗略估计的几何变换关系进行映射，得到映射图像；在阶段二逐层细化配准点的位置，先通过预先训练完的特征提取网络构建基准图像和映射图像的特征金字塔，然后对基准图像和映射图像的特征图进行配准，获得匹配点对的位置；由于采用了现有的特征提取网络，不需要额外的训练过程，因此实现简单，计算量较小；而且，通过基于特征金字塔的两阶段配准方法来实现两张图像的配准，能够充分利用不同层的特征图的特点，有助于提升匹配的准确度。
35.请参阅图4，图4是本技术提供的图像配准方法另一实施例的流程示意图，该方法包括：
36.s41：采用预先训练完的特征提取网络分别对基准图像与待配准图像进行提取处理，得到第一特征图集与第二特征图集。
37.其中，s41与上述实施例中s11相同，在此不再赘述。
38.给定一个图像对，在构建好特征金字塔后，可以在最深层通过密集最近邻搜索算法(dense nearest neighbor search，dnns)初始化匹配对的位置，然后使用局部密集最近邻搜索算法(local dense nearest neighbor search，ldnns)逐层细化，但这种单阶段方法在一些严重几何变换的情况下会导致失败配准，这是这由于浅层特征对几何变换的鲁棒性较弱，即使在深层生成了正确的匹配也会在逐层细化的过程中丢失。具体地，dnns与ldnns为k最近邻算法(k-nearest neightbors，knn)的一种，其具体实现原理与相关技术中相同，在此不再赘述。
39.因次，本实施例通过两阶段架构方法来实现两张图像间的配准，首先在阶段一通过对最低分辨率的特征图执行dnns，来粗略估计给定图像对之间的几何变换，从而将待配准图像向基准图像映射，得到映射图像。在阶段二中，先对基准图像和映射图像的最低分辨率的特征图通过dnns获得粗略的匹配点位置，进而再在更高分辨的特征图上通过ldnns来逐步细化匹配点的位置，下面进行详细描述。
40.s42：将多层第一特征图中分辨率最低的第一特征图确定为第一配准特征图，并将
多层第二特征图中分辨率最低的第二特征图确定为第二配准特征图。
41.对于第一特征图集来说，将第一特征图集中最后一个特征层的第一特征图(即所有第一特征图中分辨率最低的第一特征图)作为第一配准特征图；对于第二特征图集来说，将第二特征图集中最后一个特征层的第二特征图(即所有第二特征图中分辨率最低的第二特征图)作为第二配准特征图。可以理解地，第一特征图集中的每一个第一特征图与第二特征图集中相应的第二特征图的分辨率相同，即第一配准特征图与第二配准特征图的分辨率相同。
42.s43：对第一配准特征图与第二配准特征图进行搜索处理，得到第一匹配点对。
43.在获取到第一配准特征图与第二配准特征图后，对这两张特征图进行匹配点的搜索处理，比如：计算第一配准特征图中的每个特征点与第二配准特征图中所有特征点的距离，将距离最大且大于设定的阈值的两个特征点作为第一匹配点，即第一匹配点对包括第一配准特征图中的特征点以及第二配准特征图中的相应特征点。
44.在一具体的实施例中，在阶段一的粗配准中，采用dnns对基准图像的第一配准特征图和待配准图像的第二配准特征图进行匹配；具体地，多尺度的特征金字塔中最后一层的特征图尺度最小且特征表征能力最强，分辨率较小的特征图可以显著减少dnns的算法复杂度，而较强的特征表征能力使其对图像旋转、缩放之类的几何变化以及光照变化具有一定的鲁棒性，因此使用第一特征图集中最后一个特征层的第一特征图与第二特征图集中最后一个特征层的第二特征图来进行匹配处理。
45.进一步地，dnns使用相互最近邻搜索和阈值比率在两张特征图(包括第一配准特征图与第二配准特征图)中确定匹配点对，匹配质量通过欧氏(即l2)距离来衡量，l2距离越小，匹配度越高。例如，基准图像和待配准图像b的特征图分别记作fa和fb，对于fa中的点pa来说，如果第一距离与第二距离的比值低于给定的阈值，则称pb是pa的匹配点，其中，第一距离为点pa与fb中的最近点pb的距离，第二距离为点pa与fb中的次近点的距离；同时，如果点pb与fa中距离最近的点是pa，点pb与fa中距离次近的点是pc，且第三距离(即点pb与点pa的距离)与第四距离(即点pb与点pc的距离)的比值小于阈值，则称pa与pb是一对匹配点对。通过对特征图直接执行dnns来确定特征点的方法，简化了使用额外数据训练特征检测网络的过程。
46.s44：基于第一匹配点对，计算出待配准图像与基准图像之间的单应性矩阵，并基于单应性矩阵对待配准图像进行变换处理，得到映射图像。
47.在获得dnns算法返回的两张图像上的第一匹配点对后，可以根据实际情况选择合适的几何变换将两张图像粗对齐；具体地，以待配准图像与基准图像为遥感图像为例，由于遥感图像成像的距离非常远，成像目标区域相对于成像元件近似为一个平面，因此可通过单应性矩阵来估计两张图像之间的几何关系，并将待配准图像映射到基准图像中去，得到映射图像。
48.s45：采用特征提取网络对映射图像进行提取处理，得到第三特征图集。
49.s45与上述实施例中s13相同，在此不再赘述。
50.s46：将多层第三特征图中分辨率最低的第三特征图确定为第三配准特征图。
51.s47：基于第一配准特征图与第三配准特征图，对待配准图像与映射图像进行配准处理，得到匹配点对集合。
52.在进行粗配准后，可执行阶段二：分层细化，先通过预先训练完的特征提取网络构建基准图像和映射图像的特征金字塔，然后采用dnns对基准图像和映射图像的最后一层特征图进行配准，得到初始的匹配点位置(即匹配点对集合)。
53.s48：对匹配点对集合进行细化处理，得到匹配结果。
54.可基于第四配准特征图与第五配准特征图，对匹配点对集合进行细化处理，得到匹配结果，第四配准特征图为所有第一特征图中除第一配准特征图以外的第一特征图，第五配准特征图为所有第三特征图中除第三配准特征图以外的第三特征图。
55.在一具体的实施例中，虽然深层特征图获得的匹配点对几何变换和光照变化具有鲁棒性，但其空间分辨率较低，位置信息不够准确，直接将其上采样到原始分辨率也无法获得精确的位置。而浅层特征虽然语义信息弱，但空间分辨率高，且由于其感受野较小，可以更好地关注到图像的局部信息。因此，为了充分利用不同特征层的优势，本实施例采用了一种由粗到细的分层搜索策略，如图5所示，具体包括以下步骤：
56.s51：将第二匹配点对作为当前匹配点对。
57.匹配点对集合包括多个第二匹配点对，第二匹配点对包括第一配准特征图中的特征点以及第三配准特征图中的相应特征点；将每个第二匹配点对记作当前匹配点对，执行s52-s56。
58.s52：确定当前匹配点对在下一处理层的第一特征图与下一处理层的第三特征图上的搜索范围。
59.当前匹配点对包括第一候选特征点以及与第一候选特征点匹配的第二候选特征点；具体地，对当前层中的第一候选特征点进行上采样，得到下一处理层中的第一上采样点；对当前层中的第二候选特征点进行上采样，得到下一处理层中的第二上采样点；然后基于第一上采样点与第二上采样点，得到搜索范围。可以理解地，下一处理层可以为当前层的下一层，即假设当前层为第5层，则下一处理层为第4层；或者下一处理层与当前层之间间隔设定层，比如：当前层为第5层，下一处理层为第3层或者第2层。
60.进一步地，搜索范围包括第一搜索范围与第二搜索范围，将第一上采样点、第一上采样点的右侧的特征点以及每个第一上采样点的下侧的特征点所围成的区域确定为第一搜索范围；将第二上采样点、第二上采样点的右侧的特征点以及每个第二上采样点的下侧的特征点所围成的区域确定为第二搜索范围。例如，如果第一上采样点的位置为[1，1]，在对其上采样后，得到位置[2，2]，位置[2，3]的特征点为其右侧的特征点，[3，2]与[3，3]的特征点为其下侧的特征点，则位置[2，2]、[2，3]、[3，2]以及[3，3]的特征点所围成的区域为第一搜索范围。
[0061]
s53：将搜索范围内的下一处理层的第一特征图的特征点与下一处理层的第三特征图的特征点进行匹配，得到第三匹配点对。
[0062]
对于给定的第n(1《n≤5)层的当前匹配对p
an
和p
bn
来说，先构造其在第(n-1)层的搜索范围ω
an-1
和ω
bn-1
；然后，通过对匹配点p
an
和p
bn
进行上采样来获得搜索范围；然后在第(n-1)层的第一特征图f
an-1
和第三特征图f
bn-1
的相应区域内(即搜索范围)实现ldnns，以便精细化匹配点对的位置或者消除错误匹配点；通过采用ldnns在局部区域搜索匹配点对，能够进一步降低计算量。
[0063]
s54：判断是否满足预设终止条件。
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0076]
在本技术所提供的几个实施方式中，应该理解到，所揭露的方法以及设备，可以通过其它的方式实现。例如，以上所描述的设备实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
[0077]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
[0078]
另外，在本技术各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0079]
以上所述仅为本技术的实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。