图像的配准处理方法及装置与流程

1.本技术属于图像处理技术领域，具体涉及一种图像的配准处理方法及装 置。


背景技术：

2.为满足人们对于手机和平板电脑等电子设备越来越高的拍摄要求，如高动 态范围、低照度、大景深和宽视场等，多次曝光技术被应用于电子设备的拍摄 功能中。由于在多次曝光时间周期内，电子设备与目标场景容易产生相对移动， 导致多次曝光的图像之间一般不能达到像素级甚至亚像素级匹配，从而需要对 多曝光图像序列中的图像进行配准。但是，目前对多曝光图像序列中的图像进 行配准，通常存在配准精确度低的问题。


技术实现要素：

3.本技术实施例的目的是提供一种图像的配准处理方法及装置，能够解决目 前对多曝光图像序列中的图像进行配准，通常存在配准精确度低的问题。
4.第一方面，本技术实施例提供了一种图像的配准处理方法，该方法包括：
5.获取多曝光图像序列中待配准图像与参考图像之间的全局平移向量；
6.对所述待配准图像进行分块处理，得到多个图像子块；
7.计算所述多个图像子块中每一所述图像子块的局部平移向量，得到多个局 部平移向量；
8.基于所述全局平移向量和所述多个局部平移向量，对所述待配准图像进行 配准处理。
9.第二方面，本技术实施例提供了一种图像的配准处理装置，该装置包括：
10.全局平移向量获取模块，用于获取多曝光图像序列中待配准图像与参考图 像之间的全局平移向量；
11.分块模块，用于对所述待配准图像进行分块处理，得到多个图像子块；
12.局部平移向量计算模块，用于计算所述多个图像子块中每一所述图像子块 的局部平移向量，得到多个局部平移向量；
13.配准模块，用于基于所述全局平移向量和所述多个局部平移向量，对所述 待配准图像进行配准处理。
14.第三方面，本技术实施例提供了一种电子设备，该电子设备包括处理器、 存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程 序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
15.第四方面，本技术实施例提供了一种可读存储介质，所述可读存储介质上 存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法 的步骤。
16.第五方面，本技术实施例提供了一种芯片，所述芯片包括处理器和通信接 口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现 如第一方面所述的方法。
17.在本技术实施例中，在电子设备对多曝光图像序列进行配准处理的过程 中，通过计算待配准图像的全局平移向量，并基于全局平移向量对待配准图像 的特征序列进行更新，实现得到待配准图像进行第一次配准处理后的第一图 像，并在第一图像的基础上，进一步对第一次配准处理后的第一图像进行至少 一次配准处理，且每次配准处理是通过待配准的图像的图像子区域的平移向量 实现，得到最终的配准图像。如此，通过本技术提供的图像的配准处理方法， 通过多次配准处理，且多次配准处理中兼顾整体和局部，可以有效提升对多曝 光图像序列进行配准的精确度。
附图说明
18.图1是本技术实施例提供的图像的配准处理方法的流程示意图；
19.图2是本技术实施例提供的剔除具有噪声的局部位移向量的示意图；
20.图3是本技术实施例提供的图像子块的中心点的分布示意图之一；
21.图4是本技术实施例提供的图像子块的中心点的分布示意图之二；
22.图5是本技术实施例提供的图像子块的中心点的分布示意图之三；
23.图6是本技术实施例提供的迭代配准前的图像示意图；
24.图7是本技术实施例提供的迭代配准后的图像示意图；
25.图8是本技术实施例提供的图像的配准处理装置的结构示意图；
26.图9是本技术实施例提供的电子设备的硬件结构示意图之一；
27.图10是本技术实施例提供的电子设备的硬件结构示意图之二。
具体实施方式
28.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清 楚地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施 例。基于本技术中的实施例，本领域普通技术人员获得的所有其他实施例，都 属于本技术保护的范围。
29.本技术的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类 似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在 适当情况下可以互换，以便本技术的实施例能够以除了在这里图示或描述的那 些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限 定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及 权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前 后关联对象是一种“或”的关系。
30.下面结合附图，通过具体的实施例及其应用场景对本技术实施例提供的图 像的配准处理方法进行详细地说明。
31.请参见图1，是本技术实施例提供的一种图像的配准处理方法流程示意图， 应用于电子设备，如图1所示，上述图像的配准处理方法包括如下步骤：
32.步骤101、获取多曝光图像序列中待配准图像与参考图像之间的全局平移 向量；
33.步骤102、对所述待配准图像进行分块处理，得到多个图像子块；
34.步骤103、计算所述多个图像子块中每一所述图像子块的局部平移向量， 得到多个局部平移向量；
35.步骤104、基于所述全局平移向量和所述多个局部平移向量，对所述待配 准图像
进行配准处理。
36.基于此，在电子设备对多曝光图像序列进行配准处理的过程中，通过获取 待配准图像与参考图像之间的全局平移向量，并对待配准图像进行分块处理， 得到多个图像子块，进而基于全局平移向量和多个图像子块的局部平移向量， 对待配准图像进行配准处理。如此，通过本技术提供的图像的配准处理方法， 可以有效提升对多曝光图像序列进行配准的精确度。
37.在上述步骤101中，在电子设备对多曝光图像序列进行配准的过程中，电 子设备可以获取待配准图像与参考图像之间的全局平移向量。
38.其中，上述多曝光图像序列可以是包括在不同曝光参数下采集的至少两张 图像，且该曝光参数可以是包括曝光量、景深量和光谱类型等中的至少一项。
39.另外，上述参考图像可以是在上述多曝光图像序列的至少两张图像中选择 的任意一张图像，且上述待配准图像可以是该至少两张图像中除上述参考图像 之外的任意一张图像。
40.本技术实施例中，上述获取多曝光图像序列中待配准图像与参考图像之间 的全局平移向量，可以是在参考图像和待配准图像中确定匹配的特征点或者特 征线，并从参考图像的特征序列和待配准图像的特征序列提取匹配的特征点或 者特征线的坐标信息，通过提取到的坐标信息计算得到上述全局平移向量。
41.或者，上述步骤101，可以包括：
42.获取多曝光图像序列中待配准图像的第一位图序列，以及，获取多曝光图 像序列中参考图像的第二位图序列；
43.基于所述第一位图序列和所述第二位图序列，计算所述待配准图像与所述 参考图像之间的全局平移向量，其中，所述全局平移向量表示：在对所述第一 位图序列的位图进行平移的情况下，平移后的第一位图序列的位图和所述第二 位图序列的位图的相似度最大时，第一位图序列的位图的平移量。
44.基于此，通过上述待配准图像的第一位图序列和参考图像的第二位图序 列，将在对第一位图序列在平移的情况下，平移后的第一位图序列和第二位图 序列的相似度最大时，第一位图序列的位图的平移量作为上述全局平移向量， 从而使获取的待配准图像和参考图像之间的全局平移向量更准确，进一步提升 配准精度。
45.其中，上述获取待配准图像的第一位图序列，可以是通过任意的位图转化 方法将待配准图像的像素转换为位图值形成。
46.具体地，上述获取多曝光图像序列中待配准图像的第一位图序列，可以包 括：
47.将所述待配准图像中各像素点的亮度与目标亮度进行比较，确定所述待配 准图像中各像素点的位图值，其中，所述目标亮度为在所述待配准图像在k分 位上的亮度，所述k为大于1的整数；
48.通过所述待配准图像中各像素点的位图值，生成所述待配准图像的第一位 图序列。
49.基于此，通过待配准图像中各像素点的亮度与待配准图像在k分位上的亮 度进行比较，确定待配准图像中各像素点的位图值，进而通过确定各像素点的 位图值生成待配准图像的位图序列，从而使生成的位图序列更准确，进一步提 升配准精度。
50.其中，上述将待配准图像中各像素点的亮度与目标亮度进行比较，确定待 配准图像中各像素点的位图值，可以是像素点的亮度大于或者等于目标亮度的 情况下，将该像素点的位图值置1；而在像素点的亮度小于目标亮度的情况下， 将该像素点的位图值置0，即对待配准图像进行k分位二值化处理。
51.另外，上述通过待配准图像中各像素点的位图值，生成待配准图像的第一 位图序列，可以理解为将待配准图像中每一像素点的亮度替换为其位图值，得 到待配准图像的第一位图序列。
52.需要说明的是，上述目标亮度为在待配准图像在分位上述的亮度，可以理 解为对待配准图像中所有像素点的亮度进行排序，并处于排序中前k分至一或 者后k分之一的位置的亮度确定为上述目标亮度(若待配准图像欠曝则为前k 分之一，若待配准图像过曝则为后k分之一)。
53.例如，在上述k＝2的情况下，可以将处于亮度排序的中间值确定为目标亮 度；在k＝4的情况下，可以将处于亮度排序的四分之一或者四分之三的位置的 亮度确定为上述目标亮度，等等。
54.另外，上述k可以是根据实际需要预先进行设定的值；或者，上述将所述 待配准图像中各像素点的亮度与目标亮度进行比较之前，上述方法还可以包 括：
55.计算所述待配准图像中曝光异常图像区域在所述待配准图像中的面积占 比；
56.将与所述面积占比相对应的值确定为所述k。
57.基于此，通过待配准图像中曝光异常图像区域在配准图像中的面积占比确 定上述k，从而使确定的k值更合理，进一步提升获取的位图序列更准确。
58.其中，上述曝光异常图像区域可以是过曝图像区域和欠曝图像区域中的至 少一项。
59.另外，上述将与面积占比相对应的值确定为k，可以是电子设备中预设有 不同k与不同预设面积占比范围的对应关系，将与计算得到的面积占比所处的 预设面积占比范围存在对应关系的值确定为上述k。
60.需要说明的是，上述获取参考图像的第二位图序列，与上述获取待配准图 像的第一位图序列的实现过程相同，在此并不进行赘述。
61.另外，为降低过曝图像区域和欠曝图像区域对配准的影响，上述待配准图 像可以是上述目标亮度大于欠曝阈值且小于过曝阈值的图像，而对于目标亮度 小于或者等于欠曝阈值或者大于或者等于过曝阈值的图像，可以在对多曝光图 像序列进行配准过程中剔除，而不作为上述待配准图像进行配准。此处，欠曝 阈值为用于判断图像是否欠曝的亮度，过曝阈值为用于判断图像是否过曝的亮 度。
62.为便于对通过上述k分位二值化获取位图序列的过程进行理解，在此以示 例进行说明，该示例为获取多曝光图像序列{i
k
}的位图序列{b
k
}的过程，具体 如下：
63.若输入的多曝光图像序列是彩色图像，则利用lab等颜色空间提取其亮度 通道序列{l
k
}；若输入图像是单通道灰度图像，则直接记为{l
k
}。得益于相机 响应函数的单调性，在不同曝光量下，图像上各像素点之间的亮度大小关系不 会改变。据此，利用如下公式(1)进行k分位二值化：
[0064][0065]
对亮度通道序列{l
k
}中不同曝光量图像进行二值化，得到位图序列{b
k
}。 其中s(k)表示提取目标图像(即待配准图像)亮度在k分位上的亮度大小。例 如，若k＝2，则s(k)表示取目标图像亮度的中间值；若k＝4，则s(k)表示取 目标图像亮度排序中，在前四分之一(欠曝)或后四分之三(过曝)的亮度。
[0066]
所述的k的取值，可根据图像内容进行推导。根据阈值t
h
(过曝阈值)和 t
l
(欠曝阈值)检测多曝光图像中的过曝和欠曝区域面积占比，如公式(2)所 示：
[0067][0068]
其中ω
(
·
)
表示满足某条件的区域面积，r
k
即过曝区域与欠曝区域面积占整个 图像区域的比例。当r
k
小于50％时，即图像正常曝光区域超过一半时，可取 k＝2；当r
k
大于50％时，即图像中过半区域呈现过曝或欠曝状态，可适当增加k的值，典型地取k＝4；当r
k
更大时，说明图像中约大多数区域都已过曝或欠 曝光，则可视实际情况增大k的值，或停止配准过程。此外，为降低过曝或欠 曝区域对配准的影响，若s(k)＞t
h
或s(k)＜t
l
，可直接停止配准过程。
[0069]
本技术实施例中，在获取到上述第一位图序列和第二位图序列之后，电子 设备可以通过第一位图序列和第二位图序列计算得到上述全局平移向量，即全 局平移向量为：在对第一位图序列的位图进行平移的情况下，平移后的第一位 图序列的位图和第二位图序列的位图的相似度最大时的平移量。
[0070]
示例性地，通过上述k分位二值化，可得到多曝光图像的位图序列{b
k
}， 根据相机响应函数的单调性，可通过如下公式(3)计算多曝光图像间的位移 向量：
[0071][0072]
其中，t(
·
)表示平移操作，下标c表示参考位图序号。公式(3)的物理意 义是，目标位图b
k
经(d
x
,d
y
)平移后，与参考位图b
c
尽可能地相似。由于该操作 在位图上完成，因此可直接使用位图异或的方式求得最佳位移向量
[0073]
在上述步骤102中，电子设备可以对待配准图像进行分块处理，得到待配 准图像的多个图像子块。
[0074]
其中，上述对对待配准图像进行分块处理，可以是将待配准图像划分为预 设数量的图像子块，该预设数量可以根据实际需要进行设定。具体地，可以是 将待配准图像划分为n
×
n的图像子块，n可以取大于2的正整数。
[0075]
需要说明的是，上述对待配准图像进行分块处理，仅为一种图像区域划分， 不实际对图像本身进行分割或变换。
[0076]
另外，上述步骤102可以是在上述步骤101之后执行，也可以是在步骤101 之前执行，或者还可以是与步骤101同时执行，而本技术实施例的图1中仅示 出步骤102在步骤101之后执行的情况进行说明，在此并不进行限定。
[0077]
当然，在对上述待配准图像进行分块处理的情况下，电子设备还可以对上 述参考
图像进行分块处理，将参考图像分化分与待配准图像划分后的图像子块 相同数量的图像子块，即划分得到参考图像的多个图像子块。
[0078]
在步骤103中，在划分得到上述多个图像子块之后，电子设备可以计算多 个图像子块中每一图像子块的局部平移向量，得到多个图像子块的局部平移向 量。
[0079]
其中，上述计算多个图像子块中每一图像子块的局部平移向量，可以是通 过待配准图像和参考图像中匹配的图像子块的坐标信息，计算得到待配准图像 中每一图像子块相对参考图像中相匹配的图像子块的平移向量，并将计算得到 的平移向量作为该待配准图像中的图像子块的局部平移向量。
[0080]
或者，上述计算多个图像子块中每一图像子块的局部平移向量，可以包括：
[0081]
获取参考图像的多个图像子块的第一分块边界坐标集，以及基于所述全局 平移向量获取所述待配准图像的多个图像子块的第二分块边界坐标集；基于所 述第一分块边界做标记和所述第二分块边界坐标集，计算得到所述待配准图像 的多个图像子块的局部平移向量。
[0082]
示例性地，可以对亮度通道序列{l
k
}进行分块操作，将单张图像划分为n
×
n 个子块，其中n＝3,4,5
…
。特别地，对参考亮度图的分块(即图像子块)可描述 为：
[0083]
{p
c
}＝s(l
c
)
[0084]
其中，s(
·
)表示分块操作，下标c表示参考位图序号，{p
c
}是参考亮度图的 分块边界坐标集，不代表真实的图像信息。对目标亮度图的分块可描述为：
[0085]
k≠c
[0086]
与参考亮度图不同之处在于，分块操作之后，需对分块边界坐标集实施一 个平移操作其目的是逐步累积配准过程，以逐渐达到较高精度结果。
[0087]
在所述的n
×
n分块操作之后，可并行计算每对分块p
k
和p
c
之间的位移向量， 即获得n
×
n个局部位移向量，记为：
[0088][0089]
其中上标i表示局部位移向量的标号，共n2个。
[0090]
上述步骤104中，在获取到上述待配准图像的全局平移向量和上述多个局 部平移向量之后，电子设备可以基于全局平移向量个多个局部平移向量，对上 述待配准图像进行配准处理。
[0091]
其中，上述基于全局平移向量个多个局部平移向量，对上述待配准图像进 行配准处理，可以是通过全局平移向量和上述多个局部平移向量，计算得到待 配准图像的空间变换矩阵，并通过空间变换矩阵对待配准图像的特征序列进行 更新，实现对待配准图像的配准处理。
[0092]
或者，由于在图像拍摄中可能存在噪声影响(如传感器在工作时受外界影 响，或者，多次曝光图像见存在运动目标，等等)，从而可能对空间变换矩阵 存在影响。因此，为消除噪声带来的影响，上述步骤103，可以包括：
[0093]
基于所述多个局部平移向量，将所述多个图像子块中具有噪声的图像子块 剔除，得到多个目标图像子块；
[0094]
基于所述全局平移向量和所述多个目标图像子块的局部平移向量，确定所 述待配准图像的空间变换矩阵；
[0095]
通过所述空间变换矩阵对所述待配准图像进行配准处理。
[0096]
基于此，通过对多个图像子块中具有噪声的图像子块剔除，并通过剩余的 多个目标图像子块的局部平移向量和全局平移向量，确定待配准图像的空间变 换矩阵，从而使得确定的空间变换矩阵更准确，进一步提升配准精度。
[0097]
其中，上述基于所述多个局部平移向量，将多个图像子块中具有噪声的图 像子块剔除，可以是通过预设的噪声图像子块确定方法，根据多个图像子块的 局部平移向量，在多个图像子块中确定具有噪声的图像子块，再将具有噪声的 图像子块进行剔除。
[0098]
例如，在如图2所示，假设共有v1至v6共6个局部位移向量，观察其在坐 标体系中分布可知，向量v2至v5可认为其作用相近，而向量v1和v6偏离了主作用 力，可认为其受到噪声影响，从而将向量v1和v6剔除。
[0099]
具体地，上述基于所述多个局部平移向量，将所述多个图像子块中具有噪 声的图像子块剔除，可以包括：
[0100]
计算所述多个局部平移向量中每一局部平移向量在平移关联指标上的第 一偏离量，所述平移关联指标包括幅度和方向中的至少一项；
[0101]
将所述第一偏离量不满足第一预设条件的局部平移向量所对应的图像子 块剔除。
[0102]
基于此，通过每一局部平移向量在幅度和方向中至少一项上的偏离量，确 定多个图像子块中具有噪声的图像子块，从而能够准确地确定具有噪声的图像 子块，进而使得确定的空间变换矩阵更准确。
[0103]
其中，电子设备在计算得到上述第一偏离量之后，可以对第一偏离量与预 设的偏离量进行比较，并在确定第一偏离量大于或者等于预设偏离量的情况 下，确定该第一偏离量不满足第一预设条件；而在确定第一偏离量小于预设偏 离量的情况下，确定该第一偏离量满足第一预设条件。
[0104]
示例性地，在计算得到上述n
×
n个图像子块的局部位移向量的情况下，计 算n
×
n个局部位移向量的幅值η
i
和方向θ
i
(i为图像子块的序号)，通过对方向 和幅值的概率统计，剔除与局部位移向量主作用力不相符合，且幅值异常的位 移向量。具体地，计算所有局部位移向量的幅值均值和标准差σ
η
、方向均值 和标准差σ
η
，通过公式(4)计算幅度的偏离量t
η
和方向的偏离量t
θ
，如下：
[0105][0106]
通过幅度的偏离量t
η
和方向的偏离量t
θ
，判定各局部位移向量是否 是噪声向量，即若t
η
和t
θ
中至少一项超出其相应的阈值，则确定该局部位移向 量是噪声向量。
[0107]
或者，上述基于所述多个局部平移向量，将所述多个图像子块中具有噪声 的图像子块剔除，可以包括：
[0108]
计算所述多个局部平移向量的平均位移向量；
[0109]
计算每一所述局部平移向量与所述平均位移向量的第二偏离量；
[0110]
将所述第二偏离量大于或者等于平均偏离量的局部平移向量所对应的图 像子块剔除。
[0111]
基于此，还可以通过各局部平移向量与平均位移向量的偏离量，确定多个 图像子块中具有噪声的图像子块，从而不仅能够准确地确定具有噪声的图像子 块，而且使方式更灵活。
[0112]
示例性地，通过公式(5)计算上述n
×
n个局部位移向量的平均位移向量 [0113][0114]
公式(5)的物理意义是将n
×
n个局部位移向量合成一个全局位移向量 而后，在该全局位移向量基础上，通过公式(6)计算每一局部位移 向量的偏离量e
i
：
[0115][0116]
当任一局部平移向量的偏离量e
i
不满足如下公式(7)时，则视其为噪声向 量。
[0117][0118]
本技术实施例中，在由上述多个局部平移向量筛选得到上述多个目标图像 子块之后，电子设备可以基于全局平移向量和多个目标图像子块的局部平移向 量，确定待配准图像的空间变换矩阵。
[0119]
其中，上述基于全局平移向量和多个目标图像子块的局部平移向量，确定 待配准图像的空间变换矩阵，可以是通过多个目标图像子块的局部平移向量， 计算得到待配准图像的变换矩阵，将再将全局平移向量和计算得到的变换矩阵 的平均向量作为上述空间变换矩阵。
[0120]
或者，上述基于所述全局平移向量和所述多个目标图像子块的局部平移向 量，确定所述待配准图像的空间变换矩阵，可以包括：
[0121]
基于所述多个目标图像子块的中心坐标信息，判断所述多个目标图像子块 的中心点中相关联的中心点是否处于预设直线上，得到判断结果；
[0122]
基于所述判断结果、所述全局平移向量以及不处于预设直线上的目标图像 子块的数量，确定所述待配准图像的空间变换矩阵。
[0123]
基于此，通过判断多个目标图像子块的中心点中关联的中心点是否处于同 一直线上的判断结果以及全局平移向量、不处于预设直线上的目标图像子块的 数量，确定待配准图像的空间变换矩阵，从而可以使确定的空间变换矩阵更准 确。
[0124]
其中，上述多个目标图像子块的中心点中相关联的中心点，可以是处于同 一行的图像子块的中心点相关联。例如，在n
×
n个图像子块中，处于第n行的 n个图像子块的中心
点相关联。
[0125]
另外，上述预设直线可以是，在将参考图像和待配准图像平行设置的情况 下，由参考图像中处于同一行的多个图像子块的中心点确定的直线的延长线。 例如，在上述多个目标图像子块包括第n行的至少两个图像子块的情况下，上 述预设直线为参考图像中第n行的图像子块所在的直线的延长线。
[0126]
更进一步地，上述基于所述判断结果、所述全局平移向量以及不处于同一 直线上的目标图像子块的数量，确定所述待配准图像的空间变换矩阵，可以包 括：
[0127]
在所述判断结果指示相关联的中心点处于预设直线上的情况下，将所述全 局平移向量确定为所述待配准图像的空间变换矩阵；
[0128]
在所述判断结果指示相关联的中心点未处于预设直线上且所述数量小于 或者等于预设值的情况下，将计算得到的仿射变换矩阵作为所述空间变换矩 阵；
[0129]
在所述判断结果指示相关联的中心点未处于预设直线上且所述数量大于 预设值的情况下，将计算得到的投影变换矩阵作为所述空间变换矩阵。
[0130]
基于此，可以根据相关联的中心点是否处于预设直线上以及未处于同一直 线上的目标图像子块的数量，在全局平移向量、仿射变换矩阵以及投影变换矩 阵中确定相对应的空间变换矩阵，进一步使得确定的空间变换矩阵更合适。
[0131]
示例性地，经过局部位移向量筛选后的局部位移向量记为：
[0132]
i＝1,2
…
m,
[0133]
共m个非噪声局部位移向量，即合格的局部位移向量。以此为基础，可估 算多曝光图像间的空间变换关系，具体实施方法如下所述。
[0134]
根据参考亮度图的分块{p
c
}，结合所述的位移向量精炼，可纪录m个合格 局部位移向量所对应的m个分块区域的中心为：
[0135]
i＝1,2
…
m
[0136]
同理，根据所述的目标亮度图的分块{p
k
}，结合上述局部位移向量的筛选， 可纪录m个合格局部位移向量所对应的m个分块区域的中心为：
[0137]
i＝1,2
…
m
[0138]
那么，可建立m对在n
×
n分块框架下的匹配特征点对：
[0139][0140]
基于上述m对在n
×
n分块框架下的匹配特征点对的分布特征，选择合适的 空间变换矩阵。具体选择方法如下：
[0141]
情形一：m个中心点在空间上恰好形成一条直线(即判断结果指 示相关联的中心点处于预设直线上)，则采用的全局位移向量视为合适的空间 变换矩阵。
[0142]
例如，如图3所示，m个中心点中处于同一行的分块的中心点，均位于参 考图像中相应行的分块的中心点所在直线上，将全局位移向量作为空间变换矩 阵。
[0143]
情形二：m个中心点在空间上未形成一条直线(即判断结果指示 相关联的中心点未处于预设直线上)，但未形成直线的中心点的个数小于或者 等于4时，采用仿射变
换矩阵作为合适的空间变换矩阵。
[0144]
例如，如图4所示，第1行的两个中心点(黑色实心点表示)，均未位于 参考图像中第1行的分块的中心点所在直线(白色虚线表示)上；以及，第2 行的两个中心点，均未位于参考图像中第2行的分块的中心点所在直线上，将 仿射变换矩阵作为空间变换矩阵。
[0145]
情形三：m个中心点在空间上未形成一条直线，但未形成直线的 中心点的个数大于4时，采用投影变换矩阵作为合适的空间变换矩阵。
[0146]
例如，如图5所示，第1行的3个中心点，均未位于参考图像中第1行的 分块的中心点所在直线上；以及，第3行的3个中心点，均未位于参考图像中 第2行的分块的中心点所在直线上，将仿射变换矩阵作为空间变换矩阵。
[0147]
需要说明的是，在上述对待配准图像进行配准处理之后，电子设备可以直 接将配准后输出的图像作为配准图像，停止对上述待配准图像的处理。
[0148]
或者，上述步骤103之后，上述方法还可以包括：
[0149]
在确定配准处理后的输出图像未满足预设配准条件的情况下，将所述输出 图像作为所述待配准图像，重新执行所述对所述待配准图像进行分块处理，得 到多个图像子块的步骤；
[0150]
在确定所述输出图像满足预设配准条件的情况下，将所述输出图像作为配 准图像。
[0151]
基于此，仅有在输出图像满足预设配准条件的情况下，才将输出图像作为 最终的配准图像，而在输出图像未满足预设配准条件的情况下，重复对输出的 图像进行分块以及后续的配准处理，实现通过配准处理的迭代提升配准精度。
[0152]
其中，上述预设配准条件可以是任意的根据实际需要进行设定的条件，具 体地，上述预设配准条件可以为所述输出图像的投影误差小于或者等于预设误 差，或者，所述输出图像为预设次数的配准处理后输出的图像，从而使配准处 理更灵活，且可以有效保证配准精度。
[0153]
另外，在上述配准迭代过程中，不同次配准处理过程中对待配准图像进行 分块处理，可以是划分为相同数量的图像子块，或者，也可以是划分为不相同 的图像子块。
[0154]
具体地，将所述输出图像作为所述待配准图像之前，上述方法还可以包括：
[0155]
计算第n次配准处理得到的输出图像的第一投影误差，其中，所述n为 大于1的整数；
[0156]
将所述第一投影误差与第n
‑
1次配准处理得到的输出图像的第二投影误差 进行比较；
[0157]
所述对所述待配准图像进行分块处理，得到多个图像子块，包括：
[0158]
在所述第一投影误差小于所述第二投影误差的情况下，将所述第n次配准 处理后更新得到的待配准图像划分为第一数量的图像子块，其中，所述第一数 量为第n次配准处理中划分的图像子块的数量；
[0159]
在所述第一投影误差大于或者等于所述第二投影误差的情况下，将所述第 n次配准处理后更新得到的待配准图像划分为第二数量的图像子块，其中，所 述第二数量大于所述第一数量。
[0160]
基于此，可以通过比较当前次配准处理中待配准图像的投影误差与全一次 配准
处理中待配准图像的投影误差，确定下一次配准处理中图像分块的数量， 从而使配准处理中图像分块的数量更合理，进一步提升配准精度。
[0161]
示例性地，在确定上述合适的空间变换矩阵h之后，采用公式(8)通过h 和m个合格局部位移向量，计算上述目标图像的投影误差，如下：
[0162][0163]
其中h(
·
)表示所述的合适的空间变换操作，e
k
表示目标图像与参考图像的 投影误差，即配准误差。
[0164]
在配准迭代过程中，通过双层循环迭代，n
×
n分块操作将循环地从3
×
3分 块开始，不断增多分块数量，循环迭代直至达到满意的配准结果。上述双层循 环迭代包括外层循环迭代和内层循环迭代，外层循环迭代指分块数量的增加 (例如，上一次迭代为3
×
3分块，下一次迭代为4
×
4分块)，内层循环指同一 分块数量下迭代的次数增加(例如，上一次迭代为3
×
3分块，下一次迭代仍然 为3
×
3分块)，具体陈述如下：
[0165]
在内层循环迭代中，在n
×
n分块条件下，执行配准，得到投影误差e
k1
，再 次执行配准，得到投影误差最多循环执行n
in
次。其循环执行的条件是， 投影误差不断呈递减趋势，且最多允许1次假递减(即当前次的投影误差小于 上一次的投医误差)。
[0166]
在外层循环迭代中，在n
×
n分块条件下，循环执行配准，并不断增加分块 数量直到分块上限n。记上一轮n
×
n分块条件下的投影误差为本轮 (n+1)
×
(n+1)分块条件下的投影误差为若则继续外层循环，否 则停止外层循环。
[0167]
例如，在第2次配准中的投影误差大于第1次配准中的投影误差，则第3 次配准的分块数量与第2次配准的分块数量(如3
×
3)；在第3次配准中的投 影误差小于第2次配准中的投影误差，则第4次配准的分块数量(如4
×
4)大 于第3次配准的分块数量；在第5次配准中的投影误差小于第4次配准中的投 影误差，则第6次配准的分块数量等于第5次配准的分块数量(如4
×
4)，
……
， 等等。
[0168]
需要说明的是，在第n次配准处理结束时，若其投影误差比第n
‑
1次配准 处理的投影误差大，取n
‑
1次配准处理的输出图像作为第n+1配准处理中的 待配准图像。
[0169]
另外，在上述配准处理中的输出图像达到预设配准条件的情况下，电子设 备可以将配准处理后的输出图像作为最终的配准图像，并停止配准迭代过程。 例如，在上述多曝光图像中的待配准图像如图6所示的情况下，经过上述迭代 配准过程，可以得到如图7所述的配准图像。
[0170]
需要说明的是，本技术实施例提供的图像的配准处理方法，执行主体可以 为图像的配准处理装置，或者该图像的配准处理装置中的用于执行图像的配准 处理方法的控制模块。本技术实施例中以图像的配准处理装置执行图像的配准 处理方法为例，说明本技术实施例提供的图像的配准处理装置。
[0171]
请参见图8，是本技术实施例提供的图像的配准处理装置的结构示意图， 如图8所示，该装置800包括：
[0172]
全局平移向量获取模块801，用于获取多曝光图像序列中待配准图像与参 考图像之间的全局平移向量；
[0173]
分块模块802，用于对所述待配准图像进行分块处理，得到多个图像子块；
[0174]
局部平移向量计算模块803，用于计算所述多个图像子块中每一所述图像 子块的局部平移向量，得到多个局部平移向量；
[0175]
配准模块804，用于基于所述全局平移向量和所述多个局部平移向量，对 所述待配准图像进行配准处理。
[0176]
可选地，所述全局平移向量获取模块801，包括：
[0177]
位图序列获取子模块，用于获取多曝光图像序列中待配准图像的第一位图 序列，以及，获取多曝光图像序列中参考图像的第二位图序列；
[0178]
全局平移向量计算子模块，用于基于所述第一位图序列和所述第二位图序 列，计算所述待配准图像与所述参考图像之间的全局平移向量，其中，所述全 局平移向量表示：在对所述第一位图序列的位图进行平移的情况下，平移后的 第一位图序列的位图和所述第二位图序列的位图的相似度最大时，所述第一位 图序列的位图的平移量。
[0179]
可选地，所述位图序列获取子模块，包括：
[0180]
位图值确定单元，用于将所述待配准图像中各像素点的亮度与目标亮度进 行比较，确定所述待配准图像中各像素点的位图值，其中，所述目标亮度为在 所述待配准图像在k分位上的亮度，所述k为大于1的整数；
[0181]
位图序列生成单元，用于通过所述待配准图像中各像素点的位图值，生成 所述待配准图像的第一位图序列。
[0182]
可选地，所述位图序列获取子模块，还包括：
[0183]
面积占比计算单元，用于计算所述待配准图像中曝光异常图像区域在所述 待配准图像中的面积占比；
[0184]
k确定单元，用于将与所述面积占比相对应的值确定为所述k。
[0185]
可选地，所述配准模块804，包括：
[0186]
图像子块剔除子模块，用于基于所述多个局部平移向量，将所述多个图像 子块中具有噪声的图像子块剔除，得到多个目标图像子块；
[0187]
变换矩阵确定子模块，用于基于所述全局平移向量和所述多个目标图像子 块的局部平移向量，确定所述待配准图像的空间变换矩阵；
[0188]
配准子模块，用于通过所述空间变换矩阵对所述待配准图像进行配准处 理。
[0189]
可选地，所述图像子块剔除子模块，包括：
[0190]
第一偏离量计算单元，用于计算所述多个局部平移向量中每一局部平移向 量在平移关联指标上的第一偏离量，其中，所述平移关联指标包括幅度和方向 中的至少一项；
[0191]
第一剔除单元，用于将所述第一偏离量不满足第一预设条件的局部平移向 量所对应的图像子块剔除。
[0192]
可选地，所述图像子块剔除子模块，包括：
[0193]
平均位移向量计算单元，用于计算所述多个局部平移向量的平均位移向 量；
[0194]
第二偏离量计算单元，用于计算每一所述局部平移向量与所述平均位移向 量的第二偏离量；
[0195]
第二剔除单元，用于将所述第二偏离量大于或者等于平均偏离量的局部平 移向量所对应的图像子块剔除。
[0196]
可选地，所述变换矩阵确定子模块，包括：
[0197]
判断单元，用于基于所述多个目标图像子块的中心坐标信息，判断所述多 个目标图像子块的中心点中相关联的中心点是否处于预设直线上，得到判断结 果；
[0198]
变换矩阵确定单元，用于基于所述判断结果、所述全局平移向量以及不处 于预设直线上的目标图像子块的数量，确定所述待配准图像的空间变换矩阵。
[0199]
可选地，所述变换矩阵确定单元，具体用于：
[0200]
在所述判断结果指示相关联的中心点处于预设直线上的情况下，将所述全 局平移向量确定为所述待配准图像的空间变换矩阵；
[0201]
在所述判断结果指示相关联的中心点未处于预设直线上且所述数量小于 或者等于预设值的情况下，将计算得到的仿射变换矩阵作为所述空间变换矩 阵；
[0202]
在所述判断结果指示相关联的中心点未处于预设直线上且所述数量大于 预设值的情况下，将计算得到的投影变换矩阵作为所述空间变换矩阵。
[0203]
可选地，所述装置800，还包括：
[0204]
迭代模块，用于在确定配准处理后的输出图像未满足预设配准条件的情况 下，将所述输出图像作为所述待配准图像，重新执行所述对所述待配准图像进 行分块处理，得到多个图像子块的步骤；
[0205]
配准图像确定模块，用于在确定所述输出图像满足预设配准条件的情况 下，将所述输出图像作为配准图像。
[0206]
可选地，所述装置800，还包括：
[0207]
投影误差计算模块，用于计算第n次配准处理得到的输出图像的第一投影 误差，其中，所述n为大于1的整数；
[0208]
投影误差比较模块，用于将所述第一投影误差与第n
‑
1次配准处理得到的 输出图像的第二投影误差进行比较；
[0209]
所述分块模块802，包括：
[0210]
第一分块子模块，用于在所述第一投影误差小于所述第二投影误差的情况 下，将所述第n次配准处理后更新得到的待配准图像划分为第一数量的图像子 块，其中，所述第一数量为第n次配准处理中划分的图像子块的数量；
[0211]
第二分块子模块，用于在所述第一投影误差大于或者等于所述第二投影误 差的情况下，将所述第n次配准处理后更新得到的待配准图像划分为第二数量 的图像子块，其中，所述第二数量大于所述第一数量。
[0212]
可选地，所述预设配准条件为所述输出图像的投影误差小于或者等于预设 误差，或者，所述输出图像为预设次数的配准处理后输出的图像。
[0213]
本技术实施例中的图像的配准处理装置可以是装置，也可以是终端中的部 件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设 备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、 车载电子设备、可穿戴设备、超级移动个人计算机(ultra
‑
mobile personalcomputer，umpc)、上网本或者个人数字助理(personal digital assistant，pda) 等，非移动电子设备可以为服务器、网络附属存储器(network attached storage， nas)、个人计算机(personal computer，pc)、电视机(television，tv)、柜 员机或者自助机等，本技术实施例不作具体限定。
[0214]
本技术实施例中的图像的配准处理装置可以为具有操作系统的装置。该操 作系统可以为安卓(android)操作系统，可以为ios操作系统，还可以为其他 可能的操作系统，本技术实施例不作具体限定。
[0215]
本技术实施例提供的图像的配准处理装置能够实现图1至图6的方法实施 例实现的各个过程，为避免重复，这里不再赘述。
[0216]
可选地，如图9所示，本技术实施例还提供一种电子设备900，包括处理 器901，存储器902，存储在存储器902上并可在所述处理器901上运行的程 序或指令，该程序或指令被处理器901执行时实现上述图像的配准处理方法实 施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0217]
需要说明的是，本技术实施例中的电子设备包括上述所述的移动电子设备 和非移动电子设备。
[0218]
图10为实现本技术实施例的一种电子设备的硬件结构示意图。
[0219]
该电子设备1000包括但不限于：射频单元1001、网络模块1002、音频输 出单元1003、输入单元1004、传感器1005、显示单元1006、用户输入单元 1007、接口单元1008、存储器1009、以及处理器1010等部件。
[0220]
本领域技术人员可以理解，电子设备1000还可以包括给各个部件供电的 电源(比如电池)，电源可以通过电源管理系统与处理器1010逻辑相连，从而 通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图10中示出 的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或 更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
[0221]
其中，处理器1010，用于：
[0222]
获取多曝光图像序列中待配准图像与参考图像之间的全局平移向量；
[0223]
对所述待配准图像进行分块处理，得到多个图像子块；
[0224]
计算所述多个图像子块中每一所述图像子块的局部平移向量，得到多个局 部平移向量；
[0225]
基于所述全局平移向量和所述多个局部平移向量，对所述待配准图像进行 配准处理。
[0226]
可选地，处理器1010，用于：
[0227]
获取多曝光图像序列中待配准图像的第一位图序列，以及，获取多曝光图 像序列中参考图像的第二位图序列；
[0228]
基于所述第一位图序列和所述第二位图序列，计算所述待配准图像与所述 参考图像之间的全局平移向量，其中，所述全局平移向量表示：在对所述第一 位图序列的位图进行平移的情况下，平移后的第一位图序列的位图和所述第二 位图序列的位图的相似度最大时，所述第一位图序列的位图的平移量。
[0229]
可选地，处理器1010，用于：
[0230]
将所述待配准图像中各像素点的亮度与目标亮度进行比较，确定所述待配 准图像中各像素点的位图值，其中，所述目标亮度为在所述待配准图像在k分 位上的亮度，所述k为大于1的整数；
[0231]
通过所述待配准图像中各像素点的位图值，生成所述待配准图像的第一位 图序
列。
[0232]
可选地，处理器1010，用于：
[0233]
计算所述待配准图像中曝光异常图像区域在所述待配准图像中的面积占 比；
[0234]
将与所述面积占比相对应的值确定为所述k。
[0235]
可选地，处理器1010，用于：
[0236]
基于所述多个局部平移向量，将所述多个图像子块中具有噪声的图像子块 剔除，得到多个目标图像子块；
[0237]
基于所述全局平移向量和所述多个目标图像子块的局部平移向量，确定所 述待配准图像的空间变换矩阵；
[0238]
通过所述空间变换矩阵对所述待配准图像进行配准处理。
[0239]
可选地，处理器1010，用于：
[0240]
计算所述多个局部平移向量中每一局部平移向量在平移关联指标上的第 一偏离量，其中，所述平移关联指标包括幅度和方向中的至少一项；
[0241]
将所述第一偏离量不满足第一预设条件的局部平移向量所对应的图像子 块剔除。
[0242]
可选地，处理器1010，用于：
[0243]
计算所述多个局部平移向量的平均位移向量；
[0244]
计算每一所述局部平移向量与所述平均位移向量的第二偏离量；
[0245]
将所述第二偏离量大于或者等于平均偏离量的局部平移向量所对应的图 像子块剔除。
[0246]
可选地，处理器1010，用于：
[0247]
基于所述多个目标图像子块的中心坐标信息，判断所述多个目标图像子块 的中心点中相关联的中心点是否处于预设直线上，得到判断结果；
[0248]
基于所述判断结果、所述全局平移向量以及不处于预设直线上的目标图像 子块的数量，确定所述待配准图像的空间变换矩阵。
[0249]
可选地，处理器1010，用于：
[0250]
在所述判断结果指示相关联的中心点处于预设直线上的情况下，将所述全 局平移向量确定为所述待配准图像的空间变换矩阵；
[0251]
在所述判断结果指示相关联的中心点未处于预设直线上且所述数量小于 或者等于预设值的情况下，将计算得到的仿射变换矩阵作为所述空间变换矩 阵；
[0252]
在所述判断结果指示相关联的中心点未处于预设直线上且所述数量大于 预设值的情况下，将计算得到的投影变换矩阵作为所述空间变换矩阵。
[0253]
可选地，处理器1010，用于：
[0254]
在确定配准处理后的输出图像未满足预设配准条件的情况下，将所述输出 图像作为所述待配准图像，重新执行所述对所述待配准图像进行分块处理，得 到多个图像子块的步骤；
[0255]
在确定所述输出图像满足预设配准条件的情况下，将所述输出图像作为配 准图像。
[0256]
可选地，处理器1010，用于：
[0257]
计算第n次配准处理得到的输出图像的第一投影误差，其中，所述n为 大于1的整数；
[0258]
将所述第一投影误差与第n
‑
1次配准处理得到的输出图像的第二投影误差 进行比较；
[0259]
在所述第一投影误差小于所述第二投影误差的情况下，将所述第n次配准 处理后更新得到的待配准图像划分为第一数量的图像子块，其中，所述第一数 量为第n次配准处理中划分的图像子块的数量；
[0260]
在所述第一投影误差大于或者等于所述第二投影误差的情况下，将所述第 n次配准处理后更新得到的待配准图像划分为第二数量的图像子块，其中，所 述第二数量大于所述第一数量。
[0261]
可选地，所述预设配准条件为所述输出图像的投影误差小于或者等于预设 误差，或者，所述输出图像为预设次数的配准处理后输出的图像。
[0262]
应理解的是，本技术实施例中，输入单元1004可以包括图形处理器 (graphics processing unit，gpu)10041和麦克风10042，图形处理器10041 对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态 图片或视频的图像数据进行处理。显示单元1006可包括显示面板10061，可以 采用液晶显示器、有机发光二极管等形式来配置显示面板10061。用户输入单 元1007包括触控面板10071以及其他输入设备10072。触控面板10071，也称 为触摸屏。触控面板10071可包括触摸检测装置和触摸控制器两个部分。其他 输入设备10072可以包括但不限于物理键盘、功能键(比如音量控制按键、开 关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器1009可用于存储 软件程序以及各种数据，包括但不限于应用程序和操作系统。处理器1010可 集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用 户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上 述调制解调处理器也可以不集成到处理器1010中。
[0263]
本技术实施例还提供一种可读存储介质，所述可读存储介质上存储有程序 或指令，该程序或指令被处理器执行时实现上述图像的配准处理方法实施例的 各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0264]
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读 存储介质，包括计算机可读存储介质，如计算机只读存储器(read
‑
onlymemory，rom)、随机存取存储器(random access memory，ram)、磁碟 或者光盘等。
[0265]
本技术实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述 通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述图像 的配准处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复， 这里不再赘述。
[0266]
应理解，本技术实施例提到的芯片还可以称为系统级芯片、系统芯片、芯 片系统或片上系统芯片等。
[0267]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意 在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装 置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为 这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由 语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物 品或者装置中还存在另外的相同要素。此外，需要指出的是，
本技术实施方式 中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所 涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同 于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步 骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
[0268]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实 施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬 件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方 案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体 现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘) 中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网 络设备等)执行本技术各个实施例所述的方法。
[0269]
上面结合附图对本技术的实施例进行了描述，但是本技术并不局限于上述 的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本 领域的普通技术人员在本技术的启示下，在不脱离本技术宗旨和权利要求所保 护的范围情况下，还可做出很多形式，均属于本技术的保护之内。