图像处理方法、装置、电子设备和计算机可读存储介质与流程

[0001]
本申请涉及图像处理技术领域，特别是涉及一种图像处理方法、装置、电子设备和计算机可读存储介质。


背景技术：

[0002]
手机、平板电脑等各种电子设备已经成为现今生活中必不可少的工具，为满足人们记录美好时刻的需求，电子设备拍摄成为重要功能。随着电子设备的更新换代，越来越多的电子设备搭载多个摄像头，以满足人们日益增长的拍摄需求。
[0003]
目前，为了增强电子设备拍摄的图像的画质，往往会将多个摄像头拍摄的图像进行对齐后融合，以将多个摄像头采集的信息进行融合，可以有效增强图像画质。然而，不同摄像头拍摄的图像由于信息来源差异，图像对齐时难以解决存在的随机误差，影响了图像对齐效果，从而导致后续图像融合效果有限。


技术实现要素：

[0004]
本申请实施例提供了一种图像处理方法、装置、电子设备、计算机可读存储介质，可以提高图像对齐效果。
[0005]
一种图像处理方法，包括：
[0006]
获取待处理的第一图像和第二图像；
[0007]
对第一图像和第二图像分别进行图像校正，获得第一校正图像和第二校正图像；
[0008]
根据第一特征点和第二特征点构建特征点匹配对；第一特征点从第一校正图像中提取得到，第二特征点从第二校正图像提取得到；
[0009]
基于各特征点匹配对中的特征点之间的偏移参数，确定第一校正图像和第二校正图像之间的投影参数；
[0010]
通过投影参数对第一校正图像和第二校正图像进行对齐。
[0011]
一种图像处理装置，包括：
[0012]
图像获取模块，用于获取待处理的第一图像和第二图像；
[0013]
图像校正模块，用于对第一图像和第二图像分别进行图像校正，获得第一校正图像和第二校正图像；
[0014]
匹配对构建模块，用于根据第一特征点和第二特征点构建特征点匹配对；第一特征点从第一校正图像中提取得到，第二特征点从第二校正图像提取得到；
[0015]
投影参数确定模块，用于基于各特征点匹配对中的特征点之间的偏移参数，确定第一校正图像和第二校正图像之间的投影参数；
[0016]
图像对齐模块，用于通过投影参数对第一校正图像和第二校正图像进行对齐。
[0017]
一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0018]
获取待处理的第一图像和第二图像；
[0019]
对第一图像和第二图像分别进行图像校正，获得第一校正图像和第二校正图像；
[0020]
根据第一特征点和第二特征点构建特征点匹配对；第一特征点从第一校正图像中提取得到，第二特征点从第二校正图像提取得到；
[0021]
基于各特征点匹配对中的特征点之间的偏移参数，确定第一校正图像和第二校正图像之间的投影参数；
[0022]
通过投影参数对第一校正图像和第二校正图像进行对齐。
[0023]
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
[0024]
获取待处理的第一图像和第二图像；
[0025]
对第一图像和第二图像分别进行图像校正，获得第一校正图像和第二校正图像；
[0026]
根据第一特征点和第二特征点构建特征点匹配对；第一特征点从第一校正图像中提取得到，第二特征点从第二校正图像提取得到；
[0027]
基于各特征点匹配对中的特征点之间的偏移参数，确定第一校正图像和第二校正图像之间的投影参数；
[0028]
通过投影参数对第一校正图像和第二校正图像进行对齐。
[0029]
上述图像处理方法、装置、电子设备和计算机可读存储介质，在对第一图像和第二图像分别进行图像校正后，根据从第一校正图像中提取得到的第一特征点和从第二校正图像提取得到的第二特征点构建特征点匹配对，并基于各特征点匹配对中的特征点之间的偏移参数，确定第一校正图像和第二校正图像之间的投影参数，利用得到的投影参数对第一校正图像和第二校正图像进行对齐。在图像对齐时，利用图像校正后的第一校正图像中的第一特征点和第二校正图像中的第二特征点构建特征点匹配对，可以确保特征点匹配对中各特征点的匹配精度，同时根据特征点匹配对中的特征点之间的偏移参数确定投影参数，可以根据图像拍摄的场景进行动态校准投影参数，降低了随机误差的影响，提高了利用该投影参数进行图像对齐的效果。
附图说明
[0030]
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0031]
图1为一个实施例中图像处理方法的应用环境图；
[0032]
图2为一个实施例中图像处理方法的流程图；
[0033]
图3为一个实施例中特征点检测的流程图；
[0034]
图4为另一个实施例中图像处理方法的流程图；
[0035]
图5为一个实施例中图像对齐的流程图；
[0036]
图6为一个实施例中标定相机参数的流程图；
[0037]
图7为一个实施例中图像处理装置的结构框图；
[0038]
图8为一个实施例中电子设备的内部结构示意图。
具体实施方式
[0039]
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0040]
目前，电子设备拍摄通常是采用带red、green和blue滤光片的传感器来接收物体反射光，生成彩色图像(rgb)，得到的彩色图像符合人类的视觉感知，但容易受到环境光照不足、雾天等恶劣天气影响。然而，描述物体热辐射的红外图像(nir，near infra-red spectrum，近红外光)，在光照不足、雾和其他恶劣天气下穿透能力强于rgb图像，细节好于rgb图像，但nir图像不能提供色彩信息，并且图像分辨率较低。所以，为电子设备同时配备可见光摄像头和红外摄像头，拍摄得到rgb图像和nir图像，通过rgb图像和nir图像的信息之间融合，不仅可用于图像画质增强，还可用于极暗场景的物体识别、图像去噪、高动态范围(hdr，high-dynamic range)、图像去雾、皮肤去斑等。
[0041]
rgb图像和nir图像之间的信息融合包括两大步骤，图像对齐和图像融合，对齐是基础，融合是根本，若对齐误差较大，会导致在融合时出现伪影(artifact)如鬼影、重影等问题；若融合效果差，会出现色彩失真、白边等问题。在对齐过程中，相机标定和立体校正是非常重要的过程，因为在多相机系统中，对齐不仅可获取各相机内的内参和畸变参数，还可获取相机间的外参，这些参数可用于后续的畸变校正和立体校正，去除相机畸变，并将相机投影到同一坐标系内，达到图像共面的作用。而且电子设备的相机模组一旦安装即会固定，故相机标定参数只需要做一次，可以大大减少流程耗时。
[0042]
相机标定过程是先采集棋盘格图像，然后采用相机标定算法，如张正友标定法计算相机参数。在采集过程中因为相机自动对焦(auto focus，af)、相机光学防抖(optical image stabilization，ois)、人工抖动等原因，使得标定时存在一些随机误差；并且rgb图像和nir图像由于信息来源差异，导致其在不同物体之间虽结构相似但梯度方向不一致，采集标定板差异较大，影响标定精度，导致rgb图像和nir图像的对齐效果较差，影响后续的图像融合效果。
[0043]
基于此，本申请提出一种可以提高图像对齐效果的图像处理方法、装置、电子设备、计算机可读存储介质，具体通过如下实施例进行说明。
[0044]
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一客户端称为第二客户端，且类似地，可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端，但其不是同一客户端。
[0045]
图1为一个实施例中图像处理方法的应用环境示意图。如图1所示，该应用环境包括电子设备102，电子设备102配备有多个摄像头，电子设备102可以通过多个摄像头进行拍摄，并将多个摄像头拍摄的图像进行对齐、融合，以增强拍摄成像的画质效果。具体地，电子设备102获取拍摄获得的待处理的第一图像和第二图像，在对第一图像和第二图像分别进行图像校正后，根据从第一校正图像中提取得到的第一特征点和从第二校正图像提取得到的第二特征点构建特征点匹配对，并基于各特征点匹配对中的特征点之间的偏移参数，确定第一校正图像和第二校正图像之间的投影参数，利用得到的投影参数对第一校正图像和
第二校正图像进行对齐。此外，在其他应用中，上述图像处理方法还可以由服务器实现，即由服务器获取待处理的第一图像和第二图像，如从数据库中获取待处理的第一图像和第二图像，或由电子设备102直接将拍摄的待处理的第一图像和第二图像通过网络发送至服务器，以由服务器进行图像对齐处理。其中，电子设备102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备等；服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
[0046]
图2为一个实施例中图像处理方法的流程图。本实施例中的图像处理方法，以运行于图1中的电子设备上为例进行描述。如图2所示，图像处理方法包括步骤202至步骤210。
[0047]
步骤202，获取待处理的第一图像和第二图像。
[0048]
具体地，第一图像和第二图像需要进行对齐处理图像，具体可以由两个摄像头分别针对相同场景拍摄得到。例如，第一图像可以为可见光摄像头拍摄得到的彩色图像，第二图像可以为红外摄像头拍摄得到的红外图像。
[0049]
在具体应用中，电子设备可以设有两个摄像头，如可以设置有两个后置摄像头，通过该两个摄像头可以同时进行拍摄，得到待处理的第一图像和第二图像。
[0050]
步骤204，对第一图像和第二图像分别进行图像校正，获得第一校正图像和第二校正图像。
[0051]
具体地，在将第一图像和第二图像进行对齐前，分别对第一图像和第二图像进行图像校正，以克服摄像头由于制造精度以及组装工艺的偏差引入畸变而导致原始图像的失真，提高对齐时提取的特征点的精确度，确保对齐效果。具体实现时，可以利用拍摄第一图像和第二图像的摄像头分别对应的摄像头参数进行图像校正，如畸变校正、立体校正等，以克服原始拍摄图像的失真问题。其中，第一校正图像和第二校正图像分别为第一图像和第二图像进行图像校正后得到的校正结果。
[0052]
在具体应用中，可以预先对摄像头的参数进行标定，得到标定参数，标定参数具体可以包括但不限于相机内参、外参和畸变参数等，电子设备通过预先确定的标定参数分别对拍摄得到的第一图像和第二图像进行图像校正，获得第一校正图像和第二校正图像。
[0053]
步骤206，根据第一特征点和第二特征点构建特征点匹配对；第一特征点从第一校正图像中提取得到，第二特征点从第二校正图像提取得到。
[0054]
其中，第一特征点从第一校正图像中提取得到，第二特征点从第二校正图像提取得到。具体地，可以通过特征点检测算法，如fast(features from accelerated segment test，加速分割测试特征)、susa(smallest univalue segment assimilating nucleus，最小单值段同化核)、sift(scale-invariant features transform，尺度不变特征变换)、surf(speeded up robust features，加速稳健特征)、lbp(local binary pattern、局部二值模式)等算法分别对第一校正图像和第一校正图像进行处理，得到第一特征点和第二特征点。基于提取得到的第一特征点和第二特征点构建特征点匹配对，特征点匹配对反映了第一校正图像和第二校正图像中特征点的对应关系，特征点匹配对具体可以通过将获得的第一特征点和第二特征点进行特征匹配，并基于匹配成功对应的第一特征点和第二特征点构建得到。即每一特征点匹配对中包括相互匹配的第一特征点和第二特征点，第一特征点来自第一校正图像，而第二特征点来自第二校正图像。
[0055]
具体地，在获得图像校正后的第一校正图像和第二校正图像后，电子设备根据从
第一校正图像中提取得到的第一特征点和从第二校正图像提取得到的第二特征点构建特征点匹配对。
[0056]
步骤208，基于各特征点匹配对中的特征点之间的偏移参数，确定第一校正图像和第二校正图像之间的投影参数。
[0057]
其中，偏移参数用于表征特征点匹配对中的特征点之间的对齐程度，若各特征点匹配对中的特征点的对齐程度高，那么对应的第一图像和第二图像的对齐效果也较高。具体应用中，偏移参数可以根据特征点匹配对中的特征点之间的距离，如欧式距离进行度量。投影参数用于图像对齐，具体可以通过投影参数对两张图像进行投影映射，以实现图像对齐。
[0058]
具体地，在构建得到特征点匹配对后，电子设备确定各特征点匹配对中的特征点之间的偏移参数，如可以分别计算每一特征点匹配对中的特征点之间的距离，并根据各特征点匹配对对应的距离构建图像偏移函数，通过求解该图像偏移函数确定投影参数。
[0059]
步骤210，通过投影参数对第一校正图像和第二校正图像进行对齐。
[0060]
其中，对第一校正图像和第二校正图像进行对齐具体可以通过投影参数对第二校正图像或第一校正图像进行投影映射，以将第二校正图像投影至第一校正图像的坐标系中，或将第一校正图像投影至第二校正图像的坐标系中，从而实现第一图像和第二图像的对齐，以便后续融合第一图像和第二图像。
[0061]
具体地，得到投影参数后，电子设备利用投影参数对第一校正图像和第二校正图像进行对齐，具体可以由电子设备通过投影参数将第一校正图像或第二校正图像进行投影映射，以实现对第一图像和第二图像的对齐。投影参数根据特征点匹配对中的特征点之间的偏移参数确定，可以根据图像拍摄的场景进行动态校准投影参数，能够降低随机误差的影响，从而提高利用该投影参数进行图像对齐的效果。
[0062]
本实施例中的图像处理方法，在对第一图像和第二图像分别进行图像校正后，根据从第一校正图像中提取得到的第一特征点和从第二校正图像提取得到的第二特征点构建特征点匹配对，并基于各特征点匹配对中的特征点之间的偏移参数，确定第一校正图像和第二校正图像之间的投影参数，利用得到的投影参数对第一校正图像和第二校正图像进行对齐。在图像对齐时，利用图像校正后的第一校正图像中的第一特征点和第二校正图像中的第二特征点构建特征点匹配对，可以确保特征点匹配对中各特征点的匹配精度，同时根据特征点匹配对中的特征点之间的偏移参数确定投影参数，可以根据图像拍摄的场景进行动态校准投影参数，降低了随机误差的影响，提高了利用该投影参数进行图像对齐的效果。
[0063]
在一个实施例中，根据第一特征点和第二特征点构建特征点匹配对，包括：获取从第一校正图像中提取得到的第一特征点和从第二校正图像提取得到的第二特征点；将各第一特征点和各第二特征点分别进行特征匹配，根据特征匹配结果构建特征点匹配对。
[0064]
其中，第一特征点从第一校正图像中提取得到，第二特征点从第二校正图像提取得到。具体可以通过特征点检测算法分别对第一校正图像和第二校正图像进行特征点检测，分别获得第一特征点和第二特征点。特征匹配指将获得的第一特征点和第二特征点进行匹配，以确定第一校正图像和第二校正图像中对应的特征点，一般为拍摄场景中相同的位置对应在第一校正图像和第二校正图像中的像素点。基于特征匹配结果构建特征点匹配
对，每一特征点匹配对中包括相互匹配的第一特征点和第二特征点，第一特征点来自第一校正图像，而第二特征点来自第二校正图像。
[0065]
具体地，在构建特征点匹配对时，电子设备获取从第一校正图像中提取得到的第一特征点和从第二校正图像提取得到的第二特征点，并将各第一特征点和第二特征点进行特征匹配，如通过brief(binary robust independent elementary features，二进制健壮的独立基本特征)算法、hamming(汉明)距离算法等对第一特征点和第二特征点进行特征匹配，得到特征匹配结果，并基于获得的特征匹配结果构建第一校正图像和第二校正图像的特征点匹配对，该特征点匹配对用于确定第一校正图像和第二校正图像之间的投影参数。
[0066]
本实施例中，分别从第一校正图像和第二校正图像中提取特征点进行特征匹配，根据特征匹配结果构建特征点匹配对，可以有效确保构建的特征点匹配对的精确度，从而确保基于特征点匹配对确定的投影参数的有效性，有利于增强图像的对齐效果。
[0067]
在一个实施例中，获取从第一校正图像中提取得到的第一特征点和从第二校正图像提取得到的第二特征点，包括：分别对第一校正图像和第二校正图像进行特征点检测，获得第一特征点和第二特征点。
[0068]
其中，特征点检测可以通过各种特征点检测算法，如fast算法、susa算法、sift算法、lbp算法等算法分别对第一校正图像和第一校正图像进行处理，得到第一特征点和第二特征点。
[0069]
具体地，得到第一校正图像和第二校正图像后，电子设备通过各种特征点检测算法分别对第一校正图像和第二校正图像进行特征点检测，得到第一特征点和第二特征点。本实施例中，通过分别对第一校正图像和第二校正图像进行特征点检测，以检测出第一校正图像和第二校正图像中的特征点进行特征匹配，可以减少处理的数据量，确保图像处理效率。
[0070]
在一个实施例中，如图3所示，特征点检测的处理步骤，即分别对第一校正图像和第二校正图像进行特征点检测，获得第一特征点和第二特征点，包括步骤302至步骤306。
[0071]
步骤302，分别对第一校正图像和第二校正图像进行特征点提取，获得第一候选特征点和第二候选特征点。
[0072]
其中，特征点提取可以通过各种特征点检测算法分别对第一校正图像和第一校正图像进行特征点检测，从而从第一校正图像和第二校正图像中提取得到的第一候选特征点和第二候选特征点。第一候选特征点和第二候选特征点分别从第一校正图像和第二校正图像中通过特征点检测算法检测并直接提取获得。
[0073]
步骤304，分别在第一候选特征点和第二候选特征点的预设邻域范围内寻找相似特征点，获得第一候选特征点对应的第一相似特征点和第二候选特征点对应的第二相似特征点。
[0074]
得到第一候选特征点和第二候选特征点后，若直接将第一候选特征点和第二候选特征点进行特征匹配，则容易产生误匹配。基于此，分别在第一候选特征点和第二候选特征点的预设邻域范围内寻找相似特征点，相似特征点可以为在第一候选特征点或第二候选特征点的预设邻域范围内与第一候选特征点或第二候选特征点相似度最高的像素点。第一候选特征点对应的相似特征点为第一相似特征点，第二候选特征点对应的相似特征点为第二相似特征点。
[0075]
具体地，在获得第一候选特征点和第二候选特征点后，电子设备确定预设邻域大小，预设邻域可以根据实际需要进行灵活设定，电子设备在每一第一候选特征点和每一第二候选特征点的预设邻域范围内寻找相似特征点。具体实现时，电子设备针对每一第一候选特征点，可以计算在该第一候选特征点的预设邻域范围内的各像素点与该第一候选特征点的相似度，并根据各相似度确定与第一候选特征点对应的第一相似特征点，如可以将相似度最高的像素点确定为该第一候选特征点对应的第一相似特征点。同样的，遍历各第二候选特征点，获得各第二候选特征点对应的第二相似特征点。其中，相似度计算可以通过基于各种像素点特征实现，如通过sift特征、hog(histogram of oriented gradient，方向梯度直方图)特征、ncc(normalized cross correlation，归一化互相关匹配法)特征等。例如，可以由电子设备将每个第一候选特征点预设邻域内ncc值最大的像素点确定为第一候选特征点对应的第一相似特征点，将每个第二候选特征点预设邻域内ncc值最大的像素点确定为第二候选特征点对应的第二相似特征点。
[0076]
步骤306，根据第一相似特征点得到第一特征点，根据第二相似特征点得到第二特征点。
[0077]
获得第一候选特征点对应的第一相似特征点和第二候选特征点对应的第二相似特征点后，根据第一相似特征点得到第一特征点，并根据第二相似特征点得到第二特征点。具体地，在确定第一候选特征点对应的第一相似特征点和第二候选特征点对应的第二相似特征点后，电子设备可以直接将第一相似特征点作为第一特征点，将第二相似特征点作为第二特征点；也可以分别对第一相似特征点和第二相似特征点进行修正后，得到第一特征点和第二特征点，如存在多个第一相似特征点或第二相似特征点时，可以对第一相似特征点和第二相似特征点进行筛选，从多个第一相似特征点或第二相似特征点中确定第一特征点或第二特征点。
[0078]
本实施例中，在提取到第一候选特征点和第二候选特征点后，分别在第一候选特征点的预设领域内寻找对应的第一相似特征点，在第二候选特征点的预设邻域范围内寻找对应的第二相似特征点，从而对提取的第一候选特征点和第二候选特征点进行进一步修正，以确保第一特征点和第二特征点的精度，确保后续构建特征点匹配对的准确度，从而保证图像对齐的效果。
[0079]
在一个实施例中，在将各第一特征点和各第二特征点分别进行特征匹配，根据特征匹配结果构建特征点匹配对之后，还包括：确定各特征点匹配对中的特征点之间的距离；基于距离对各特征点匹配对进行距离筛选，得到距离筛选后的各特征点匹配对。
[0080]
本实施例中，在构建特征点匹配对后，电子设备确定各特征点匹配对中的特征点之间的距离，如可以计算每对特征点匹配对中的特征点的欧式距离。基于各特征点匹配对中的特征点之间的距离对各特征点匹配对进行距离筛选，如可以将特征点之间的距离较小的特征点匹配对去除，以实现对特征点匹配对进行过滤，确保特征点匹配对的精确度。
[0081]
具体地，电子设备确定各特征点匹配对中的特征点之间的距离，针对各特征点匹配对对应的距离，通过预设的距离阈值进行距离筛选，如距离为欧式距离时，距离阈值可以设为2，将距离不大于2的特征点匹配对去除，得到距离筛选后的各特征点匹配对，从而确保对远距离的特征点进行对齐，确保图像对齐的效果。
[0082]
进一步地，基于各特征点匹配对中的特征点之间的偏移参数，确定第一校正图像
和第二校正图像之间的投影参数，包括：基于距离筛选后的各特征点匹配对中的特征点之间的偏移参数，确定第一校正图像和第二校正图像之间的投影参数。
[0083]
在对各特征点匹配对进行距离筛选后，基于距离筛选后的各特征点匹配对确定第一校正图像和第二校正图像之间的投影参数。具体由电子设备基于距离筛选后的各特征点匹配对中的特征点之间的偏移参数，确定第一校正图像和第二校正图像之间的投影参数。
[0084]
本实施例中，对构建得到的特征点匹配对进行距离筛选，以去除近距离的特征点，通过距离筛选后的各特征点匹配对确定第一校正图像和第二校正图像之间的投影参数，可以确保远距离(即无穷大)的特征点能够对齐，从而保证图像对齐效果。
[0085]
在一个实施例中，在基于距离对各特征点匹配对进行距离筛选，得到距离筛选后的各特征点匹配对之后，还包括：确定距离筛选后的各特征点匹配对中的特征点连线线段在预设方向上的角度；基于角度对筛选后的各特征点匹配对进行角度筛选，得到角度筛选后的各特征点匹配对。
[0086]
本实施例中，得到距离筛选后的各特征点匹配对之后，确定距离筛选后的各特征点匹配对中的特征点连线线段在预设方向上的角度，如确定距离筛选后的各特征点匹配对中的特征点连线线段在水平方向的角度，基于该角度对筛选后的各特征点匹配对进行角度筛选，如将角度差异大，即特征点连线线段不平行的特征点匹配对去除，以滤除角度差异较大的特征点匹配对，确保特征点匹配对的精度，从而确保图像对齐效果。
[0087]
具体地，在得到距离筛选后的各特征点匹配对之后，电子设备确定距离筛选后的各特征点匹配对中的特征点连线线段在预设方向上的角度，预设方向根据实际需求进行灵活设置，如可以为水平方向、竖直方向等。电子设备基于得到的距离筛选后的各特征点匹配对对应的角度，对筛选后的各特征点匹配对进行角度筛选，如通过预设的角度阈值与距离筛选后的各特征点匹配对对应的角度进行比较，将角度大于角度阈值的特征点匹配对去除，实现对特征点匹配对的进一步筛选，得到角度筛选后的各特征点匹配对。
[0088]
进一步地，基于距离筛选后的各特征点匹配对中的特征点之间的偏移参数，确定第一校正图像和第二校正图像之间的投影参数，包括：基于角度筛选后的各特征点匹配对中的特征点之间的偏移参数，确定第一校正图像和第二校正图像之间的投影参数。
[0089]
在对距离筛选后的各特征点匹配对进行角度筛选后，基于角度筛选后的各特征点匹配对确定第一校正图像和第二校正图像之间的投影参数。具体由电子设备基于角度筛选后的各特征点匹配对中的特征点之间的偏移参数，确定第一校正图像和第二校正图像之间的投影参数。
[0090]
本实施例中，通过各特征点匹配对中的特征点连线线段在水平方向的角度对特征点匹配对进行角度筛选，能够确保各特征点匹配对中特征点连线线段的平行特性，进一步提高特征点匹配对的精度，从而确保了图像对齐效果。
[0091]
在一个实施例中，基于各特征点匹配对中的特征点之间的偏移参数，确定第一校正图像和第二校正图像之间的投影参数，包括：构建动态偏移参数，并基于动态偏移参数确定各特征点匹配对中的特征点之间的动态偏移距离；基于各动态偏移距离构建图像偏移函数；对图像偏移函数进行最小化求解，并根据求解结果得到第一校正图像和第二校正图像之间的投影参数。
[0092]
其中，动态偏移参数用于表征特征点匹配对中的特征点之间的差异，如坐标差异，
具体可以包括横坐标差异和纵坐标差异。在对齐特征点匹配对中的特征点时，按照该动态偏移参数将特征点匹配对中的任一特征点进行变换后，即可以实现特征点匹配对中的特征点之间的对齐。动态偏移距离基于动态偏移参数和特征点匹配对中的两个特征点确定，具体可以对特征点匹配对中的任一特征点按照动态偏移参数进行变换后，与特征点匹配中的另一特征点求取距离得到，如可以求取欧式距离，得到该特征点匹配对对应的动态偏移距离。图像偏移函数反映了所有特征点匹配对的动态偏移距离，用于度量所有特征点匹配对的偏移程度。图像偏移函数可以根据各特征点匹配对对应的动态偏移距离得到，具体可以根据各特征点匹配对对应的动态偏移距离的和得到。
[0093]
具体地，在确定第一校正图像和第二校正图像之间的投影参数时，电子设备构建动态偏移参数，并基于该动态偏移参数确定各特征点匹配对中的特征点之间的动态偏移距离，具体可以对特征点匹配对中的任一特征点按照动态偏移参数进行变换后，与特征点匹配中的另一特征点求取距离得到动态偏移距离。电子设备根据各特征点匹配对对应的动态偏移距离得到图像偏移函数，通过最小化求解该图像偏移函数，即求解该图像偏移函数的最小值，根据求解结果得到第一校正图像和第二校正图像之间的投影参数。
[0094]
本实施例中，基于构建的动态偏移参数确定各特征点匹配对中的特征点之间的动态偏移距离，并最小化求解根据各特征点匹配对对应的动态偏移距离构建的图像偏移函数，基于求解结果得到所述第一校正图像和所述第二校正图像之间的投影参数，从而可以结合所有特征点匹配对进行投影参数确定，确保所有特征点匹配对的对齐效果，从而确保了通过确定的投影参数对图像进行对齐的效果。
[0095]
在一个实施例中，其特征在于，根据求解结果得到第一校正图像和第二校正图像之间的投影参数，包括：基于求解结果确定各特征点匹配对中的特征点之间的目标动态偏移量；根据目标动态偏移量构建第一校正图像和第二校正图像之间的投影矩阵。
[0096]
具体地，对图像偏移函数进行最小化求解后，根据该求解结果确定各特征点匹配对中的特征点之间的目标动态偏移量。目标动态偏移量为图像偏移函数的函数值最小时所对应的动态偏移参数，基于该目标动态偏移量构建第一校正图像和第二校正图像之间的投影矩阵，以通过该投影矩阵对第一校正图像和第二校正图像进行对齐。
[0097]
本实施例中，通过图像偏移函数进行最小化求解的求解结果确定的目标动态偏移量构建投影矩阵，从而确保通过该投影矩阵对第一校正图像和第二校正图像进行对齐时，能够使第一校正图像和第二校正图像中各对应像素点的综合距离最小，确保了图像对齐效果。
[0098]
在一个具体应用中，动态偏移参数包括δx和δy，图像偏移函数为欧式距离，构建得到的图像偏移函数如下式(1)，
[0099][0100]
其中，e为图像偏移函数，argmin指求取最小值，(x,y)和(x',y')分别为特征点匹配对中的特征点，m为所有特征点匹配对集合。
[0101]
通过最小化求解图像偏移函数后，确定对应的e函数值最小时所对应的δx和δy，并将e函数值最小时所对应的目标动态偏移量代入下式(2)中，得到第一校正图像和第二校
正图像之间的投影矩阵。
[0102][0103]
其中，a为投影矩阵，f
x
和f
y
为焦距，cx和cy为中心点坐标。投影矩阵根据摄像头的拍摄场景进行动态校准，通过获得的投影矩阵对第一校正图像和第二校正图像进行对齐，可以提高立体校正精度，从而减少对齐的搜索范围，提高对齐精度。
[0104]
在一个实施例中，图像处理方法还包括：构建对齐后得到的第一对齐图像和第二对齐图像的视差图；对视差图进行稠密化处理，得到稠密视差图；基于稠密视差图对第一对齐图像和第二对齐图像进行视差对齐。
[0105]
其中，第一对齐图像和第二对齐图像分别为第一校正图像和第二校正图像经过对齐后的结果。视差指左右双目图像中，两个匹配块中心像素的水平距离。视差图是以图像对中任一幅图像为基准，其大小为该基准图像的大小，元素值为视差值的图像，视差图携带了场景的距离信息。稠密视差图由第一对齐图像和第二对齐图像的视差图通过稠密化处理得到。视差对齐是利用获得的稠密视差图对第一对齐图像和第二对齐图像的二次对齐，进一步提升了图像对齐效果。
[0106]
具体地，在通过投影参数对第一校正图像和第二校正图像进行对齐后，得到第一校正图像对齐后的第一对齐图像，以及第二校正图像对齐后的第二对齐图像。电子设备构建第一对齐图像和第二对齐图像的视差图，具体地，第一对齐图像和第二对齐图像是通过极限对齐得到的，可以通过立体匹配的方法计算第一对齐图像和第二对齐图像的视差，进一步得到第一对齐图像和第二对齐图像的视差图。电子设备对获得的视差图进行稠密化处理，具体可以通过插值方式对视差图进行稠密化，得到稠密视差图。电子设备基于稠密视差图对第一对齐图像和第二对齐图像进行视差对齐，具体可以由电子设备基于稠密视差图确定第一对齐图像和第二对齐图像中各匹配的像素点，并基于各匹配的像素点进行视差对齐，实现对第一对齐图像和第二对齐图像的二次对齐，进一步提升了图像对齐效果。
[0107]
在一个实施例中，第一图像由可见光摄像头拍摄得到，第二图像由红外摄像头拍摄得到；对第一图像和第二图像分别进行图像校正，获得第一校正图像和第二校正图像，包括：获取可见光摄像头的第一标定参数和红外摄像头的第二标定参数；通过第一标定参数对第一图像进行畸变校正，得到第一畸变校正图像；通过第二标定参数对第二图像进行畸变校正，得到第二畸变校正图像；基于第一标定参数和第一标定参数对第一畸变校正图像和第二畸变校正图像进行立体校正，获得第一校正图像和第二校正图像。
[0108]
其中，可见光摄像头可以拍摄得到彩色图像，如rgb摄像头，包括red、green、blue滤光片的传感器来接收物体反射光，生成rgb彩色图像。红外摄像头工作原理是红外灯发出红外线照射物体，红外线漫反射，被监控摄像头接收，形成红外图像，如nir图像。标定参数指摄像头的相机参数，包括但不限于内参、外参和畸变参数等，相机参数可以预先标定确定。畸变校正用于校正因镜头畸变现象而导致的图像失真问题，具体包括校正径向畸变、切向畸变等。立体校正用于确保两摄像机图像平面平行，光轴和图像平面垂直，极点处于无线
远处。
[0109]
具体地，第一图像为可见光摄像头拍摄得到的彩色图像，第二图像为由红外摄像头拍摄得到的红外图像。在对第一图像和第二图像分别进行图像校正时，电子设备获取可见光摄像头的第一标定参数和红外摄像头的第二标定参数，具体可以获取两个摄像头预先标定得到的相机参数，具体包括内参、外参和畸变参数等。电子设备通过第一标定参数对第一图像进行畸变校正，通过第二标定参数对第二图像进行畸变校正，即电子设备通过摄像头的相机参数分别对拍摄的图像进行畸变校正，得到第一畸变校正图像和第二畸变校正图像。电子设备再基于第一标定参数和第一标定参数对第一畸变校正图像和第二畸变校正图像进行立体校正，如基于bouguet校正原理对第一畸变校正图像和第二畸变校正图像进行立体校正，得到第一校正图像和第二校正图像，以使获得的第一校正图像和第二校正图像所处平面平行，光轴和图像平面垂直，且极点处于无线远处，便于后续提取准确的特征点进行特征匹配，构建特征点匹配对。其中，bouguet校正原理是将opencv求解出来的旋转和平移矩阵分解成左右相机各旋转一半的旋转和平移矩阵，分解的原则是使得左右图像重投影造成的畸变最小，左右视图的共同面积最大。具体地，基于bouguet校正原理进行立体校正时，将右图像平面相对于左图像平面的旋转矩阵分解成两个矩阵rl和rr，作为左右相机的合成旋转矩阵。将左右相机各旋转一半，使得左右相机的光轴平行，此时左右相机的成像面达到平行，但是基线与成像平面不平行。构造变换矩阵rrect使得基线与成像平面平行，构造的方法是通过右相机相对于左相机的偏移矩阵t完成的。通过合成旋转矩阵与变换矩阵相乘获得左右相机的整体旋转矩阵。左右相机坐标系乘以各自的整体旋转矩阵就可使得左右相机的主光轴平行，且像平面与基线平行，通过上述的两个整体旋转矩阵，就能够得到理想的平行配置的立体校正后的图像。
[0110]
本实施例中，利用预先标定的摄像头的相机参数分别对拍摄的图像依次进行畸变校正和立体校正，以克服摄像头拍摄的畸变现象，减少原始图像的失真；同时使两个摄像头拍摄得到的图像所处平面平行，光轴和图像平面垂直，且极点处于无线远处，以后续提取准确的特征点进行特征匹配，构建特征点匹配对，从而确保图像对齐的效果。
[0111]
在一个实施例中，提供了一种图像处理方法，该图像处理方法应用于rgb相机拍摄的rgb图像与nir相机拍摄的nir图像的对齐处理过程中。具体地，如图4所示，第一图像为rgb相机拍摄得到的rgb图像，第二图像为nir相机拍摄得到的nir图像，在获得rgb图像和nir图像后，利用预先标定的相机参数分别对rgb图像和nir图像进行畸变校正，得到畸变校正的rgb图像和畸变校正的nir图像，再对畸变校正的rgb图像和畸变校正的nir图像分别进行立体校正，获得立体校正的rgb图像和立体校正的nir图像，立体校正的rgb图像作为第一校正图像，立体校正的nir图像作为第二校正图像，以通过立体校正的rgb图像和立体校正的nir图像进行后续图像对齐处理。
[0112]
其中，相机标定用来标定相机传感器的内外参和畸变参数。rgb相机只需要标定内参和畸变参数，nir相机除标定内参和畸变参数外，还需要标定外参。如图6所示，在标定相机参数时，首先需要采集标定板图像对，获取rgb图像和nir图像，标定板图像是在室内拍摄，光照强度较弱，拍摄过程需要全程补光，然后检测标定板的角点，采用张正友标定法分别对rgb相机、nir相机进行标定，得到rgb相机、nir相机的标定参数。获得的标定参数可进行存储，以用于后续的图像校正处理。
[0113]
进一步地，相机的摄像头用来采集图像，一般需要在出厂前进行标定。rgb相机nir相机的标定均可以通过单摄像头标定实现。单摄像头标定是指确定单摄像头内参和外参的值。单摄像头的内参可包括f
x
、f
y
、c
x
、c
y
，其中，f
x
表示焦距在图像坐标系x轴方向上单位像元大小，f
y
表示焦距在图像坐标系y轴方向上单位像元大小，c
x
、c
y
表示图像平面的主点坐标，主点是光轴与图像平面的交点。f
x
＝f/d
x
，f
y
＝f/d
y
，其中，f为单摄像头的焦距，d
x
表示图像坐标系x轴方向上一个像素的宽度，d
y
表示图像坐标系y轴方向上一个像素的宽度。图像坐标系是以摄像头拍摄的二维图像为基准建立的坐标系，用于指定物体在拍摄图像中的位置。图像坐标系中的(x,y)坐标系的原点位于摄像头光轴与成像平面的焦点(c
x
，c
y
)上，单位为长度单位，即米，像素坐标系中的(u，v)坐标系的原点在图像的左上角，单位为数量单位，即个。(x,y)用于表征物体从摄像头坐标系向图像坐标系的透视投影关系，(u，v)用于表征像素坐标。(x,y)与(u，v)之间的转换关系如公式(3)：
[0114][0115]
透视投影是指用中心投影法将形体投射到投影面上，从而获得的一种较为接近视觉效果的单面投影图。
[0116]
单摄像头的外参包括世界坐标系下的坐标转换到摄像头坐标系下的坐标的旋转矩阵和平移矩阵。世界坐标系通过刚体变换到达摄像头坐标系，摄像头坐标系通过透视投影变换到达图像坐标系。刚体变换是指三维空间中，当物体不发生形变时，对一个几何物体做旋转、平移的运动，即为刚体变换。刚体变换如公式(4)，
[0117][0118][0119]
其中，x
c
代表摄像头坐标系，x代表世界坐标系，r代表世界坐标系到摄像头坐标系的旋转矩阵，t代表世界坐标系到摄像头坐标系的平移矩阵。世界坐标系原点和摄像头坐标系原点之间的距离受x、y、z三个轴方向上的分量共同控制，具有三个自由度，r为分别绕x、y、z轴旋转的效果之和。t
x
表示x轴方向的平移量，t
y
表示y轴方向的平移量，t
z
表示z轴方向的平移量。
[0120]
世界坐标系是客观三维空间的绝对坐标系，可以建立在任意位置。例如对于每张标定图像，世界坐标系可以建立在以标定板的左上角角点为原点，以标定板平面为xy平面，z轴垂直标定板平面向上。摄像头坐标系是以摄像头光心为坐标系的原点，以摄像头的光轴作为z轴，x轴、y轴分别平行于图像坐标系的x轴y轴。图像坐标系的主点是光轴与图像平面的交点。图像坐标系以主点为原点。像素坐标系是指原点定义在图像平面的左上角位置。
[0121]
根据摄像头的内参和外参确定摄像头的畸变参数。在一个实施例中，可使用brown
多项式作为畸变模型，brown模型包括5个参数，其中，3个径向畸变参数，2个切向畸变参数。在其他实施例中，也可进行分块曲面函数拟合得到畸变参数。
[0122]
进一步地，如图5所示，得到立体校正的rgb图像和立体校正的nir图像后，分别提取fast特征点，并对从立体校正的rgb图像和立体校正的nir图像提取的fast特征点进行匹配，得到特征点匹配对。通过欧式距离去除特征点匹配对中视差较大的匹配点，具体可以将欧式距离不大于2的特征点匹配对去除。在去除特征点匹配对中的误匹配，具体可以通过ransac(random sample consensus，随机抽样一致)算法去除特征点匹配对的误匹配特征点匹配对。利用获得的特征点匹配对迭代优化投影矩阵，并通过确定的投影矩阵对立体校正的rgb图像和立体校正的nir图像进行图像重投影，实现对图像对齐，获得对齐后的rgb图像和对齐后的nir图像，对齐后的rgb图像和对齐后的nir图像可以用作后续图像融合的处理中。
[0123]
本实施例中，对于rgb图像和nir图像的对齐处理，根据场景拍摄得到的图像动态校准投影矩阵，可以减少rgb和nir相机标定的随机误差，提高立体校正精度，进而提高对齐精度，提高图像对齐效果。
[0124]
应该理解的是，虽然图2-6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0125]
图7为一个实施例的图像处理装置700的结构框图。如图7所示，图像处理装置700包括图像获取模块702、图像校正模块704、匹配对构建模块706、投影参数确定模块708和图像对齐模块710，其中，
[0126]
图像获取模块702，用于获取待处理的第一图像和第二图像；
[0127]
图像校正模块704，用于对第一图像和第二图像分别进行图像校正，获得第一校正图像和第二校正图像；
[0128]
匹配对构建模块706，用于根据第一特征点和第二特征点构建特征点匹配对；第一特征点从第一校正图像中提取得到，第二特征点从第二校正图像提取得到；
[0129]
投影参数确定模块708，用于基于各特征点匹配对中的特征点之间的偏移参数，确定第一校正图像和第二校正图像之间的投影参数；
[0130]
图像对齐模块710，用于通过投影参数对第一校正图像和第二校正图像进行对齐。
[0131]
在一个实施例中，匹配对构建模块706包括特征点提取模块和特征匹配模块；其中：特征点提取模块，用于获取从第一校正图像中提取得到的第一特征点和从第二校正图像提取得到的第二特征点；特征匹配模块，用于将各第一特征点和各第二特征点分别进行特征匹配，根据特征匹配结果构建特征点匹配对。
[0132]
在一个实施例中，特征点提取模块包括特征点检测模块，用于分别对第一校正图像和第二校正图像进行特征点检测，获得第一特征点和第二特征点。
[0133]
在一个实施例中，特征点检测模块包括候选点提取模块、相似点确定模块和特征
点确定模块；其中：候选点提取模块，用于分别对第一校正图像和第二校正图像进行特征点提取，获得第一候选特征点和第二候选特征点；相似点确定模块，用于分别在第一候选特征点和第二候选特征点的预设邻域范围内寻找相似特征点，获得第一候选特征点对应的第一相似特征点和第二候选特征点对应的第二相似特征点；特征点确定模块，用于根据第一相似特征点得到第一特征点，根据第二相似特征点得到第二特征点。
[0134]
在一个实施例中，还包括距离确定模块和距离筛选模块；其中：距离确定模块，用于确定各特征点匹配对中的特征点之间的距离；距离筛选模块，用于基于距离对各特征点匹配对进行距离筛选，得到距离筛选后的各特征点匹配对；投影参数确定模块708还用于基于距离筛选后的各特征点匹配对中的特征点之间的偏移参数，确定第一校正图像和第二校正图像之间的投影参数。
[0135]
在一个实施例中，还包括角度确定模块和角度筛选模块；其中：角度确定模块，用于确定距离筛选后的各特征点匹配对中的特征点连线线段在预设方向上的角度；角度筛选模块，用于基于角度对筛选后的各特征点匹配对进行角度筛选，得到角度筛选后的各特征点匹配对；投影参数确定模块708还用于基于角度筛选后的各特征点匹配对中的特征点之间的偏移参数，确定第一校正图像和第二校正图像之间的投影参数。
[0136]
在一个实施例中，投影参数确定模块708包括偏移距离确定模块、偏移函数构建模块和偏移函数求解模块；其中：偏移距离确定模块，用于构建动态偏移参数，并基于动态偏移参数确定各特征点匹配对中的特征点之间的动态偏移距离；偏移函数构建模块，用于基于各动态偏移距离构建图像偏移函数；偏移函数求解模块，用于对图像偏移函数进行最小化求解，并根据求解结果得到第一校正图像和第二校正图像之间的投影参数。
[0137]
在一个实施例中，偏移函数求解模块包括目标偏移量确定模块和投影矩阵确定模块；其中：目标偏移量确定模块，用于基于求解结果确定各特征点匹配对中的特征点之间的目标动态偏移量；投影矩阵确定模块，用于根据目标动态偏移量构建第一校正图像和第二校正图像之间的投影矩阵。
[0138]
在一个实施例中，还包括视差图确定模块、稠密处理模块和视差对齐模块；其中：视差图确定模块，用于构建对齐后得到的第一对齐图像和第二对齐图像的视差图；稠密处理模块，用于对视差图进行稠密化处理，得到稠密视差图；视差对齐模块，用于基于稠密视差图对第一对齐图像和第二对齐图像进行视差对齐。
[0139]
在一个实施例中，第一图像由可见光摄像头拍摄得到，第二图像由红外摄像头拍摄得到；图像校正模块704包括标定参数获取模块、第一畸变校正模块、第二畸变校正模块和立体校正模块；其中：标定参数获取模块，用于获取可见光摄像头的第一标定参数和红外摄像头的第二标定参数；第一畸变校正模块，用于通过第一标定参数对第一图像进行畸变校正，得到第一畸变校正图像；第二畸变校正模块，用于通过第二标定参数对第二图像进行畸变校正，得到第二畸变校正图像；立体校正模块，用于基于第一标定参数和第一标定参数对第一畸变校正图像和第二畸变校正图像进行立体校正，获得第一校正图像和第二校正图像。
[0140]
上述图像处理装置中各个模块的划分仅仅用于举例说明，在其他实施例中，可将图像处理装置按照需要划分为不同的模块，以完成上述图像处理装置的全部或部分功能。
[0141]
关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不
再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0142]
图8为一个实施例中电子设备的内部结构示意图。如图8所示，该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种图像处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑、pda(personal digital assistant，个人数字助理)、pos(point of sales，销售终端)、车载电脑、穿戴式设备等任意终端设备。
[0143]
本申请实施例中提供的图像处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在电子设备的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。
[0144]
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行图像处理方法的步骤。
[0145]
一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像处理方法。
[0146]
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)，它用作外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddr sdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)。
[0147]
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。