图像处理方法、装置、电子设备及计算机可读存储介质与流程

文档序号:14357035阅读:176来源:国知局

本申请涉及图像处理技术领域,特别是涉及一种图像处理方法、装置、电子设备及计算机可读存储介质。



背景技术:

高动态范围图像(high-dynamicrange,hdr)是根据不同曝光时间的图像合成的图像,相比普通的图像,hdr图像可以提供更多的动态范围和图像细节,能够更好的反映出真实环境中的视觉效果。hdr图像在合成的过程中,需将各帧图像进行配准后再进行合成。传统方式中将采集的各帧图像进行配准时较不准确,影响到最终hdr图像的合成效果。



技术实现要素:

本申请实施例提供一种图像处理方法、装置、电子设备及计算机可读存储介质,可以提高图像配准的准确性,提高hdr图像的合成效果。

一种图像处理方法,包括:

获取第一摄像头采集的至少两帧第一类图像,所述至少两帧第一类图像的曝光时间相同;

对所述至少两帧第一类图像进行配准,并得到对齐参数;

获取第二摄像头采集的至少两帧第二类图像,所述至少两帧第二类图像的曝光时间不同;

根据所述对齐参数对所述至少两帧第二类图像进行配准;

将配准后的第二类图像合成,生成高动态范围图像。

一种图像处理装置,包括:

第一图像获取模块,用于获取第一摄像头采集的至少两帧第一类图像,所述至少两帧第一类图像的曝光时间相同;

第一配准模块,用于对所述至少两帧第一类图像进行配准,并得到对齐参数;

第二图像获取模块,用于获取第二摄像头采集的至少两帧第二类图像,所述至少两帧第二类图像的曝光时间不同;

第二配准模块,用于根据所述对齐参数对所述至少两帧第二类图像进行配准;

合成模块,用于将配准后的第二类图像合成,生成高动态范围图像。

一种电子设备,包括存储器及处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器实现如上所述的方法。

一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的方法。

上述图像处理方法、装置、电子设备及计算机可读存储介质,获取第一摄像头采集的至少两帧第一类图像,先对第一类图像进行配准,得到对齐参数,再根据第一类图像的对齐参数对第二摄像头采集的至少两帧第二类图像进行配准,并将配准后的第二类图像合成,生成高动态范围图像,可以提高第二类图像进行图像配准时的准确性,提高了高动态范围图像的合成效果。

附图说明

图1为一个实施例中图像处理方法的应用场景图;

图2为一个实施例中电子设备的框图;

图3为一个实施例中图像处理方法的流程示意图;

图4为一个实施例中得到第一类图像的对齐参数的流程示意图;

图5为一个实施例中对第一类图像的对齐参数进行调整的流程示意图;

图6为一个实施例中第一摄像头与第二摄像头的外参数示意图;

图7为一个实施例中确定正常曝光时间范围的流程示意图;

图8为一个实施例中图像处理装置的框图;

图9为一个实施例中第一配准模块的框图;

图10为一个实施例中图像处理电路的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。

可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一客户端称为第二客户端,且类似地,可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端,但其不是同一客户端。

图1为一个实施例中图像处理方法的应用场景图。如图1所示,电子设备10可通过摄像头102采集场景20的多帧图像,其中,摄像头102中可包括第一摄像头及第二摄像头。电子设备10可获取第一摄像头采集的至少两帧第一类图像,其中,第一摄像头采集的第一类图像的曝光时间可相同。电子设备10可对获取的至少两帧第一类图像进行配准,并得到对齐参数。电子设备10可获取第二摄像头采集的至少两帧第二类图像,其中,第二摄像头采集的第二类图像的曝光时间可不同。电子设备10可根据第一类图像的对齐参数对第二摄像头采集的至少两帧第二类图像进行配准,并将配准后的第二类图像合成,生成hdr图像。

图2为一个实施例中电子设备的框图。如图2所示,该电子设备包括通过系统总线连接的处理器、存储器、显示屏和输入装置。其中,存储器可包括非易失性存储介质及处理器。电子设备的非易失性存储介质存储有操作系统及计算机程序,该计算机程序被处理器执行时以实现本申请实施例中提供的一种图像处理方法。该处理器用于提供计算和控制能力,支撑整个电子设备的运行。电子设备中的内存储器为非易失性存储介质中的计算机程序的运行提供环境。电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏等,输入装置可以是显示屏上覆盖的触摸层,也可以是电子设备外壳上设置的按键、轨迹球或触控板,也可以是外接的键盘、触控板或鼠标等。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。本领域技术人员可以理解,图2中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的电子设备的限定,具体的电子设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。

如图3所示,在一个实施例中,提供一种图像处理方法,包括以下步骤:

步骤310,获取第一摄像头采集的至少两帧第一类图像。

电子设备可在设置有两个摄像头,包括第一摄像头及第二摄像头,第一摄像头及第二摄像头可设置在同一水平线上,水平左右排列,也可设置在同一竖直线上,竖直上下排列。在本实施例中,第一摄像头及第二摄像头可以是不同像素的摄像头,其中,第二摄像头可以是像素较高的摄像头,主要用于成像,第一摄像头可以是像素较低的摄像头,可用于辅助生成最终的图像,但不限于此。

电子设备可通过第一摄像头及第二摄像头采集当前场景的多帧图像,第一摄像头及第二摄像头可在同一图像采集时刻同时采集一帧第一类图像及一帧第二类图像,其中,第一类图像指的是通过第一摄像头采集的图像,第二类图像指的是第二摄像头采集的图像。可选地,第一摄像头可采用相同的曝光时间采集多帧当前场景的第一类图像,曝光时间可指的是从快门打开到关闭的时间间隔,在这一段时间内,物体可在底片等感光面上留下影像。电子设备可设定第一摄像头采集第一类图像的曝光时间。在一个实施例中,电子设备可预先设定长曝光时间范围、正常曝光时间范围及短曝光时间范围,其中,采用长曝光时间范围中的曝光时间采集的图像亮度较大,可能会出现图像过曝的情况;采用正常曝光时间范围采集的图像亮度正常,比较不会出现图像过亮或过暗的情况;采用短曝光时间范围采集的图像亮度较小,可能会出现图像欠曝过暗的情况。电子设备可从该正常曝光时间范围中选取第一摄像头采集第一类图像的曝光时间。

步骤320,对至少两帧第一类图像进行配准,并得到对齐参数。

电子设备可获取第一摄像头采集的至少两帧第一类图像,获取的至少两帧第一类图像可以是第一摄像头在不同的图像采集时刻对同一场景采集的图像。电子设备可对获取的至少两帧第一类图像进行配准,将至少两帧第一类图像进行匹配,并进行校正变换,将获取的至少两帧第一类图像在几何关系上进行对齐。可选地,电子设备可从获取的至少两帧第一类图像中选取一帧第一类图像作为基准图像,并将其他第一类图像与该基准图像进行配准。电子设备将第一类图像与基准图像进行配准时,可先提取第一类图像及基准图像的图像特征,其中,图像特征可包括形状特征、空间特征及边缘特征等,其中,形状特征指的是图像中局部的形状,空间特征指的是图像中分割出来的多个区域之间的相互的空间位置或相对方向关系,边缘特征指的是图像中组成两个区域之间的边界像素等。

电子设备提取进行配准的第一类图像及基准图像的图像特征后,可将第一类图像的图像特征与基准图像的图像特征进行匹配,将第一类图像与基准图像的图像特征进行对应,并分别确定对应的图像特征在第一类图像与基准图像中的坐标值,其中,图像特征的坐标值可用图像特征对应的像素位置进行表示,例如图像特征的坐标值为对应的像素位置第x行第y列等。电子设备可根据对应的图像特征在第一类图像与基准图像中的坐标值计算对齐参数,对齐参数可包括但不限于旋转参数及平移参数等,其中,旋转参数指的是绕摄像机坐标系中x轴、y轴及z轴的旋转角度,平移参数指的是在摄像机坐标系中的平移向量。例如,第一类图像中的图像特征a与基准图像的图像特征a对应,其中,图像特征a的坐标值为(x1,y1),图像特征a的坐标值为(x2,y2),则可计算得到图像特征a相对于基准图像的水平平移参数为offsetx=x1-x2,垂直平移参数为offsety=y1-y2等。可以理解地,进行图像配准并计算对齐对数的方式并不仅限于上述几种方式,也可以是其他方式。

步骤330,获取第二摄像头采集的至少两帧第二类图像。

电子设备可获取第二摄像头采集的至少两帧第二类图像,可选地,第二摄像头可采用不同的曝光时间采集多帧当前场景的第二类图像,例如,电子设备可分别从预设的长曝光时间范围、正常曝光时间范围及短曝光时间范围选取不同的曝光时间进行图像采集,从而可得到不同亮度的第二类图像。第二类图像的亮度不同,当亮度的范围较大时,采用长曝光时间采集的第二类图像可能过曝,采集短曝光时间采集的第二类图像可能过暗。

进一步地,电子设备可根据获取的至少两帧第一类图像获取第二摄像头采集的第二类图像,可获取与第一类图像同时采集的第二类图像。电子设备可先确定每帧第一类图像的图像采集时刻,并获取同一图像采集时刻下第二摄像头采集的第二类图像。

步骤340,根据对齐参数对至少两帧第二类图像进行配准。

电子设备可根据获取的至少两帧第一类图像的对齐参数对获取的至少两帧第二类图像进行配准,将获取的至少两帧第二类图像在几何关系上进行对齐。可选地,电子设备可根据图像采集时刻确定与获取的各帧第一类图像对应的第二类图像,建立同一图像采集时刻的第一类图像与第二类图像的对应关系。电子设备可根据第一类图像的对齐参数对与第一类图像对应的第二类图像进行配准。由于第一摄像头与第二摄像头的物理位置关系一定,在同一图像采集时刻采集的图像会具有相同的抖动,因此,电子设备可将第一类图像的对齐参数应用于同一图像采集时刻下的第二类图像进行配准。电子设备可根据第一类图像中图像特征的坐标值获取到第二类图像中相同坐标值的像素点,并根据该坐标值对应的对齐参数对该像素点进行旋转或平移等调整。将第一类图像的对齐参数应用于第二类图像,可解决第二类图像出现过曝或过暗时难以准确找到图像特征,导致图像配准效果不好的问题。

步骤350,将配准后的第二类图像合成,生成高动态范围图像。

电子设备可将配准后的第二类图像进行合成,生成hdr图像。可选地,电子设备可逐一恢复配准后的各帧第二类图像的辐照度图像,其中,辐照度指的是某一指定表面上单位面积上所接受的辐射能量。电子设备可根据第二类图像的曝光时间及每个像素点的灰度值计算对应像素点的辐照度。像素点的辐照度的计算公式可如式(1)所示:

e(i,j)=func(t(i)*i(j))式(1);

其中,t(i)表示图像的曝光时间,i(j)表示图像中第j个像素点的灰度值,e(i,j)表示图像中第j个像素点的辐照度。电子设备恢复配准后的各帧第二类图像的辐照度图像后,可计算每帧辐照度图像中各个像素点的权重值,并根据每帧辐照度图像中各个像素点的权重值合成hdr图像。可选地,电子设备可根据各个像素点的邻域的梯度、亮度及运动状态等确定该像素点在各帧辐照度图像中的可靠程度,并根据可靠程度确定该像素点在各帧辐照度图像中的权重值。其中,像素点的邻域的梯度可指的是像素点在某个领域内的灰度变化,运动状态可指的是像素点是否运动,可将该像素点在未进行配准前的长曝光时间的第二类图像与短曝光时间的第二类图像进行比对,若该像素点在长曝光时间的第二类图像与短曝光时间的第二类图像的坐标值相差大于预设值,则可认为该像素点处于运动状态。将配准后的第二类图像合成为hdr图像,可消除图像中的运动鬼影,使合成后的hdr图像更加清晰,可展示更多的图像细节。

在本实施例中,获取第一摄像头采集的至少两帧第一类图像,先对第一类图像进行配准,得到对齐参数,再根据第一类图像的对齐参数对第二摄像头采集的至少两帧第二类图像进行配准,并将配准后的第二类图像合成,生成高动态范围图像,可以提高第二类图像进行图像配准时的准确性,提高了高动态范围图像的合成效果。

如图4所示,在一个实施例中,步骤320对至少两帧第一类图像进行配准,并得到对齐参数,包括以下步骤:

步骤402,提取各帧第一类图像的图像特征,并根据图像特征确定第一类图像之间的映射模型。

电子设备可提取各帧获取的第一类图像的图像特征,可选地,可采用harris角点检测算法、susan算法或dog算法等提取图像特征,但不限于此。在一个实施例中,电子设备可根据水平差分算子及竖直差分算子对第一类图像中的每个像素点进行滤波,计算得到每个像素点在水平及竖直方向的变化量,并根据像素点在水平及竖直方向的变化量确定该像素点的类型,其中,像素点的类型可包括角点、边缘、平坦地区等。当像素点在水平及竖直方向的变化量均较大时,可确定该像素点的类型为角点;当像素点仅在水平或竖直方向上有较大的变化量时,可确定该像素点的类型为边缘;当像素点在水平及竖直方向的变化量均较小时,可确定该像素点的类型为平坦地区。电子设备可提取类型为角点及边缘等的像素点作为图像特征。可选地,电子设备除了可将角点、边缘等像素点作为图像特征外,还可通过预先定义的窗口提取区域特征等,并不限于此。

可选地,电子设备可从获取的至少两帧第一类图像中选取一帧第一类图像作为基准图像,并逐一将其他第一类图像的图像特征与基准图像的图像特征进行匹配。电子设备提取图像特征后,可采用sift等算法对图像特征进行描述,生成各个图像特征的描述子,描述子的种类可包括多种,例如用于描述邻域的图像强度的描述子、用于描述图像特征的位置的描述子、用于描述所在窗口的灰度均值的描述子等。电子设备可根据进行匹配的第一类图像与基准图像的图像特征的描述子进行匹配,将第一类图像的图像特征与基准图像的图像特征进行对应,可根据二者图像特征的对应关系确定该第一类图像与基准图像之间的映射模型。第一类图像与基准图像之间的映射模型可包括但不限于旋转映射模型、平移映射模型及放缩映射模型等,第一类图像通过该映射模型可转换为基准图像。

步骤404,根据映射模型逐一对各帧第一类图像进行配准,按照预设的相似度测量标准计算每帧第一类图像的对齐参数。

电子设备可根据其他各帧第一类图像与基准图像之间的映射模型对各帧第一类图像进行配准,并按照预设的相似度测量标准计算各帧第一类图像中各个图像特征的对齐参数。预设的相似度测量标准可用于表示两帧图像之间相对应的图像特征的相似度需满足的条件。电子设备可根据映射模型对第一类图像的图像特征进行旋转或平移等调整,并可根据调整后的图像特征的描述子与基准图像中对应图像特征的描述子计算相似度,当该相似度满足预设的相似度测量标准时,根据进行的调整可确定对齐参数,若相似度不满足预设的相似度测量标准,则继续进行调整。

可选地,电子设备进行第一类图像的图像配准时,也可不选取一帧第一类图像作为基准图像进行配准。电子设备可按照第一类图像的图像采集时刻先后顺序,两两对第一类图像进行配准,例如,若是获取了3帧第一类图像,则可按照图像采集时刻先后顺序,将第1帧第一类图像与第2帧第一类图像进行配准,再将第2帧第一类图像与第3帧第一类图像进行配准等。

在本实施例中,可根据第一类图像之间的映射模型逐一对各帧第一类图像进行配准,按照预设的相似度测量标准计算每帧第一类图像的对齐参数,可使计算得到的对齐参数更为准确,提高了高动态范围图像的合成效果。

如图5所示,在一个实施例中,步骤340根据对齐参数对至少两帧第二类图像进行配准,包括以下步骤:

步骤502,获取第一摄像头及第二摄像头的外参数,并根据外参数调整对齐参数。

电子设备对获取的至少两帧第一类图像进行配准,并得到各帧第一类图像中各个图像特征的对齐参数后,可获取第一摄像头及第二摄像头的外参数,并根据外参数对得到的对齐参数进行调整。外参数可用于描述第一摄像头与第二摄像头之间的几何位置关系,外参数可包括但不限于第一摄像头与第二摄像头之间的像素尺寸比值、第一摄像头与第二摄像头之间的水平距离、竖直距离及高度距离等,其中,水平距离指的是两个摄像头在水平线上的距离,竖直距离指的是两个摄像头在竖直线上的距离,高度距离指的是两个摄像头相对电子设备的机身向外凸出的高度差。

图6为一个实施例中第一摄像头与第二摄像头的外参数示意图。如图6所示,电子设备可先确定第一摄像头的第一光心602及第二摄像头的第二光心604,其中,第一光心602与第二光心604在水平线上的距离a即为第一摄像头与第二摄像头之间的水平距离,第一光心602与第二光心604在竖直线上的距离b即为第一摄像头与第二摄像头之间的竖直距离。

电子设备可根据第一摄像头及第二摄像头的外参数对第一类图像的对齐参数进行调整。可选地,电子设备可获取第一摄像头的第一像素尺寸及第二摄像头的像素尺寸,像素尺寸可理解为采集的图像的显示尺寸,也可以直接认为是摄像头的像素。电子设备可计算第一像素尺寸与第二像素尺寸的比值,并根据该比值确定调整参数。例如,电子设备可分别计算第一像素尺寸与第二像素尺寸在横轴的比值,以及在竖轴的比值,并可将第一像素尺寸与第二像素尺寸在横轴的比值作为水平平移参数的调整参数,将第一像素尺寸与第二像素尺寸在竖轴的比值作为竖直平移参数的调整参数,但不限于此。

举个例子进行说明。假设第一摄像头的像素尺寸为dx1和dy1,第二摄像头的像素尺寸为dx2和dy2,则可计算得到第一像素尺寸与第二像素尺寸在横轴的比值为dx1/dx2,第一像素尺寸与第二像素尺寸在竖轴的比值为dy1/dy2。若第一类图像中图像特征x的水平平移参数为offsetx1,则调整后的水平平移参数offsetx2=offsetx1*dx1/dx2。若第一类图像中图像特征x的竖直平移参数为offsety1,则调整后的水平平移参数offsety2=offsety1*dy1/dy2。

可以理解地,电子设备也可根据第一摄像头及第二摄像头的其他外参数对第一类图像的对齐参数进行调整,并不仅限于上述方式。

步骤504,根据调整后的对齐参数对至少两帧第二类图像进行配准。

电子设备可根据调整后的第一类图像的对齐参数,对同一图像采集时刻下对应的第二类图像进行配准。电子设备可根据第一类图像中图像特征的坐标值获取到第二类图像中相同坐标值的像素点,并根据该坐标值对应的调整后的对齐参数对该像素点进行旋转或平移等调整。

在本实施例中,可根据第一摄像头及第二摄像头的外参数对第一类图像的对齐参数进行调整后,再根据调整后的对齐参数对第二类图像进行配准,可以提高第二类图像进行图像配准时的准确性,提高了高动态范围图像的合成效果。

在一个实施例中,步骤310获取第一摄像头采集的至少两帧第一类图像,包括:当第一摄像头采集的第一类图像的数量大于预设阈值时,获取清晰度大于预设清晰度的至少两帧第一类图像。

电子设备可获取第一摄像头采集的第一类图像的数量,并将该数量与预设阈值进行比较,若第一摄像头采集的第一类图像的数量大于预设阈值,则可从中获取清晰度大于预设清晰度的至少两帧第一类图像。可选地,电子设备可计算采集的每帧第一类图像的清晰度,可采用brenner梯度函数、tenengrad梯度函数等计算第一类图像的清晰度。在一个实施例中,电子设备可计算第一类图像中相邻两个像素点灰度差的平方,并根据相邻两个像素点灰度差的平方确定清晰度。电子设备也可采用sobel算子分别提取像素点在水平和竖直方向的梯度值,并根据该水平和竖直方向的梯度值确定清晰度,可先计算像素点在水平和竖直方向的sobel边缘检测算子的卷积,再根据sobel边缘检测算子的卷积计算梯度值。可以理解地,也可采用其他方式计算第一类图像的清晰度,并不仅限于上述几种方式。

电子设备获取清晰度大于预设清晰度的至少两帧第一类图像,可对获取的至少两帧第一类图像进行配准,得到获取的各帧第一类图像的对齐参数。电子设备可根据获取的清晰度大于预设清晰度的每帧第一类图像的图像采集时刻,获取同一图像采集时刻下第二摄像头采集的第二类图像。电子设备可将第一类图像的对齐参数应用于同一图像采集时刻下的第二类图像进行配准。

在本实施例中,可获取清晰度大于预设清晰度的至少两帧第一类图像进行配准,得到对齐参数,选取的第一类图像及第二类图像质量更好,可以提高第二类图像进行图像配准时的准确性,提高了高动态范围图像的合成效果。

如图7所示,在一个实施例中,在步骤310获取第一摄像头采集的至少两帧第一类图像之前,还包括以下步骤:

步骤702,采集当前场景的光源信息,并根据光源信息确定正常曝光时间范围。

电子设备可采集当前场景的光源信息,光源信息可包括亮度信息、光源种类、光源场景等,其中,光源种类可包括但不限于日光、白炽灯、钨丝灯等,光源场景可包括但不限于阴天场景、黄昏场景、逆光场景等。可选地,电子设备可通过亮度感应器采集当前场景的光源信息,通过亮度感应器可确定当前场景的光线强弱。电子设备也可先通过第一摄像头和/或第二摄像头采集当前场景的预览图像,并根据该预览图像生成灰度直方图,该灰度直方图可用于描述预览图像中像素点在各个亮度等级的分布情况。电子设备可分析预览图像的灰度直方图,获取当前场景的光源信息。例如,若预览图像的灰度直方图中,像素点分布在亮度等级两端,大部分分布在小的亮度等级及大的亮度等级,中间的亮度等级分布少,则可确定当前场景的光源场景为逆光场景等,但不限于此。

电子设备可根据当前场景的光源信息确定正常曝光时间范围,不同光源信息对应的正常曝光时间范围可不同,例如,若当前场景的亮度较高,则对应的正常曝光时间范围包含的曝光时间可较短,若当前场景的亮度较低,则对应的正常曝光时间范围包含的曝光时间可较长等,但不限于此。在一个实施例中,电子设备可预先设定光源信息与正常曝光时间范围的对应关系,采集当前场景的光源信息后,可直接获取对应的正常曝光时间范围。电子设备可也先根据当前场景的光源场景获取对应的正常曝光时间范围,再根据亮度信息及光源种类等对该对应的正常曝光时间范围进行微调等。

步骤704,从正常曝光时间范围中选取第一摄像头采集第一类图像的曝光时间。

电子设备确定正常曝光时间范围后,可根据正常曝光时间范围划分长曝光时间范围及短曝光时间范围,可选地,可将正常曝光时间范围中的时间上限值加上预设第一时间段,得到长曝光时间范围,将正常曝光时间范围中的时间下限值减去预设第二时间段,得到短曝光时间范围。电子设备可从正常曝光时间范围中选取一个曝光时间,作为第一摄像头采集多帧第一类图像的相同曝光时间。电子设备可分别从长曝光时间范围、正常曝光时间范围及短曝光时间范围选取不同的曝光时间,作为第二摄像头采集多帧第二类图像时的曝光时间。

在本实施例中,可根据当前场景的光源信息确定正常曝光时间范围,并从正常曝光时间范围中选取第一摄像头采集第一类图像的曝光时间,可使采集的第一类图像效果更好,使第一类图像进行配准得到的对齐参数更为准确,可以提高第二类图像进行图像配准时的准确性,提高了高动态范围图像的合成效果。

在一个实施例中,提供一种图像处理方法,包括以下步骤:

步骤(1),获取第一摄像头采集的至少两帧第一类图像,至少两帧第一类图像的曝光时间相同。

可选地,步骤(1),包括:当第一摄像头采集的第一类图像的数量大于预设阈值时,获取清晰度大于预设清晰度的至少两帧第一类图像。

可选地,在步骤(1)之前,还包括:采集当前场景的光源信息,并根据光源信息确定正常曝光时间范围;从正常曝光时间范围中选取第一摄像头采集第一类图像的曝光时间。

步骤(2),对至少两帧第一类图像进行配准,并得到对齐参数。

可选地,步骤(2),包括:提取各帧第一类图像的图像特征,并根据图像特征确定第一类图像之间的映射模型;根据映射模型逐一对各帧第一类图像进行配准,按照预设的相似度测量标准计算每帧第一类图像的对齐参数。

步骤(3),获取第二摄像头采集的至少两帧第二类图像,至少两帧第二类图像的曝光时间不同。

步骤(4),根据对齐参数对至少两帧第二类图像进行配准。

可选地,步骤(4),包括:根据图像采集时刻确定与各帧第一类图像对应的第二类图像;根据第一类图像的对齐参数对与第一类图像对应的第二类图像进行配准。

可选地,步骤(4),包括:获取第一摄像头及第二摄像头的外参数,并根据外参数调整对齐参数;根据调整后的对齐参数对至少两帧第二类图像进行配准。

可选地,获取第一摄像头及第二摄像头的外参数,并根据外参数调整对齐参数,包括:获取第一摄像头的第一像素尺寸,以及第二摄像头的第二像素尺寸;根据第一像素尺寸及第二像素尺寸的比值确定调整参数;根据调整参数调整对齐参数。

步骤(5),将配准后的第二类图像合成,生成高动态范围图像。

在本实施例中,获取第一摄像头采集的至少两帧第一类图像,先对第一类图像进行配准,得到对齐参数,再根据第一类图像的对齐参数对第二摄像头采集的至少两帧第二类图像进行配准,并将配准后的第二类图像合成,生成高动态范围图像,可以提高第二类图像进行图像配准时的准确性,提高了高动态范围图像的合成效果。

如图8所示,在一个实施例中,提供一种图像处理装置800,包括第一图像获取模块810、第一配准模块820、第二图像获取模块830、第二配准模块840及合成模块850。

第一图像获取模块810,用于获取第一摄像头采集的至少两帧第一类图像,至少两帧第一类图像的曝光时间相同。

第一配准模块820,用于对至少两帧第一类图像进行配准,并得到对齐参数。

第二图像获取模块830,用于获取第二摄像头采集的至少两帧第二类图像,至少两帧第二类图像的曝光时间不同。

第二配准模块840,用于根据对齐参数对至少两帧第二类图像进行配准。

可选地,第二配准模块840,还用于根据图像采集时刻确定与各帧第一类图像对应的第二类图像,及根据第一类图像的对齐参数对与第一类图像对应的第二类图像进行配准。

合成模块850,用于将配准后的第二类图像合成,生成高动态范围图像。

在本实施例中,获取第一摄像头采集的至少两帧第一类图像,先对第一类图像进行配准,得到对齐参数,再根据第一类图像的对齐参数对第二摄像头采集的至少两帧第二类图像进行配准,并将配准后的第二类图像合成,生成高动态范围图像,可以提高第二类图像进行图像配准时的准确性,提高了高动态范围图像的合成效果。

如图9所示,在一个实施例中,第一配准模块820,包括特征提取单元822及计算单元824。

特征提取单元822,用于提取各帧第一类图像的图像特征,并根据图像特征确定第一类图像之间的映射模型。

计算单元824,用于根据映射模型逐一对各帧第一类图像进行配准,按照预设的相似度测量标准计算每帧第一类图像的对齐参数。

在本实施例中,可根据第一类图像之间的映射模型逐一对各帧第一类图像进行配准,按照预设的相似度测量标准计算每帧第一类图像的对齐参数,可使计算得到的对齐参数更为准确,提高了高动态范围图像的合成效果。

在一个实施例中,第二配准模块840,包括调整单元及配准单元。

调整单元,用于获取第一摄像头及第二摄像头的外参数,并根据外参数调整对齐参数。

可选地,调整单元,包括像素尺寸获取子单元、参数确定子单元及调整子单元。

像素尺寸获取子单元,用于获取第一摄像头的第一像素尺寸,以及第二摄像头的第二像素尺寸。

参数确定子单元,用于根据第一像素尺寸及第二像素尺寸的比值确定调整参数。

调整子单元,用于根据调整参数调整对齐参数。

配准单元,用于根据调整后的对齐参数对至少两帧第二类图像进行配准。

在本实施例中,可根据第一摄像头及第二摄像头的外参数对第一类图像的对齐参数进行调整后,再根据调整后的对齐参数对第二类图像进行配准,可以提高第二类图像进行图像配准时的准确性,提高了高动态范围图像的合成效果。

在一个实施例中,第一图像获取模块810,还用于当第一摄像头采集的第一类图像的数量大于预设阈值时,获取清晰度大于预设清晰度的至少两帧第一类图像。

在本实施例中,可获取清晰度大于预设清晰度的至少两帧第一类图像进行配准,得到对齐参数,选取的第一类图像及第二类图像质量更好,可以提高第二类图像进行图像配准时的准确性,提高了高动态范围图像的合成效果。

在一个实施例中,上述图像处理装置800,除了包括第一图像获取模块810、第一配准模块820、第二图像获取模块830、第二配准模块840及合成模块850,还包括

光源采集模块,用于采集当前场景的光源信息,并根据光源信息确定正常曝光时间范围。

时间选取模块,用于从正常曝光时间范围中选取第一摄像头采集第一类图像的曝光时间。

在本实施例中,可根据当前场景的光源信息确定正常曝光时间范围,并从正常曝光时间范围中选取第一摄像头采集第一类图像的曝光时间,可使采集的第一类图像效果更好,使第一类图像进行配准得到的对齐参数更为准确,可以提高第二类图像进行图像配准时的准确性,提高了高动态范围图像的合成效果。

本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义isp(imagesignalprocessing,图像信号处理)管线的各种处理单元。图10为一个实施例中图像处理电路的示意图。如图10所示,为便于说明,仅示出与本申请实施例相关的图像处理技术的各个方面。

如图10所示,图像处理电路包括isp处理器1040和控制逻辑器1050。成像设备1010捕捉的图像数据首先由isp处理器1040处理,isp处理器1040对图像数据进行分析以捕捉可用于确定和/或成像设备1010的一个或多个控制参数的图像统计信息。成像设备1010可包括具有一个或多个透镜1012和图像传感器1014的照相机。图像传感器1014可包括色彩滤镜阵列(如bayer滤镜),图像传感器1014可获取用图像传感器1014的每个成像像素捕捉的光强度和波长信息,并提供可由isp处理器1040处理的一组原始图像数据。传感器1020(如陀螺仪)可基于传感器1020接口类型把采集的图像处理的参数(如防抖参数)提供给isp处理器1040。传感器1020接口可以利用smia(standardmobileimagingarchitecture,标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

此外,图像传感器1014也可将原始图像数据发送给传感器1020,传感器1020可基于传感器1020接口类型把原始图像数据提供给isp处理器1040,或者传感器1020将原始图像数据存储到图像存储器1030中。

isp处理器1040按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,isp处理器1040可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。

isp处理器1040还可从图像存储器1030接收图像数据。例如,传感器1020接口将原始图像数据发送给图像存储器1030,图像存储器1030中的原始图像数据再提供给isp处理器1040以供处理。图像存储器1030可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括dma(directmemoryaccess,直接直接存储器存取)特征。

当接收到来自图像传感器1014接口或来自传感器1020接口或来自图像存储器1030的原始图像数据时,isp处理器1040可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器1030,以便在被显示之前进行另外的处理。isp处理器1040还可从图像存储器1030接收处理数据,对上述处理数据进行原始域中以及rgb和ycbcr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器1080,以供用户观看和/或由图形引擎或gpu(graphicsprocessingunit,图形处理器)进一步处理。此外,isp处理器1040的输出还可发送给图像存储器1030,且显示器1080可从图像存储器1030读取图像数据。在一个实施例中,图像存储器1030可被配置为实现一个或多个帧缓冲器。此外,isp处理器1040的输出可发送给编码器/解码器1070,以便编码/解码图像数据。编码的图像数据可被保存,并在显示于显示器1080设备上之前解压缩。

isp处理器1040处理图像数据的步骤包括:对图像数据进行vfe(videofrontend,视频前端)处理和cpp(camerapostprocessing,摄像头后处理)处理。对图像数据的vfe处理可包括修正图像数据的对比度或亮度、修改以数字方式记录的光照状态数据、对图像数据进行补偿处理(如白平衡,自动增益控制,γ校正等)、对图像数据进行滤波处理等。对图像数据的cpp处理可包括对图像进行缩放、向每个路径提供预览帧和记录帧。其中,cpp可使用不同的编解码器来处理预览帧和记录帧。

isp处理器1040处理后的图像数据可发送给hdr合成模块1060,以便在被显示之前合成hdr图像。hdr合成模块1060可获取第一摄像头采集的至少两帧第一类图像,对获取的至少两帧第一类图像进行配准,并得到对齐参数。hdr合成模块1060可获取第二摄像头采集的至少两帧第二类图像,可根据第一类图像的对齐参数对至少两帧第二类图像进行配准,并将配准后的第二类图像合成,生成hdr图像。其中,hdr合成模块1060可为电子设备中的cpu(centralprocessingunit,中央处理器)、gpu或协处理器等。hdr合成模块1060处理后的数据可发送给编码器/解码器1070,以便编码/解码图像数据。编码的图像数据可被保存,并在显示于显示器1080设备上之前解压缩。其中,hdr合成模块1060还可位于编码器/解码器1070与显示器1080之间,即hdr合成模块将已成像的图像合成hdr图像。上述编码器/解码器1070可为电子设备中cpu、gpu或协处理器等。

isp处理器1040确定的统计数据可发送给控制逻辑器1050单元。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜1012阴影校正等图像传感器1014统计信息。控制逻辑器1050可包括执行一个或多个例(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的统计数据,确定成像设备1010的控制参数以及isp处理器1040的控制参数。例如,成像设备1010的控制参数可包括传感器1020控制参数(例如增益、曝光控制的积分时间)、照相机闪光控制参数、透镜1012控制参数(例如聚焦或变焦用焦距),或这些参数的组合。isp控制参数可包括用于自动白平衡和颜色调整(例如,在rgb处理期间)的增益水平和色彩校正矩阵,以及透镜1012阴影校正参数。

在本实施例中,运用图10中图像处理技术可实现上述的图像处理方法。

在一个实施例中,提供一种电子设备,包括存储器及处理器,存储器中存储有计算机程序,计算机程序被处理器执行时,使得处理器执行以下步骤:

获取第一摄像头采集的至少两帧第一类图像,至少两帧第一类图像的曝光时间相同;

对至少两帧第一类图像进行配准,并得到对齐参数;

获取第二摄像头采集的至少两帧第二类图像,至少两帧第二类图像的曝光时间不同;

根据对齐参数对至少两帧第二类图像进行配准;

将配准后的第二类图像合成,生成高动态范围图像。

在一个实施例中,提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述的图像处理方法。

在一个实施例中,提供一种包含计算机程序的计算机程序产品,当其在电子设备上运行时,使得电子设备执行时实现上述的图像处理方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory,rom)等。

如此处所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram),它用作外部高速缓冲存储器。作为说明而非局限,ram以多种形式可得,诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)。

以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1