图像处理方法、图像处理装置和电子设备与流程

文档序号:22085536发布日期:2020-09-01 20:00阅读:215来源:国知局
图像处理方法、图像处理装置和电子设备与流程

本申请属于图像处理领域,具体涉及一种图像处理方法、图像处理装置和电子设备。



背景技术:

目前,电子设备的拍摄功能越来越强大,用户可以通过电子设备拍摄特殊效果的图像,例如,可以拍摄一些特殊的运动模糊图像。

通常,在按下快门之后,用户可以通过保持电子设备的运动速度与被拍摄的对象的运动速度相对相同的方式,拍摄出相对电子设备运动的对象呈现实景,且相对电子设备静止的对象呈现虚景的运动模糊图像。

然而,在实际拍摄场景中,用户不仅很难确定被拍摄对象的运动速度,而且用户也很难保持电子设备与运动物体的运动速度一致,从而可能会导致拍摄得到的图像成像效果较差。



技术实现要素:

本申请实施例的目的是提供一种图像处理方法、图像处理装置和电子设备,能够解决拍摄图像成像效果较差的问题。

为了解决上述技术问题,本申请是这样实现的:

第一方面,本申请实施例提供了一种图像处理方法,该方法包括:获取m帧图像,该m帧图像中的每帧图像均包括第一运动对象;获取每帧第一图像中的第一运动对象,相对于第二图像中的第一运动对象的目标参数,该目标参数包括位移和旋转量;根据第一运动对象和目标参数,对上述m帧图像进行图像融合,得到目标图像;其中,第一图像为m帧图像中除第二图像以外的其他图像,第二图像为m帧图像中的一帧图像,m为大于1的整数。

第二方面,本申请实施例提供了一种图像处理装置,该装置包括:获取模块和图像融合模块;获取模块,用于获取m帧图像,该m帧图像中的每帧图像均包括第一运动对象;以及获取每帧第一图像中的第一运动对象,相对于第二图像中的第一运动对象的目标参数,该目标参数包括位移和旋转量;图像融合模块,用于根据获取模块获取到的第一运动对象和目标参数,对上述m帧图像进行图像融合,得到目标图像;其中,第一图像为m帧图像中除第二图像以外的其他图像,第二图像为m帧图像中的一帧图像,m为大于1的整数。

第三方面,本申请实施例提供了一种电子设备,该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

第五方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。

在本申请实施例中,图像处理装置在获取到均包括第一运动对象的m帧图像之后,可以获取每帧第一图像中的第一运动对象,相对于第二图像(m帧图像中的一帧图像)中的第一运动对象的目标参数(即位移和旋转量)。然后,图像处理装置可以根据第一运动对象和目标参数,对m帧图像进行图像融合,得到目标图像。其中,第一图像为m帧图像中除第二图像以外的其他图像。通过上述方案,在用户需求拍摄出运动的第一运动对象呈现实景的目标图像的情况下,一方面,相比于相关技术需要保持电子设备与第一运动对象的运动速度一致来进行拍摄的方案,本申请无需用户移动电子设备,只需要对第一运动对象采集m帧图像即可,从而可以简化拍摄难度。另一方面,图像处理装置在获取到包含第一运动对象的m帧图像之后,可以以m帧图像中的第二图像为基准,确定每帧第一图像中的第一运动对象相对于第二图像中的第一运动对象的位移和旋转量;再根据每帧第一图像中的第一运动对象、第二图像中的第一运动对象和每帧第一图像中的第一运动对象相对于第二图像中的第一运动对象的位移和旋转量,对m帧图像进行图像融合。由于在对m帧图像进行图像融合的过程中,图像处理装置是通过每帧第一图像中的第一运动对象相对于第二图像中的第一运动对象的位移和旋转量进行图像融合的。因此,能够保证每帧第一图像和第二图像中的第一运动对象完全融合,从而使得目标图像能够保留清晰的第一运动对象,进而实现拍摄特殊效果的运动模糊图像。相比于相关技术中因为无法保持电子设备与第一运动对象的运动速度一致而导致拍摄失败,需要不断重复拍摄的情况,本申请中的图像处理装置可以通过算法处理,直接得到第一运动对象呈现实景的目标图像,不仅简化了拍摄步骤,还提高了拍摄目标图像的成像效果。

附图说明

图1为本申请实施例提供的一种图像处理方法流程示意图;

图2为本申请实施例提供的一种图像处理方法所应用的界面示意图之一;

图3为本申请实施例提供的一种图像处理方法所应用的界面示意图之二;

图4为本申请实施例提供的一种图像处理方法所应用的界面示意图之三;

图5为本申请实施例提供的一种图像处理装置的结构示意图;

图6为本申请实施例提供的一种电子设备的结构示意图之一;

图7为本申请实施例提供的一种电子设备的结构示意图之二。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。

下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法进行详细地说明。

本申请实施例提供的图像处理方法可以应用于多种拍摄场景中,例如,应用于拍摄行驶的汽车场景中,或者应用于拍摄奔跑的人场景中,或者应用于拍摄比赛的自行车场景中,或者应用于拍摄追逐猎物的狮子场景中等等。

以应用于拍摄行驶的汽车场景为例,当用户需求拍摄出行驶的汽车为实景、且其他对象呈现虚景的运动模糊图像时,用户可以在固定位置通过电子设备对行驶的汽车采集多帧图像。然后,电子设备可以在获取该多帧图像后,选择图像a作为基准,计算多帧图像中的其他每帧图像中的汽车与该图像a中的汽车的位移和旋转角度。接着,电子设备可以根据其他每帧图像中的汽车和其他每帧图像中的汽车与该图像a中的汽车的位移和旋转角度,对多帧图像进行图像融合,使得融合后的图像保留清晰的汽车图案。最终,电子设备可以得到行驶的汽车为实景、且其他对象呈现虚景的运动模糊图像。如此,不仅可以简化拍摄难度,还可以提高拍摄图像的成像效果。

图1为本申请实施例提供的一种图像处理方法流程示意图,包括步骤201至步骤203:

步骤201:图像处理装置获取m帧图像。

其中,上述m帧图像中的每帧图像均包括第一运动对象,m为大于1的整数。

在本申请实施例中,该m帧图像为针对第一运动对象采集得到的图像,该m帧图像可以为图像处理装置的摄像头采集的。其中,该摄像头可以为图像处理装置自带的摄像头,也可以为图像处理装置外接的摄像头,本申请实施例对此不作限定。

示例性的,上述的m帧图像可以为彩色图像,也可以为灰度图像,还可以为二值化图像,本申请实施例对此不作限定。

在本申请实施例中,上述的第一运动对象可以为运动的对象。示例性的,第一运动对象可以为运动的人物,也可以为运动的动物,还可以为运动的交通工具,具体的可以根据实际需求确定,本申请实施例对此不作限定。

需要说明的是,上述的第一运动对象可以为一个,也可以为多个,本申请实施例对此不作限定。

步骤202:图像处理装置获取每帧第一图像中的第一运动对象,相对于第二图像中的第一运动对象的目标参数。

其中,第一图像为上述的m帧图像中除第二图像以外的其他图像,第二图像为该m帧图像中的一帧图像,目标参数包括位移和旋转量。

在本申请实施例中,第二图像可以为系统默认选择的,也可以为用户自行选择的,本申请实施例对此不作限定。

在一种示例中,图像处理装置可以将第一运动对象在预设区域中的图像作为第二图像。其中,该预设区域可以为图像中的任意区域。例如,图像处理装置可以将第一运动对象处于中间区域的图像作为第二图像。

示例性的,图像处理装置获取到的目标参数可以为:图像处理装置计算得到的。

在一种示例中,图像处理装置可以采用lucas-kanade(lk)光流法,或者medianthreshodbitmap(mtb)模型法等,计算每帧第一图像中的第一运动对象相对于第二图像中的第一运动对象的位移。其中,位移包括移动方向和移动距离。

在另一种示例中,图像处理装置可以利用获取的陀螺仪数据,计算每帧第一图像中的第一运动对象相对于第二图像中的第一运动对象旋转量。例如,将陀螺仪数据进行积分求和从而计算旋转量。其中,旋转量可以包括以下至少一项:旋转角度,旋转弧长,旋转角速度。

举例说明,如图2所示,图像处理装置获取到3帧图像,分别为图像1(即图2中的(a)中的31)、图像2(即图2中的(b)中的32)和图像3(即图2中的(c)中的33)。其中,若图像处理装置判断图像2中的汽车(即上述的第一运动对象)处于图像中间区域,可以将图像2确定为第二图像。然后,图像处理装置可以以图像2为基准,获取图像1中的汽车相对于图像2中的汽车向左移动了距离1,并计算图像3中的汽车相对于图像2中的汽车向右移动了距离2。

需要说明的是,图像处理装置可以记录并保存获取到的目标参数。

步骤203:图像处理装置根据第一运动对象和目标参数,对上述m帧图像进行图像融合,得到目标图像。

在本申请实施例中,目标图像中包括第一运动对象。需要说明的是,目标图像中可以包括完整、且清晰的第一运动对象,即目标图像中的第一运动对象呈现实景。

需要说明的是,本申请实施例中的图像融合可以理解为:图像的像素值叠加,或者图像的像素值相减,或者图像的像素值进行覆盖(替换),具体的可以根据实际需求设定,本申请实施例对此不作限定。

需要说明的是,本申请实施例中的图像融合包括但不限于上述的三种融合方式,具体的可以根据实际需求设定。

可选地,在本申请实施例中,在图像处理装置在得到目标图像之后,可以显示目标图像。

举例说明,结合图2,在图像处理装置计算图像1中的汽车相对于图像2中的汽车向左移动了距离1,并计算图像3中的汽车相对于图像2中的汽车向右移动了距离2之后,图像处理装置可以根据距离1、距离2和汽车,对3帧图像进行图像融合。此时,如图3所示,图像处理装置显示汽车呈现实景、三角形物体和椭圆形物体呈现虚景的图像41。

可以理解,三角形物体和椭圆形物体呈现虚景是指三角形物体和椭圆形物体呈现重影或模糊效果。

需要说明的是,由于图像处理装置是根据第一运动对象和目标参数,对上述m帧图像进行图像融合时,该m帧图像中与第一运动对象运动速度不同的对象或者静止对象(例如,上述的三角形物体和椭圆形物体)会因为无法完全融合而模糊。

可选地,图像处理装置可以通过至少两种可能的实现方式来对m帧图像进行图像融合。

在第一种可能实现的方式中:

图像处理装置可以根据第一运动对象和目标参数,对m帧图像中的每两帧图像进行图像融合得到m/2帧图像,再对m/2帧图像中的每两帧图像进行图像融合,以此类推,将最后两帧图像进行图像融合。

需要说明的是,若m为奇数,则可以将单独的一帧图像作为下一次的图像融合中的一帧图像。

例如,以m等于3为例,该3帧图像分别为图像1至图像3,图像处理装置可以先根据第一运动对象和目标参数,将图像1和图像2进行图像融合得到图像a。然后,图像处理装置可以再根据第一运动对象和目标参数,将图像a和图像3进行图像融合。

在第二种可能实现的方式中:

示例性的,上述的步骤203中的根据第一运动对象和目标参数,对m帧图像进行图像融合,具体可以包括如下步骤203a:

步骤203a:图像处理装置根据第一运动对象和目标参数,采用每帧第一图像,与第二图像进行图像融合。

可以理解,上述的采用每帧第一图像,与第二图像进行图像融合是指:以第二图像为基准,将每帧第一图像,与第二图像进行图像融合。

需要说明的是,以第二图像为基准可以理解为以第二图像为参考帧图像。

举例说明,结合图2,在图像处理装置计算图像1中的汽车相对于图像2中的汽车向左移动了距离1,并计算图像3中的汽车相对于图像2中的汽车向右移动了距离2之后,图像处理装置可以将向右移动距离1的图像1,和图像2进行图像融合。然后,图像处理装置可以向右移动距离2的图像3,和图像2进行图像融合。最终,图像处理装置可以以图像2为基准,融合图像1和图像3。

可选地,图像处理装置可以根据每帧第一图像中的第一运动对象、第二图像中的第一运动对象以及目标参数,对m帧图像进行图像配准。其中,对m帧图像进行图像配准是对m帧图像进行图像融合的前提。

在一种示例中,基于上述的第一种可能实现的方式对m帧图像进行图像融合之前,图像处理装置可以根据第一运动对象和目标参数,在对m帧图像中的每两帧图像进行图像融合之前,将每两帧图像进行图像配准。

在另一种示例中,在上述的步骤203中的对m帧图像进行图像融合之前,该方法还可以包括如下步骤a1:

步骤a1:图像处理装置根据第一运动对象和目标参数,将每帧第一图像,与第二图像进行图像配准。

在一种示例中,图像处理装置可以以目标参数移动或旋转每帧第一图像,与第二图像配准。

在另一种示例中,图像处理装置可以根据目标参数确定第一图像每帧第一图像的坐标,和第二图像的坐标,从而可以建立每帧第一图像的坐标与第二图像的坐标之间的对应关系。

需要说明的是,在理想状态下,将每帧第一图像中的第一运动对象按照目标参数移动和旋转后,能够和第二图像中的第一运动对象完全配准。

本申请实施例提供的图像处理方法,图像处理装置在获取到均包括第一运动对象的m帧图像之后,可以获取每帧第一图像中的第一运动对象,相对于第二图像(m帧图像中的一帧图像)中的第一运动对象的目标参数(即位移和旋转量)。然后,图像处理装置可以根据第一运动对象和目标参数,对m帧图像进行图像融合,得到目标图像。其中,第一图像为m帧图像中除第二图像以外的其他图像。通过上述方案,在用户需求拍摄出运动的第一运动对象呈现实景的目标图像的情况下,一方面,相比于相关技术需要保持电子设备与第一运动对象的运动速度一致来进行拍摄的方案,本申请无需用户移动电子设备,只需要对第一运动对象采集m帧图像即可,从而可以简化拍摄难度。另一方面,图像处理装置在获取到包含第一运动对象的m帧图像之后,可以以m帧图像中的第二图像为基准,确定每帧第一图像中的第一运动对象相对于第二图像中的第一运动对象的位移和旋转量;再根据每帧第一图像中的第一运动对象、第二图像中的第一运动对象和每帧第一图像中的第一运动对象相对于第二图像中的第一运动对象的位移和旋转量,对m帧图像进行图像融合。由于在对m帧图像进行图像融合的过程中,图像处理装置是通过每帧第一图像中的第一运动对象相对于第二图像中的第一运动对象的位移和旋转量进行图像融合的。因此,能够保证每帧第一图像和第二图像中的第一运动对象完全融合,从而使得目标图像能够保留清晰的第一运动对象,进而实现拍摄特殊效果的运动模糊图像。相比于相关技术中因为无法保持电子设备与第一运动对象的运动速度一致而导致拍摄失败,需要不断重复拍摄的情况,本申请中的图像处理装置可以通过算法处理,直接得到第一运动对象呈现实景的目标图像,不仅简化了拍摄步骤,还提高了拍摄目标图像的成像效果。

可选地,在本申请实施例中,为突出第一运动对象,并实现光流覆盖效果,图像处理装置可以对融合后的图像进行进一步的处理。

示例性的,在上述的步骤203具体可以包括如下步骤203b和步骤203c:

步骤203b:图像处理装置对上述m帧图像进行图像融合,得到第五图像。

步骤203c:图像处理装置虚化第五图像中除第一运动对象所在区域以外的其他区域,得到目标图像。

示例性的,图像处理装置可以通过获取第一运动对象在第五图像中的坐标来确定第一运动对象所在区域。

示例性的,图像处理装置可以利用模糊算法来虚化第五图像中除第一运动对象所在区域以外的其他区域,可以理解的是,虚化第五图像中除第一运动对象所在区域以外的其他区域,即为对其他区域模糊处理。

其中,上述的模糊算法可以包括以下至少一项:高斯模糊滤波算法,均值模糊滤波算法,拉普拉斯模糊滤波算法,具体可以根据实际需求设定,本申请对此不作限定。

举例说明,结合图3,图像处理装置对3帧图像进行图像融合,得到汽车呈现实景、三角形物体和椭圆形物体呈现虚景的图像41之后,图像处理装置可以通过高斯模糊滤波算法虚化图像41中除汽车所在区域以外的其他区域。

本申请实施例提供的图像处理方法可以应用于进一步处理融合图像的场景中,图像处理装置可以通过虚化第五图像中除第一运动对象所在区域以外的其他区域,达到突出第一运动对象,并模糊其他区域的目的,增强了图像的成像效果。

可选地,在本申请实施例中,在图像处理装置采用每帧第一图像,与第二图像进行图像融合的过程中,图像处理装置可以利用一帧图像中色彩鲜艳的像素点对另一帧图像中的像素点进行覆盖,以提高图像的成像效果。

示例性的,在上述的步骤203中对上述m帧图像进行图像融合之前,该方法还可以包括如下步骤b1:

步骤b1:图像处理装置根据预设阈值,将m帧图像二值化处理,得到二值化处理后的m帧图像。

其中,预设阈值可以为预设像素值。

示例性的,上述的预设阈值可以为系统默认设置的,也可以为用户设置的,还可以为图像处理装置计算得到的,本申请实施例对此不作限定。

例如,预设阈值可以为图像处理装置根据m帧图像的像素值计算得到的像素值均值,也可以为图像处理装置根据m帧图像的像素值计算得到的像素值中值,本申请实施例对此不作限定。

示例性的,图像处理装置可以将m帧图像中每帧图像中像素点的像素值与预设阈值进行比对,将像素值大于预设阈值的像素点的像素值置为第一像素值,将像素值小于预设阈值的像素点的像素值置为第二像素值。

示例性的,上述的第一像素值和第二像素值可以为任意不同数值。

例如,以预设阈值为m帧图像的像素值中值为例,图像处理装置可以将m帧图像中每帧图像中像素点的像素值与像素值中值进行比对,可以将像素值大于预设阈值的像素点的像素值置为1,将像素值小于预设阈值的像素点的像素值置为0;或者,可以将像素值大于预设阈值的像素点的像素值置为0,将像素值小于预设阈值的像素点的像素值置为1。

基于上述的步骤b1,在图像处理装置执行步骤203中对上述m帧图像进行图像融合的过程中,图像处理装置可以对二值化处理后的任意一个第一图像的像素点的像素值,与二值化处理后的第二图像中对应位置的像素点的像素值进行比对,若像素值相同,则图像处理装置执行步骤203a1,若像素值不同,则图像处理装置执行步骤203a2,其中:

步骤203a1:若第三图像中的目标像素点的像素值,与二值化处理后的第二图像中的目标像素点的像素值相同,则图像处理装置将二值化处理前的第二图像中的目标像素点的像素值确定为目标图像中目标像素点的像素值。

步骤203a2:若第三图像中的目标像素点的像素值,与二值化处理后的第二图像中的目标像素点的像素值不同,确定第四图像,并将二值化处理前的第四图像的目标像素点的像素值确定为目标图像中目标像素点的像素值。

其中,第三图像为与第二图像配准且二值化处理后的任意一个第一图像;第四图像为第三图像和二值化处理后的第二图像中目标像素点的像素值较大的图像。

示例性的,目标像素点是指第三图像与二值化处理后的第二图像配准后同一位置上的像素点。

举例说明,以图像4为第三图像,且图像5为二值化处理后的第二图像为例,图像处理装置获取到图像4中像素点a的像素值为1,且图像5中对应的像素点b的像素值为0,此时,图像处理装置可以将二值化处理前的图像4中像素点a的像素值50,覆盖二值化处理前的图像5中像素点b的像素值10,则二值化处理前的图像5中像素点b的像素值改变为50;或者,图像处理装置获取到图像4中像素点a的像素值为1,且图像5中对应的像素点b的像素值为1,此时,图像处理装置可以保留二值化处理前的图像5中像素点b的像素值。或者,图像处理装置获取到图像4中像素点a的像素值为0,且图像5中对应的像素点b的像素值为0,此时,图像处理装置可以保留二值化处理前的图像5中像素点b的像素值0。以此类推,将图像4和图像5所有的像素点进行对比,最终可以实现将图像4与图像5融合。

本申请实施例中提供的图像处理方法可以应用于融合图像的场景中,图像处理装置可以通过将m帧图像进行二值化处理,快速确定色彩鲜艳的像素点,并根据二值化处理处理后的m帧图像,快速实现对m帧图像的融合,提高了图像的成像效果。

可选地,在本申请实施例中,单纯的局部像素覆盖可能无法产生流畅的色彩线条,因此,为保证图像的美观,可以对某些对象的运动轨迹进行色彩填充。

示例性的,在m帧图像中至少两帧图像包含第二对象的情况下,在上述的步骤201之后,该方法还可以包括如下步骤c1至步骤c3:

步骤c1:图像处理装置获取目标位置信息。

其中,目标位置信息为至少两帧图像中每帧图像的第二对象的位置信息。

示例性的,第二对象可以为运动的对象,也可以为静止的对象,本申请实施例对此不作限定。其中,第二对象可以为一个,也可以为多个,本申请实施例对此不作限定。

需要说明的是,运动的对象和静止的对象都是根据电子设备来确定的,即第二电子设备可以为相对于电子设备运动的对象,或者,可以为相对于电子设备静止的对象。

其中,在第二对象为运动的对象的情况下,第二对象可以和第一运动对象的运动速度相同,也可以和第一运动对象的运动速度不同,本申请实施例对此不作限定。

示例性的,目标位置信息可以为第二对象的坐标,也可以为第二对象相对于第一运动对象的位移和旋转量,本申请实施例对此不作限定。

步骤c2:图像处理装置根据目标位置信息,确定目标图像中第二对象的轨迹。

示例性的,图像处理装置可以通过确定每帧图像中第二对象所在区域的像素点的轨迹来确定第二对象的轨迹。

步骤c3:图像处理装置将目标像素值,确定为目标图像中的第二对象的轨迹上的像素值。

其中,目标像素值为第二图像中的第二对象的像素值,第二图像为上述至少两帧图像中的图像。

需要说明的是,上述的目标像素值除了可以为第二图像中的第二对象的像素值,也可以为m帧图像中除第二图像以外的任意一帧图像中的第二对象的像素值,本申请实施例对此不作限定。

需要说明的是,图像处理装置可以在执行步骤203中的对m帧图像进行图像融合之前,执行步骤c1至步骤c3;也可以在执行步骤203中的对m帧图像进行图像融合的过程中,执行步骤c1至步骤c3,本申请实施例对此不作限定。

举例说明,结合图2,当图像1中的三角形物体(即上述的第二对象)的点a的起始坐标为(10,10),图像2(即上述的第二图像)中三角形物体的点a的坐标为(15,10),图像3中的三角形物体的点a的坐标为(20,10)时,若图像处理装置根据陀螺仪数据判断出三角形物体仅在x轴上发生偏移,则图像处理装置可以获取到图像1中的三角形物体相对于图像2中的三角形物体在x轴向左偏移的偏移量为5,图像3中的三角形物体相对于图像2中的三角形物体在x轴向右偏移的偏移量为5。若图像1中的汽车(即上述的第一对象)相对于图像2中的汽车在x轴向左偏移的偏移量为2,图像3中的汽车相对于图像2中的汽车在x轴向右偏移的偏移量为2,则图像处理装置根据汽车,以图像2为基准,融合图像1和图像3的过程中,图像处理装置可以确定图像1中三角形物体的点a的坐标(10,10)对应图像2中的坐标(12,10),确定图像3中三角形物体的点a的坐标(20,10)对应图像2中的坐标(18,10)。然后,图像处理装置可以确定三角形物体的点a在图像1、图像3与图像2融合后的图像中的轨迹为坐标(12,10)至坐标(18,10)。最后,图像处理装置可以将图像2中三角形物体的点a对应的像素值,确定为坐标(12,10)至坐标(18,10)整个直线段对应的像素值。最终,如图4所示,可以得到包括线条流畅的三角形物体的图像51。

需要说明的是,对于三维图像,图像1中的三角形物体相对于图像2中的三角形物体的位移,以及图像3中的三角形物体相对于图像2中的三角形物体的位移,可以根据lk光流法,或者mtb模型法进行计算。

需要说明的是,若第二对象为多个,计算上述的至少两帧图像中每帧第一图像中的每个第二对象,相对于第二图像中的第二对象的位移和旋转量会增加图像处理装置的运行负担,因此,为减少计算量以减轻图像处理装置的运行负担,图像处理装置可以在第二图像中,根据上述的目标参数,确定目标图像中第二对象的轨迹。

例如,图像2(即上述的第二图像)中三角形物体的点a的坐标为(15,10),若图像处理装置根据陀螺仪数据判断出三角形物体仅在x轴上发生偏移,且图像1中的汽车(即上述的第一对象)相对于图像2中的汽车在x轴向左偏移的偏移量为2,图像3中的汽车相对于图像2中的汽车在x轴向右偏移的偏移量为2,则图像处理装置可以确定三角形物体的点a在图像1和图像3与图像2融合后的图像中的轨迹为坐标(13,10)至坐标(17,10)。最后,图像处理装置可以将图像2中三角形物体的点a对应的像素值,确定为坐标(13,10)至坐标(17,10)整个直线段对应的像素值。

此外,图像处理装置除了可以根据目标位置信息,确定目标图像中第二对象的轨迹,也可以确定上述的至少两帧图像中每帧图像中的第二对象在每帧图像上的轨迹,并进行色彩覆盖。

例如,结合图2,若图像1中的汽车相对于图像2中的汽车在x轴向左偏移的偏移量为6,图像3中的汽车相对于图像2中的汽车在x轴向右偏移的偏移量为6,当图像1中的三角形物体(即上述的第二对象)的点a的起始坐标为(10,10),图像3中的三角形物体的点a的坐标为(20,10)时,图像处理装置根据陀螺仪数据判断出三角形物体仅在x轴上发生偏移。此时,图像处理装置可以根据汽车的偏移量6确定图像1中的三角形物体的点a的运动轨迹为从坐标(10,10)移动到坐标(16,10),并确定图像3中的三角形物体的点a的运动轨迹为从坐标(20,10)移动到坐标(16,10)。然后,图像处理装置可以将图像1中的三角形物体的点a的像素值,确定为坐标(10,10)到坐标(16,10)整个直线段对应的像素值,图像处理装置可以将图像3中的三角形物体的点a的像素值,确定为坐标(20,10)到坐标(16,10)整个直线段对应的像素值。最终,图像处理装置可以以图像2为基准,融合图像1和图像3,得到线条流畅的三角形物体的图像。

需要说明的是,为提高图像处理装置确定目标图像中的图像处理装置也可以分别计算出第二对象的位移和旋转量,根据第二对象的实际偏移量确定第二对象的轨迹,并进行像素值覆盖。例如,图像1中的三角形物体的点a的起始坐标为(10,10),图像2中的三角形物体的点a的起始坐标为(14,10),图像处理装置计算出图像1中的三角形物体相对于图像2中的三角形物体在x轴向左偏移的偏移量为4,则确定图像1中的三角形物体的点a的运动轨迹为从坐标(10,10)移动到坐标(14,10)。

本申请实施例提供的图像处理方法可以应用于平滑第二对象线条的场景中,图像处理装置可以在第二对象的轨迹之后,对第二对象的轨迹上的像素点的像素值进行色彩覆盖,使得第二对象的线条流畅,提升了图像的视觉效果。

可选地,在本申请实施例中,当图像处理装置采集到多帧图像时,图像处理装置可以从该多帧图像中筛选出包括较完整的第一运动对象的m帧图像,进行后续的图像处理,以提高目标图像的美观度。

示例性的,上述的步骤201具体可以包括如下步骤201a至步骤201c:

步骤201a:图像处理装置接收用户的第一输入。

其中,第一输入可以为:用户针对相机快门的点击输入,或者为用户输入的语音指令,或者为用户输入的特定手势,具体的可以根据实际使用需求确定,本申请实施例对此不作限定。

本申请实施例中的特定手势可以为单击手势、滑动手势、拖动手势、压力识别手势、长按手势、面积变化手势、双按手势、双击手势中的任意一种;本申请实施例中的点击输入可以为单击输入、双击输入或任意次数的点击输入等,还可以为长按输入或短按输入。

步骤201b:响应于上述第一输入,图像处理装置针对第一运动对象采集n帧图像。

其中,n帧图像中的全部或部分图像包含第一运动对象,包含第一运动对象的图像中可以包含全部或部分第一运动对象,n为大于或等于m的整数。

需要说明的是,图像处理装置在采集n帧图像的过程中,需要严格控制曝光设置,以保证图像的成像效果相似。例如,图像处理装置在采集n帧图像的过程中每采集一帧图像,可以调整一次曝光设置。

可以理解,在理想状态下,在采集n帧图像的录制时间内,第一运动对象从电子设备的界面一侧刚好运动到另一侧。

其中,采集n帧图像的录制时间可以为系统默认的,可以为用户设置的,本申请实施例对此不作限定。

步骤201c:图像处理装置根据第一运动对象,从n帧图像中确定m帧图像。

示例性的,由于在采集n帧图像的录制时间内,不能保证第一运动对象从图像处理装置的拍摄界面一侧刚好运动到另一侧,因此,图像处理装置可以在获取到n帧图像之后,根据特征点筛选,筛选出具有相对完整的第一运动对象的图像,从而确定出m帧图像。例如,确定出至少4帧图像。

进一步的,在步骤201a之前,用户可以触控目标按键,控制图像处理装置处于目标拍摄模式,该目标拍摄模式为优先对运动对象进行聚焦的模式。

其中,目标控件可以为已有按键,也可以为新增的按键,本申请实施例对此不作限定。

在一种示例中,图像处理装置可以通过自动聚焦检测算法对运动对象进行聚焦。

在另一种示例中,图像处理装置可以通过用户手动对运动对象进行聚焦。

举例说明,如图2所示,当用户需求拍摄运动对象为实景的图像时,可以点击“专业拍照”按键,此时,图像处理装置的拍摄界面类似于视频拍摄界面,用户可以将摄像头对准想要拍摄的汽车。然后,用户可以判断汽车进入拍摄界面的位置,并手动对焦,当汽车进入拍摄界面后,图像处理装置可以利用自动追焦检测技术对汽车进行追焦,并采集6帧图像。接着,图像处理装置可以根据特征点筛选,最终筛选出具有完整汽车图案的4帧图像。

需要说明的是,当拍摄界面中包括多个运动对象时,将用户手动对焦的运动对象作为第一运动对象。

本申请实施例提供的图像处理方法可以应用于筛选图像的场景中,图像处理装置可以在采集到n帧图像后,筛选出保存有较完整的第一运动对象图案的m帧图像,然后,图像处理装置可以利用m帧图像进行下一步的图像处理,进而可以提高目标图像的成像效果。

可选地,在本申请实施例中,在步骤201c之后,该方法还可以包括:图像处理装置可以根据特征点提取的方式提取出m帧图像中每帧图像中的第一运动对象,并根据参考物比对法判断第一运动对象是否发生了明显的运动,若是,则图像处理装置继续执行步骤201至步骤203;若否,则图像处理装置可以对m帧图像进行简单的图像配准后输出图像,或者选择m帧图像中画质较好的图像作为输出图像。

其中,第一运动对象未发生明显的运动是指图像处理装置检测到第一运动对象未运动,或者,检测到只有图像处理装置抖动发生的运动偏移。

这样,图像处理装置可以只对运动的第一运动对象进行下一步的图像处理,提高了图像处理装置的灵活性。

需要说明的是,本申请实施例提供的图像处理方法,执行主体可以为图像处理装置,或者该图像处理装置中的用于执行图像处理方法的控制模块。本申请实施例中以图像处理装置执行图像处理方法为例,说明本申请实施例提供的图像处理装置。

图5为实现本申请实施例提供的一种图像处理装置的可能的结构示意图,如图5所示,图像处理装置600包括:获取模块601和图像融合模块602,其中:获取模块601,用于获取m帧图像,用于获取m帧图像,m帧图像中的每帧图像均包括第一运动对象;以及获取每帧第一图像中的第一运动对象,相对于第二图像中的第一运动对象的目标参数,该目标参数包括位移和旋转量;图像融合模块602,用于根据获取模块601获取到的第一运动对象和目标参数,对m帧图像进行图像融合,得到目标图像;其中,第一图像为m帧图像中除第二图像以外的其他图像,第二图像为m帧图像中的一帧图像,m为大于1的整数。

可选地,如图5所示,图像处理装置600还包括:图像配准模块603;图像配模块603,用于根据获取模块601获取到的第一运动对象和目标参数,将每帧第一图像,与第二图像进行图像配准。

可选地,如图5所示,图像处理装置600还包括:图像二值化模块604;图像二值化模块604,用于根据预设阈值,将m帧图像二值化处理,得到二值化处理后的m帧图像;图像融合模块602,具体用于:若第三图像中的目标像素点的像素值,与二值化处理后的第二图像中的目标像素点的像素值相同,则将二值化处理前的第二图像中的目标像素点的像素值确定为目标图像中目标像素点的像素值;或者,若第三图像中的目标像素点的像素值,与二值化处理后的第二图像中的目标像素点的像素值不同,则确定第四图像,并将二值化处理前的第四图像的目标像素点的像素值确定为目标图像中目标像素点的像素值;其中,第三图像为与第二图像配准且二值化处理后的任意一个第一图像;第四图像为第三图像和二值化处理后的第二图像中目标像素点的像素值较大的图像。

可选地,如图5所示,图像处理装置600还包括:确定模块605;获取模块601,还用于在m帧图像中至少两帧图像包含第二对象的情况下,获取目标位置信息,该目标位置信息为至少两帧图像中每帧图像的第二对象的位置信息;确定模块605,用于根据获取模块601获取到的目标位置信息,确定目标图像中第二对象的轨迹;以及将目标像素值,确定为目标图像中的第二对象的轨迹上的像素值;其中,目标像素值为第二图像中的第二对象的像素值,第二图像为至少两帧图像中的图像。

可选地,如图5所示,图像处理装置600还包括:虚化模块606;图像融合模块602,具体用于对m帧图像进行图像融合,得到第五图像;虚化模块606,用于虚化图像融合模块602得到的第五图像中除第一运动对象所在区域以外的其他区域,得到目标图像。

需要说明的是,如图5所示,电子设备600中一定包括的模块用实线框示意,如获取模块601;电子设备600中可以包括也可以不包括的模块用虚线框示意,如虚化模块606。

本申请实施例提供的图像处理装置,图像处理装置在获取到均包括第一运动对象的m帧图像之后,可以获取每帧第一图像中的第一运动对象,相对于第二图像(m帧图像中的一帧图像)中的第一运动对象的目标参数(即位移和旋转量)。然后,图像处理装置可以根据第一运动对象和目标参数,对m帧图像进行图像融合,得到目标图像。其中,第一图像为m帧图像中除第二图像以外的其他图像。通过上述方案,在用户需求拍摄出运动的第一运动对象呈现实景的目标图像的情况下,一方面,相比于相关技术需要保持电子设备与第一运动对象的运动速度一致来进行拍摄的方案,本申请无需用户移动电子设备,只需要对第一运动对象采集m帧图像即可,从而可以简化拍摄难度。另一方面,图像处理装置在获取到包含第一运动对象的m帧图像之后,可以以m帧图像中的第二图像为基准,确定每帧第一图像中的第一运动对象相对于第二图像中的第一运动对象的位移和旋转量;再根据每帧第一图像中的第一运动对象、第二图像中的第一运动对象和每帧第一图像中的第一运动对象相对于第二图像中的第一运动对象的位移和旋转量,对m帧图像进行图像融合。由于在对m帧图像进行图像融合的过程中,图像处理装置是通过每帧第一图像中的第一运动对象相对于第二图像中的第一运动对象的位移和旋转量进行图像融合的。因此,能够保证每帧第一图像和第二图像中的第一运动对象完全融合,从而使得目标图像能够保留清晰的第一运动对象,进而实现拍摄特殊效果的运动模糊图像。相比于相关技术中因为无法保持电子设备与第一运动对象的运动速度一致而导致拍摄失败,需要不断重复拍摄的情况,本申请中的图像处理装置可以通过算法处理,直接得到第一运动对象呈现实景的目标图像,不仅简化了拍摄步骤,还提高了拍摄目标图像的成像效果。

本申请实施例中的图像处理装置可以是装置,也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备,也可以为非移动电子设备。示例性的,移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobilepersonalcomputer,umpc)、上网本或者个人数字助理(personaldigitalassistant,pda)等,非移动电子设备可以为服务器、网络附属存储器(networkattachedstorage,nas)、个人计算机(personalcomputer,pc)、电视机(television,tv)、柜员机或者自助机等,本申请实施例不作具体限定。

本申请实施例中的图像处理装置可以为具有操作系统的装置。该操作系统可以为安卓(android)操作系统,可以为ios操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。

本申请实施例提供的图像处理装置能够实现图1至图4的方法实施例中实现的各个过程,为避免重复,这里不再赘述。

可选地,如图6所示,本申请实施例还提供一种电子设备700,包括处理器701,存储器702,存储在存储器702上并可在所述处理器701上运行的程序或指令,该程序或指令被处理器701执行时实现上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。

需要注意的是,本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。

图7为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备100包括但不限于:射频单元101、网络模块102、音频输出单元103、输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、以及处理器110等部件。

本领域技术人员可以理解,电子设备100还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器110逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图7中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。

其中,输入单元104,用于获取m帧图像,m帧图像中的每帧图像均包括第一运动对象;处理器110,用于获取每帧第一图像中的第一运动对象,相对于第二图像中的第一运动对象的目标参数,该目标参数包括位移和旋转量;以及根据第一运动对象和目标参数,对m帧图像进行图像融合,得到目标图像;其中,第一图像为m帧图像中除第二图像以外的其他图像,第二图像为m帧图像中的一帧图像,m为大于1的整数。

可选地,处理器110,用于根据第一运动对象和目标参数,将每帧第一图像,与第二图像进行图像配准。

可选地,处理器110,具体用于:根据预设阈值,将m帧图像二值化处理,得到二值化处理后的m帧图像;以及若第三图像中的目标像素点的像素值,与二值化处理后的第二图像中的目标像素点的像素值相同,则将二值化处理前的第二图像中的目标像素点的像素值确定为目标图像中目标像素点的像素值;或者,若第三图像中的目标像素点的像素值,与二值化处理后的第二图像中的目标像素点的像素值不同,则确定第四图像,并将二值化处理前的第四图像的目标像素点的像素值确定为目标图像中目标像素点的像素值;其中,第三图像为与第二图像配准且二值化处理后的任意一个第一图像;第四图像为第三图像和二值化处理后的第二图像中目标像素点的像素值较大的图像。

可选地,处理器110,还用于在m帧图像中至少两帧图像包含第二对象的情况下,获取目标位置信息,该目标位置信息为至少两帧图像中每帧图像的第二对象的位置信息;以及根据目标位置信息,确定目标图像中第二对象的轨迹;以及将目标像素值,确定为目标图像中的第二对象的轨迹上的像素值;其中,目标像素值为第二图像中的第二对象的像素值,第二图像为至少两帧图像中的图像。

可选地,处理器110,具体用于对m帧图像进行图像融合,得到第五图像;以及虚化第五图像中除第一运动对象所在区域以外的其他区域,得到目标图像。

本申请实施例提供的电子设备,电子设备在获取到均包括第一运动对象的m帧图像之后,可以获取每帧第一图像中的第一运动对象,相对于第二图像(m帧图像中的一帧图像)中的第一运动对象的目标参数(即位移和旋转量)。然后,电子设备可以根据第一运动对象和目标参数,对m帧图像进行图像融合,得到目标图像。其中,第一图像为m帧图像中除第二图像以外的其他图像。通过上述方案,在用户需求拍摄出运动的第一运动对象呈现实景的目标图像的情况下,一方面,相比于相关技术需要保持电子设备与第一运动对象的运动速度一致来进行拍摄的方案,本申请无需用户移动电子设备,只需要对第一运动对象采集m帧图像即可,从而可以简化拍摄难度。另一方面,电子设备在获取到包含第一运动对象的m帧图像之后,可以以m帧图像中的第二图像为基准,确定每帧第一图像中的第一运动对象相对于第二图像中的第一运动对象的位移和旋转量;再根据每帧第一图像中的第一运动对象、第二图像中的第一运动对象和每帧第一图像中的第一运动对象相对于第二图像中的第一运动对象的位移和旋转量,对m帧图像进行图像融合。由于在对m帧图像进行图像融合的过程中,电子设备是通过每帧第一图像中的第一运动对象相对于第二图像中的第一运动对象的位移和旋转量进行图像融合的。因此,能够保证每帧第一图像和第二图像中的第一运动对象完全融合,从而使得目标图像能够保留清晰的第一运动对象,进而实现拍摄特殊效果的运动模糊图像。相比于相关技术中因为无法保持电子设备与第一运动对象的运动速度一致而导致拍摄失败,需要不断重复拍摄的情况,本申请中的电子设备可以通过算法处理,直接得到第一运动对象呈现实景的目标图像,不仅简化了拍摄步骤,还提高了拍摄目标图像的成像效果。

应理解的是,本申请实施例中,输入单元104可以包括图形处理器(graphicsprocessingunit,gpu)1041和麦克风1042,图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元106可包括显示面板1061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板1061。用户输入单元107包括触控面板1071以及其他输入设备1072。触控面板1071,也称为触摸屏。触控面板1071可包括触摸检测装置和触摸控制器两个部分。其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。存储器109可用于存储软件程序以及各种数据,包括但不限于应用程序和操作系统。处理器110可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器110中。

本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。

其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器(read-onlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、磁碟或者光盘等。

本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。

应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1