一种图像处理方法及装置与流程

文档序号:18903321发布日期:2019-10-18 22:16阅读:178来源:国知局
一种图像处理方法及装置与流程

本发明涉及图像处理技术领域,特别是涉及一种图像处理方法及装置。



背景技术:

模拟镜头的景深效果是计算摄影学中的一个课题,由于其蕴含的美学观感,景深虚化也是智能终端拍照应用中重要的功能之一。

下面以智能终端为智能手机为例进行举例说明,对于智能手机而言,由于其镜头口径大小的影响,对于不同景深物体距离的反应程度有限,也就是说,利用智能手机所拍摄的图像,前景和背景的清晰度基本一致,如图1所示。

目前,使得智能手机所拍摄的图像产生景深虚化的过程通常是:智能手机拍摄图像后,利用某一滤波半径对图像的背景进行滤波操作。这种方法对背景的不同区域的虚化程度一致,导致图像景深虚化的真实性较差。例如,如图2所示,前景(人像)悬空于背景中。



技术实现要素:

为解决上述技术问题,本发明示出了一种图像处理方法及装置。

第一方面,本发明实施例提供了一种图像处理方法,所述方法包括:

获取待处理图像;

确定所述待处理图像的目标背景区域的目标深度变化类型,所述目标深度变化类型用于表征:所述目标背景区域中像素点的深度值的大小变化规律;

基于所述目标深度变化类型,确定所述目标背景区域中各个像素点对应的滤波参数,其中,具有不同深度值的像素点,对应的滤波参数不同;

对于所述目标背景区域中的每一像素点,利用该像素点对应的滤波参数对该像素点进行滤波。

可选的,所述滤波参数为滤波半径;

所述目标背景区域中任一像素点对应的滤波半径的大小与该像素点的深度值大小成正比。

可选的,所述基于所述目标深度变化类型,确定所述目标背景区域中各个像素点对应的滤波参数,包括:

利用预先生成的深度变化类型与深度模板的对应关系,确定所述目标深度变化类型对应的目标深度模板,其中,任一深度模板是基于一种深度变化类型的样本图像生成的灰度图,该深度模板中任一像素点的灰度值大小与所述样本图像中目标像素点的深度值大小成正比,所述目标像素点在所述样本图像的位置与该像素点在所述灰度图中的位置一致;

针对所述目标背景区域中的每一像素点,基于该像素点在所述目标深度模板中对应的灰度值,确定该像素点对应的滤波半径,其中,一个像素点对应的滤波半径大小与该像素点在所述目标深度模板中对应的灰度值大小成正比。

可选的,利用样本图像生成深度模板的方式,具体为:

确定样本图像的背景区域的深度变化类型;

基于所确定的深度变化类型,确定位于所述背景区域四个顶点的四个像素点的深度值大小关系;

基于所确定的深度值大小关系,分别确定位于深度模板的四个顶点的像素点对应的灰度值;

基于所确定的四个顶点灰度值,利用插值法得到深度模板中其他像素点的灰度值。

可选的,所述基于所确定的深度值大小关系,分别确定位于深度模板的四个顶点的像素点对应的灰度值,包括:

将预先设定的最大灰度值,确定为位于深度模板的四个顶点的像素点中,最大深度值对应的第一像素点对应的第一灰度值;

将预先设定的最小灰度值,确定为位于深度模板的四个顶点的像素点中,最小深度值对应的第二像素点对应的第二灰度值。

可选的,所述针对所述目标背景区域中的每一像素点,基于该像素点在所述目标深度模板中对应的灰度值,确定该像素点对应的滤波半径,包括:

获取预先设定的最大滤波半径和最小滤波半径;

将所述最大滤波半径确定为所述目标背景区域中、最大灰度值对应的像素点的滤波半径,并将最小滤波半径确定为所述目标背景区域中、最小灰度值对应的像素点的滤波半径;

根据所述目标背景区域中其他各个像素点对应的灰度值,确定所述目标背景区域中其他各个像素点的滤波半径。

可选的,所述确定所述待处理图像的目标背景区域的目标深度变化类型,包括:

将所述待处理图像输入至预先训练好的卷积神经网络中,得到所述待处理图像的目标背景区域的目标深度变化类型,其中,所述卷积神经网络是基于多张样本图像与所述多张样本图像的背景区域的深度变化类型训练得到的;

所述多张样本图像的背景区域的深度变化类型包括:无深度变化,纵向深度变化,横向深度变化,以及纵向和横向混合深度变化。

可选的,所述目标深度变化类型为无深度变化;

所述基于所述目标深度变化类型,确定所述目标背景区域中各个像素点对应的滤波参数,包括:

获取预先设定的最大滤波半径和最小滤波半径;

计算所述待处理图像的前景区域占整个待处理图像区域的面积比例;

根据所述面积比例,确定目标滤波半径,其中,所述目标滤波半径与所述面积比例成正比,且所述目标滤波半径不小于所述最小滤波半径,并不大于所述最大滤波半径;

将所述目标滤波半径确定为所述目标背景区域中各个像素点的滤波半径。

可选的,所述方法还包括:

对所述待处理图像的的目标前景区域进行前景检测,得到所述待处理图像的目标前景区域。

第二方面,本发明示出了一种图像处理装置,所述装置包括:

图像获取模块,用于获取待处理图像;

类型确定模块,用于确定所述待处理图像的目标背景区域的目标深度变化类型,所述目标深度变化类型用于表征:所述目标背景区域中像素点的深度值的大小变化规律;

滤波半径确定模块,用于基于所述目标深度变化类型,确定所述目标背景区域中各个像素点对应的滤波参数,其中,具有不同深度值的像素点,对应的滤波参数不同;

滤波模块,用于对于所述目标背景区域中的每一像素点,利用该像素点对应的滤波参数对该像素点进行滤波。

可选的,所述滤波参数为滤波半径;

所述目标背景区域中任一像素点对应的滤波半径的大小与该像素点的深度值大小成正比。

可选的,所述滤波参数确定模块,包括:

深度模板生成单元,用于利用预先生成的深度变化类型与深度模板的对应关系,确定所述目标深度变化类型对应的目标深度模板,其中,任一深度模板是基于一种深度变化类型的样本图像生成的灰度图,该深度模板中任一像素点的灰度值大小与所述样本图像中目标像素点的深度值大小成正比,所述目标像素点在所述样本图像的位置与该像素点在所述灰度图中的位置一致;

滤波半径确定单元,用于针对所述目标背景区域中的每一像素点,基于该像素点在所述目标深度模板中对应的灰度值,确定该像素点对应的滤波半径,其中,一个像素点对应的滤波半径大小与该像素点在所述目标深度模板中对应的灰度值大小成正比。

可选的,所述深度模板生成单元利用样本图像生成深度模板的方式,具体为:

确定样本图像的背景区域的深度变化类型;

基于所确定的深度变化类型,确定位于所述背景区域四个顶点的四个像素点的深度值大小关系;

基于所确定的深度值大小关系,分别确定位于深度模板的四个顶点的像素点对应的灰度值;

基于所确定的四个顶点灰度值,利用插值法得到深度模板中其他像素点的灰度值。

可选的,所述深度模板生成单元,具体用于:

将预先设定的最大灰度值,确定为位于深度模板的四个顶点的像素点中,最大深度值对应的第一像素点对应的第一灰度值;

将预先设定的最小灰度值,确定为位于深度模板的四个顶点的像素点中,最小深度值对应的第二像素点对应的第二灰度值。

可选的,所述滤波半径确定单元,具体用于:

获取预先设定的最大滤波半径和最小滤波半径;

将所述最大滤波半径确定为所述目标背景区域中、最大灰度值对应的像素点的滤波半径,并将最小滤波半径确定为所述目标背景区域中、最小灰度值对应的像素点的滤波半径;

根据所述目标背景区域中其他各个像素点对应的灰度值,确定所述目标背景区域中其他各个像素点的滤波半径。

可选的,所述类型确定模块,具体用于:

将所述待处理图像输入至预先训练好的卷积神经网络中,得到所述待处理图像的目标背景区域的目标深度变化类型,其中,所述卷积神经网络是基于多张样本图像与所述多张样本图像的背景区域的深度变化类型训练得到的;

所述多张样本图像的背景区域的深度变化类型包括:无深度变化,纵向深度变化,横向深度变化,以及纵向和横向混合深度变化。

可选的,所述目标深度变化类型为无深度变化;

所述滤波参数确定模块,具体用于:

获取预先设定的最大滤波半径和最小滤波半径;

计算所述待处理图像的前景区域占整个待处理图像区域的面积比例;

根据所述面积比例,确定目标滤波半径,其中,所述目标滤波半径与所述面积比例成正比,且所述目标滤波半径不小于所述最小滤波半径,并不大于所述最大滤波半径;

将所述目标滤波半径确定为所述目标背景区域中各个像素点的滤波半径。

可选的,所述装置还包括:

前景检测模块,用于对所述待处理图像的的目标前景区域进行前景检测,得到所述待处理图像的目标前景区域。

第三方面,本发明示出了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现第一方面所述的图像处理方法的步骤。

第四方面,本发明使出了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现第一方面所述的图像处理方法的步骤。

本发明实施例提供的技术方案,获取待处理图像后;确定待处理图像的目标背景区域的目标深度变化类型,目标深度变化类型用于表征:所述目标背景区域中像素点的深度值的大小变化规律;基于目标深度变化类型,确定目标背景区域中各个像素点对应的滤波参数,其中,具有不同深度值的像素点,对应的滤波参数不同;对于目标背景区域中的每一像素点,利用该像素点对应的滤波参数对该像素点进行滤波。可见,通过本发明实施例提供的技术方案,对背景区域中具有不同深度值的像素点进行不同程度的虚化,图像景深虚化更加真实。

附图说明

图1是现有的智能手机所拍摄的图像;

图2是现有的景深虚化后的图像;

图3是本发明实施例的一种图像处理方法的步骤流程图;

图4是背景区域的深度变化类型为无深度变化的图像;

图5是背景区域的深度变化类型为纵向深度变化的图像;

图6是背景区域的深度变化类型为横向深度变化的图像;

图7是背景区域的深度变化类型为纵向和横向混合深度变化的图像;

图8是本发明实施例的另一种图像处理方法的步骤流程图;

图9是本发明实施例的一种当深度变化类型为无深度变化时,对应的深度模板的示意图;

图10是本发明实施例的一种当深度变化类型为纵向深度变化时,对应的深度模板的示意图;

图11是本发明实施例的一种当深度变化类型为横向深度变化时,对应的深度模板的示意图;

图12是本发明实施例的一种当深度变化类型为纵向和横向混合深度变化时,对应的深度模板的示意图;

图13是本发明实施例的一种图像处理装置的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。

为了解决背景技术记载的技术问题,本发明实施例提供了一种图像处理方法及装置。

需要说明的是,本发明所提供的图像处理方法的执行主体可以为具有拍照功能的智能终端,该智能终端可以为智能手机、平板等,本发明实施例对电子设备不做具体限定。

参照图3,示出了本发明的一种图像处理方法的步骤流程图,具体可以包括如下步骤:

s310,获取待处理图像。

其中,待处理图像可以是智能终端拍摄的任意一张或多张图像,或者,待处理图像还可以是智能终端从其他智能终端获取的任意一张图像,这都是合理的。

可以理解的是,待处理图像通常包括前景区域和背景区域。前景区域可以是人像,物像等;背景区域为待处理图像中除前景区域之外的其他区域。

s320,确定待处理图像的目标背景区域的目标深度变化类型,目标深度变化类型用于表征:目标背景区域中像素点的深度值的大小变化规律。

在获取到待处理图像之后,为了使得后续步骤中,对背景区域中不同深度的像素点进行不同程度的虚化,使得图像景深虚化更加真实,可以确定待处理图像的背景区域的深度变化类型,为了方案描述清楚,可以将待处理图像的背景区域称为目标背景区域,将待处理图像的背景区域的深度变化类型称为目标深度变化类型。

其中,目标深度变化类型用于表征目标背景区域中像素点的深度值的大小变化规律。在实际应用场景中,目标深度变化类型大致可以分为四种类型,第一种类型为无深度变化,即背景区域中各个像素点的深度值相同,如图4所示,为背景区域的深度变化类型为无深度变化的图像。第二种类型为纵向深度变化,即背景区域中,从下到上,像素点的深度值由小变大,如图5所示,为背景区域的深度变化类型为纵向深度变化的图像;或者,背景区域中,从下到上,像素点的深度值由大变小。第三种类型为横向深度变化,即背景区域中,从左到右,像素点的深度值由小变大,如图6所示,为背景区域的深度变化类型为横向深度变化的图像;或者,背景区域中,从左到右,像素点的深度值由大到小。第四种类型为:纵向和横向混合深度变化,即背景区域中,从上到下,像素点的深度值大小发生变化,且从左到右,像素点的深度值大小也发生变化,如图7所示,为背景区域的深度变化类型为纵向和横向混合深度变化的图像。

在一种实施方式中,确定待处理图像的目标背景区域的目标深度变化类型,可以包括:

将待处理图像输入至预先训练好的卷积神经网络中,得到待处理图像的目标背景区域的目标深度变化类型。

其中,卷积神经网络是基于多张样本图像与多张样本图像的背景区域的深度变化类型训练得到的。

在该实施方式中,在训练卷积神经网络时,可以采集多张样本图像,这多张样本图像的背景区域的深度变化类型大致可以分为四种类型,分别为:无深度变化,纵向深度变化,横向深度变化,纵向和横向混合深度变化。

对于多张样本图像中的每一张样本图像,可以标定该张样本图像的背景区域的深度变化类型,并将标定后的多张样本图像输入到卷积神经网络中,对于多张样本图像中的每一张样本图像,判断输出的深度变化类型与该张样本图像所标定的深度变化类型是否一致,如果输出的深度变化类型与该张样本图像所标定的深度变化类型不一致,则调整模型参数,直至将每一张样本图像输入到该卷积神经网络之后,所输出的深度变化类型与该张样本图像所标定的深度变化类型一致,并将调整模型参数后的卷积神经网络确定为训练好的卷积神经网络。

在训练好卷积神经网络之后,将待处理图像输入该训练好的卷积神经网络中,即可得到待处理图像的背景区域的深度变化类型。

并且,为了保证景深虚化后的图像能够聚焦在前景区域中,在一种实施方式中,该图像处理方法,还可以包括:对待处理图像的的目标前景区域进行前景检测,得到待处理图像的目标前景区域。其中,该目标前景区域在后续步骤中不参与滤波操作,即不对目标前景区域进行虚化处理。

s330,基于目标深度变化类型,确定目标背景区域中各个像素点对应的滤波参数,其中,具有不同深度值的像素点,对应的滤波参数不同。

可以理解的是,真实的景深虚化图像通常是:不同深度(景深)的背景区域具有不同的弥散程度,即不同深度的背景区域的虚化程度应当有所差别。因此,为了使得景深虚化后的图像更加真实,具有不同深度值的像素点,对应的滤波参数不同。其中,滤波参数可以是滤波半径等,本发明实施例对滤波参数不做具体限定。

在一种实施方式中,滤波参数为滤波半径,此时,目标背景区域中任一像素点对应的滤波半径的大小与该像素点的深度值大小成正比。

为了使得景深虚化后的图像更加真实,深度较小(景深较浅)的背景区域应采用较小的滤波半径,以达到虚化程度较小的效果,而深度较大(景深较深)的背景区域应采用较大的滤波半径,以达到虚化程度较大的效果,从而形成带有深浅渐变的景深虚化效果。

因此,在确定待处理图像的目标深度变化类型之后,为了得到更加真实的景深虚化图像,待处理图像的目标背景区域中,深度值较大的像素点对应的滤波半径较大,深度值较小的像素点对应的滤波半径较小,以使得后续步骤中,能够达到深度值较大的像素点的虚化程度较大,深度值较小的像素点虚化程度较小的效果。

需要说明的是,在一种实施方式中,待处理图像的目标深度变化类型可能为无深度变化,在这种情况下,基于目标深度变化类型,确定目标背景区域中各个像素点对应的滤波参数,可以包括如下步骤:

获取最大滤波半径和最小滤波半径;

计算待处理图像的前景区域占整个待处理图像区域的面积比例;

根据面积比例,确定目标滤波半径,其中,目标滤波半径与面积比例成正比,且目标滤波半径不小于最小滤波半径,不大于最大滤波半径;

将目标滤波半径确定为目标背景区域中各个像素点的滤波半径。

在该实施方式中,由于待处理图像的目标深度变化类型为无深度变化,因此,待处理图像的目标背景区域的各个像素点,所对应的滤波半径应该是相同的,为了方案描述清楚,将该滤波半径称为目标滤波半径。

这种情况下,确定目标滤波半径的方法可以为:获取最大滤波半径和最小滤波半径,并计算前景区域占整个待处理图像区域的面积比例,如果前景区域占整个待处理图像的面积比例较大,为了达到聚焦前景区域的目的,可以将较大的滤波半径确定为目标滤波半径,如果前景区域占整个待处理图像的面积比例较小,可以将较小的滤波半径确定为目标滤波半径。

其中,最大滤波半径以及最小滤波半径,可以是系统设置的,或者用户根据实际需要选择的,这都是合理的。

s340,对于目标背景区域中的每一像素点,利用该像素点对应的滤波参数对该像素点进行滤波。

在确定了目标背景区域中的每一像素点对应的滤波半径后,可以对目标背景区域中的各个像素点执行滤波操作。

其中,在一种实施方式中,当滤波参数为滤波半径时,对于一个像素点来说,采用该像素点对应的滤波半径对该像素点进行滤波的过程可以为:以该像素点为圆心,以该像素点对应的滤波半径为半径,确定一个圆;并将这个圆中各个像素点的像素值加权求平均,并将加权平均后所求得的像素值作为该像素点的像素值。

需要说明的是,待处理图像的前景区域不进行滤波操作。在对待处理图像的背景区域的任一像素点进行滤波的过程中,如果以该像素点为圆心,以该像素点对应的滤波半径为半径,所确定的圆覆盖到前景区域,在加权求和时,不对前景区域中像素点的像素值进行加权求和。

当然,采用滤波半径对像素点进行滤波的过程,可以是本领域技术人员可理解的任何过程,本发明实施例对此不做具体限定。

本发明实施例提供的技术方案,获取待处理图像后;确定待处理图像的目标背景区域的目标深度变化类型,目标深度变化类型用于表征:所述目标背景区域中像素点的深度值的大小变化规律;基于目标深度变化类型,确定目标背景区域中各个像素点对应的滤波参数,其中,具有不同深度值的像素点,对应的滤波参数不同;对于目标背景区域中的每一像素点,利用该像素点对应的滤波参数对该像素点进行滤波。可见,通过本发明实施例提供的技术方案,对背景区域中具有不同深度值的像素点进行不同程度的虚化,图像景深虚化更加真实。

参照图8,示出了本发明的一种图像处理方法的步骤流程图,具体可以包括如下步骤:

s810,获取待处理图像。

步骤s810与步骤s310一致,图3已经对步骤s310进行了详细阐述,在此不再对步骤s810进行赘述。

s820,确定待处理图像的目标背景区域的目标深度变化类型,目标深度变化类型用于表征:目标背景区域中像素点的深度值的大小变化规律。

步骤s820与步骤s320一致,图3已经对步骤s320进行了详细阐述,在此不再对步骤s820进行赘述。

s830,利用预先生成的深度变化类型与深度模板的对应关系,确定目标深度变化类型对应的目标深度模板。

其中,任一深度模板是基于一种深度变化类型的样本图像生成的灰度图,该深度模板中任一像素点的灰度值大小与样本图像中目标像素点的深度值大小成正比,目标像素点在样本图像的位置与该像素点在灰度图中的位置一致。

在该步骤中,在确定待处理图像的目标深度变化类型后,可以在预先生成的深度变化类型与深度模板的对应关系中,查找到与目标深度变化类型对应的目标深度模板。可以理解的是,由于目标深度变化类型大致有四种类型,目标深度模板也通常为四种类型。

具体的,在深度变化类型为无深度变化时,即目标背景区域中各个像素点的深度值相同,该种深度变化类型对应的深度模板中,各个像素点对应的灰度值相同。举例而言,如图9所示,背景区域中各个像素点的深度值均为0,深度模板中,各个像素点的灰度值均为0。

在深度变化类型为纵向深度变化时,即从上到下,背景区域中像素点的深度值从小变大;或者,从上到下,背景区域中像素点的深度值从大变小。当从上到下,背景区域中像素点的深度值从小变大时,对应的深度模板中,从上到下,像素点的灰度值从小变大。如图10所示,0表示深度值最小,1表示深度值最大。当从上到下,背景区域中像素点的深度值从大到小时,对应的深度模板中,从上到下,像素点的灰度值也从大变小。

在深度变化类型为横向深度变化时,即从左到右,背景区域中像素点的深度值从小变大;或者,从左到右,背景区域中像素点的深度值从大变小。当从左到右,背景区域中像素点的深度值从小变大时,对应的深度模板中,从左到右,像素点的灰度值从小变大。如图11所示,0表示深度值最小,1表示深度值最大。当从左到右,背景区域中像素点的深度值从大到小时,对应的深度模板中,从左到右,像素点的灰度值也从大变小。

在深度变化类型为纵向和横向混合深度变化时,即背景区域中,从上到下,像素点的深度值大小发生变化,且从左到右,像素点的深度值大小也发生变化,此时,对应的深度模板中,从上到下,像素点的灰度值大小发生变化,且从左到右,像素点的灰度值也发生变化。如图12所示,0表示深度值最小,1表示深度值最大。

在一种实施方式中,利用样本图像生成深度模板的方式,具体为:

确定样本图像的背景区域的深度变化类型;

基于所确定的深度变化类型,确定位于背景区域四个顶点的四个像素点的深度值大小关系;

基于所确定的深度值大小关系,分别确定位于深度模板的四个顶点的像素点对应的灰度值;

基于所确定的四个顶点灰度值,利用插值法得到深度模板中其他像素点的灰度值。由上述描述可知,样本图像的背景区域的深度变化类型大致分为四种类型,分别为无深度变化、纵向深度变化、横向深度变化及纵向和横向混合深度变化。对于这四种深度变化类型而言,位于背景区域四个顶点的四个像素点,所对应的深度值通常是0或1,0表示深度值最小,1表示深度值最大。因此,在利用样本图像,生成深度模板时,可以首先确定位于背景区域四个顶点的四个像素点的深度值大小关系,并基于所确定的深度值大小关系,分别确定位于深度模板的四个顶点的像素点对应的灰度值,具体的,将预先设定的最大灰度值,确定为位于深度模板的四个顶点的像素点中,最大深度值对应的第一像素点对应的第一灰度值,例如,预先设定的最大灰度值可以是255;将预先设定的最小灰度值,确定为位于深度模板的四个顶点的像素点中,最小深度值对应的第二像素点对应的第二灰度值,例如,预先设定的最小灰度值可以为0。当然,最大灰度值和最小灰度值可以根据实际情况进行设定,本发明实施例对最大灰度值和最小灰度值不做具体限定。

在确定了位于深度模板的四个顶点的像素点对应的灰度值之后,可以利用插值法得到深度模板的其他像素点的灰度值。其中,利用插值法得到深度模板的其他像素点的灰度值原则可以是:使深度模板梯度尽可能平滑。

s840,针对目标背景区域中的每一像素点,基于该像素点在目标深度模板中对应的灰度值,确定该像素点对应的滤波半径。

其中,一个像素点对应的滤波半径大小与该像素点在目标深度模板中对应的灰度值大小成正比。

在一种实施方式中,针对目标背景区域中的每一像素点,基于该像素点在目标深度模板中对应的灰度值,确定该像素点对应的滤波半径,可以包括:

获取预先设定的最大滤波半径和最小滤波半径;

将最大滤波半径确定为目标背景区域中、最大灰度值对应的像素点的滤波半径,并将最小滤波半径确定为目标背景区域中、最小灰度值对应的像素点的滤波半径;

根据目标背景区域中其他各个像素点对应的灰度值,确定目标背景区域中其他各个像素点的滤波半径。

由于位于背景区域的四个顶点的四个像素点,所对应的深度值通常是最大深度值或者最小深度值,因此,位于背景区域的四个顶点的四个像素点,所对应的灰度值通常是最大灰度值或者最小灰度值,而最大灰度值对应最大的滤波半径,最小灰度值对应最小的滤波半径。因此,在确定目标背景区域中各个像素点的滤波半径时,可以首先确定位于目标背景区域的四个顶点的四个像素点的滤波半径。然后,根据目标背景区域中其他各个像素点对应的灰度值,确定目标背景区域中其他各个像素点的滤波半径。

需要说明的是,在实际应用中,待处理图像的大小可能与深度模板的大小不同,这种情况下,也可以先确定位于目标背景区域的四个顶点的像素点对应的滤波半径,然后根据目标背景区域的深度变化类型来插值得到其他像素点的滤波半径。

s850,对于目标背景区域中的每一像素点,利用该像素点对应的滤波半径对该像素点进行滤波。

步骤s850与步骤s340一致,图3已经对步骤s340进行了详细阐述,在此不再对步骤s850进行赘述。

本发明实施例提供的技术方案,获取待处理图像后;确定待处理图像的目标背景区域的目标深度变化类型,目标深度变化类型用于表征:所述目标背景区域中像素点的深度值的大小变化规律;基于目标深度变化类型,确定目标背景区域中各个像素点对应的滤波参数,其中,具有不同深度值的像素点,对应的滤波参数不同;对于目标背景区域中的每一像素点,利用该像素点对应的滤波参数对该像素点进行滤波。可见,通过本发明实施例提供的技术方案,对背景区域中具有不同深度值的像素点进行不同程度的虚化,图像景深虚化更加真实。

需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于可选实施例,所涉及的动作并不一定是本发明所必须的。

参照图13,示出了本发明的一种图像处理装置的结构框图,该装置可以包括:

图像获取模块1310,用于获取待处理图像;

类型确定模块1320,用于确定所述待处理图像的目标背景区域的目标深度变化类型,所述目标深度变化类型用于表征:所述目标背景区域中像素点的深度值的大小变化规律;

滤波半径确定模块1330,用于基于所述目标深度变化类型,确定所述目标背景区域中各个像素点对应的滤波参数,其中,具有不同深度值的像素点,对应的滤波参数不同;

滤波模块1340,用于对于所述目标背景区域中的每一像素点,利用该像素点对应的滤波参数对该像素点进行滤波。

本发明实施例提供的技术方案,获取待处理图像后;确定待处理图像的目标背景区域的目标深度变化类型,目标深度变化类型用于表征:所述目标背景区域中像素点的深度值的大小变化规律;基于目标深度变化类型,确定目标背景区域中各个像素点对应的滤波参数,其中,具有不同深度值的像素点,对应的滤波参数不同;对于目标背景区域中的每一像素点,利用该像素点对应的滤波参数对该像素点进行滤波。可见,通过本发明实施例提供的技术方案,对背景区域中具有不同深度值的像素点进行不同程度的虚化,图像景深虚化更加真实。

可选的,所述滤波参数为滤波半径;

所述目标背景区域中任一像素点对应的滤波半径的大小与该像素点的深度值大小成正比。

可选的,所述滤波参数确定模块,包括:

深度模板生成单元,用于利用预先生成的深度变化类型与深度模板的对应关系,确定所述目标深度变化类型对应的目标深度模板,其中,任一深度模板是基于一种深度变化类型的样本图像生成的灰度图,该深度模板中任一像素点的灰度值大小与所述样本图像中目标像素点的深度值大小成正比,所述目标像素点在所述样本图像的位置与该像素点在所述灰度图中的位置一致;

滤波半径确定单元,用于针对所述目标背景区域中的每一像素点,基于该像素点在所述目标深度模板中对应的灰度值,确定该像素点对应的滤波半径,其中,一个像素点对应的滤波半径大小与该像素点在所述目标深度模板中对应的灰度值大小成正比。

可选的,所述深度模板生成单元利用样本图像生成深度模板的方式,具体为:

确定样本图像的背景区域的深度变化类型;

基于所确定的深度变化类型,确定位于所述背景区域四个顶点的四个像素点的深度值大小关系;

基于所确定的深度值大小关系,分别确定位于深度模板的四个顶点的像素点对应的灰度值;

基于所确定的四个顶点灰度值,利用插值法得到深度模板中其他像素点的灰度值。

可选的,所述深度模板生成单元,具体用于:

将预先设定的最大灰度值,确定为位于深度模板的四个顶点的像素点中,最大深度值对应的第一像素点对应的第一灰度值;

将预先设定的最小灰度值,确定为位于深度模板的四个顶点的像素点中,最小深度值对应的第二像素点对应的第二灰度值。

可选的,所述滤波半径确定单元,具体用于:

获取预先设定的最大滤波半径和最小滤波半径;

将所述最大滤波半径确定为所述目标背景区域中、最大灰度值对应的像素点的滤波半径,并将最小滤波半径确定为所述目标背景区域中、最小灰度值对应的像素点的滤波半径;

根据所述目标背景区域中其他各个像素点对应的灰度值,确定所述目标背景区域中其他各个像素点的滤波半径。

可选的,所述类型确定模块,具体用于:

将所述待处理图像输入至预先训练好的卷积神经网络中,得到所述待处理图像的目标背景区域的目标深度变化类型,其中,所述卷积神经网络是基于多张样本图像与所述多张样本图像的背景区域的深度变化类型训练得到的;

所述多张样本图像的背景区域的深度变化类型包括:无深度变化,纵向深度变化,横向深度变化,以及纵向和横向混合深度变化。

可选的,所述目标深度变化类型为无深度变化;

所述滤波参数确定模块,具体用于:

获取预先设定的最大滤波半径和最小滤波半径;

计算所述待处理图像的前景区域占整个待处理图像区域的面积比例;

根据所述面积比例,确定目标滤波半径,其中,所述目标滤波半径与所述面积比例成正比,且所述目标滤波半径不小于所述最小滤波半径,并不大于所述最大滤波半径;

将所述目标滤波半径确定为所述目标背景区域中各个像素点的滤波半径。

可选的,所述装置还包括:

前景检测模块,用于对所述待处理图像的的目标前景区域进行前景检测,得到所述待处理图像的目标前景区域。

对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

本发明实施例还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现本发明实施例所提供的图像处理方法的步骤。

本发明实施例提供的技术方案,获取待处理图像后;确定待处理图像的目标背景区域的目标深度变化类型,目标深度变化类型用于表征:所述目标背景区域中像素点的深度值的大小变化规律;基于目标深度变化类型,确定目标背景区域中各个像素点对应的滤波参数,其中,具有不同深度值的像素点,对应的滤波参数不同;对于目标背景区域中的每一像素点,利用该像素点对应的滤波参数对该像素点进行滤波。可见,通过本发明实施例提供的技术方案,对背景区域中具有不同深度值的像素点进行不同程度的虚化,图像景深虚化更加真实。

本发明实施例还示出了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现本发明实施例所提供的图像处理方法的步骤。

本发明实施例提供的技术方案,获取待处理图像后;确定待处理图像的目标背景区域的目标深度变化类型,目标深度变化类型用于表征:所述目标背景区域中像素点的深度值的大小变化规律;基于目标深度变化类型,确定目标背景区域中各个像素点对应的滤波参数,其中,具有不同深度值的像素点,对应的滤波参数不同;对于目标背景区域中的每一像素点,利用该像素点对应的滤波参数对该像素点进行滤波。可见,通过本发明实施例提供的技术方案,对背景区域中具有不同深度值的像素点进行不同程度的虚化,图像景深虚化更加真实。

本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白,本发明的实施例可提供为方法、装置、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种图像处理方法和一种图像处理装置,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1