图像虚化方法及终端设备与流程

1.本发明涉及图像处理的技术领域，尤其涉及一种图像虚化方法及终端设备。


背景技术：

2.在双摄手机的拍照功能中，背景虚化功能模拟单反相机大光圈模式成像越来越受到追捧，其光斑效果也是该功能中的重要亮点之一。现有技术中，实现拍摄图像的光斑可编辑的背景虚化方法主要有以下两种方式：其中一种方式为，利用可分离的虚化核带光斑的虚化效果加快虚化速度；另一种方式为，设计各种形状的虚化核直接做出带光斑的虚化效果；
3.上述两种光斑可编辑的虚化方式均存在一定的缺陷。可分离的虚化核只能做出特定形状的光斑，限制了用户的多样化需求；设计好的虚化核的虚化是一个二维模糊操作，会比较耗时，而为了缩减时间而基于采样的模糊处理则会产生噪声伪像。


技术实现要素：

4.有鉴于此，本发明实施例提供了一种图像虚化方法及终端设备，以解决光斑无法自定义以及图像虚化耗时长的问题。
5.本发明实施例的第一方面提供了一种图像虚化方法，包括：
6.获取待处理图像以及所述待处理图像的视差图；所述待处理图像是由至少两张图像融合的；
7.根据所述视差图确定所述待处理图像中各个像素点对应的滤波核半径；
8.获取图像虚化指令，根据所述各个像素点对应的滤波核半径和所述图像虚化指令包含的光斑形状设定信息生成图像滤波核；
9.根据所述图像滤波核对所述待处理图像进行滤波处理，以得到目标虚化图像。
10.在一个实施示例中，所述根据所述图像滤波核对所述待处理图像进行滤波处理，以得到目标虚化图像，包括：
11.将所述图像滤波核分解成若干个子滤波核；
12.将所述待处理图像分别输入各个所述子滤波核，得到叠加所述子滤波核后的滤波结果，基于所有所述滤波结果得到目标虚化图像。
13.在一个实施示例中，在所述将所述图像滤波核分解成若干个子滤波核之前，还包括：
14.根据所述待处理图像中各个像素点的亮度值设置所述图像滤波核的光斑亮度权重，根据设置后的光斑亮度权重得到所述待处理图像中各个像素点对应的权重系数；所述权重系数用于对所述待处理图像中各个像素点的亮度进行调整。
15.在一个实施示例中，所述将所述待处理图像分别输入各个所述子滤波核，得到叠加所述子滤波核后的滤波结果，基于所有所述滤波结果得到目标虚化图像，包括：
16.将所述待处理图像分别输入各个所述子滤波核，得到叠加所述子滤波核后的滤波
结果，基于所有所述滤波结果得到滤波图像；
17.根据所述权重系数对所述滤波图像的光斑亮度进行调整，得到目标虚化图像。
18.在一个实施示例中，所述目标虚化图像为具有所述光斑形状设定信息对应形状的光斑的虚化图像。
19.在一个实施示例中，所述获取待处理图像以及所述待处理图像的视差图，包括：
20.根据深度估计算法对所述图像进行计算，得到所述待处理图像的视差图。
21.在一个实施示例中，所述根据所述视差图确定所述待处理图像中各个像素点对应的滤波核半径，包括：
22.以所述视差图的焦点位置作为预设取值方框的中心，确定在所述视差图中位于所述预设取值方框内的视差中位值为焦点视差值；
23.根据所述视差图中的最大视差值、预设虚化半径、所述焦点视差值以及所述待处理图像中各个像素点对应的视差值，确定所述待处理图像中各个像素点对应的滤波核半径。
24.在一个实施示例中，所述将所述图像滤波核分解成若干个子滤波核，包括：
25.对所述图像滤波核进行奇异值分解，得到若干奇异值；
26.选取满足预设条件的n个奇异值为目标奇异值，根据各个所述目标奇异值对应的特征向量构建n个所述子滤波核；每一所述特征向量包括水平和垂直方向上的两个向量；所述n个子滤波核具有水平和垂直两个方向；所述n为大于0的正整数。
27.在一个实施示例中，所述预设条件为将所述若干奇异值按照数值大小由大至小排列成队列，选取所述队列中的前n个奇异值。
28.在一个实施示例中，融合所述待处理图像的每一所述图像由外设的一个摄像头拍摄得到。
29.本发明实施例的第二方面提供了一种图像的带光斑虚化装置，包括：
30.视差图获取模块，用于获取待处理图像以及所述待处理图像的视差图；所述待处理图像是由至少两张图像融合的；
31.滤波核半径确定模块，用于根据所述视差图确定所述待处理图像中各个像素点对应的滤波核半径；
32.图像滤波核生成模块，用于获取图像虚化指令，根据所述各个像素点对应的滤波核半径和所述图像虚化指令包含的光斑形状设定信息生成图像滤波核；
33.目标虚化图像生成模块，用于根据所述图像滤波核对所述待处理图像进行滤波处理，以得到目标虚化图像。
34.本发明实施例的第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述方法的步骤。
35.本发明实施例的第四方面提供了一种终端设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面中图像虚化方法。
36.本发明实施例提供的一种图像虚化方法及终端设备，获取由至少两张图像融合的待处理图像以及所述待处理图像的视差图；根据所述视差图确定所述待处理图像中各个像
素点对应的滤波核半径，实现依据视差图中焦点位置区分出待处理图像的虚化区域和非虚化区域，并确定待处理图像中各个像素对应的滤波核半径；获取图像虚化指令，根据所述图像虚化指令包含的光斑形状设定信息和各个像素点对应的滤波核的半径生成图像滤波核。由于图像虚化指令中的光斑形状设定信息可由用户自定义，根据光斑形状设定信息和各个像素点对应的滤波核的半径生成的图像滤波核，能够对待处理图像滤波生成用户自定义的光斑形状，实现光斑形状可编辑的功能。根据所述图像滤波核对所述待处理图像进行滤波处理，以得到目标虚化图像，实现得到具有用户自定义的光斑形状的目标虚化图像。
附图说明
37.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
38.图1是本发明实施例一提供的图像虚化方法的流程示意图；
39.图2是本发明实施例一提供的外设系统的结构框架图；
40.图3是本发明实施例一提供的光斑形状的样例图；
41.图4是本发明实施例一提供的若干子滤波核对待处理图像进行滤波的示意图；
42.图5是本发明实施例一提供的带光斑虚化图像的效果示意图；
43.图6是本发明实施例二提供的图像的带光斑虚化装置的结构示意图；
44.图7是本发明实施例三提供的终端设备的结构示意图。
具体实施方式
45.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
46.本发明的说明书和权利要求书及上述附图中的术语“包括”以及它们任何变形，意图在于覆盖不排他的包含。例如包含一系列步骤或单元的过程、方法或系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。此外，术语“第一”、“第二”和“第三”等是用于区别不同对象，而非用于描述特定顺序。
47.实施例一
48.如图1所示，是本发明实施例一提供的图像虚化方法的流程示意图。本实施例可适用于对由至少两个摄像头拍摄得到的图像融合的的待处理图像进行图像的虚化处理并进行图像中光斑形状编辑的应用场景。该方法可以由图像虚化装置执行，该装置可为控制设备或终端平板、pc或服务器等；在本技术实施例中以图像的带光斑虚化装置作为执行主体进行说明，该方法具体包括如下步骤：
49.由于采用现有技术对图像进行虚化处理并对图像中光斑形状编辑时可分离的虚化核只能做出预先设定形状的光斑，限制用户对光斑形状更改的需求；且设计好的虚化核
是一个二维模糊操作，对图像进行处理时耗时长，若为了缩短时间而对图像使用基于采样的模糊处理则会产生噪声伪像。为解决这一技术问题，本技术实施例通过根据所述图像虚化指令包含的光斑形状设定信息和各个像素点对应的滤波核的半径生成图像滤波核，对待处理图像滤波生成用户自定义的光斑形状，实现光斑形状可编辑的功能；并且将所述图像滤波核分解成若干个水平和垂直方向上的子滤波核后，将所述待处理图像分别输入各个所述子滤波核，使得分解后得到的若干子滤波核能够在水平方向上以及垂直方向上同时对待处理图像进行滤波，缩短光斑编辑以及图像虚化的处理时间。
50.s110、获取待处理图像以及所述待处理图像的视差图；所述待处理图像是由至少两张图像融合的。
51.由于现在的外设系统(例如移动终端)具有两个或两个以上的摄像头，使得该外设系统拍摄得到的显示图像为由各个摄像头拍摄得到的图像融合而得。为实现模拟单反相机大光圈模式成像的背景虚化功能，可对显示图像进行带光斑虚化。在执行图像的带光斑虚化处理时，获取待处理图像，待处理图像是由至少两张图像融合的。
52.在一个实施示例中，每一图像可以由外设的一个摄像头拍摄得到。获取待处理图像，待处理图像是由至少两张图像融合的，即外设系统具有的至少两个摄像头拍摄得到的至少两张图像融合的显示图像。由于待处理图像由至少两个摄像头拍摄得到的至少两张图像融合而得具有视差，还需根据至少两个摄像头拍摄得到的至少两张图像得到待处理图像的视差图，以进行图像带光斑虚化处理。
53.进一步的，当外设系统具有三个或三个以上的摄像头时，将外设系统中多个摄像头拍摄得到的三张图像或三张以上图像进行融合生成显示图像，即得到待处理图像。
54.具体的，外设系统的结构框架图如图2所示。由于图像融合可以分为两类，一类是利用各个摄像头获得的图像中物体到镜头或者焦距的距离，得到景深信息就可以进行后续的3d重建、图像分割或背景虚化等步骤完成图像融合；另一类是利用两个或多个不同的摄像头所成的不同图像进行图像融合，获得更多的物体细节信息；其中，外设系统中不同的摄像头可采用rgb镜头和mono黑白摄像头等，黑白摄像头可以捕捉更多的细节，即解析力更高；还可采用广角摄像头和长焦摄像头，广角摄像头和长焦摄像头所获图像的融合和不同曝光参数的摄像头实现的hdr效果。第一类中为了通过三角定位原理实现景深信息的获得，在外设系统中各个摄像头的物理距离要尽可能大，而在第二类中为了图像融合，两幅或者多幅图像需要进行对准，所以需要外设系统中各个摄像头尽可能重叠。
55.在一个实施示例中，待处理图像的视差图的获取过程为：根据深度估计算法对所述子图像进行计算，得到所述待处理图像的视差图。
56.具体的，可以通过深度估计算法对融合待处理图像的各个摄像头拍摄得到的子图像进行计算，得到具有待处理图像中每一像素点的视差值的视差图。举例说明，若待处理图像由具有主摄像头和副摄像头的外设系统拍摄得到，则根据深度估计算法对外设系统中主摄像头拍摄的图像以及副摄像头拍摄的图像进行计算，得到待处理图像的视差图。
57.具体的，当外设系统为双摄系统时，同一个场景在两个摄像头下成像的像素具有位置偏差。因为通常下两个双目摄像头是水平放置的，所以该位置偏差一般体现在水平方向。例如场景中的x点在左摄像头是x坐标，那么在右摄像头成像则是(x+d)坐标。d就是待处理图像的视差图中x坐标点的值。深度图是指场景中每个点离摄像头的距离。对双目成像来
说，视差图和深度图在某种程度上是等价的，可以根据外设系统中两个摄像头的相关参数，将深度图转换为视差图，从而得到待处理图像的视差图。
58.进一步的，当外设系统为三摄或多摄系统时，同一个场景在各个摄像头下成像的像素具有位置偏差。因为通常下多个摄像头是水平放置的，所以该位置偏差一般体现在水平方向。例如场景中的x点在第一个摄像头是x坐标，那么在第二个摄像头成像则是(x+d1)坐标，以此类推，在第n个摄像头成像则是(x+d
n-1
)坐标，n为大于或等于三的正整数。待处理图像的视差图中x坐标点的值包括d1至d
n-1
。深度图是指场景中每个点离摄像头的距离。对多目成像来说，视差图和深度图在某种程度上是等价的，可以根据外设系统中多个摄像头的相关参数，将深度图转换为视差图，从而得到待处理图像的视差图。
59.s120、根据所述视差图确定所述待处理图像中各个像素点对应的滤波核半径。
60.在图像虚化处理过程中，通常采用滤波核对图像进行处理。在获得待处理图像以及待处理图像的视差图后，能够根据视差图中焦点位置区分出待处理图像的虚化区域和非虚化区域，并根据视差图确定待处理图像中各个像素对应的滤波核半径。可选的，该视差图中焦点位置可为用户自定义的焦点位置。
61.在一个实施示例中，根据所述视差图确定所述待处理图像中各个像素点对应的滤波核半径的具体过程包括步骤11至步骤12：
62.步骤11、以所述视差图的焦点位置作为预设取值方框的中心，确定在所述视差图中位于所述预设取值方框内的视差中位值为焦点视差值；
63.获得待处理图像的视差图后，确定视差图的焦点位置；并将视差图的焦点位置作为预设取值方框的中心点，在视差图上放置预设取值方框。得到在该视差图中位于预设取值方框内的若干视差值，取得到的若干视差值的中位值作为焦点视差值。可选的，该预设取值方框的大小范围为min(w,h)/c；其中，w表示预设取值方框的宽度，小于视差图的宽度；h表示预设取值方框的高度，小于视差图的高度；限定c的取值范围为从16到24的任意整数。
64.步骤12、根据所述视差图中的最大视差值、预设虚化半径、所述焦点视差值以及所述待处理图像中各个像素点对应的视差值，确定所述待处理图像中各个像素点对应的滤波核半径。
65.根据获得的视差图得到焦点视差值后，可以通过查找该视差图得到待处理图像中各个像素点对应的视差值和该视差图中的最大视差值。根据计算公式对视差图中的最大视差值、预设虚化半径、焦点视差值以及待处理图像中各个像素点对应的视差值进行计算，得到待处理图像中各个像素点对应的滤波核半径。可选的，该预设虚化半径可根据用户需求进行自定义。具体的，该计算公式为：
[0066][0067]
其中，c为预设虚化半径；r
i,j
为待处理图像中坐标位置为(i,j)的像素点对应的滤波核半径；d
i,j
为待处理图像中坐标位置为(i,j)的像素点的视差值，即对应为视差图中坐标位置为(i,j)的值；d_focus为焦点视差值；d_max为视差图中的最大视差值。根据上述公式计算得到待处理图像中各个像素点对应的滤波核半径。
[0068]
s130、获取图像虚化指令，根据所述各个像素点对应的滤波核半径和所述图像虚
化指令包含的光斑形状设定信息生成图像滤波核。
[0069]
图像的带光斑虚化装置获取图像虚化指令，该图像虚化指令包含用户自定义设置的光斑形状设定信息；该光斑形状设定信息描述用户自定义的光斑形状。结合图像虚化指令包含的光斑形状设定信息和各个像素点对应的滤波核半径生成图像滤波核，使得生成的滤波核能够对待处理图像滤波生成用户自定义的光斑形状，实现光斑形状可编辑的功能。如图3所示为光斑形状的样例图，用户自定义的光斑形状可为心形、六边形、圆形或五角星形等形状。
[0070]
详细举例说明，若图像虚化指令包含的光斑形状设定信息所描述的光斑形状为心形，则根据光斑形状设定信息和各个像素点对应的滤波核半径生成图像滤波核的计算公式为：k(m,n)＝1if(x2+y
2-0.5)
3-x2*y3《0；限定条件为，-r≤m,n≤r，x＝m/r,y＝n/r。其中，k(m,n)表示滤波核矩阵中第m行，第n列；r表示滤波核半径；(x,y)表示待处理图像中任一像素点的坐标位置，r对应为待处理图像中位于(x,y)位置的像素点对应的滤波核半径。若图像虚化指令包含的光斑形状设定信息所描述的光斑形状为圆形，则根据光斑形状设定信息和各个像素点对应的滤波核半径生成图像滤波核的计算公式为：k(m,n)＝1if x2+y2≤r2。当图像虚化指令包含的光斑形状设定信息所描述的光斑形状为其它形状时，根据光斑形状的函数表达公式对应改变图像滤波核的计算公式。可选的，可以限定生成的图像滤波核为正方形，图像滤波核的大小为(2*r+1,2*r+1)。
[0071]
s140、根据所述图像滤波核对所述待处理图像进行滤波处理，以得到目标虚化图像。
[0072]
由于图像虚化指令中的光斑形状设定信息可由用户自定义，根据光斑形状设定信息和各个像素点对应的滤波核的半径生成的图像滤波核，然后根据所述图像滤波核对所述待处理图像进行滤波处理，以得到目标虚化图像，实现得到具有用户自定义的光斑形状的目标虚化图像。
[0073]
在一个实施示例中，为实现确保光斑效果的同时提高图像虚化的处理速度，可将图像滤波核分解成若干个子滤波核。根据所述图像滤波核对所述待处理图像进行滤波处理，以得到目标虚化图像的具体过程包括步骤21至步骤22：
[0074]
步骤21、将所述图像滤波核分解成若干个子滤波核。
[0075]
生成图像滤波核后，为缩短图像滤波核对图像虚化的处理时间，可以将图像滤波核分解成若干个子滤波核，以使分解得到的若干子滤波核同时对图像进行滤波处理，缩短运算时间。
[0076]
在一个实施示例中，为确保图像虚化后高亮部分也能出现光斑，需基于待处理图像的亮度对图像滤波核进行光斑亮度权重放大。在将所述图像滤波核分解成若干个子滤波核之前，还包括：
[0077]
根据所述待处理图像中各个像素点的亮度值设置所述图像滤波核的光斑亮度权重，根据设置后的光斑亮度权重得到所述待处理图像中各个像素点对应的权重系数；所述权重系数用于对所述待处理图像中各个像素点的亮度进行调整。
[0078]
具体的，获取待处理图像中各个像素点对应的亮度值，基于待处理图像的亮度对图像滤波核进行光斑亮度权重放大，得到待处理图像中各个像素点对应的权重系数。详细的，基于待处理图像的亮度对图像滤波核进行光斑亮度权重放大的计算公式为：
[0079][0080]
mean(i(p,q))＝(ir(p,q)+ig(p,q)+ib(p,q))/3
[0081]
其中，w(p,q)为待处理图像中位于(p,q)位置的像素点对应的权重系数值；α为亮斑亮度，一般设定1《α《3。可选的，可设定α＝1.7，σ＝196。
[0082]
在一个实施示例中，可以通过奇异值分解法将图像滤波核分解成若干个子滤波核，其具体过程包括步骤31至步骤32：
[0083]
步骤31、对所述图像滤波核进行奇异值分解，得到若干奇异值；
[0084]
对生成的图像滤波核，即滤波核矩阵k进行奇异值分解(svd分解)，得到若干奇异值。具体的，对滤波核矩阵k进行奇异值分解后得到其中，σi是一个标量，ui为单位正交矩阵u的第i列向量，是单位正交矩阵v
*
的第i列向量的转置，r表示滤波核矩阵k的秩。
[0085]
步骤32、选取满足预设条件的n个奇异值为目标奇异值，根据各个所述目标奇异值对应的特征向量构建n个所述子滤波核；每一所述特征向量包括水平和垂直方向上的两个向量；所述n个子滤波核具有水平和垂直两个方向；所述n为大于0的正整数。
[0086]
具体的，在未对图像滤波核进行奇异值分解之前，根据权重系数w和生成的图像滤波核k对待处理图像i进行带光斑虚化处理后得到带光斑虚化图像的具体计算过程为：
[0087][0088]
由于可以看出可将对待处理图像i进行r次的水平和垂直反向上的滤波操作分解为选取满足预设条件的n个奇异值为目标奇异值，根据各个所述目标奇异值对应的特征向量构建n个所述子滤波核，每一所述特征向量包括水平和垂直方向上的两个向量ui和vi。如图4所示，为当n取值为3时，选取满足预设条件的3个奇异值为目标奇异值，根据各个所述目标奇异值对应的水平方向上的特征向量u1′
、u2′
和u3′
以及垂直方向上的特征向量v
′1、v
′2和v
′3构建3个所述子滤波核；将待处理图像i分别输入上述3个子滤波核进行水平和垂直方向滤波，并将3个子滤波核输出的滤波结果进行叠加得到带光斑虚化图像
[0089]
在一个实施示例中，所述预设条件为将所述若干奇异值按照数值大小由大至小排列成队列，选取所述队列中的前n个奇异值。具体的，预设条件为选取得到的若干奇异值中数值最大的前n个奇异值。
[0090]
具体的，确定选取的奇异值个数n的计算公式为：
[0091][0092]
其中，是由前n个最大奇异值以及特征向量得到，||
·
||f是f范数；上述公式中存在||k||f，这里的||*||f是一个抽象的表达公式，表示矩阵的f范数；其中*可以被替换为
任意矩阵，比如图像滤波核矩阵k等。在本实施例中n的取值需满足条件：ε≤0.1；σ
c+1
代表奇异值，图像滤波核矩阵k经过奇异值分解，得到r个奇异值，除去前n个最大的奇异值，后面还剩n+1,n+2,...,r个奇异值。
[0093]
步骤22、将所述待处理图像分别输入各个所述子滤波核，得到叠加所述子滤波核后的滤波结果，基于所有所述滤波结果得到目标虚化图像。
[0094]
将所述图像滤波核分解成若干个水平和垂直方向上的子滤波核后，将所述待处理图像分别输入各个所述子滤波核，使得分解后得到的若干子滤波核能够在水平方向上以及垂直方向上同时对待处理图像进行滤波，缩短光斑编辑以及图像虚化的处理时间；最后叠加各个子滤波核输出的滤波结果得到目标虚化图像，在确保光斑效果的同时提高图像虚化的处理速度。
[0095]
在一个实施示例中，为确保图像虚化后高亮部分也能出现光斑，经各个子滤波核滤波后得到的滤波图像还需根据计算得到的权重系数进行光斑亮度放大。将所述待处理图像分别输入各个所述子滤波核，得到叠加所述子滤波核后的滤波结果，基于所有所述滤波结果得到目标虚化图像的具体过程包括步骤41至步骤42：
[0096]
步骤41、将所述待处理图像分别输入各个所述子滤波核，得到叠加所述子滤波核后的滤波结果，基于所有所述滤波结果得到滤波图像；
[0097]
具体的，将待处理图像i分别输入构建的n个子滤波核中，同时在每个子滤波核中进行水平和垂直方向滤波，得到叠加子滤波核后的滤波结果；并将n个子滤波核输出的滤波结果进行叠加得到滤波图像。
[0098]
步骤42、根据所述权重系数对所述滤波图像的光斑亮度进行调整，得到目标虚化图像。
[0099]
根据待处理图像中各个像素点对应的权重系数w对所述滤波图像的光斑亮度进行调整，即通过权重系数w与滤波图像叉乘，得到带光斑虚化图像为确保图像虚化后高亮部分也能出现光斑，根据待处理图像中各个像素点对应的权重系数w对所述滤波图像的光斑亮度进行调整的步骤可为根据待处理图像中各个像素点对应的权重系数w对所述滤波图像的光斑亮度进行放大。如图5所示，为得到的带光斑虚化图像的效果示意图。其中，得到的目标虚化图像为背景虚化的具有与图像虚化指令中光斑形状设定信息对应形状的光斑的虚化图像。
[0100]
本发明实施例提供的一种图像虚化方法，获取由至少两张图像融合的待处理图像以及所述待处理图像的视差图；根据所述视差图确定所述待处理图像中各个像素点对应的滤波核半径，实现依据视差图中焦点位置区分出待处理图像的虚化区域和非虚化区域，并确定待处理图像中各个像素对应的滤波核半径；获取图像虚化指令，根据所述图像虚化指令包含的光斑形状设定信息和各个像素点对应的滤波核的半径生成图像滤波核。由于图像虚化指令中的光斑形状设定信息可由用户自定义，根据光斑形状设定信息和各个像素点对应的滤波核的半径生成的图像滤波核，能够对待处理图像滤波生成用户自定义的光斑形状，实现光斑形状可编辑的功能。将所述图像滤波核分解成若干个水平和垂直方向上的子滤波核后，将所述待处理图像分别输入各个所述子滤波核，使得分解后得到的若干子滤波核能够在水平方向上以及垂直方向上同时对待处理图像进行滤波，缩短光斑编辑以及图像虚化的处理时间；最后叠加各个子滤波核输出的滤波结果得到实现得到具有用户自定义的
光斑形状的目标虚化图像，在确保光斑效果的同时提高图像虚化的处理速度。
[0101]
实施例二
[0102]
如图6所示的是本发明实施例三提供的图像的带光斑虚化装置。在实施例一的基础上，本发明实施例还提供了一种图像的带光斑虚化装置6，该装置包括：
[0103]
视差图获取模块601，用于获取待处理图像以及所述待处理图像的视差图；所述待处理图像是由至少两张图像融合的；
[0104]
滤波核半径确定模块602，用于根据所述视差图确定所述待处理图像中各个像素点对应的滤波核半径；
[0105]
图像滤波核生成模块603，用于获取图像虚化指令，根据所述各个像素点对应的滤波核半径和所述图像虚化指令包含的光斑形状设定信息生成图像滤波核；
[0106]
目标虚化图像生成模块604，用于根据所述图像滤波核对所述待处理图像进行滤波处理，以得到目标虚化图像。
[0107]
在一个实施示例中，目标虚化图像生成模块604包括：
[0108]
图像滤波核分解单元，用于将所述图像滤波核分解成若干个子滤波核；
[0109]
带光斑虚化图像生成单元，用于将所述待处理图像分别输入各个所述子滤波核，得到叠加所述子滤波核后的滤波结果，基于所有所述滤波结果得到目标虚化图像。
[0110]
在一个实施示例中，带光斑虚化装置5还包括：
[0111]
权重系数计算模块，用于根据所述待处理图像中各个像素点的亮度值设置所述图像滤波核的光斑亮度权重，根据设置后的光斑亮度权重得到所述待处理图像中各个像素点对应的权重系数；所述权重系数用于对所述待处理图像中各个像素点的亮度进行调整以得到所述目标虚化图像。
[0112]
在一个实施示例中，带光斑虚化图像生成单元包括：
[0113]
滤波结果叠加子单元，用于将所述待处理图像分别输入各个所述子滤波核，得到叠加所述子滤波核后的滤波结果，基于所有所述滤波结果得到滤波图像；
[0114]
光斑亮度调节子单元，用于根据所述权重系数对所述滤波图像的光斑亮度进行放大，得到目标虚化图像。
[0115]
在一个实施示例中，滤波核半径确定模块502包括：
[0116]
焦点视差值确定单元，用于以所述视差图的焦点位置作为预设取值方框的中心，确定在所述视差图中位于所述预设取值方框内的视差中位值为焦点视差值；
[0117]
滤波核半径确定单元，用于根据所述视差图中的最大视差值、预设虚化半径、所述焦点视差值以及所述待处理图像中各个像素点对应的视差值，确定所述待处理图像中各个像素点对应的滤波核半径。
[0118]
在一个实施示例中，图像滤波核分解单元包括：
[0119]
奇异值分解子单元，用于对所述图像滤波核进行奇异值分解，得到若干奇异值；
[0120]
子滤波核构建子单元，用于选取满足预设条件的n个奇异值为目标奇异值，根据各个所述目标奇异值对应的特征向量构建n个所述子滤波核；每一所述特征向量包括水平和垂直方向上的两个向量；所述n个子滤波核具有水平和垂直两个方向；所述n为大于0的正整数。
[0121]
本发明实施例提供的一种图像的带光斑虚化装置，获取由至少两张图像融合的待
处理图像以及所述待处理图像的视差图；根据所述视差图确定所述待处理图像中各个像素点对应的滤波核半径，实现依据视差图中焦点位置区分出待处理图像的虚化区域和非虚化区域，并确定待处理图像中各个像素对应的滤波核半径；获取图像虚化指令，根据所述图像虚化指令包含的光斑形状设定信息和各个像素点对应的滤波核的半径生成图像滤波核。由于图像虚化指令中的光斑形状设定信息可由用户自定义，根据光斑形状设定信息和各个像素点对应的滤波核的半径生成的图像滤波核，能够对待处理图像滤波生成用户自定义的光斑形状，实现光斑形状可编辑的功能。将所述图像滤波核分解成若干个水平和垂直方向上的子滤波核后，将所述待处理图像分别输入各个所述子滤波核，使得分解后得到的若干子滤波核能够在水平方向上以及垂直方向上同时对待处理图像进行滤波，缩短光斑编辑以及图像虚化的处理时间；最后叠加各个子滤波核输出的滤波结果得到实现得到具有用户自定义的光斑形状的目标虚化图像，在确保光斑效果的同时提高图像虚化的处理速度。
[0122]
实施例三
[0123]
图7是本发明实施例三提供的终端设备的结构示意图。该终端设备包括：处理器71、存储器72以及存储在所述存储器72中并可在所述处理器71上运行的计算机程序73，例如用于图像虚化方法的程序。所述处理器71执行所述计算机程序73时实现上述图像虚化方法实施例中的步骤，例如图1所示的步骤s110至s150。
[0124]
示例性的，所述计算机程序73可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器72中，并由所述处理器71执行，以完成本技术。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序73在终端设备中的执行过程。例如，所述计算机程序73可以被分割成视差图获取模块、滤波核半径确定模块、图像滤波核生成模块和目标虚化图像生成模块，各模块具体功能如下：
[0125]
视差图获取模块，用于获取待处理图像以及所述待处理图像的视差图；所述待处理图像是由至少两张图像融合的；
[0126]
滤波核半径确定模块，用于根据所述视差图确定所述待处理图像中各个像素点对应的滤波核半径；
[0127]
图像滤波核生成模块，用于获取图像虚化指令，根据所述各个像素点对应的滤波核半径和所述图像虚化指令包含的光斑形状设定信息生成图像滤波核；
[0128]
目标虚化图像生成模块，用于根据所述图像滤波核对所述待处理图像进行滤波处理，以得到目标虚化图像
[0129]
所述终端设备可包括，但不仅限于，处理器71、存储器72以及存储在所述存储器72中的计算机程序73。本领域技术人员可以理解，图7仅仅是终端设备的示例，并不构成对图像的带光斑虚化装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述图像的带光斑虚化装置还可以包括输入输出设备、网络接入设备、总线等。
[0130]
所述处理器71可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器
等。
[0131]
所述存储器72可以是所述图像的带光斑虚化装置的内部存储单元，例如图像的带光斑虚化装置的硬盘或内存。所述存储器72也可以是外部存储设备，例如图像的带光斑虚化装置上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。进一步地，所述存储器72还可以既包括图像的带光斑虚化装置的内部存储单元也包括外部存储设备。所述存储器72用于存储所述计算机程序以及图像虚化方法所需的其他程序和数据。所述存储器72还可以用于暂时地存储已经输出或者将要输出的数据。
[0132]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0133]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0134]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0135]
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
[0136]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0137]
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上
述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
[0138]
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。