深度图像处理方法、深度图像处理装置和电子装置与流程

深度图像处理方法、深度图像处理装置和电子装置
1.本技术是基于申请号为201880098758.x，发明名称为“深度图像处理方法、深度图像处理装置和电子装置”的在先申请的分案申请。
技术领域
2.本技术涉及图像处理技术领域，特别涉及一种深度图像处理方法、深度图像处理装置和电子装置。


背景技术：

3.智能手机中的拍照相机越来越受到欢迎，而虚化处理是相机拍照过程中的常用方式。目前的虚化方式为：预定根据拍摄主体定义一个景深，然后将景深范围之外的部分虚化。然而，当同时进行多人或群体拍照时，除了作为拍摄主体的人像能够保持清晰外，其他部分都会被虚化掉，用户体验不佳。


技术实现要素：

4.本技术实施方式提供一种深度图像处理方法、深度图像处理装置和电子装置。
5.本技术实施方式的深度图像处理方法用于电子装置。所述电子装置包括深度图像获取装置。所述深度图像获取装置用于获取初始深度图像。所述深度图像处理方法包括：根据所述初始深度图像获取感兴趣区域的目标深度数据；判断所述感兴趣区域的数量是否大于预定值；在所述感兴趣区域的数量大于所述预定值时，根据所述目标深度数据将所述感兴趣区域分组以计算目标景深；根据所述目标景深计算目标虚化强度；和根据所述目标虚化强度虚化所述初始深度图像得到虚化深度图像。
6.本技术实施方式的深度图像处理装置用于电子装置。所述电子装置包括深度图像获取装置。所述深度图像获取装置用于获取初始深度图像。所述深度图像处理装置包括获取模块、第一判断模块、第一计算模块、第二计算模块和处理模块。获取模块用于根据所述初始深度图像获取感兴趣区域的目标深度数据。第一判断模块用于判断所述感兴趣区域的数量是否大于预定值。第一计算模块用于在所述感兴趣区域的数量大于所述预定值时，根据所述目标深度数据将所述感兴趣区域分组以计算目标景深。第二计算模块用于根据所述目标景深计算目标虚化强度。处理模块用于根据所述目标虚化强度虚化所述初始深度图像得到虚化深度图像。
7.本技术实施方式的电子装置包括深度图像获取装置和处理器。所述深度图像获取装置用于获取初始深度图像。所述处理器用于：根据所述初始深度图像获取感兴趣区域的目标深度数据；判断所述感兴趣区域的数量是否大于预定值；在所述感兴趣区域的数量大于所述预定值时，根据所述目标深度数据将所述感兴趣区域分组以计算目标景深；根据所述目标景深计算目标虚化强度；和根据所述目标虚化强度虚化所述初始深度图像得到虚化深度图像。
8.本技术实施方式的深度图像处理方法、深度图像处理装置和电子装置在感兴趣区
域的数量大于预定值时，根据感兴趣区域的目标深度数据将感兴趣区域分组来计算目标景深，从而根据目标景深计算得到目标虚化程度以对初始深度图像进行虚化处理，使得在多人或群体拍照时也能具有较好的用户体验。
9.本技术实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
10.本技术的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
11.图1是本技术某些实施方式的深度图像处理方法的流程示意图；
12.图2是本技术某些实施方式的电子装置的一个状态的立体结构示意图；
13.图3是本技术某些实施方式的电子装置的另一个状态的立体结构示意图；
14.图4是本技术某些实施方式的深度图像处理装置的模块示意图；
15.图5是本技术某些实施方式的深度图像处理方法的场景示意图；
16.图6是本技术某些实施方式的深度图像处理方法的流程示意图；
17.图7是本技术某些实施方式的深度图像处理方法的场景示意图；
18.图8是本技术某些实施方式的获取模块的模块示意图；
19.图9是本技术某些实施方式的深度图像处理方法的流程示意图；
20.图10是本技术某些实施方式的获取模块的模块示意图；
21.图11是本技术某些实施方式的深度图像处理方法的流程示意图；
22.图12是本技术某些实施方式的第一计算模块的模块示意图；
23.图13及图14是本技术某些实施方式的深度图像处理方法的场景示意图；
24.图15是本技术某些实施方式的深度图像处理方法的流程示意图；
25.图16是本技术某些实施方式的第一计算模块的模块示意图；
26.图17是本技术某些实施方式的深度图像处理方法的流程示意图；
27.图18是本技术某些实施方式的深度图像处理装置的模块示意图；
28.图19是本技术某些实施方式的深度图像处理方法的流程示意图；
29.图20是本技术某些实施方式的深度图像处理装置的模块示意图；
30.图21是本技术某些实施方式的深度图像处理方法的场景示意图。
具体实施方式
31.请一并参阅图1至图3，本技术实施方式的深度图像处理方法用于电子装置100。电子装置100包括深度图像获取装置20。深度图像获取装置20用于获取初始深度图像。深度图像处理方法包括：
32.01：根据初始深度图像获取感兴趣区域的目标深度数据；
33.02：判断感兴趣区域的数量是否大于预定值；
34.03：在感兴趣区域的数量大于预定值时，根据目标深度数据将感兴趣区域分组以计算目标景深；
35.04：根据目标景深计算目标虚化强度；和
36.05：根据目标虚化强度虚化初始深度图像得到虚化深度图像。
37.请结合图4，本技术实施方式的深度图像处理装置10用于电子装置100。电子装置100包括深度图像获取装置20。深度图像获取装置20用于获取初始深度图像。深度图像处理装置10包括获取模块11、第一判断模块12、第一计算模块13、第二计算模块14和处理模块15。本技术实施方式的深度图像处理方法可由本技术实施方式的深度图像处理装置10实现。例如，获取模块11可用于执行01中的方法，第一判断模块12可用于执行02中的方法，第一计算模块13可用于执行03中的方法，第二计算模块14可用于执行04中的方法，处理模块15可用于执行05中的方法。也即是说，获取模块11可以用于根据初始深度图像获取感兴趣区域的目标深度数据。第一判断模块12可以用于判断感兴趣区域的数量是否大于预定值。第一计算模块13可以用于在感兴趣区域的数量大于预定值时，根据目标深度数据将感兴趣区域分组以计算目标景深。第二计算模块14可以用于根据目标景深计算目标虚化强度。处理模块15可以用于根据目标虚化强度虚化初始深度图像得到虚化深度图像。
38.请再次参阅图3，本技术实施方式的电子装置100包括深度图像获取装置20和处理器30。深度图像获取装置20用于获取初始深度图像。本技术实施方式的深度图像处理方法可由本技术实施方式的电子装置100实现。例如，处理器30可用于执行01、02、03、04和05中的方法。也即是说，处理器30可以用于：根据初始深度图像获取感兴趣区域的目标深度数据；判断感兴趣区域的数量是否大于预定值；在感兴趣区域的数量大于预定值时，根据目标深度数据将感兴趣区域分组以计算目标景深；根据目标景深计算目标虚化强度；和根据目标虚化强度虚化初始深度图像得到虚化深度图像。
39.具体地，电子装置100可以是手机、平板电脑、游戏机、智能手表、头显设备、无人机等，本技术实施方式以电子装置100为手机为例进行说明，可以理解，电子装置100的具体形式并不限于手机。
40.请参阅图2和图3，电子装置100包括机壳40。机壳40可以作为电子装置100的功能元件的安装载体，机壳40可以为功能元件提供防尘、防水、防摔等的保护，功能元件可以是显示屏50、受话器60等，功能元件还可以是深度图像获取装置20，深度图像获取装置20包括双摄相机(包括第一相机21和第二相机22)、飞行时间深度相机23、结构光深度相机24中的任意一种或多种。在本技术实施例中，机壳40包括主体41及可动支架42，可动支架42在驱动装置的驱动下可以相对于主体41运动，例如可动支架42可以相对于主体41滑动，以滑入主体41(如图2所示)内部或从主体41中滑出(如图3所示)。部分功能元件(例如显示屏50)可以安装在主体41上，另一部分功能元件(例如受话器60、深度图像获取装置20)可以安装在可动支架42上，可动支架42运动可带动该另一部分功能元件缩回主体41内或从主体41中伸出。当然，图2和图3所示仅是对机壳40的一种具体形式的举例，不能理解为对本技术的机壳40的限制。
41.深度图像获取装置20安装在机壳40上。具体地，深度图像获取装置20安装在可动支架42上。用户在需要使用深度图像获取装置20获取深度图像时，可以触发可动支架42从主体41中滑出以带动深度图像获取装置20从主体41中伸出，在不需要使用深度图像获取装置20时，可以触发可动支架42滑入主体41以带动深度图像获取装置20缩回到主体41内。在其他实施方式中，机壳40上可以开设有通光孔(图未示)，深度图像获取装置20不可移动地设置在机壳40内并与通光孔对应，以获取深度图像；或者，显示屏50可以开设有通光孔(图
未示)，深度图像获取装置20设置在显示屏50的下方并与通光孔对应，以获取深度图像。
42.当应用本技术实施方式的深度图像处理方法时，处理器30根据初始深度图像获取感兴趣区域的目标深度数据。感兴趣区域即是图像中的聚焦区域，感兴趣区域可以为用户提前设定或选择的区域，例如用户选择的花草树木或其他景物等，感兴趣区域也可以是人脸区域。感兴趣区域的数量可以为一个或多个，例如，当进行群体或多人拍照时，每个人像区域可作为一个感兴趣区域。在图5中，感兴趣区域的数量为3个，分别是r1、r2、r3。在拍照时，r1、r2、r3区域保持清晰，而除r1、r2、r3之外的区域呈现一定的虚化效果。处理器30获取的r1、r2、r3区域的目标深度数据可分别为d1、d2、d3，其中d1＜d2＜d3，即r1、r2、r3区域所对应的拍摄对象距离图像获取装置20的距离逐渐增大。
43.处理器30还判断感兴趣区域的数量是否大于预定值。具体地，预定值可以为1。也即是说，当感兴趣区域为两个或两个以上时，即是感兴趣区域的数量是否大于预定值。
44.当感兴趣区域的数量大于预定值时，处理器30根据目标深度数据将感兴趣区域分组以计算目标景深。以图5为例，由于感兴趣区域的数量为3个，大于预定值1，因而，处理器30根据d1、d2、d3的大小将r1、r2、r3区域分组。具体地，处理器30可由小到大、将具有相邻的目标深度数据的感兴趣区域作为一组。例如，处理器30先将r1、r2作为一组，计算出一个景深d12后，再与r3作为一组计算出一个景深d123，最后根据计算得到的景深d123确定目标景深，进而确定目标虚化强度，并根据目标虚化强度虚化初始深度图像得到虚化深度图像。同理，当感兴趣区域的数量为4个或更多个时，例如感兴趣区域为r1、r2、r3、r4，则处理器30先将r1、r2作为一组，计算出一个景深d12后，再与r3作为一组计算出一个景深d123，最后与r4作为一组计算出一个景深d1234。当然，在其他实施方式中，处理器30也可由大到小、将具有相邻的目标深度数据的感兴趣区域作为一组。例如，当感兴趣区域的数量为3个时，处理器30先将r3、r2作为一组，计算出一个景深d32后，再与r1作为一组计算出一个景深d321。
45.可以理解，当感兴趣区域的数量小于或等于预定值时，例如进行单人拍照时，感兴趣区域的数量为1，则处理器30不需要根据目标深度数据将感兴趣区域分组，处理器30直接根据该感兴趣区域计算目标景深即可，进而确定目标虚化强度，并根据目标虚化强度虚化初始深度图像得到虚化深度图像。
46.本技术实施方式的深度图像处理方法、深度图像处理装置10和电子装置100，由于在感兴趣区域的数量大于预定值时，根据感兴趣区域的目标深度数据将多个感兴趣区域分组来计算目标景深，而非是只考虑一个感兴趣区域的目标深度数据进而确定与该一个感兴趣区域对应的目标景深，因而可以确保多个感兴趣区域均清晰，使得在多人或群体拍照时也能具有较好的用户体验。
47.请参阅图6和图7，在某些实施方式中，深度图像获取装置20包括第一相机21和第二相机22。第一相机21用于获取第一图像。第二相机22用于获取第二图像。第一图像和第二图像用于合成初始深度图像。根据初始深度图像获取感兴趣区域的目标深度数据(即01)包括：
48.011：识别第一图像或第二图像中的感兴趣区域；
49.012：计算初始深度图像的初始深度数据；和
50.013：获取初始深度数据中与感兴趣区域对应的目标深度数据。
51.请结合图8，在某些实施方式中，深度图像获取装置20包括第一相机21和第二相机
22。第一相机21用于获取第一图像。第二相机22用于获取第二图像。第一图像和第二图像用于合成初始深度图像。获取模块11包括第一识别单元111、第一计算单元112和第一获取单元113。第一识别单元111可用于执行011中的方法，第一计算单元112可用于执行012中的方法，第一获取单元113可用于执行013中的方法。也即是说，第一识别单元111可以用于识别第一图像或第二图像中的感兴趣区域。第一计算单元112可以用于计算初始深度图像的初始深度数据。第一获取单元113可以用于获取初始深度数据中与感兴趣区域对应的目标深度数据。
52.请再次参阅图7，在某些实施方式中，深度图像获取装置20包括第一相机21和第二相机22。第一相机21用于获取第一图像。第二相机22用于获取第二图像。第一图像和第二图像用于合成初始深度图像。处理器30可用于执行011、012和013中的方法。也即是说，处理器30可以用于识别第一图像或第二图像中的感兴趣区域；计算初始深度图像的初始深度数据；和获取初始深度数据中与感兴趣区域对应的目标深度数据。
53.具体地，第一相机21和第二相机22可为rgb相机。第一相机21和第二相机22从两个不同的角度对同一场景进行拍摄分别得到第一图像和第二图像，从而合成具有深度信息的初始深度图像。
54.本技术实施方式中，第一相机21和第二相机22可均为可见光相机，此时，第一图像和第二图像均为可见光图像；或者，第一相机21为红外相机，第二相机22为可见光相机，此时，第一图像为红外光图像，第二图像为可见光图像；或者，第一相机21为可见光相机，第二相机22为红外相机，此时，第一图像为可见光图像，第二图像为红外光图像。当然，第一相机21和第二相机22也可以为其他类型的相机，第一图像和第二图像为对应类型的图像，这里不作限制。感兴趣区域为第一图像或第二图像中的图像区域。处理器30可利用图像识别算法从第一图像或第二图像中识别出是否存在感兴趣区域，并确定感兴趣区域的位置，即感兴趣区域在第一图像或第二图像中所占像素的横纵坐标范围；处理器30还计算整个初始深度图像的初始深度数据；由于第一图像或第二图像与初始深度图像是配准对齐的，具有一定的对应关系，因此，处理器30可从初始深度数据中查找与感兴趣区域对应的目标深度数据。需要指出的是，011和012执行的先后顺序可以是任意的，例如，先执行011再执行012，或者先执行012再执行011，或者同时执行011和012。
55.请参阅图3和图9，在某些实施方式中，深度图像获取装置20包括飞行时间(time of flight，tof)深度相机23。根据初始深度图像获取感兴趣区域的目标深度数据(即01)包括：
56.014：识别初始深度图像中的感兴趣区域；
57.015：计算初始深度图像的初始深度数据；和
58.016：获取初始深度数据中与感兴趣区域对应的目标深度数据。
59.请结合图10，在某些实施方式中，深度图像获取装置20包括飞行时间深度相机23。获取模块11包括第二识别单元114、第二计算单元115和第二获取单元116。第二识别单元114可用于执行014中的方法，第二计算单元115可用于执行015中的方法，第二获取单元116可用于执行016中的方法。也即是说，第二识别单元114可以用于识别初始深度图像中的感兴趣区域。第二计算单元115可以用于计算初始深度图像的初始深度数据。第二获取单元116可以用于获取初始深度数据中与感兴趣区域对应的目标深度数据。
60.请参阅图3，在某些实施方式中，深度图像获取装置20包括飞行时间深度相机23。处理器30可用于执行014、015和016中的方法。也即是说，处理器30可以用于：识别初始深度图像中的感兴趣区域；计算初始深度图像的初始深度数据；和获取初始深度数据中与感兴趣区域对应的目标深度数据。
61.具体地，飞行时间深度相机23可包括红外发射器、红外接收器和红外处理芯片。红外处理芯片分别与红外发射器及红外接收器连接。当飞行时间深度相机23用于获取初始深度图像时，红外发射器向电子装置100前方预定距离范围发射特定波长(例如950nm)的红外光，红外光在遇到待测对象后会被反射回来，由红外接收器接收。红外接收芯片通过计算发射的红外光和反射回的红外光之间的相位差或时间差，可以得出待测对象的深度信息，从而获得初始深度图像。其中，红外处理芯片与处理器30可以为相同元件，也可以为两个不同的元件。
62.本技术实施方式中，感兴趣区域为初始深度图像中的图像区域。处理器30可根据深度信息从初始深度图像中识别出是否存在感兴趣区域，并确定感兴趣区域的位置，即感兴趣区域在初始深度图像中所占像素的横纵坐标范围；处理器30还计算整个初始深度图像的初始深度数据；处理器30最后从初始深度数据查找与感兴趣区域中对应的目标深度数据。需要指出的是，014和015执行的先后顺序可以是任意的，例如，先执行014再执行015，或者先执行015再执行014，或者同时执行014和015。
63.请参阅图3和图9，在某些实施方式中，深度图像获取装置20包括结构光(structured light)深度相机24。根据初始深度图像获取感兴趣区域的目标深度数据(即01)包括：
64.014：识别初始深度图像中的感兴趣区域；
65.015：计算初始深度图像的初始深度数据；和
66.016：获取初始深度数据中与感兴趣区域对应的目标深度数据。
67.请结合图10，在某些实施方式中，深度图像获取装置20包括结构光深度相机24。获取模块11包括第二识别单元114、第二计算单元115和第二获取单元116。第二识别单元114可用于执行014中的方法，第二计算单元115可用于执行015中的方法，第二获取单元116可用于执行016中的方法。第二识别单元114可用于识别初始深度图像中的感兴趣区域。第二计算单元115可用于计算初始深度图像的初始深度数据。第二获取单元116可用于获取初始深度数据中与感兴趣区域对应的目标深度数据。
68.请参阅图3，在某些实施方式中，深度图像获取装置20包括结构光深度相机24。处理器30可用于执行014、015和016中的方法。也即是说，处理器30可以用于：识别初始深度图像中的感兴趣区域；计算初始深度图像的初始深度数据；和获取初始深度数据中与感兴趣区域对应的目标深度数据。
69.具体地，结构光深度相机24可包括结构光投射器、结构光摄像头和结构光处理芯片。结构光处理芯片分别与结构光投射器及结构光摄像头连接。结构光摄像头可以为红外光摄像头，当结构光深度相机24用于获取初始深度图像时，结构光投射器向电子装置100前方预定距离范围投射激光图案，结构光摄像头采集待测对象调制后的激光图案。结构光处理芯片用于处理激光图案以获得初始深度图像。其中，结构光处理芯片与处理器30可以为相同元件，也可以为两个不同的元件。
70.本技术实施方式中，感兴趣区域为初始深度图像中的图像区域。处理器30可根据深度信息从初始深度图像中识别出是否存在感兴趣区域，并确定感兴趣区域的位置，即感兴趣区域在初始深度图像中所占像素的横纵坐标范围；处理器30还计算整个初始深度图像的初始深度数据；处理器30最后从初始深度数据查找与感兴趣区域中对应的目标深度数据。同样的，014和015执行的先后顺序可以是任意的，例如，先执行014再执行015，或者先执行015再执行014，或者同时执行014和015。
71.本技术实施方式的深度图像处理方法既可以应用于双摄相机，也可以应用于飞行时间深度相机23或是结构光深度相机24，适用范围较广。
72.请参阅图11，在某些实施方式中，根据目标深度数据将感兴趣区域分组以计算目标景深(即03)包括：
73.031：将具有相邻的目标深度数据的两个感兴趣区域作为一个感兴趣区域组；
74.032：判断感兴趣区域组中的其中一个感兴趣区域的第一景深与另外一个感兴趣区域的第二景深之间的深度差值是否小于(或等于)深度阈值；
75.033：在深度差值小于(或等于)深度阈值时，合并第一景深与第二景深得到合并景深；和
76.034：根据合并景深计算目标景深。
77.请参阅图12，在某些实施方式中，第一计算模块13包括第一分组单元131、判断单元132、合并单元133和第四计算单元134。第一分组单元131可用于执行031中的方法，判断单元132可用于执行032中的方法，合并单元133可用于执行033中的方法，第四计算单元134可用于执行034中的方法。也即是说，第一分组单元131可以用于将具有相邻的目标深度数据的两个感兴趣区域作为一个感兴趣区域组。判断单元132可以用于判断感兴趣区域组中的其中一个感兴趣区域的第一景深与另外一个感兴趣区域的第二景深之间的深度差值是否小于(或等于)深度阈值。合并单元133可以用于在深度差值小于(或等于)深度阈值时，合并第一景深与第二景深得到合并景深。第四计算单元134可以用于根据合并景深计算目标景深。
78.请参阅图3，在某些实施方式中，处理器30可用于执行031、032、033和034中的方法。也即是说，处理器30可以用于：将具有相邻的目标深度数据的两个感兴趣区域作为一个感兴趣区域组；判断感兴趣区域组中的其中一个感兴趣区域的第一景深与另外一个感兴趣区域的第二景深之间的深度差值是否小于(或等于)深度阈值；在深度差值小于(或等于)深度阈值时，合并第一景深与第二景深得到合并景深；和根据合并景深计算目标景深。
79.具体地，以图13为例，当进行两人拍照时，感兴趣区域(即人像区域)的数量为2个。若是直接根据第一感兴趣区域确定景深为(5.5，6.5)，并进一步确定虚化强度为s11和s12所代表的曲线，则景深之外的部分(0，5.5)和(6.5)都会被虚化，即第二感兴趣区域也会被虚化，用户体验不佳。
80.请参阅图14，本技术实施方式中，处理器30先将具有相邻的目标深度数据的两个感兴趣区域作为一个感兴趣区域组，即将第一感兴趣区域和第二感兴趣区域作为一个感兴趣区域组，然后判断第一感兴趣区域的第一景深(5.5，6.5)与第二感兴趣区域的第二景深(9.5，10.5)之间的深度差值是否小于(或等于)深度阈值，当深度差值小于(或等于)深度阈值时，合并第一景深(5.5，6.5)与第二景深(9.5，10.5)得到合并景深，并基于合并景深计算
目标景深。
81.请参阅图15，在某些实施方式中，第一景深及第二景深均包括景深前缘、景深后缘、以及位于景深前缘至景深后缘范围内的预定深度值。判断感兴趣区域组中的其中一个感兴趣区域的第一景深与另外一个感兴趣区域的第二景深之间的深度差值是否小于(或等于)深度阈值(即032)包括：
82.0321：判断第一景深的预定深度值与第二景深的预定深度值之间的深度差值是否小于(或等于)深度阈值。
83.请参阅图16，在某些实施方式中，第一景深及第二景深均包括景深前缘、景深后缘、以及位于景深前缘至景深后缘范围内的预定深度值。判断单元132包括判断子单元1321。判断子单元1321可用于执行0321中的方法。也即是说，判断子单元1321可以用于判断第一景深的预定深度值与第二景深的预定深度值之间的深度差值是否小于(或等于)深度阈值。
84.请参阅图3，在某些实施方式中，第一景深及第二景深均包括景深前缘、景深后缘、以及位于景深前缘至景深后缘范围内的预定深度值。处理器30可用于执行0321中的方法。即，处理器30可以用于：判断第一景深的预定深度值与第二景深的预定深度值之间的深度差值是否小于(或等于)深度阈值。
85.具体地，景深前缘为景深范围内距离深度获取装置20最近的深度值，景深后缘为景深范围内距离深度获取装置20最远的深度值。以图14为例，第一景深(5.5，6.5)的景深前缘为5.5，景深后缘为6.5，预定深度值为(5.5，6.5)范围内的任意深度值。第二景深(9.5，10.5)的景深前缘为9.5，景深后缘为10.5，预定深度值为(9.5，10.5)范围内的任意深度值。
86.当第一景深的预定深度值选取为第一景深的景深后缘、第二景深的预定深度值选取为第二景深的景深前缘时，处理器30判断第一景深(5.5，6.5)与第二景深(9.5，10.5)之间的深度差值是否小于(或等于)深度阈值的方式即为：判断第一景深的景深后缘6.5与第二景深的景深前缘9.5之间的深度差值是否小于(或等于)深度阈值。当然，第一景深的预定深度值、第二景深的预定深度值也可以选取为景深前缘至景深后缘范围内的其他深度值。例如，预定深度值选取为景深前缘至景深后缘的中点等。
87.请参阅图15，在某些实施方式中，第一景深及第二景深均包括景深前缘、景深后缘、以及位于景深前缘至景深后缘范围内的预定深度值。在深度差值小于(或等于)深度阈值时，合并第一景深与第二景深得到合并景深(即033)包括：
88.0331：在深度差值小于(或等于)深度阈值时，将第一景深的景深前缘与第二景深的景深前缘中的较小值作为合并景深的景深前缘，将第一景深的景深后缘与第二景深的景深后缘中的较大值作为合并景深的景深后缘。
89.请参阅图16，在某些实施方式中，第一景深及第二景深均包括景深前缘、景深后缘、以及位于景深前缘至景深后缘范围内的预定深度值。合并单元133包括合并子单元1331。合并子单元1331可用于执行0331中的方法。也即是说，合并子单元1331可以用于在深度差值小于(或等于)深度阈值时，将第一景深的景深前缘与第二景深的景深前缘中的较小值作为合并景深的景深前缘，将第一景深的景深后缘与第二景深的景深后缘中的较大值作为合并景深的景深后缘。
90.请参阅图3，在某些实施方式中，第一景深及第二景深均包括景深前缘、景深后缘、
以及位于景深前缘至景深后缘范围内的预定深度值。处理器30可用于执行0331中的方法。处理器30可用于：在深度差值小于(或等于)深度阈值时，将第一景深的景深前缘与第二景深的景深前缘中的较小值作为合并景深的景深前缘，将第一景深的景深后缘与第二景深的景深后缘中的较大值作为合并景深的景深后缘。
91.具体地，仍以图14为例，若第一景深的预定深度值选取为第一景深的景深后缘6.5，第二景深的预定深度值选取为第二景深的景深前缘9.5，深度阈值设置为4，则第一景深的预定深度值与第二景深的预定深度值之间的深度差值小于深度阈值，处理器30将第一景深的景深前缘5.5与第二景深的景深前缘9.5中的较小值，即5.5作为合并景深的景深前缘，将第一景深的景深后缘6.5与第二景深的景深后缘10.5中的较大值，即10.5作为合并景深的景深后缘。也即是说，根据该感兴趣区域组计算得到的合并景深为(5.5，10.5)，然后处理器30再根据合并景深(5.5，10.5)计算目标景深。
92.请参阅图17，在某些实施方式中，在合并第一景深与第二景深得到合并景深(即033)后，深度图像处理方法还包括：06：判断是否所有的感兴趣区域已被分组；
93.根据合并景深计算目标景深(即034)包括：
94.0341：在所有的感兴趣区域已被分组时，将合并景深作为目标景深；
95.根据目标深度数据将感兴趣区域分组以计算目标景深(即03)还包括：
96.035：在存在感兴趣区域未被分组时，将感兴趣区域组和与感兴趣区域组具有相邻的目标深度数据感兴趣区域作为一个新的感兴趣区域组。
97.请参阅图18，在某些实施方式中，深度图像处理装置10还包括第二判断模块16。第四计算单元134包括计算子单元1341。第一计算模块13包括第二分组单元135。第二判断模块16可用于执行06中的方法，计算子单元1341可用于执行0341中的方法，第二分组单元135可用于执行035中的方法。也即是说，在合并第一景深与第二景深得到合并景深后，第二判断模块16可以用于判断是否所有的感兴趣区域已被分组。计算子单元1341可以用于在所有的感兴趣区域已被分组时，将合并景深作为目标景深。第二分组单元135可以用于在存在感兴趣区域未被分组时，将感兴趣区域组和与感兴趣区域组具有相邻的目标深度数据感兴趣区域作为一个新的感兴趣区域组。
98.请参阅图3，在某些实施方式中，处理器30可用于执行06、0341和035中的方法。也即是说，在合并第一景深与第二景深得到合并景深后，处理器30可以用于：判断是否所有的感兴趣区域已被分组；在所有的感兴趣区域已被分组时，将合并景深作为目标景深；和在存在感兴趣区域未被分组时，将感兴趣区域组和与感兴趣区域组具有相邻的目标深度数据感兴趣区域作为一个新的感兴趣区域组。
99.具体地，在处理器30计算得到合并景深为(5.5，10.5)后，还判断是否所有的感兴趣区域已被分组，例如图14中，感兴趣区域的数量为两个，两个感兴趣区域已被分组计算目标景深，则处理器30直接将合并景深为(5.5，10.5)作为目标景深，也即是说，目标景深也为(5.5，10.5)。然后，处理器30根据目标景深(5.5，10.5)计算目标虚化强度，并根据目标虚化强度虚化初始深度图像得到虚化深度图像。在图14中，目标虚化强度即是s11和s22所代表的曲线。处理器30对(0，5.5)范围内的图像区域进行渐变虚化，具体地，随着深度值的增大，虚化程度越来越弱。处理器30保持目标景深(5.5，10.5)范围内的图像区域清晰。处理器30对(10.5，+∞)范围内的图像区域也进行渐变虚化，具体地，随着深度值的增大，虚化程度越
来越强。
100.当存在感兴趣区域未被分组时，例如感兴趣区域的数量为三个时，采用上述方式，只根据第一感兴趣区域和第二感兴趣区域分组计算出来合并景深为(5.5，10.5)，在此之后，处理器30还将由第一感兴趣区域和第二感兴趣区域组成的感兴趣区域组作为一个新的感兴趣区域，并将该新的感兴趣区域与第三感兴趣区域作为一个新的感兴趣区域组。假设第三感兴趣区域的第三景深为(11.5，13)，则合并景深的预定深度值10.5与第三景深的预定深度值11.5之间的深度差值仍然小于深度阈值4，处理器30再次合并景深(5.5，10.5)与(11.5，13)得到新的合并景深为(5.5，13)，然后再次执行判断是否所有的感兴趣区域已被分组的过程，直至所有的感兴趣区域已被分组以计算目标景深。
101.请参阅图19，在某些实施方式中，根据目标深度数据将感兴趣区域分组以计算目标景深(即03)还包括：
102.036：在深度差值大于(或等于)深度阈值时，将第一景深和第二景深均作为目标景深；
103.根据目标景深计算目标虚化强度(即04)包括：
104.041：分别根据第一景深计算第一虚化强度、根据第二景深计算第二虚化强度；和
105.042：将第一虚化强度和第二虚化强度中的较小值作为目标虚化强度。
106.请参阅图20，在某些实施方式中，第一计算模块13还包括第五计算单元136。第二计算模块14包括第六计算单元141和第七计算单元142。第五计算单元136可用于执行036中的方法，第六计算单元141可用于执行041中的方法，第七计算单元142可用于执行042中的方法。也即是说，第五计算单元136可以用于在深度差值大于(或等于)深度阈值时，将第一景深和第二景深均作为目标景深。第六计算单元141可以用于分别根据第一景深计算第一虚化强度、根据第二景深计算第二虚化强度。第七计算单元142可以用于将第一虚化强度和第二虚化强度中的较小值作为目标虚化强度。
107.请参阅图3，在某些实施方式中，处理器30可用于执行036、041和042中的方法。也即是说，处理器30可以用于：在深度差值大于(或等于)深度阈值时，将第一景深和第二景深均作为目标景深；分别根据第一景深计算第一虚化强度、根据第二景深计算第二虚化强度；和将第一虚化强度和第二虚化强度中的较小值作为目标虚化强度。
108.具体地，请参阅图21，若第一景深的预定深度值选取为第一景深的景深后缘6.5，第二景深的预定深度值选取为第二景深的景深前缘9.5，深度阈值设置为2，则第一景深的预定深度值与第二景深的预定深度值之间的深度差值大于深度阈值，处理器30将第一景深(5.5，6.5)和第二景深(9.5，10.5)均作为目标景深，然后根据第一景深(5.5，6.5)计算得到第一虚化强度，第一虚化强度即是s11和s12所代表的曲线；根据第二景深(9.5，10.5)计算得到第二虚化强度，第二虚化强度即是s21和s22所代表的曲线。最后，处理器30将第一虚化强度和第二虚化强度中的较小值作为目标虚化强度，也即是图21中虚线所代表的曲线。
109.请参阅图19，在某些实施方式中，在将第一虚化强度和第二虚化强度中的较小值作为目标虚化强度(即042)后，深度图像处理方法还包括：06：判断是否所有的感兴趣区域已被分组；
110.根据目标虚化强度虚化初始深度图像得到虚化深度图像(即05)包括：
111.051：在所有的感兴趣区域已被分组时，根据目标虚化强度虚化初始深度图像得到
虚化深度图像；
112.根据目标深度数据将感兴趣区域分组以计算目标景深(即03)还包括：
113.035：在存在感兴趣区域未被分组时，将感兴趣区域组和与感兴趣区域组具有相邻的目标深度数据感兴趣区域作为一个新的感兴趣区域组。
114.请参阅图20，在某些实施方式中，深度图像处理装置10还包括第二判断模块16。处理模块15包括虚化单元151。第一计算模块13包括第二分组单元135。第二判断模块16可用于执行06中的方法，虚化单元151可用于执行051中的方法，第二分组单元135可用于执行035中的方法。也即是说，在将第一虚化强度和第二虚化强度中的较小值作为目标虚化强度，第二判断模块16可以用于判断是否所有的感兴趣区域已被分组。虚化单元151可以用于在所有的感兴趣区域已被分组时，根据目标虚化强度虚化初始深度图像得到虚化深度图像。第二分组单元135可以用于在存在感兴趣区域未被分组时，将感兴趣区域组和与感兴趣区域组具有相邻的目标深度数据感兴趣区域作为一个新的感兴趣区域组。
115.请参阅图3，在某些实施方式中，处理器30可用于执行06、051和035中的方法。也即是说，在将第一虚化强度和第二虚化强度中的较小值作为目标虚化强度后，处理器30可以用于：判断是否所有的感兴趣区域已被分组；在所有的感兴趣区域已被分组时，根据目标虚化强度虚化初始深度图像得到虚化深度图像；和在存在感兴趣区域未被分组时，将感兴趣区域组和与感兴趣区域组具有相邻的目标深度数据感兴趣区域作为一个新的感兴趣区域组。
116.具体地，在处理器30计算得到目标虚化强度后，还判断是否所有的感兴趣区域已被分组，例如图21中，感兴趣区域的数量为两个，两个感兴趣区域均已被分组计算目标景深，则处理器30直接根据目标虚化强度虚化初始深度图像得到虚化深度图像。处理器30对(0，5.5)范围内的图像区域进行渐变虚化，具体地，随着深度值的增大，虚化程度越来越弱。处理器30保持目标景深(5.5，6.5)范围内的图像区域清晰。处理器30对(6.5，8)、(8，9.5)范围内的图像区域进行渐变虚化，具体地，在(6.5，8)范围内，随着深度值的增大，虚化程度越来越强；在(8，9.5)范围内，随着深度值的增大，虚化程度越来越弱。处理器30保持目标景深(9.5，10.5)范围内的图像区域清晰。处理器30对(10.5，+∞)范围内的图像区域也进行渐变虚化，随着深度值的增大，虚化程度越来越强。
117.当存在感兴趣区域未被分组时，例如感兴趣区域的数量为三个时，采用上述方式，只根据第一感兴趣区域和第二感兴趣区域分组计算出来目标虚化强度，在此之后，处理器30还将由第一感兴趣区域和第二感兴趣区域组成的感兴趣区域组作为一个新的感兴趣区域，并将该新的感兴趣区域与第三感兴趣区域作为一个新的感兴趣区域组。假设第三感兴趣区域的第三景深为(11.5，13)，则新的感兴趣区域的景深(5.5，6.5)、(9.5，10.5)的预定深度值10.5与第三景深的预定深度值11.5之间的深度差值小于深度阈值2，处理器30将景深(9.5，10.5)与第三景深(11.5，13)合并，最终，处理器30保持(5.5，6.5)、(9.5，13)范围内的图像区域清晰。处理器30保持判断是否所有的感兴趣区域已被分组，直至所有的感兴趣区域已被分组以计算目标景深。
118.可以理解，采用上述方式进行图像处理，不论是深度差值大于(或等于)深度阈值时，还是深度差值小于(或等于)深度阈值，均能够有效保证各个感兴趣区域的清晰，使得用户具有较好的拍照体验。另外，本技术实施方式中，当深度阈值设置得足够大时，例如大于
整个初始深度图像中最大深度值与最小深度值之间的差值，则处理器30不对初始深度图像进行虚化，即可实现整个初始深度图像的全聚焦。