深度图像的修复方法、装置和存储介质

1.本发明涉及图像处理技术领域，尤其涉及一种深度图像的修复方法、装置和存储介质。


背景技术：

2.随着计算机三维图形学领域研究的发展，单目相机采集的室内场景深度图像作为场景建模的素材，有着广泛的应用，因此，对场景深度图像的修复，以确保图像深度信息的完整性和准确性有重要的意义。
3.目前基于传统机器学习的深度图像修复工作，多是采用额外信息作为指导，通过额外信息构造滤波器的方法或者采用直方图分布拟合的方式对深度图像进行修复，其中的额外信息，包括场景的颜色信息或场景的纹理信息等。
4.然而，这些方法都很难避免额外信息与深度信息分布的不一致性问题。例如，对于颜色信息而言，非纯色物体其内部的颜色分布不同，在对其进行修复的过程中，必将导致双边滤波器在构造的过程中，将物体从内部进行分离，但是就物体本身的深度信息而言，不同颜色的部分处于相同的位置，其深度分布一定是相似的，因此利用颜色信息构造的双边滤波器很难准确的表达出场景中物体的深度信息分布变化，进而导致对图像的修复效果不明显。


技术实现要素：

5.本发明提供一种深度图像的修复方法、装置和存储介质，可以更准确的表达出待修复图像的深度信息分布变化，以使对深度图像的修复效果的更佳。
6.第一方面，本发明实施例提供一种深度图像的修复方法，该方法包括：
7.提取待修复图像的二值掩模图像；
8.对所述待修复图像进行空间变换处理，得到处理后的待修复图像；
9.根据所述二值掩模图像和卷积稀疏编码字典，对所述处理后的待修复图像进行变换空间数据修复，得到空间变换修复结果，所述卷积稀疏编码字典为对多个具有完整深度信息的样本图像进行卷积稀疏编码学习得到的；
10.根据所述空间变换修复结果，对所述待修复图像进行深度信息的修复。
11.可选的，所述根据所述二值掩模图像和卷积稀疏编码字典，对所述处理后的待修复图像进行变换空间数据修复，得到空间变换修复结果，包括：
12.根据所述二值掩模图像和所述卷积稀疏编码字典，构造卷积稀疏编码字典损失函数；
13.根据所述损失函数，确定最小损失值对应的稀疏编码；
14.根据所述卷积稀疏编码字典和所述稀疏编码对所述处理后的待修复图像进行变换空间数据修复，得到所述空间变换修复结果。
15.可选的，所述对所述待修复图像进行空间变换处理，得到处理后的待修复图像，包
括：
16.采用局部正则化对所述待修复图像进行空间变换处理，得到处理后的待修复图像。
17.可选的，所述根据所述空间变换修复结果，对所述待修复图像进行深度信息的修复，包括：
18.将所述空间变换修复结果迁移至所述待修复图像中，得到迁移后的待修复图像；
19.对所述迁移后的待修复图像进行深度信息的修复，得到所述待修复图像的修复结果。
20.可选的，所述对所述迁移后的待修复图像进行深度信息的修复，得到所述待修复图像的修复结果，包括：
21.通过双边滤波算法，对所述迁移后的待修复图像进行深度信息的修复，得到所述待修复图像的修复结果。
22.可选的，所述对所述迁移后的待修复图像进行深度信息的修复，得到所述待修复图像的修复结果，包括：
23.根据所述二值掩模图像将所述待修复图像划分为有效深度点集和残缺深度点集，所述有效深度点集为所述待修复图像中具有深度信息分布的点的集合，残缺深度点集为所述待修复图像中深度信息缺失的点的集合；
24.在所述空间变换修复结果中，通过局部线性嵌入算法获取有效深度点集和残缺深度点集之间的映射关系；
25.根据所述映射关系和所述有效深度点集，对所述迁移后的待修复图像中所述残缺深度点集进行插值，得到所述待修复图像的修复结果。
26.可选的，根据所述二值掩模图像和卷积稀疏编码字典，对所述空间变换后的待修复图像进行变换空间数据修复之前，所述方法还包括：
27.获取多个具有完整深度信息的样本图像；
28.分别对所述多个具有完整深度信息的样本图像进行空间变换处理，得到多个处理后的样本图像；
29.对所述多个处理后的样本图像进行卷积稀疏编码学习，得到所述卷积稀疏编码字典。
30.第二方面，本发明实施例提供一种深度图像的修复装置，包括：
31.提取模块，用于提取待修复图像的二值掩模图像；
32.处理模块，用于对所述待修复图像进行空间变换处理，得到处理后的待修复图像；
33.修复模块，用于根据所述二值掩模图像和卷积稀疏编码字典，对所述处理后的待修复图像进行变换空间数据修复，得到空间变换修复结果，所述卷积稀疏编码字典为对多个具有完整深度信息的样本图像进行卷积稀疏编码学习得到的；
34.所述修复模块，还用于根据所述空间变换修复结果，对所述待修复图像进行深度信息的修复。
35.可选的，所述修复模块，具体用于：
36.根据所述二值掩模图像和所述卷积稀疏编码字典，构造卷积稀疏编码字典损失函数；
37.根据所述损失函数，确定最小损失值对应的稀疏编码；
38.根据所述卷积稀疏编码字典和所述稀疏编码对所述处理后的待修复图像进行变换空间数据修复，得到所述空间变换修复结果。
39.可选的，所述处理模块，还用于采用局部正则化对所述待修复图像进行空间变换处理，得到处理后的待修复图像。
40.可选的，所述修复模块，具体用于：
41.将所述空间变换修复结果迁移至所述待修复图像中，得到迁移后的待修复图像；
42.对所述迁移后的待修复图像进行深度信息的修复，得到所述待修复图像的修复结果。
43.可选的，所述修复模块，还用于通过双边滤波算法，对所述迁移后的待修复图像进行深度信息的修复，得到所述待修复图像的修复结果。
44.可选的，所述修复模块，具体用于：
45.根据所述二值掩模图像将所述待修复图像划分为有效深度点集和残缺深度点集，所述有效深度点集为所述待修复图像中具有深度信息分布的点的集合，残缺深度点集为所述待修复图像中深度信息缺失的点的集合；
46.在所述空间变换修复结果中，通过局部线性嵌入算法获取有效深度点集和残缺深度点集之间的映射关系；
47.根据所述映射关系和所述有效深度点集，对所述迁移后的待修复图像中所述残缺深度点集进行插值，得到所述待修复图像的修复结果。
48.可选的，所述装置还包括：获取模块和学习模块，其中，
49.所述获取模块，用于获取多个具有完整深度信息的样本图像；
50.所述处理模块，还用于分别对所述多个具有完整深度信息的样本图像进行空间变换处理，得到多个处理后的样本图像；
51.所述学习模块，用于对所述多个处理后的样本图像进行卷积稀疏编码学习，得到所述卷积稀疏编码字典。
52.第三方面，本发明实施例提供一种服务器，包括：
53.处理器；
54.存储器，用于存储所述处理器的计算机程序；以及，
55.其中，所述处理器被配置为通过执行所述计算机程序来执行第一方面所述的深度图像的修复方法。
56.第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序使得深度图像的修复装置执行第一方面所述的深度图像的修复方法。
57.本发明提供的深度图像的修复方法、装置和存储介质，通过提取待修复图像的二值掩模图像；并对所述待修复图像进行空间变换处理，得到处理后的待修复图像；根据所述二值掩模图像和卷积稀疏编码字典，对所述处理后的待修复图像进行变换空间数据修复，得到空间变换修复结果，其中，所述卷积稀疏编码字典为对多个具有完整深度信息的样本图像进行卷积稀疏编码学习得到的；进而根据所述空间变换修复结果，对所述待修复图像进行深度信息的修复。由于利用卷积稀疏编码字典对待修复图像进行修复，可以更准确的
表达出待修复图像的深度信息分布变化，从而有利于提高深度图像的修复效果。
附图说明
58.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
59.图1是本发明根据一示例性实施例示出的一种深度图像的修复方法的流程示意图；
60.图2是本发明根据另一示例性实施例示出的一种深度图像的修复方法的流程示意图；
61.图3是本发明根据又一示例性实施例示出的一种深度图像的修复方法的流程示意图；
62.图4是本发明根据一示例性实施例示出的一种深度图像的修复装置的框图；
63.图5是本发明根据另一示例性实施例示出的一种深度图像的修复装置的框图；
64.图6是本发明实施例提供的一种服务器的结构示意图。
具体实施方式
65.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
66.本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”及“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
67.本发明提供的深度图像的修复方法，可以应用于对同一类别场景的深度图像进行修复的场景中。现有技术中，对于深度图像的修复，仅仅通过额外信息(颜色信息或纹理信息等)的分布指导深度图像的修复，这样很难准确的表达出场景中物体的深度信息分布变化，进而导致对深度图像的修复效果不明显。
68.考虑到上述技术问题，本发明实施例提出了一种深度图像的修复方法，通过提取待修复图像的二值掩模图像；并对待修复图像进行空间变换处理，得到处理后的待修复图像；根据二值掩模图像和卷积稀疏编码字典，对处理后的待修复图像进行变换空间数据修复，得到空间变换修复结果，其中，卷积稀疏编码字典为对多个具有完整深度信息的样本图像进行卷积稀疏编码学习得到的；进而根据空间变换修复结果，对待修复图像进行深度信息的修复。由于利用卷积稀疏编码字典对待修复图像进行修复，且卷积稀疏编码字典是通
过对多个同类别场景的深度图像进行学习得到，可以更准确的表达出待修复图像的深度信息分布变化，从而有利于提高深度图像的修复效果。
69.下面以具体的实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
70.图1是本发明根据一示例性实施例示出的一种深度图像的修复方法的流程示意图。该方法可以由任意深度图像的修复装置来执行，该装置可以通过软件和/或硬件实现。如图1所示，本发明实施例提供的深度图像的修复方法包括如下步骤：
71.步骤101：提取待修复图像的二值掩模图像。
72.在本步骤中，待修复图像为缺失部分深度信息的图像，且待修复图像为某一类别的场景图像，例如，山水风景图、动物图像、证件照图像或建筑物图像；又或者待修复图像为室内的某一场景图，例如，桌子图像、凳子图像或室内的全景图等，在此，本发明实施例只是以此为例进行说明，但并不代表本发明实施例仅局限于此。
73.在获取到待修复图像之后，提取待修复图像中的二值掩模图像，其中，二值掩模图像可以反映待修复图像中的有效的深度信息点集和残缺的深度信息点集，通过对待修复图像提取二值掩模图像，可以获知待修复图像中有效的深度信息和残缺的深度信息点集。
74.示例的，将待修复图像提取的二值掩模图像设为m，待修复图像中有效深度信息点集在二值掩模图像m中的像素值设为1，待修复图像中残缺深度信息点集在二值掩模图像m中的像素值设为0，如公式(1)所示。
[0075][0076]
式中：m
x,y
表示二值掩膜图像m对应坐标(x,y)的值。
[0077]
在本步骤中，通过提取待修复图像的二值掩模图像，可以获知待修复图像中有效深度信息点集和残缺深度信息点集，且二值掩模图像可以为后续对待修复图像进行修复提供基础。
[0078]
步骤102：对待修复图像进行空间变换处理，得到处理后的待修复图像。
[0079]
在本步骤中，空间变换处理是指存在着一个变换矩阵使得原图像与变换后的图像能够互相转换，在本实施例中，也即，待修复图像通过空间变换处理可以得到处理后的待修复图像，而处理后的待修复图像也可以通过空间变换处理，得到待修复图像。
[0080]
可选的，可以采用局部正则化对待修复图像进行空间变换处理，得到处理后的待修复图像。示例的，在局部正则化的过程中，可以选择尺度为13
×
13的高斯算子σ作为权值模型，当然也可以选择其他的尺度和高斯算子σ作为权值模型，本实施例在此不做任何限制。对于每一个待修复图像i而言，经局部正则化空间变换处理后的待修复图像i
n
，如公式(2)所示。正则化后的数据含义为其在邻域数据空间中所处的相对位置。在本实施例中，还可以通过其他的方法进行空间变换处理，可以根据具体的情况进行选择，本发明对空间变换的方法不做任何限制。
[0081][0082]
式中：i表示待修复图像；i
n
表示经过空间变换处理后的待修复图像；σ表示高斯算子。
[0083]
在本步骤中，通过对待修复图像进行空间变换的处理，可以删除待修复图像中的冗余信息，并且通过删除冗余信息使得在对待修复图像进行修复的过程中，减少了不必要的修复工作量，进而提高了对待修复图像的修复效率。
[0084]
在对待修复图像进行空间变换处理，得到处理后的待修复图像之后，进一步执行步骤103。
[0085]
步骤103：根据二值掩模图像和卷积稀疏编码字典，对处理后的待修复图像进行变换空间数据修复，得到空间变换修复结果，卷积稀疏编码字典为对多个具有完整深度信息的样本图像进行卷积稀疏编码学习得到的。
[0086]
其中，空间变换修复结果可以为诱导图像，通过诱导图像对待修复的深度图像进行修复。卷积稀疏编码字典为预先获得的，是通过对多个样本图像进行学习得到的，需要说明的是，多个样本图像必须均为具有完整的深度信息的图像，经过对多个具有完整深度信息的图像进行卷积稀疏编码的学习，得到具有完整深度信息的卷积稀疏编码字典，也即，卷积稀疏编码字典中存在的均为具有完整深度信息的图像，卷积稀疏编码字典可以表示出经过空间变换处理后的待修复图像中的深度信息相对分布状态。
[0087]
在本步骤中，根据步骤101中的公式(1)和卷积稀疏编码字典，对局部正则化空间变换处理后的待修复图像进行变换空间数据修复，最后得到空间变换修复结果。
[0088]
在本步骤中，通过对处理后的待修复图像进行变换空间数据修复，使得处理后的图像像素值可以很好的利用其周边的信息，以此获得更为理想的空间变换修复结果。
[0089]
在对处理后的待修复图像进行变换空间数据修复，得到空间变换修复结果之后，根据空间变换修复结果，对待修复图像进行深度信息的修复，也即执行步骤104。
[0090]
步骤104：根据空间变换修复结果，对待修复图像进行深度信息的修复。
[0091]
在本步骤中，根据步骤103得到的空间变换修复结果，进一步对待修复图像进行深度信息的修复，其中，待修复图像的深度信息可以为图像的像素信息，在本发明实施例中，可以通过双边滤波方法对待修复图像的深度信息进行修复，也可以利用局部线性嵌入算法对待修复图像进行深度信息的修复，在此，本发明实施例只是以此为例进行说明，但并不代表本发明实施例仅局限于此。
[0092]
本实施例提供的深度图像的修复方法，通过提取待修复图像的二值掩模图像；并对待修复图像进行空间变换处理，得到处理后的待修复图像；根据二值掩模图像和卷积稀疏编码字典，对处理后的待修复图像进行变换空间数据修复，得到空间变换修复结果，卷积稀疏编码字典为对多个具有完整深度信息的样本图像进行卷积稀疏编码学习得到的；又根据空间变换修复结果，对待修复图像进行深度信息的修复。由于通过卷积稀疏编码字典的方法对待修复图像的修复，且卷积稀疏编码字典是通过对多个同类别场景的深度图像进行学习得到，可以更准确的表达出待修复图像的深度信息分布变化，从而提高深度图像的修复效果。
[0093]
图2是本发明根据一示例性实施例示出的一种深度图像的修复方法的流程示意图。本实施例在图1所示的基础上，如何根据二值掩模图像和卷积稀疏编码字典，对处理后的待修复图像进行变换空间数据修复，得到空间变换修复结果的过程，进行详细描述，如图2所示，本发明实施例提供的深度图像的修复方法包括如下步骤：
[0094]
步骤201：提取待修复图像的二值掩模图像。
[0095]
步骤202：对待修复图像进行空间变换处理，得到处理后的待修复图像。
[0096]
步骤201-步骤202与步骤101-步骤102类似，此处不再赘述。
[0097]
步骤203：根据二值掩模图像和卷积稀疏编码字典，构造卷积稀疏编码字典损失函数。
[0098]
在根据二值掩模图像和卷积稀疏编码字典，对处理后的待修复图像进行变换空间数据修复，得到空间变换修复结果之前，需要先获取到卷积稀疏编码字典，可以通过下述的方法获取到卷积稀疏编码字典。
[0099]
可选的，获取多个具有完整深度信息的样本图像；分别对多个具有完整深度信息的样本图像进行空间变换处理，得到多个处理后的样本图像；对多个处理后的样本图像进行卷积稀疏编码学习，得到卷积稀疏编码字典。
[0100]
示例的，在获取多个样本图像时，可以通过语音的方式的获取待多个样本图像，也可以通过文字输入的方式获取多个样本图像，当然，也可以通过其它方式获取多个样本图像，在此，本发明实施例只是以此为例进行说明，但并不代表本发明实施例仅局限于此。
[0101]
在获取到多个具有完整深度信息的样本图像之后，还可以根据场景中的完整深度数据对多个样本图像中的深度数据的频域进行分离，由于同一类别的场景中的原始深度空间的数据分布会存在相同或相近的深度值，深度信息分布相似的物体在不同的场景中所具有的深度信息绝对差异属于冗余信息，不应当被卷积稀疏编码学习，其中，冗余信息可以为低频分量。因此，应当删除多个样本图像中的低频分量。进一步，分别对获得的多个样本图像进行空间变换处理，具体的在步骤102中详细介绍，此处不再赘述。
[0102]
需要说明的是，获取的多个样本图像与待修复图像应为同一类别场景的深度图像，由于以同类别场景的深度图像的局部相对分布规律为指导，相对于现有技术中以额外信息的分布来指导深度图像的修复，更符合待修复图像本身的深度信息的分布规律，且能避免由于不同类型的深度信息的分布差异带来的不良影响，以此达到更好的深度图像修复效果。
[0103]
在得到处理后的多个样本图像之后，进一步的，对多个处理后的样本图像进行卷积稀疏编码的学习。示例的，可以选择尺度为11
×
11的卷积核作为卷积稀疏编码字典，字典的规模为100个卷积核时，能够较好的对某一类别场景的图像深度信息进行表征，进而利用交替方向乘子法进行卷积稀疏编码字典a和稀疏表达系数φ(稀疏编码)的优化，具体的优化过程为在公式(3)所示的约束下，另公式(4)所示的损失函数最小化的过程。
[0104]
‖φ
i
‖2≤1,
[0105][0106]
式中：x
(j)
表示原始深度图变换后的图像；φ表示经学习后得到的卷积稀疏编码字典，φ
i
表示第i个字典；表示稀疏编码；表示正则化项；k，m为正整数；λ表示局部正则化参数，以保持数据保真项与局部正则化项的平衡。
[0107]
在本步骤中，通过对多个样本图像进行空间变换的处理，可以削弱在卷积稀疏编码字典学习过程中，由于场景深度图像中的冗余信息所带来的不良影响，且在相同的卷积稀疏编码字典的规模下，也增加了卷积稀疏编码字典对于场景深度信息的局部分布表征能
力，使得后续对待修复图像的空间变换数据修复的效果更加完整和准确。
[0108]
在获得到卷积稀疏编码字典之后，执行步骤203，也即根据二值掩模图像和卷积稀疏编码字典，构造卷积稀疏编码字典损失函数。示例的，根据公式(1)以及上述获得的卷积稀疏编码字典，构造出卷积稀疏编码字典的损失函数，如公式(5)所示。其中，损失函数为卷积稀疏编码字典在不同稀疏编码之下的损失。
[0109][0110]
式中：x表示经空间变换处理后的待修复图像，m表示二值掩模图像，a表示卷积稀疏编码，a
i
表示其中第i个编码；φ表示稀疏编码字典，φ
i
表示第i个字典；λ表示局部正则化参数；k为正整数。
[0111]
步骤204：根据损失函数，确定最小损失值对应的稀疏编码。
[0112]
在本步骤中，在步骤203中获取到损失函数之后，由于卷积稀疏编码字典的损失值越小，对待修复图像的修复结果越准确，因此，通过损失函数获取到卷积稀疏编码字典的最小损失值。
[0113]
另外，每个稀疏编码对应每个经过空间变换后的样本图像，且每个损失值与卷积稀疏编码字典中的稀疏编码为对应关系，在确定出卷积稀疏编码字典的最小损失值之后，并确定最小损失值对应的稀疏编码，如公式(6)所示。
[0114][0115]
式中：x表示经空间变换处理后的待修复图像，m表示二值掩模图像，a表示卷积稀疏编码，a
i
表示其中第i个编码；φ表示稀疏编码字典，φ
i
表示其中第i个字典；λ表示局部正则化参数；k为正整数。
[0116]
在本步骤中，利用卷积稀疏编码字典指导最优稀疏编码，该最优稀疏编码即最小损失值对应的稀疏编码，在确定出最小损失值对应的稀疏编码之后，就可以执行步骤205。
[0117]
步骤205：根据卷积稀疏编码字典和稀疏编码对处理后的待修复图像进行变换空间数据修复，得到空间变换修复结果。
[0118]
在本步骤中，根据卷积稀疏编码字典和公式(6)，对经过空间变换处理后的待修复图像进行变换空间数据修复，得到空间变换修复结果。
[0119]
在本实施例中，根据预先获得的卷积稀疏编码字典与待修复图像的二值掩模图像，使得在对处理后的待修复图像进行变换空间数据修复的效率更高，另外，通过确定出卷积稀疏编码字典的最小损失值，又进一步的使得空间变换的修复结果更为准确。
[0120]
图3是本发明根据又一示例性实施例示出的一种深度图像的修复方法的流程示意图，本实施例在图1所示实施例的基础上，如何根据空间变换修复结果，对待修复图像进行深度信息的修复的过程，进行详细说明。本发明实施例提供的深度图像的修复方法包括如下步骤：
[0121]
步骤301：提取待修复图像的二值掩模图像。
[0122]
步骤302：对待修复图像进行空间变换处理，得到处理后的待修复图像。
[0123]
步骤303：根据二值掩模图像和卷积稀疏编码字典，对处理后的待修复图像进行变换空间数据修复，得到空间变换修复结果，卷积稀疏编码字典为对多个具有完整深度信息
的样本图像进行卷积稀疏编码学习得到的。
[0124]
步骤301-步骤303与步骤101-步骤103类似，此处不再赘述。
[0125]
步骤304：将空间变换修复结果迁移至待修复图像中，得到迁移后的待修复图像。
[0126]
在本步骤中，将空间变换修复结果迁移至待修复图像中，迁移的方法可以为上述的空间变换的处理，也即，通过对空间变换的修复结果采用空间变换的方式迁移至待修复图像中，示例的，假设待修复图像为a，经过空间变换处理后得到的图像为a
′
，继而对a
′
进行变换空间数据的修复，得到空间变换的修复结果a
′0，进一步的，将空间变换的修复结果a
′0迁移至待修复图像a中，得到迁移后的待修复图像a0。当然，也可以为其他的迁移方式，具体的迁移方式本发明实施例不做任何限制。
[0127]
步骤305：对迁移后的待修复图像进行深度信息的修复，得到待修复图像的修复结果。
[0128]
在本步骤中，对迁移后的待修复图像进一步的进行深度信息的修复，具体的深度信息的修复方法可以为双边滤波算法或局部线性嵌入算法等，在此，本发明实施例只是以此为例进行说明，但并不代表本发明实施例仅局限于此。
[0129]
可选的，通过双边滤波算法，对迁移后的待修复图像进行深度信息的修复，得到待修复图像的修复结果。示例的，利用空间变换的修复结果构造联合双边滤波器，对待修复图像进行双边滤波，对迁移后的待修复图像进行深度信息的修复。如公式(7)所示，在构造联合双边滤波器的过程中，采用尺度为16
×
16的卷积核效果较好，当然也可以选用其他尺度的卷积核，本发明对此不做任何限制，只要能够使得修复效果较好即可。
[0130][0131]
式中：i
filtered
(x)表示输入图像对应位置x
i
的像素值；x表示空间变换的修复结果，x
i
表示物理坐标；i(x)表示输入图像对应位置x的像素值；f
r
表示空间高斯滤波器核；g
s
表示以i处的深度图像值为中心的范围滤波器核；ω表示核f
r
的空间支持；w
p
表示基于变换空间的修复结果设计的滤波权重，如公式(8)所示。
[0132][0133]
式中：x表示空间变换的修复结果，x
i
表示物理坐标；i(x)表示输入图像对应位置x的像素值；f
r
表示空间高斯滤波器核；g
s
表示以i处的深度图像值为中心的范围滤波器核；ω表示核f
r
的空间支持；w
p
表示基于变换空间的修复结果设计的滤波权重。
[0134]
在本步骤中，根据空间变换的修复结果构造联合双边滤波器，采用双边算法对迁移后的待修复图像进行深度信息的修复，获得到双边滤波法修复的结果。
[0135]
在一种可实现的方式中，根据二值掩模图像将待修复图像划分为有效深度点集和残缺深度点集，有效深度点集为待修复图像中具有深度信息分布的点的集合，残缺深度点集为待修复图像中深度信息缺失的点的集合；在空间变换修复结果中，通过局部线性嵌入算法获取有效深度点集和残缺深度点集之间的映射关系；根据映射关系和有效深度点集，对迁移后的待修复图像中残缺深度点集进行插值，得到待修复图像的修复结果。
[0136]
具体的，通过二值掩模图像将待修复图像划分为有效深度点集和残缺深度点集，因此，相对应的处理后的待修复图像和空间变换的修复结果中均可以显示出有效深度点集和残缺深度点集。采用局部线性嵌入算法可以获得到，在空间变换的修复结果中的有效深
度点集和残缺深度点集的映射关系，相应的，也可以获得在迁移后的待修复图像中有效深度点集和残缺深度点集的对应映射关系。根据该映射关系，对迁移后的待修复图像中的残缺深度点集进行插值，最终获得到待修复图像的修复结果。示例的，根据局部线性嵌入算法利用有效深度点集拟合残缺深度点集，并记录拟合权重，在拟合的过程中，为了使得拟合的效果较好，可以选择领域个数为12个进行拟合，但是，本发明实施例对邻域个数并不限制。根据获得的拟合权重，对迁移后的待修复图像中的残缺深度点集进行插值，得到局部线性嵌入算法修复的结果。
[0137]
在本步骤中，通过两种方式对迁移后的待修复图像进行深度信息的修复，分别获得一个待修复图像的深度信息修复结果(双边滤波法修复的结果和局部线性嵌入算法修复的结果)，通过与真实的待修复图像进行对比，并将与真实的待修复图像最接近且修复结果准确率最高的修复结果作为最终的待修复图像修复结果。
[0138]
在本实施例中，通过对空间变换的修复结果进行迁移至待修复图像中，并采用两种方法对迁移后的待修复图像进行深度信息的修复，进而对比修复效果的高低，确定最终的待修复图像修复结果，这样可以使得对待修复图像的修复效果更加完整且修复结果更准确。
[0139]
图4是本发明根据一示例性实施例示出的一种深度图像的修复装置的框图，如图4所示，该深度图像的修复装置包括：提取模块11、处理模块12和修复模块13，其中：
[0140]
提取模块11，用于提取待修复图像的二值掩模图像；
[0141]
处理模块12，用于对待修复图像进行空间变换处理，得到处理后的待修复图像；
[0142]
修复模块13，用于根据二值掩模图像和卷积稀疏编码字典，对处理后的待修复图像进行变换空间数据修复，得到空间变换修复结果，卷积稀疏编码字典为对多个具有完整深度信息的样本图像进行卷积稀疏编码学习得到的；
[0143]
修复模块13，还用于根据空间变换修复结果，对待修复图像进行深度信息的修复。
[0144]
可选的，处理模块12，还用于采用局部正则化对待修复图像进行空间变换处理，得到处理后的待修复图像。
[0145]
可选的，修复模块13，具体用于：
[0146]
根据二值掩模图像和卷积稀疏编码字典，构造卷积稀疏编码字典损失函数；
[0147]
根据损失函数，确定最小损失值对应的稀疏编码；
[0148]
根据卷积稀疏编码字典和稀疏编码对处理后的待修复图像进行变换空间数据修复，得到空间变换修复结果。
[0149]
可选的，修复模块13，具体用于：
[0150]
将空间变换修复结果迁移至待修复图像中，得到迁移后的待修复图像；
[0151]
对迁移后的待修复图像进行深度信息的修复，得到待修复图像的修复结果。
[0152]
可选的，修复模块13，还用于通过双边滤波算法，对迁移后的待修复图像进行深度信息的修复，得到待修复图像的修复结果。
[0153]
可选的，修复模块13，具体用于：
[0154]
根据二值掩模图像将待修复图像划分为有效深度点集和残缺深度点集，有效深度点集为待修复图像中具有深度信息分布的点的集合，残缺深度点集为待修复图像中深度信息缺失的点的集合；
[0155]
在空间变换修复结果中，通过局部线性嵌入算法获取有效深度点集和残缺深度点集之间的映射关系；
[0156]
根据映射关系和有效深度点集，对迁移后的待修复图像中残缺深度点集进行插值，得到待修复图像的修复结果。
[0157]
图5是本发明根据一示例性实施例示出的一种深度图像的修复装置的框图，如图5所示，该深度图像的修复装置还包括：获取模块14和学习模块15，其中：
[0158]
获取模块14，用于获取多个具有完整深度信息的样本图像；
[0159]
处理模块12，还用于分别对多个具有完整深度信息的样本图像进行空间变换处理，得到多个处理后的样本图像；
[0160]
学习模块15，用于对多个处理后的样本图像进行卷积稀疏编码学习，得到卷积稀疏编码字典。
[0161]
上述装置可用于执行上述对应方法实施例提供的方法，具体实现方式和技术效果类似，这里不再赘述。
[0162]
图6为本发明实施例提供的一种服务器60的结构示意图，示例的，请参见图6所示，该服务器60可以包括处理器601和存储器602，其中，
[0163]
存储器602用于存储程序指令；
[0164]
处理器601用于读取存储器602中的程序指令，并根据存储器602中的程序指令执行上述任一实施例所示的深度图像的修复方法。
[0165]
本发明实施例所示的服务器60，可以执行上述任一实施例所示的深度图像的修复方法的技术方案，其实现原理以及有益效果与文本的处理方法的实现原理以及有益效果类似，此处不再进行赘述。
[0166]
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，在计算机程序被处理器执行时，执行上述任一实施例所示的深度图像的修复方法的技术方案，其实现原理以及有益效果与深度图像的修复方法的实现原理以及有益效果类似，此处不再进行赘述。
[0167]
上述实施例中处理器可以是通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存取存储器(random access memory，ram)、闪存、只读存储器(read-only memory，rom)、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的指令，结合其硬件完成上述方法的步骤。
[0168]
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的
相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0169]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
[0170]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求书指出。
[0171]
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求书来限制。