基于图像分解的单一深度图的超分辨率方法

1.本发明属于图像质量增强领域，具体涉及一种基于图像分解的单一深度图的超分辨率方法。


背景技术：

2.在各种计算机视觉任务的实际应用中，三维场景的深度信息发挥着极其重要的作用。例如，工业物件和商品的识别和抓取、自动驾驶和智能机器人导航都需要使用三维场景的深度信息。现如今，通过消费级别的相机如kinect和tof就能够很容易地捕获场景的几何信息。然而，这些信息总是存储为深度图，同时，这些相机拍摄到的深度图分辨率是有限的。拍摄到的深度图质量也会受到复杂自然场景环境和相机传感器敏感度的影响。一般情况下，只有低分辨率的深度图是可以被使用的。然而，这些图像质量并不能满足实际应用的需求。因此，应该深入地研究深度图的超分辨率技术，从而实现深度图的质量增强和深度图的分辨率增强。当只有深度信息可用时，单一深度图超分辨率的目的是将低分辨率的深度图转化为高分辨率的深度图。不同于联合彩色图的深度图超分辨率方法，单一深度图的超分辨率问题是一个更加具有挑战性的病态问题。这是因为单一深度图的超分辨率方法的输入仅仅是能够提供场景几何结构信息的低质量深度图像来实现深度图质量增强，但是无法使用场景其他的模态信息。一般来说，深度图超分辨率方法可以粗略地分为两类：传统的深度图超分辨率方法和基于深度学习的深度图超分辨率方法。
3.基于图像滤波的深度图超分辨率方法是一种典型的深度图超分辨率方法，例如，引导图像滤波器是一种快速并且是非近似线性时间滤波方法，该方法使用彩色图像作为一种引导信息实现深度图质量增强。为了渐进地提高深度图的精度，双边滤波器被迭代地应用到深度图超分辨率的代价聚合中，这里考虑了大多数物体表面是分段线性平滑的，并且具有相似彩色信息的同一物体像素往往也具有相似的深度值。虽然通过图像滤波技术能够很好地提高图像的质量，然而这些基于图像滤波的方法总是使用局部信息却没有考虑到图像的全局相关性。
4.另一种方式是利用一定的先验信息来构建目标函数并通过优化来得到优化解。马尔可夫随机场方法使用深度数据内容项和深度平滑先验项来构建深度图重建的目标函数，然后，通过迭代优化算法获得高质量的深度图。为了进一步实现图像高质量上采样，除了潜在的深度数据内容项和深度平滑先验项，还将非局部均值正则化项加入到最小二乘优化中。此外，还可以使用一般的全变分来对全局能量优化进行正则化约束。考虑到现有的彩色图和深度图之间的相关性，可以引入一个双模态共稀疏模型来解决深度图上采样的问题。此外，还有一些方法首先对彩色图像进行分割，然后利用得的分割图像分别对分割的每个区域的深度信息进行重构，最后将这些重构的深度区域重新组合来得到高质量的深度图。与上述所有方法不同的是，基于块的合成方法需要搜索与给定的低分辨率深度块相匹配的高分辨率块。这种方法的缺点是高分辨率块和低分辨率块的匹配过程往往是非常耗费时间的。深度图的超分辨率问题可以被表示为一种边界补偿问题，这里通过多残差字典学习来
解决这个问题。虽然这些典型的方法能够一定程度提高深度图的精度，但它们不能通过硬件如gpu和tpu等进行加速，这将极大地限制了这些方法在计算机视觉领域的广泛应用。
5.与传统的深度图超分辨率方法相比，在最近这些年，基于深度学习的超分辨率方法取得了长足的进步。这些方法通常使用深度神经网络来学习从低分辨率到高分辨率的非线性映射。例如，超分辨率卷积神经网络是早期最具有代表性的超分辨率方法，它仅仅使用三个卷积层，然而每层发挥不同的作用。之后，z.wang等人根据稀疏编码理论设计了基于稀疏编码的网络，其拓扑结构是可解释的。这两种方法能够很好地解决彩色图像的超分辨率问题，并且也能用它们来解决深度图的超分辨率问题。彩色图和深度图之间有很大的区别，即彩色图像用于显示，而深度图为我们提供了场景几何信息。深度图的超分辨率任务还可以被转换为一系列新视图合成子任务以生成多视点的深度图，最终通过上采样操作来生成高质量的深度图。b.chen等人提出不直接学习端到端深度超分辨率映射，即首先使用cnn来预测高质量的边缘图像，然后根据高质量图像边缘信息作为一种引导信息，使用全变分合成来细化低质量深度图。深度图多尺度网络使用三个步骤：特征提取、多尺度上采样和深度图的超分辨率重建。上面所提到的网络的贡献点在于网络拓扑结构有所不同。此外，在感知的深度图超分辨率方法中，基于视觉外观的度量被用作图像超分辨率的损失函数，可以显著提高对3d感知质量。虽然这些方法能够提高深度图质量，但是人们往往期望能从低分辨率的深度图中估计更为准确的深度信息。因此，我们需要进一步研究单一深度图的超分辨问题。


技术实现要素：

6.为解决上述技术问题，本发明提出了一种基于图像分解的单一深度图的超分辨率方法。该方法主要包括深度对偶分解模块、深度图初始强化模块和深度图重建模块三个模块，使用这些模块对输入的低分辨率图像进行了分解、融合和重建，并定义损失函数对所提网络给予更多的约束，使得训练后的网络可以实现低分辨率深度图的上采样。
7.本发明保护的技术方案为：基于图像分解的单一深度图的超分辨率方法，按照以下步骤进行：
8.步骤1)构建训练数据集和测试数据集；
9.步骤2)使用深度对偶分解模块学习从低分辨率到高分辨率的映射；
10.利用深度对偶分解模块完成从低分辨率深度图到一对高分辨率的高质量精细结构图和粗糙结构图t
high
和s
high
，深度对偶分解模块包括了两个对偶支路，分别是高质量精细结构图的预测支路和高质量粗糙结构图的预测支路；
11.在深度对偶分解模块的高质量粗糙结构图预测支路中，使用三个卷积层去提取低分辨率特征，然后在转置卷积层中对这些特征进行上采样以获得接下来，将和二倍上采样的超分辨率先验图像沿通道维度级联，其结果作为第二阶段的输入，第二阶段依次使用三个卷积层、一个转置卷积层和一个卷积层，最后，将第二阶段的输出和四倍上采样的超分辨率先验图像逐像素相加，即可得到高质量粗糙结构图；
12.深度对偶分解模块的高质量精细结构图的预测支路的拓扑结构和高质量粗糙结构图的预测支路一样，它们的差异之处主要在于高质量精细结构图的预测支路没有使用残
差学习，因此该支路不需要逐像素相加操作；
13.步骤3)利用深度图的初始化增强模块来生成高分辨率的初始化深度图d0；
14.深度图初始化增强模块的网络结构与高质量粗糙结构图的预测支路相同；
15.步骤4)将从深度对偶分解模块和深度图初始化增强模块获得的三个图像，输入到深度图重建模块中进行加权融合并重建残差图像，最终通过逐像素求和操作将该残差图像和高分辨率的初始化深度图组合起来，即可得到最终预测的深度图d1。
16.进一步的，所述步骤4)的具体操作如下：
17.先将从初始深度图d0、预测的深度粗糙结构图像s
high
和精细结构图像t
high
这三个图像中分别都使用三个操作即一个卷积层、一个批归一化层和激活层来提取浅层特征作为深度图重建模块的加权融合单元的输入，然后，使用加权融合单元对提取浅层特征进行融合；
18.融合的具体操作依次包括：对三个浅层特征取绝对值；使用三个3x3卷积层提取特征；使用sigmoid函数对提取到的三组特征图进行激活；使用三个激活后的图像逐像素地进行归一化得到三个权值矩阵；使用归一化的权值矩阵对输入的浅层特征进行逐像素加权求和，为了充分地利用加权融合单元输出的融合特征，这里使用三个残差卷积提取更多丰富特征，并使用一个输出卷积层来重建残差图像，最终，将初始深度图d0和重建的残差图像以求和的方式得到最终预测的深度图d1。
19.进一步的，基于图像分解的单一深度图的超分辨率方法，还包括损失函数，网络训练总损失包括深度图对偶分解损失和深度图重建损失，深度图对偶分解损失包括深度图粗糙结构预测损失和深度图精细结构预测损失，而深度图重建损失包括初始深度图重建损失和最终深度图重建损失；
20.将低分辨率深度图所对应的标签图即原始的无失真深度图与初始化增强模块和重建模块所预测的深度图进行分别比较，得到所提网络的深度图重建损失，与此同时，将使用原始深度图来预测的细结构图和粗糙结构图和深度对偶分解模块所预测的精细结构图和粗糙结构图分别进行比较，得到所提网络的深度图对偶分解损失。
21.进一步的，所述步骤1)选择三个数据集来构建训练数据集，具体来说，使用的第一个数据集是mpi sintel深度图数据集，包括58个单一深度图。第二个数据集是包含34个单一深度图的middlebury深度图数据集，其中包括2001年数据集的6张深度图和2006年数据集的10张深度图，以及2014年数据集的18张深度图，第三个数据集使用的是合成训练数据，图像的总数量为62，采用两个已经填补空洞的middlebury rgbd数据集a和数据集c来评估不同深度图超分辨率方法的性能。
22.本发明提出了基于图像分解的单一深度图的超分辨率方法，它是由三个部分组成：深度对偶分解模块、深度图初始强化模块和深度图重建模块。该网络能够很好地实现图像的分解、融合和重建，并且能够得到令人满意的高质量深度图。
附图说明
23.下面结合附图对本发明做进一步详细的说明。
24.图1为本发明的算法流程图。
具体实施方式
25.为使本发明的目的、特征和优点能够明显易懂，下面结合附图对本发明的具体实施方式做详细说明。
26.为了更好的理解本发明的单一深度图的超分辨率方法，下面先对本发明网络结构做详细介绍。如图1所示，本发明所提的单一深度图超分辨率方法总共包含三个模块：深度对偶分解模块、深度图初始化增强模块和深度图重建模块。本发明的单一深度图的超分辨率方法基于上述三个模块实现，具体的实现步骤如下所示：
27.步骤1)构建训练数据集和测试数据集
28.在所提的网络训练前，首先选择三个数据集即mpi sintel深度数据集、middlebury数据集以及合成训练数据来形成训练数据集，具体说来，首先将这些图像进行以64为步长进行裁切为大小为128x128的图像块，一共得到7502张图像块，在训练阶段将使用这些图像块对网络进行训练。此外，采用两个已经填补空洞的middlebury rgbd数据集a和数据集c来评估不同深度图超分辨率方法的性能。
29.步骤2)使用深度对偶分解模块学习从低分辨率到高分辨率的映射；
30.在图1中深度对偶分解模块上半部分是高质量粗糙结构图的预测支路，深度对偶分解块中下半部分是高质量精细结构图的预测支路。在深度对偶分解模块中，首先使用一个卷积层从低分辨率深度图提取特征，然后同时将提取到的特征输入到深度对偶分解模块的高质量精细结构图的预测支路和高质量粗糙结构图的预测支路中。接下来，使用三个卷积层去提取低分辨率特征，然后在转置的卷积层中对这些特征进行上采样以获得接下来，将和二倍上采样的先验图像沿通道维度级联，其结果作为下一阶段的输入。第二阶段的结构与第一阶段的结构基本相同。然而，在第二阶段的末端使用一个卷积层将多通道特征影射为残差图，然后将该残差图与四倍上采样的先验图像相加，即可获得高质量粗糙结构图s
high
。
31.接下来将介绍高质量精细结构图的预测支路。正如在深度对偶分解模块的高质量粗糙结构图的预测支路中所做的那样，相似的网络结构被用于高质量精细结构图的预测，但是删除了用于高分辨率精细细节预测逐像素相加操作。由此可见，这个支路的结构与高质量粗糙结构图的预测基本上保持一致。
32.步骤3)利用深度图的初始化增强模块来生成高分辨率的初始化深度图d033.因为深度图重建模块的最终重建深度图质量依赖于该模块的三次输入：高质量的精细结构图和粗糙结构图以及初始化深度图，所以提出深度图初始化增强模块来提高输入的低分辨率深度图质量。正如在深度对偶分解模块的高质量粗糙结构图的预测支路中所描述的那样，深度图初始化增强模块具有相同的网络拓扑，并且具有与输入相同的特征图，但是具有不同地输出。换言之，虽然它们都是在学习一个端到端非线性映射，但是它们具有不同的功能。
34.步骤4)深度图重建模块
35.在深度图重建模块中将初始深度图d0、预测的深度粗糙结构图像s
high
和精细结构图像t
high
这三个图像中分别作为这个模块的输入。首先，使用三个卷积层提取浅层特征，然后，使用加权融合单元进行浅层特征融合，即先对三个浅层特征取绝对值，然后使用三个
3x3卷积层提取特征，接下来使用sigmoid函数对提取到的三组特征图进行激活，同时使用三个激活后的图像逐像素地进行归一化得到三个权值矩阵，最后使用归一化的权矩阵对输入的浅层特征进行逐像素加权求和。此外，我们还使用三个残差卷积和一个卷积输出层来从加权融合单元输出的一组特征图中提取更多丰富特征并重建残差图像。最终，将初始深度图和重建的残差图以求和的方式得到最终预测的深度图d1。
36.步骤5)损失函数定义
37.基于图像分解的单一深度图超分辨率方法的训练网络损失函数主要包括深度图对偶分解损失和深度图重建损失。其中，深度图对偶分解损失包括了深度粗略结构预测损失和深度图粗糙结构预测损失。与此同时，深度图重建损失包括了初始深度图重建损失和最终深度图重建损失。
38.下面是本发明的单一深度图超分辨率网络的训练和测试的具体过程。
39.a、网络训练参数配置
40.在训练网络时，选择adam优化器来训练所提出的网络模型，并且将其学习率设为2e
‑
4。
41.b、网络训练
42.本发明所提的单一深度图超分辨率方法训练网络所用损失函数可以表示为：
[0043][0044]
上式l1指的是1范数，深度粗糙结构图像s
high
和精细结构图像t
high
所对应的标签图g
high
和g
high
都是经过基于l0梯度最小化的平滑算法分解原始无失真的深度图l
gt
而得到的图像。从上式可以看到网络训练的损失函数由两个部分组成，第一部分是深度图对偶分解损失，而第二部分是深度图重建损失。在网络训练过程中，通过对深度对偶分解模块、深度图初始化增强模块和深度图重建模块输出的结果进行分析，可以发现所提网络的训练损失随着迭代次数的不断增加而趋于收敛。
[0045]
c、网络测试结果定量比较
[0046]
为了客观地描述超分辨网络对低分辨率深度图的增强效果，这里选用了均方根误差(root mean squared error,rsme)指标来对深度图的质量进行定量分析。rsme是用来衡量观测值与真实值之间的偏差，它常被用作深度模型预测结果衡量的指标，数值越小表示越接近真实值。采用两个已经填补空洞的middlebury rgbd数据集a和数据集c来评估不同深度图超分辨率方法的性能。
[0047]
如下表1和表2列出了不同的超分辨率方法所输出图像的rsme指标。经过对比可知，本发明所提出的方法无论是在数据集a或者是数据集c，均方根误差方面比一些最新的深度图超分变率方法性能更好。这充分地说明了本发明的方法在低分辨率深度图的增强上具有明显的优势。
[0048]
表一
[0049][0050]
表2
[0051][0052]
上面结合附图对本发明方案的实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。