一种基于深度学习的深度图像去噪及增强方法
【专利摘要】本发明公开了一种基于深度学习的深度图像去噪及增强方法，包括：构建深度图像去噪及增强卷积神经网络，该网络由三层卷积单元组成，分别完成输入图像的特征提取，非线性映射以及图像重建的功能。联合地使用深度和视觉图像作为卷积神经网络的输入，其中，对于视觉图先灰度化为灰度图像，将经过图像预处理来增强边缘信息和取出冗余的信息。对于深度图像，按照一定间隔切分为图像块，采取旋转和像素翻转数据扩充的方法增加有效地数据，并丢弃其中的干扰块和冗余块。基于权重图的损耗训练深度图像增强卷积神经网络，自适应地提升网络的学习效率。本方法可以实时地对带噪深度图像进行黑点填充和去噪，并取得很好的视觉效果和深度值恢复效果。
【专利说明】
-种基于深度学习的深度图像去噪及増强方法
技术领域
[0001] 本发明设及图像处理领域，尤其是指基于深度学习的深度图像去噪及增强方法。
【背景技术】
[0002] 随着便携平价的深度摄像头的发展，深度图像在图像处理领域的基础研究和应用 有着越来越重要的意义。通过应用深度图像上的信息，可W提升机器视觉领域中相关研究 和应用的表现，比如，图像分割，物体追踪，图像识别，和图像重建等。
[0003] 但是，由于现有深度摄像头技术原理的限制，从其中获取的深度图像的质量不如 视觉图，存在很多噪声干扰，通常是一些随机噪声和在物体边缘和黑色表面等处所产生不 同形状的"黑桐"，即丢失了深度信息的区域。运些问题对深度图像的深度信息的应用造成 了干扰。因此，要得到较精确的信息，则需要对深度图像进行深度增强处理，在传统的深度 图像增强的方法，一般地，包括深度填充和基于超像素的深度图像增强，运些方法基于传统 的图像处理方法，计算代价较大，深度图像去噪及增强处理速度不满足应用的实时性要求。
[0004] 随着近些年高效的GPU计算的发展，应用深度学习来解决传统的研究问题显得更 加方便可行。而深度卷积神经网络越来越被广泛使用在图像处理上的各种问题上，并取得 了显著的效果。
【发明内容】
[0005] 本发明的目的在于克服现有技术的缺点和不足，提供一种满足实时性要求的深度 图像去噪及增强方法，能有效解决深度图像去噪及增强处理速度较慢和深度值恢复效果较 差的问题。
[0006] 为实现上述目的，本发明所提供的技术方案为:一种基于深度学习的深度图像去 噪及增强方法，包括W下步骤：
[0007] 1)选取干净的深度图像及其对应的视觉图像和带噪的深度图像，构建网络训练 集，具体步骤如下：
[000引1-1)视觉图像灰度化为灰度图像；
[0009] 1-2)对灰度图像进行图像预处理后，W干净的深度图像及其对应的灰度图像和带 噪的深度图像为一组，对每一组图像进行切割，从而得到由图像块组成的训练集；
[0010] 1-3)丢弃训练集中的干扰图像块组；
[0011] 1-4)对训练集中的每组图像块随机旋转一定角度并对其像素值进行翻转，扩充训 练集；
[0012] 1-5)丢弃冗余的噪深度图像块；
[0013] 2)构建深度图像增强卷积神经网络，由Ξ层卷积单元组成，其输入为带噪深度图 像块和对应的灰度图像块，输出为增强后的深度图像块；
[0014] 3)采用误差反向传播算法训练所述深度图像增强卷积神经网络，并基于权重图计 算损耗，从而得到深度图像去噪及增强网络模型；
[0015] 4)将测试集中带噪的深度图像及其对应的视觉图灰度化为灰度图进行图像预处 理后，输入到深度图像去噪及增强网络模型，输出去噪及增强后的深度图像。
[0016] 在步骤1-2)中，所述图像预处理为对灰度图像依次进行直方图均衡化、双边滤波 器滤波、Sobel算子提取边界、基于分水岭算法的分割、分割块平均值填充、像素量化处理。
[0017] 在步骤1-2)中，所述对每一组图像进行切割，具体地，对每张带噪的深度图像，W 一定的间隔进行分割间隔，取出大小固定的图像块;再从灰度图像中的相同区域上取出同 样大小图像块和前面的图像块一起组成了训练集的输入部分;再从干净深度图像的相同区 域中W图像块中屯、为对称点取出缩小的图像块作为训练集的输出。
[0018] 在步骤1-3)中，所述干扰图像块组是指该图像块组之中干净的深度图像块里存在 黑点，该黑点为深度值丢失的点。
[0019] 在步骤1-4)中，所述对像素值进行翻转，采取的是随机加上W5为最小公倍数的随 机数并做模255运算的方法。
[0020] 在步骤1-5)中，丢弃冗余的噪深度图像块，采用双曲正弦函数的数值分布作为概 率值来丢弃冗余的图像块，重新组织训练集，具体公式如下：
[0021]
[0022] 其中crri表示第i个带噪深度图像块的损坏水平，crrm表示所有的带噪深度图像块 中的最大损坏水平。
[0023] 在步骤2)中，所述Ξ层卷积单元，其中第一层卷积单元是由卷积层，最大池化层和 矫正线性化层构成，第二层卷积单元结构与第一层卷积单元结构相同但卷积核大小进行了 缩小，第Ξ层卷积单元为一层卷积层。
[0024] 在步骤3)中，所述权重图为深度图像对的应视觉图灰度化为灰度图，再由双边滤 波和Sobe 1算子边界提取得到的图像。
[0025] 在步骤3)中，所述基于权重图计算损耗公式为：
[0026] fi〇ss= I |M · (Io-Ig)^
[0027] 其中Μ表示权重图，Ιο表示的是网络的输出图像，Ic表示的是干净的深度图像。
[0028] 在步骤4)中，所述的图像预处理与步骤1-2)所述的图像预处理是相同的。
[0029] 本发明与现有技术相比，具有如下优点与有益效果：
[0030] 1、灰度图像的图像预处理过程，有效地去除其中的冗余信息，而对训练集的扩充 和有目的的丢弃干扰块和冗余块，提升了训练集的有效性。
[0031] 2、基于权重图的损耗训练深度图像去噪及增强卷积神经网络，可W自适应地提升 网络的学习效率，提高网络模型对于深度图像边缘存在的黑桐区域的重建能力。
[0032] 3、构建的由Ξ层卷积单元组成的深度图像去噪及增强卷积神经网络，完成输入图 像的特征提取，非线性映射W及图像重建的功能，可W实时地对带噪深度图像进行黑点填 充和去噪，并取得很好的视觉效果和深度值恢复效果。
【附图说明】
[0033] 图1为本发明的深度图像去噪及增强卷积神经网络示意图。
【具体实施方式】
[0034] 下面结合具体实施例对本发明作进一步说明。
[0035] 如图1所示，本实施例所述的基于深度学习的深度图像去噪及增强方法，其具体情 况如下：
[0036] 1)选取30组图像，每组图像由干净的深度图像及其对应的视觉图像和带噪的深度 图像组成，W30组图中的28组作为网络训练集，剩下的2组作为网络测试集。接下来构建网 络训练集，具体步骤为：
[0037] 1-1)视觉图像灰度化为灰度图像。
[0038] 1-2)对灰度图像进行增强边界信息和去除冗余信息的图像预处理，具体地，依次 进行直方图均衡化，双边滤波器滤波，Sobel算子提取边界，基于分水岭算法的分割，分割块 平均值填充，像素量化处理，得到预处理后的灰度图像。对于每张带噪的深度图像，W9为分 害顺隔，取出32X32的图像块，作为训练集输入的第一通道;然后，从灰度图像中的相同位 置上取出32X32的图像块作为训练集输入集的第二通道。运样就组成了训练集的输入部 分。再从干净深度图像的相同32X32区域中W图像块中屯、为对称点取出14X14的图像块作 为训练集的输出。从而得到由图像块组成的训练集，训练集中的每组图像块由输入集的带 噪深度图像块和灰度图像块和输出集的干净深度图像块组成。
[0039] 1-3)丢弃训练集中的干扰图像块组，具体地，即该丢弃其中干净的深度图像块里 存在黑点(深度值丢失的点)所对应的图像块组。
[0040] 1-4)对训练集中的每组图像块随机旋转90°，180° ,270°并采取在原像素值上随机 加上W5为最小公倍数的随机数并做模255运算的方法对其像素值进行翻转，扩充训练集。
[0041] 1-5)丢弃训练集中黑点(深度值丢失的点)连通域小的图像块组，并按比例扩充拥 有大黑点连通域的图像块组，采用双曲正弦函数的数值分布作为概率值来丢弃冗余的图像 块，重新组织训练集，具体公式如下：
[0042]
[0043] 其中cm表示第i个带噪深度图像块的损坏水平，crrm表示所有的带噪深度图像块 中的最大损坏水平。
[0044] 2)构建深度图像去噪及增强卷积神经网络，由Ξ层卷积单元组成，分别完成输入 图像的特征提取，非线性映射W及图像重建的功能。其中第一层卷积单元是由卷积层，最大 池化层和矫正非线性化层构成，第二层卷积单元结构与第一层卷积单元结构相同，第Ξ层 卷积单元为一层卷积层。其输入尺寸为32X32的带噪的深度图像块和对应的灰度图像块， 输出为增强后的尺寸为14X14的深度图像块。具体地，第一个卷积单元由一个有128个9X9 卷积核的卷积层，一个运算核为5X5的最大池化层W及一个矫正非线性化层组成;第二个 卷积单元由一个有64个1X1卷积核的卷积层，一个运算核为3X3的最大池化层W及一个矫 正非线性化层构成;最后一层使用了卷积层。
[0045] 3)采用误差反向传播算法训练所述卷积神经网络，并基于权重图的损耗计算，W 150万次迭代作为一个完整的训练，从而得到深度图像去噪及增强网络模型，其中基于权重 图的损耗计算公式为：
[0046] fi〇ss=||M.(I〇-lG)2|
[0047] 其中Μ表示权重图，Ιο表示的是网络的输出图像，Ic表示的是干净的深度图像。
[0048] 4)将带噪的深度图像及其对应的视觉图灰度化为灰度图进行图像预处理后，输入 到训练好的深度图像去噪及增强网络模型中，输出增强的深度图像。
[0049] W上所述实施例只为本发明之较佳实施例，并非W此限制本发明的实施范围，故 凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。
【主权项】
1. 一种基于深度学习的深度图像去噪及增强方法，其特征在于，包括以下步骤： 1) 选取干净的深度图像及其对应的视觉图像和带噪的深度图像，构建网络训练集，具 体步骤如下： 1-1)视觉图像灰度化为灰度图像； 1-2)对灰度图像进行图像预处理后，以干净的深度图像及其对应的灰度图像和带噪的 深度图像为一组，对每一组图像进行切割，从而得到由图像块组成的训练集； 1-3)丢弃训练集中的干扰图像块组； 1-4)对训练集中的每组图像块随机旋转设定角度并对其像素值进行翻转，扩充训练 集； 1-5)丢弃冗余的噪深度图像块； 2) 构建深度图像增强卷积神经网络，由三层卷积单元组成，其输入为带噪深度图像块 和对应的灰度图像块，输出为增强后的深度图像块； 3) 采用误差反向传播算法训练所述深度图像增强卷积神经网络，并基于权重图计算损 耗，从而得到深度图像去噪及增强网络模型； 4) 将测试集中带噪的深度图像及其对应的视觉图灰度化为灰度图进行图像预处理后， 输入到深度图像去噪及增强网络模型，输出去噪及增强后的深度图像。2. 根据权利要求1所述的一种基于深度学习的深度图像去噪及增强方法，其特征在于： 在步骤1-2)中，所述图像预处理为对灰度图像依次进行直方图均衡化、双边滤波器滤波、 Sobel算子提取边界、基于分水岭算法的分割、分割块平均值填充、像素量化处理。3. 根据权利要求1所述的一种基于深度学习的深度图像去噪及增强方法，其特征在于： 在步骤1-2)中，所述对每一组图像进行切割，具体地，对每张带噪的深度图像，以设定的间 隔进行分割间隔，取出大小固定的图像块;再从灰度图像中的相同区域上取出同样大小图 像块和前面的图像块一起组成了训练集的输入部分;再从干净深度图像的相同区域中以图 像块中心为对称点取出缩小的图像块作为训练集的输出。4. 根据权利要求1所述的一种基于深度学习的深度图像去噪及增强方法，其特征在于： 在步骤1-3)中，所述干扰图像块组是指该图像块组之中干净的深度图像块里存在黑点，该 黑点为深度值丢失的点。5. 根据权利要求1所述的一种基于深度学习的深度图像去噪及增强方法，其特征在于： 在步骤1-4)中，所述对像素值进行翻转，采取的是随机加上以5为最小公倍数的随机数并做 模255运算的方法。6. 根据权利要求1所述的一种基于深度学习的深度图像去噪及增强方法，其特征在于： 在步骤1-5)中，丢弃冗余的噪深度图像块，采用双曲正弦函数的数值分布作为概率值来丢 弃冗余的图像块，重新组织训练集，具体公式如下：其中cm表示第i个带噪深度图像块的损坏水平，表示所有的带噪深度图像块中的 最大损坏水平。7. 根据权利要求1所述的一种基于深度学习的深度图像去噪及增强方法，其特征在于： 在步骤2)中，所述三层卷积单元，其中第一层卷积单元是由卷积层，最大池化层和矫正线性 化层构成，第二层卷积单元结构与第一层卷积单元结构相同但卷积核大小进行了缩小，第 三层卷积单元为一层卷积层。8. 根据权利要求1所述的一种基于深度学习的深度图像去噪及增强方法，其特征在于： 在步骤3)中，所述权重图为深度图像对的应视觉图灰度化为灰度图，再由双边滤波和Sobel 算子边界提取得到的图像。9. 根据权利要求1所述的一种基于深度学习的深度图像去噪及增强方法，其特征在于： 在步骤3)中，所述基于权重图计算损耗公式为： floss= | |M · (I〇-Ig)2 其中Μ表示权重图，10表示的是网络的输出图像，IC表示的是干净的深度图像。10. 根据权利要求1所述的一种基于深度学习的深度图像去噪及增强方法，其特征在 于:在步骤4)中，所述的图像预处理与步骤1-2)所述的图像预处理是相同的。
【文档编号】G06T5/00GK105825484SQ201610169589
【公开日】2016年8月3日
【申请日】2016年3月23日
【发明人】张鑫, 廖轩, 吴锐远
【申请人】华南理工大学