一种用于高反光噪声深度图像的修复方法

1.本发明属于图像修复技术领域，具体涉及一种用于高反光噪声深度图像的修复方法。


背景技术：

2.基于图像的三维重建方法因其硬件依赖性低、易于操作的特点，广泛用于精密仪器与工业制品的质量检测领域。但这类基于光学原理的重建方法常会受到待测物体本身的材质影响，如在金属与玻璃制品的三维重建过程中不可避免的会产生一些高反光区域，这些区域将导致重建结果出现异常，严重影响后续质检人员对产品质量的判断。因此，针对这类受到高反光影响的低质量深度图像，如何准确消除这些干扰进而得到高质量的三维重建结果是工业质量检测领域面临的一个难题。
3.现有的图像修复方法主要包括基于扩散的修复方法、基于图像块匹配的修复方法与深度学习类修复方法。其中，基于扩散的图像修复方法主要利用待修复区域边缘外围的像素由外至内逐步修复，这类方法可对小范围的缺失区域进行有效修复，但无法对较大区域的内部结构进行有效修复，而高反光区域在深度图像中通常以大块区域的形式出现，所以这类方法无法直接用于受高反光影响的深度图像修复；基于图像块匹配的修复方法通过在原图像中寻找与待修复区域相似的图像块进行替换，但相似度的判定标准可能对修复的结果产生影响；基于深度学习类的图像修复方法则通过大量标记样本训练实现图像的修复，尽管这类方法可以取得较好的修复效果，但该类方法需要大量的数据样本且算法具有较高的时间复杂度，无法满足工业质量检测领域的时效性要求。
4.上述三类图像修复方法通常是针对传统的自然图像进行修复，且待修复区域通常需要人工标记，而对于工业质量检测领域产生的深度图像，人工标记不仅可能出现误判，而且会严重影响质量检测效率。因此，如何自动鉴别低质量深度图像中的异常区域是实现深度图像高质量修复的关键，本专利提出的异常区域自动识别的方法可准确锁定低质量深度图像中的出现问题的区域，进而实现低质量深度图像的精确修复。


技术实现要素：

5.为消除深度图像中因为高反光导致深度信息出现错误的区域，本发明的目的是提供一种用于高反光噪声深度图像的修复方法。
6.本发明所采用的技术方案是：一种用于高反光噪声深度图像的修复方法，包括以下步骤：
7.步骤1，按照式(1)设置结构元b的结构，其大小为w
×
w，设置深度图像的阈值选择百分比p，设置修复图像块的大小为s
×
s，
[0008][0009]
其中，为结构元中的元素，且其取值为1；
[0010]
步骤2，按照式(2)将待修复的深度图像d
s
与结构元b进行开操作，得到开操作后的深度图像d
open
，
[0011][0012]
其中，！和表示图像的腐蚀和膨胀操作符；
[0013]
步骤3，根据式(3)用待修复深度图像d
s
减去开操作后的深度图像d
open
，得到消除背景的深度图像d
n
；
[0014]
d
n
＝d
s
‑
d
open
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0015]
步骤4，统计步骤3中深度图像d
n
的直方图按照式(4)计算二值化阈值t，
[0016][0017]
其中，h
i
表示深度图像d
n
中灰度值为i的像素总数，w,h分别表示深度图像d
n
的宽和高；
[0018]
步骤5，根据式(5)将深度图像d
n
按照步骤4得到的阈值t进行二值化处理，得到待修复深度图像的掩模m；
[0019][0020]
步骤6，利用步骤5得到掩模m在待修复深度图像d
s
的其他位置寻找大小为s
×
s的图像块按照式(6)进行修复，得到修复后的深度图像d
p
，
[0021]
d
p
＝inpaint(d
s
,m,s
×
s)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0022]
其中，inpaint(
·
)表示图像修复函数。
[0023]
与现有技术相比，本发明可自动识别由于高反光导致的低质量深度图像中的待修复区域，进而实现对高反光噪声深度图像的准确修复。
附图说明
[0024]
图1是本发明的流程图；
[0025]
图2是受高反光影响的镍铬金属样本的深度图像(左)与对应的灰度图像(右)；
[0026]
图3是待修复深度图像的开运算；
[0027]
图4是消除背景干扰的待修复深度图像；
[0028]
图5是百分比二值化方法得到待修复深度图像的掩模；
[0029]
图6是修复后的深度图像(左)与对应的灰度图像(右)。
具体实施方式
[0030]
如图1所示，本实施例所述一种用于高反光噪声深度图像的修复方法，包括以下步骤：
[0031]
步骤1，按照式(1)设置结构元b的结构，其大小为w
×
w，设置深度图像的阈值选择百分比p，设置修复图像块的大小为s
×
s，
[0032][0033]
其中，为结构元中的元素，且其取值为1；
[0034]
步骤2，按照式(2)将待修复的深度图像d
s
与结构元b进行开操作，得到开操作后的深度图像d
open
，
[0035][0036]
其中，！和表示图像的腐蚀和膨胀操作符；
[0037]
步骤3，根据式(3)用待修复深度图像d
s
减去开操作后的深度图像d
open
，得到消除背景的深度图像d
n
；
[0038]
d
n
＝d
s
‑
d
open
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0039]
步骤4，统计步骤3中深度图像d
n
的直方图按照式(4)计算二值化阈值t，
[0040][0041]
其中，h
i
表示深度图像d
n
中灰度值为i的像素总数，w,h分别表示深度图像d
n
的宽和高；
[0042]
步骤5，根据式(5)将深度图像d
n
按照步骤4得到的阈值t进行二值化处理，得到待修复深度图像的掩模m；
[0043][0044]
步骤6，利用步骤5得到掩模m在待修复深度图像d
s
的其他位置寻找大小为s
×
s的图像块按照式(6)进行修复，得到修复后的深度图像d
p
，
[0045]
d
p
＝inpaint(d
s
,m,s
×
s)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0046]
其中，inpaint(
·
)表示图像修复函数。
[0047]
以镍铬金属样本为实例对象，图2为受到高反光影响样本的深度图像与灰度图像，据此样本建立低质量深度图像修复模型，其关键性步骤如下：
[0048]
步骤2所述方法得到待修复深度图像开运算的结果，如图3所示；
[0049]
步骤3所述方法得到消除背景干扰的待修复深度图像，如图4所示；
[0050]
步骤4所述方法，根据预先设定的阈值选择百分比计算步骤3中深度图像的阈值；
[0051]
步骤5所述方法得到待修复深度图像的掩模，如图5所示；
[0052]
步骤6所述方法，得到修复后的深度图像，如图6所示。
[0053]
样本结果表明本发明方法能够很好的克服因高反光引起的深度图像失真问题，修复后的深度图像具有较好的同质性，其对应的灰度图像中纹理过渡自然。