距 离，那么对于中心视点中以像素( XQ，yo)为中心的块Βο,在视点P和P中对应块相似度可用加 权均方误差和(WSSD)衡量，写为视差d的代价函数：
[0032] 其中，
[0033] xp: =x+bPd
[0034] xq: =x+bqd (5)
[0035] 表示对两个视点下对应像素在RGB空间中欧氏距离的平方，w(.)表示 [0036]加权系数。
[0037] w(xP,xq,y)=Go(x,y) · S(xP,xq,y) (6)
[0038] Go(x,y)代表中心为(xo，yo)的高斯函数，S(xp,xq，y)用来确定两个像素记录相同的 [0039] 光线颜色(R、G、B中的一种）。
[0041] 同理，可以得到P、P与中心视点属于同一列的视点的代价函数。
[0042] 本发明利用光场相机提取的多视点，估计中心视点中像素在不同视点对下的视 差。令Π表示与中心视点处于同一行上的视点对和处于同一列上的视点对的集合。由于光 场相机主透镜边缘区域接收光线较少，亮度较低，故只考虑了靠近中心的7X7视点矩阵组 成的视点对。
[0043]因此，中心视点下像素(χο，yo)的视差为：
[0045]其中，Med表示中值滤波器。中值滤波器可用来去除噪声，得到更加稳定的视差估 计结果。
[0046] 3、基于显著特征约束的深度优化
[0047] 为得到更加准确的深度估计结果，本发明在代价函数中加入显著特征点匹配的约 束条件。显著特征点的提取使用SIFT算法，对中心视点I和视点P进行特征提取和匹配。若 中心视点下某一特征点位置为（ XQ，yQ)，它的对应点在P位置为(xP，yP)，位置偏差为A = ^1〇力1〇)。已知视点1角度坐标为(〇,〇)，11)的角度坐标邱=(11[)，％)，位置偏差八和微透 镜直径k，可由式（10)计算出位置的视差d c:
[0048] Δ =dc · k · sP (9)
[0049] 本发明使用基于块匹配的深度估计中得到的视点对集合Π ，Π 对中的任意一对视 点对Ρ和Iq，显著特征约束项为：
[0051]其中，毛#和分别表示中心视点下特征点（XQ，yo)与P和^见点下对应特征点 的视差，Μ表示SIFT算子在中心视点中检测为显著特征并且能在视点下P找到对应的显著 特征的点集合，同理得到SIFT算子在中心视点中检测为显著特征并且能在视点下P找到对 应的显著特征的点集合N。
[0052]得到最终视差优化函数为：
[0054]根据视差与深度之间的关系，可将最终的视差转换为深度depth，即：
[0056] 其中，r表示与相机参数相关的常数。
[0057] 本发明实施例具有如下有益效果：
[0058] 1、提出了光场原始数据视点提取算法，通过估计子图像中心并进行像素重排，分 离视点前并未进行去马赛克处理，避免视点混淆。
[0059] 2、提出了基于显著特征约束的深度优化算法，将提取的显著特征点在不同视点间 的匹配作为强约束条件加入优化目标函数，提升深度估计准确性。
[0060]以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发 明说明书及附图内容所作的等效装置或等效方法变换，或直接或间接运用在其他相关的技 术领域，均同理包括在本发明的专利保护范围内。
【主权项】
1. 一种基于光场的图像深度估计方法，其特征在于包括如下步骤:SI、光场原始数据视 点提取:获取场景在不同视角下的图像，根据估计的子图像中屯、位置，对未经去马赛克的光 场数据进行视点分离，再对缺失像素的信息进行插值处理;S2、基于块匹配的深度估计:对 与中屯、视点处于同一行或同一列的视点对上并且记录相同光线颜色的对应块进行相似性 度量，找到使相似性最大的深度。2. 如权利要求1所述的基于光场的图像深度估计方法，其特征在于还包括如下步骤： S3、基于显著特征约束的深度优化:提取显著特征点并进行匹配，将估计出的视差作为强约 束条件，优化深度估计。3. 如权利要求1或2所述的基于光场的图像深度估计方法，其特征在于:所述步骤S1:光 场原始数据视点提取包括如下步骤:S11、子图像中屯、估计:估计出各个子图像中屯、在传感 器坐标系上对应的位置;S12、像素重排:在子图像中选取处于相同位置或相同角度分辨率 的像素，保持像素间的相对位置关系，如果某位置没有像素，用空白代替，构成一幅视点图。4. 如权利要求3所述的基于光场的图像深度估计方法，其特征在于:步骤S11中，子图像 中屯、由下式获得： ci = round (ΤπΗ+ο) 其中，ο表示两坐标系原点的平移向量，Τ表示变换矩阵，mi表示微透镜坐标，rouncK .)表 示取整。5. 如权利要求1所述的基于光场的图像深度估计方法，其特征在于:步骤S12中，直接使 用光场原始数据提取视点，在分离后的视点中使用插值方法对空白像素位置进行填补。6. 如权利要求5所述的基于光场的图像深度估计方法，其特征是:所述使用插值方法对 空白像素位置进行填补包括如下步骤:如果空白像素的同一行相邻两个位置都是记录同一 颜色光线的像素，则该空白像素记录相同颜色光线，响应值为两个相邻位置的平均值;如果 空白像素的同一行相邻两个位置记录光线颜色不同，则该空白像素记录的颜色信息和响应 值与左边像素相同。7. 如权利要求1或2所述的基于光场的图像深度估计方法，其特征是:步骤S2中，深度值 由下式给出：Med表示中值滤波器，（xo，yo)为像素坐标，costP'q(x日，y日，d)为视差d的代价函数，p和q的 含义是:假设表示忡屯、视点，P和P表示与中屯、视点属于同一行的视点。8. 如权利要求2所述的基于光场的图像深度估计方法，其特征是：步骤S3中，得到最终 视差优化函数为：其中 confP'q(x〇，y〇， d)为显著特征约束项。9. 如权利要求8所述的基于光场的图像深度估计方法，其特征是:显著特征约束项由下 述方法确定:使用基于块匹配的深度估计中得到的视点对集合π，π对中的任意一对视点 对Ρ和。，显著特征约束项为：其 中，和巧分别表示中屯、视点下特征点（x〇，y〇)与Ρ和Ρ视点下对应特征点的视差，Μ表 示SIFT算子在中屯、视点中检测为显著特征并且能在视点下Ρ找到对应的显著特征的点集 合，同理得到SIFT算子在中屯、视点中检测为显著特征并且能在视点下。找到对应的显著特 征的点集合N。
【专利摘要】本发明涉及一种新的基于光场的图像深度估计方法。这种方法主要由三个重要部分组成：光场原始数据视点提取方法、基于块匹配的深度估计算法和基于显著特征约束的深度优化算法。所提出的光场原始数据视点提取方法，对未经去马赛克的光场数据进行视点分离；所采用的基于块匹配的深度估计算法仅对与中心视点处于同一行或同一列的视点对上并且记录相同光线颜色的对应块进行相似性度量；为优化深度估计结果，本发明提出基于显著特征约束的深度优化算法，提取显著特征点并进行匹配，将显著特征点的视差作为强约束条件。本发明的方法避免了插值过程引起的视点混淆，提升了深度估计准确性。
【IPC分类】G06T7/00
【公开号】CN105551050
【申请号】CN201511019609
【发明人】王兴政, 许晨雪, 王好谦, 张永兵, 李莉华, 戴琼海
【申请人】深圳市未来媒体技术研究院, 清华大学深圳研究生院
【公开日】2016年5月4日
【申请日】2015年12月29日