一种基于光场的图像深度估计方法
【技术领域】
[0001] 本发明涉及图像深度提取方法，特别涉及一种基于光场的图像深度估计方法。
【背景技术】
[0002] 图像深度估计是计算机视觉领域的一项基本内容。深度指的是场景中的某个点到 相机平面的距离。如果能从真实拍摄的图像中准确地恢复出场景深度，将有利于诸多计算 机视觉应用的实现。近年来，光场相机的出现为图像深度估计提出了新的解决思路。相比于 传统相机，光场相机在传感器前放置了一个微透镜阵列，能在一次曝光期间记录到达成像 面任意光线的位置与角度，全面描述四维光场，能在后续处理中实现深度估计、场景重聚 焦、变换视点等多种应用。
[0003] 目前，一些基于光场的深度估计方法被提出，取得了较好的成果，但也存在着一些 问题。比如，主流的光场图像深度估计方法集中于对已分离视点的光场数据进行深度估计， 视点分离时采用去马赛克后的光场数据，然而在去马赛克过程时引入的视点间混淆却不能 在后续处理中去除，很大程度上制约了深度估计的准确性。此外，一些算法使用根据经验计 算深度估计值的置信度，在优化过程中加入了人为影响。
【发明内容】
[0004] 本发明的目的在于提供一种基于光场的图像深度估计方法，避免插值过程引起的 视点混淆，提升深度估计准确性。
[0005] 为此，本发明提出的一种基于光场的图像深度估计方法，其特征在于包括如下步 骤:S1、光场原始数据视点提取:获取场景在不同视角下的图像，根据估计的子图像中心位 置，对未经去马赛克的光场数据进行视点分离，再对缺失像素的信息进行插值处理;S2、基 于块匹配的深度估计:对与中心视点处于同一行或同一列的视点对上并且记录相同光线颜 色的对应块进行相似性度量，找到使相似性最大的深度。
[0006] 优选地，本发明基于光场的图像深度估计方法还包括如下步骤:S3、基于显著特征 约束的深度优化:提取显著特征点并进行匹配，将估计出的视差作为强约束条件，优化深度 估计。
[0007] 本发明的优点在于，由于分离视点前并未进行去马赛克处理，避免了视点混淆，从 而提升了深度估计准确性。
[0008] 进一步地，由于采用了基于显著特征约束的深度优化算法，所提取的显著特征点 在不同视点间的匹配作为强约束条件加入优化目标函数，进一步提升了深度估计准确性。
【附图说明】
[0009] 图1是本发明实施例基于光场的图像深度估计方法的流程示意图。
[0010] 图2是本发明实施例从原始数据中提取视点的示意图。
[0011] 图3是本发明实施例以一维插值为例填补空白像素位置的示意图。
【具体实施方式】
[0012] 图1为本发明实施例方法的框架，该方法包含三个部分:第一，光场原始数据视点 提取方法，获取场景在不同视角下的图像，它根据估计的子图像中心位置，对未经去马赛克 的光场数据进行视点分离，再对缺失像素的信息进行插值处理。第二，基于块匹配的深度估 计算法，对与中心视点处于同一行或同一列的视点对上并且记录相同光线颜色的对应块进 行相似性度量，找到使相似性最大的深度。第三，基于显著特征约束的深度优化算法，提取 显著特征点并进行匹配，将估计出的视差作为强约束条件，优化深度估计。
[0013] 下面通过对光场原始数据视点提取方法、基于块匹配的深度估计算法和基于显著 特征约束的深度优化算法进行数学建模来说明本发明实施例的基本原理。
[0014] 1、光场原始数据视点提取
[0015] 视点提取需要对光场原始图像中的像素位置进行选择和重排，将属于同一拍摄角 度的像素组成一幅视点图，从而形成多个视点。每一个视点图都是场景在不同角度观察得 到的图像。单个微透镜在传感器上覆盖的图像被称为子图像。子图像中的每一个像素位置 对应着不同的角度分辨率。选取所有子图像中相对子图像中心相同位置的像素组成的图像 被称为某个视点图。
[0016] 子图像中心估计：
[0017] 为有效覆盖传感器平面，不同形状的微透镜排列方式不同，可能不是按直角坐标 系排列。子图像中心组成的坐标系原点往往与传感器坐标系原点存在一定偏差，并且子图 像覆盖面积不一定是整像素。因此，为有效提出视点，需要事先估计出各个子图像中心在传 感器坐标系上对应的位置。
[0018] 传感器像素一般是按照直角坐标系排列，记为C坐标系，其原点分别设为最左上角 的像素位置;微透镜排列的二维坐标系记为Μ坐标系，其原点分别设为最左上角的微透镜位 置。假设X和m分别为C坐标系和Μ坐标系的坐标，那么两坐标之间的关系为：
[0019] x = Tm+o (1)
[0020] 其中，〇表示两坐标系原点的平移向量，T表示变换矩阵，具体由错切变换矩阵h、 伸缩变换矩阵T2、旋转变换矩阵T 3相乘得到：
[0021] T = TiT2T3 (2)
[0022] 在实际中，本发明使用光场相机对纯白漫反射物体拍摄一张图像，该图像与圆形 光斑掩膜进行卷积，结果的局部极大值坐标即为子图像的中心位置C在坐标系中的坐标 Xl。 已知Xi与微透镜坐标nii，得到多组xi = Tmi+o,可用最小二乘法估计出Τ和0。因此，最终子图 像中心由下式获得：
[0023] ci = round (Tmi+o) (3)
[0024] 其中，round(.)表示取整。
[0025] 像素重排：
[0026] 为实现视点分离，需要对光场原始图像中的像素进行选择和重排。具体方式是在 子图像中选取处于相同位置（角度分辨率）的像素，保持像素间的相对位置关系（如果某位 置没有像素，用空白代替），构成一幅视点图。图2以Lytro相机(一种小型的"光场"相机)为 例给出从原始数据中提取两个视点1和2的方法。
[0027]由于光场相机镜头中采用了彩色滤波阵列，每个像素点实际上只记录了一种颜色 的光(红、绿、蓝中的一种）。一般来讲，每个像素点丢失的其他两种颜色分量需要进行去马 赛克处理，即插值重建来要恢复全彩色图像，但在对光场原始数据去马赛克会引入视点混 淆。若在分离视点之后进行去马赛克，虽然不会混合不同视点的信息，但每个视点的彩色滤 波阵列可能不同，现有的去马赛克算法并不适用，尤其是在高频区域。因此，本发明直接使 用光场原始数据提取视点，在分离后的视点中使用插值方法对空白像素位置进行填补：以 一维线性插值为例，如果空白像素的同一行相邻两个位置都是记录同一颜色光线的像素， 那么该空白像素记录相同颜色光线，响应值为两个相邻位置的平均值;如果空白像素的同 一行相邻两个位置记录光线颜色不同，为简化处理，该空白像素记录的颜色信息和响应值 与左边像素相同，见图3。
[0028] 2、基于块匹配的深度估计
[0029] 将视点图组成视点矩阵，由于处于同一行或同一列的视点仅是在水平或竖直方向 上存在视差，满足外极约束。光场相机的相邻两个微透镜间基线很小，视点间形成的遮挡可 忽略不计。因此，对于中心视点下的某个像素，它在同一行视点中对应像素的位置仅是在中 心视点中的位置水平移动了一定距离，同理，它在同一列视点中对应像素的位置仅是在中 心视点中的位置竖直移动了一定距离。
[0030] 由于每个视点的彩色滤波阵列可能不同，本发明提出的基于块匹配的深度估计仅 对记录相同光线颜色的块进行相似性度量。假设表示I中心视点，P和I q表示与中心视点属 于同一行的视点，bdPbq分别表示P和P所代表的微透镜与中心视点微透镜之间的基线