一种自适应遮挡的单张光场影像准确深度估计方法及系统与流程

1.本发明涉及图像处理分析技术领域，具体为一种自适应遮挡的单张光场影像准确深度估计方法及系统。


背景技术：

2.目前的单张光场影像深度估计方法主要可分为：基于多视匹配、基于角度域影像（angular patch）和基于epi的方法三类。
3.（1）从光场影像中能够方便地提取多视角子孔径图像，基于多视的方法对这些子孔径图像进行多视匹配，进而估计深度。
4.（2）将一个空间点不同视角所对应像素按视角顺序排列在一起可得到该空间点的角度域影像。对光场影像进行重新聚焦，当聚焦到正确的深度时，角度域影像会呈现像素一致性。
5.（3）沿着某个方向选择多视角子孔径影像并进行前后排列，同时沿着相同方向取切面，得到的切面影像叫做epi。epi中线的方向对应于图像的深度，可通过分析线结构的方向估计深度。因此为准确评估epi中线的方向，一部分方法利用epi中线上像素一致性信息，一部分利用了线两边区域差异性信息。
6.但是，当前基于epi的方法仅利用了线上或者线周围一方面信息，降低了深度估计精度，以及同时利用所有视角进行评估，未充分考虑遮挡的影响，但不同视角间影像基线很短，易出现评估错误且会产生遮挡。


技术实现要素：

7.本发明主要是提供一种自适应遮挡的单张光场影像准确深度估计方法及系统。
8.为了解决上述技术问题，本发明采用如下技术方案：一种自适应遮挡的单张光场影像准确深度估计方法，包括：基于光场影像提取多方向epi，并分别估计各方向所述epi中目标点对应的线的方向；基于各方向epi计算得到的所述线的方向计算被遮挡线索，并根据计算结果判断是否被遮挡；若没有被遮挡，则直接综合多方向epi结果；若被遮挡，则剔除各方向epi中被遮挡视角后重新估计线的方向，并综合多方向epi结果，进而估计场景初始深度；构建考虑遮挡的深度整体优化模型，并利用所述深度整体优化模型得到准确深度。
9.进一步，所述基于光场影像提取多方向epi，并分别估计各方向所述epi中目标点对应的线的方向，包括：确定像素点，获取所述epi中穿过所述像素点且方向为的中心线，以及位于所述中心线两侧且方向一致的区域像素；
对于线周围信息，基于所述中心线和区域像素获取差异深度线索；对于线上信息，基于所述中心线上像素来源于同一空间点获取一致性深度线索；基于所述差异深度线索和一致性深度线索计算穿过所述像素点的线的方向。
10.进一步，所述基于各方向epi计算得到的所述线的方向计算被遮挡线索，并根据计算结果判断是否被遮挡，包括：获取相邻已评估像素点的深度值；计算在假设不存在遮挡下所述线的方向，获取被遮挡像素点在假设不存在遮挡的情况下的待评估像素点的深度值；基于所述相邻已评估像素点的深度值与待评估像素点的深度值的差值，获取差值遮挡线索；且在被遮挡像素点，不同方向epi估计得到的深度值不同，从而计算所有视角深度值的方差，从而获取方差遮挡线索；基于所述差值遮挡线索和方差遮挡线索计算被遮挡线索，根据所述被遮挡线索获取被遮挡像素点。
11.进一步，所述若没有被遮挡，则直接综合多方向epi结果；若被遮挡，则剔除各方向epi中被遮挡视角后重新估计线的方向，并综合多方向epi结果，进而估计场景初始深度，包括：若没有被遮挡，则直接综合多方向epi结果；若被遮挡，对各方向epi中的被遮挡像素点，评估该被遮挡像素点对应的直线计算待评估像素在不同线方向下未被遮挡视角，且每评估一个被遮挡像素点的线的方向后，即作为后续遮挡检测的输入，利用所述未被遮挡视角计算其线的方向，再综合多方向epi结果。
12.进一步，所述构建考虑遮挡的深度整体优化模型，并利用所述深度整体优化模型得到准确深度，包括：获取相邻已评估像素点的深度值；基于所述相邻已评估像素点的深度值和综合多方向epi结果，构建考虑遮挡的深度整体优化模型。
13.一种自适应遮挡的单张光场影像准确深度估计系统，包括：线方向计算模块，用于基于光场影像提取多方向epi，并分别估计各方向所述epi中目标点对应的线的方向；被遮挡线索计算判断模块，用于基于各方向epi计算得到的所述线的方向计算被遮挡线索，并根据计算结果判断是否被遮挡；epi结果综合模块，用于若没有被遮挡，则直接综合多方向epi结果；若被遮挡，则剔除各方向epi中被遮挡视角后重新估计线的方向，并综合多方向epi结果，进而估计场景初始深度；模型构建模块，用于构建考虑遮挡的深度整体优化模型，并利用所述深度整体优化模型得到准确深度。
14.进一步，所述线方向计算模块，包括：线方向原始数据采集子模块，用于确定像素点，获取所述epi中穿过所述像素点且方向为的中心线，以及位于所述中心线两侧且方向一致的区域像素；
深度线索衡量子模块，用于对于线周围信息，基于所述中心线和区域像素获取差异深度线索；对于线上信息，基于所述中心线上像素来源于同一空间点获取一致性深度线索；线方向计算子模块，用于基于所述差异深度线索和一致性深度线索计算穿过所述像素点的线的方向。
15.进一步，所述被遮挡线索计算判断模块，包括：相邻深度值采集子模块，用于获取相邻已评估像素点的深度值；待评估深度值获取子模块，用于计算在假设不存在遮挡下所述线的方向，获取被遮挡像素点在假设不存在遮挡的情况下的待评估像素点的深度值；遮挡线索计算子模块，用于基于所述相邻已评估像素点的深度值与待评估像素点的深度值的差值，获取差值遮挡线索；且在被遮挡像素点，不同方向epi估计得到的深度值不同，从而计算所有视角深度值的方差，从而获取方差遮挡线索；被遮挡线索计算子模块，用于基于所述差值遮挡线索和方差遮挡线索计算被遮挡线索，根据所述被遮挡线索获取被遮挡像素点。
16.进一步，所述epi结果综合模块，包括：直接综合子模块，用于若没有被遮挡，则直接综合多方向epi结果；被遮挡综合子模块，用于若被遮挡，对各方向epi中的被遮挡像素点，评估该被遮挡像素点对应的直线计算待评估像素在不同线方向下未被遮挡视角，且每评估一个被遮挡像素点的线的方向后，即作为后续遮挡检测的输入，利用所述未被遮挡视角计算其线的方向，再综合多方向epi结果。
17.进一步，所述模型构建模块，包括：已评估深度值采集模块，用于获取相邻已评估像素点的深度值；模型构建子模块，用于基于所述相邻已评估像素点的深度值和综合多方向epi结果，构建考虑遮挡的深度整体优化模型。
18.有益效果：1、本发明通过综合单方向epi中对应线上和线周围信息以及聚合多方向epi的评估结果，充分利用光场影像可用信息，提高了对噪声的抵抗性和对不同场景的鲁棒性。2、本发明在评估过程中，为了降低遮挡的影响，利用已评估像素点对应线来剔除待评估点中被遮挡视角，并动态更新遮挡信息，提高了对遮挡的抵抗性。3、本发明利用考虑遮挡的整体优化模型，进一步了提高整体，尤其是遮挡区域的深度估计精度。
附图说明
19.图1为一种自适应遮挡的单张光场影像准确深度估计方法流程图；图2为步骤s1流程图；图3为步骤s2流程图；图4为步骤s3流程图；图5为步骤s4流程图；图6为一种自适应遮挡的单张光场影像准确深度估计系统框图；图7.1为中心线示意图；图7.2为所有方向的候选示意图；
图7.3为角度和的示意图；图8为被遮挡视角剔除模型图。
具体实施方式
20.以下将结合实施例对本发明涉及的一种自适应遮挡的单张光场影像准确深度估计方法及系统技术方案进一步详细说明。
21.如图1所示，本实施例的一种自适应遮挡的单张光场影像准确深度估计方法，包括：s1~s4，s1、基于光场影像提取多方向epi，并分别估计各方向所述epi中目标点对应的线的方向；s2、基于各方向epi计算得到的所述线的方向计算被遮挡线索，并根据计算结果判断是否被遮挡；s3、若没有被遮挡，则直接综合多方向epi结果；若被遮挡，则剔除各方向epi中被遮挡视角后重新估计线的方向，并综合多方向epi结果，进而估计场景初始深度；s4、构建考虑遮挡的深度整体优化模型，并利用所述深度整体优化模型得到准确深度。
22.有益效果：1、本发明通过综合单方向epi中对应线上和线周围信息以及聚合多方向epi的评估结果，充分利用光场影像可用信息，提高了对噪声的抵抗性和对不同场景的鲁棒性。2、本发明在评估过程中，为了降低遮挡的影响，利用已评估像素点对应线来剔除待评估点中被遮挡视角，并动态更新遮挡信息，提高了对遮挡的抵抗性。3、本发明利用考虑遮挡的整体优化模型，进一步了提高整体，尤其是遮挡区域的深度估计精度。
23.进一步，如图2所示，步骤s1中所述基于光场影像提取多方向epi，并分别估计各方向所述epi中目标点对应的线的方向，包括：s11、确定像素点，获取所述epi中穿过所述像素点且方向为的中心线，以及位于所述中心线两侧且方向一致的区域像素；其中，如图7.1所示，epi中穿过所述像素点且方向为的中心线和中心线两侧且方向一致的区域像素被标出，将中心线方向一致的平行四边形分割为两个区域像素；图7.2为对于像素点，线的所有方向的候选；图7.3为在角度和下的两个例子。这里的像素点可以是待评估深度影像中的任意像素点。
24.其中，将到均分为n份，则，表示方向的选择范围。
25.s12、对于线周围信息，基于所述中心线和区域像素获取差异深度线索；对于线上信息，基于所述中心线上像素来源于同一空间点获取一致性深度线索；其中，对于线周围信息，当线位于正确方向时，两个区域像素内的像素分布应该不同，可通过衡量两个区域间的差异得深度线索。对于线上信息，当线位于正确方向时，线上像素来源于同一空间点，可通过衡量线上像素的一致性得深度线索。
26.s13、基于所述差异深度线索和一致性深度线索计算穿过所述像素点的线的方向。
27.其中，将线索和组合在一起，以确定线的方向，该方向则为线的最优方向。考虑到两个线索所占权重的重要性，依据每个线索的置信度确定彼此的权重。综合两个线索后，代价量可通过以下公式计算，最大代价量对应的角度即为最优角度，通过最优的角度则能够确认线的最优方向/正确方向。
28.式中，是总代价量，和分别是代价量和的置信度，是用来调整两个线索比例的常值。置信度的计算如下所示：式中，是在角度下对应的代价量, 是所有角度下代价量对应的最小值，是人为预先设置的标准差常值。
29.其中，本发明通过同时利用线上像素的一致性与线两侧区域的差异性来确定epi中的线方向，提高最优线方向评估精度。
30.进一步，如图3所示，步骤s2中所述基于各方向epi计算得到的所述线的方向计算被遮挡线索，并根据计算结果判断是否被遮挡，包括：s21、获取相邻已评估像素点的深度值；其中，在评估时候，是沿着某个特定的方向，比如从左往右，或者从上到下等，第一个像素不用判断，因为其已经算过的，就是最优角度对应的线的方向，到第二个时候，对于第二个，第一个就是已评估像素;对于第三个，前两个就是已评估像素，按照上述流程依次往下推，直到结束。
31.s22、计算在假设不存在遮挡下所述线的方向，获取被遮挡像素点在假设不存在遮挡的情况下的待评估像素点的深度值；其中，获取的最优角度值，也就找到了待评估像素点的深度值。
32.s23、基于所述相邻已评估像素点的深度值与待评估像素点的深度值的差值，获取差值遮挡线索；且在被遮挡像素点，不同方向epi估计得到的深度值不同，从而计算所有视角深度值的方差，从而获取方差遮挡线索；其中，差值遮挡线索为，方差遮挡线索为。所有视角指的是不同方向的epi。
33.s24、基于所述差值遮挡线索和方差遮挡线索计算被遮挡线索，根据所述被遮挡线索获取被遮挡像素点。
34.其中，。
35.其中，本发明利用该方法能够对被遮挡像素自动检测；若大于预先人为设定的阈值，则为被遮挡像素。
36.进一步，如图4所示，步骤s3中所述若没有被遮挡，则直接综合多方向epi结果；若被遮挡，则剔除各方向epi中被遮挡视角后重新估计线的方向，并综合多方向epi结果，进而估计场景初始深度，包括：s31、若没有被遮挡，则直接综合多方向epi结果；
其中，为聚合多方向epi的代价量，比如利用了四个方向的epi，则。
37.s32、若被遮挡，对各方向epi中的被遮挡像素点，评估该被遮挡像素点对应的直线计算待评估像素在不同线方向下未被遮挡视角，且每评估一个被遮挡像素点的线的方向后，即作为后续遮挡检测的输入，利用所述未被遮挡视角计算其线的方向，再综合多方向epi结果。
38.其中，如图8所示，为被遮挡像素点，左侧为已评估深度的像素，其深度对应的线方向用白线表示，在不同深度下，即在不同线方向下，会跟白线有交叉，白线左侧的属于被遮挡的像素，右侧为未被遮挡像素。对于未被遮挡的像素，利用s13中的公式进行计算。这里的被遮挡像素点也是s24中的被遮挡像素点。
39.其中，如图8所示，本发明在正确的线的方向下，epi中部分视角会被遮挡导致评估错误，因此先找到被遮挡像素，然后利用已评估深度点对应线与待评估点线在不同方向下线的交叉剔除待评估点中的被遮挡像素，仅利用未被遮挡视角进行深度估计，提高对遮挡的抵抗性。
40.进一步，如图5所示，步骤s4中所述构建考虑遮挡的深度整体优化模型，并利用所述深度整体优化模型得到准确深度，包括：s41、获取相邻已评估像素点的深度值；s42、基于所述相邻已评估像素点的深度值和综合多方向epi结果，构建考虑遮挡的深度整体优化模型。
41.式中，和为相邻像素点估计的深度值代表任意两个相邻像素点的深度值，为计算的代价值，为平滑项，用于保证周围像素的深度一致性，用来平衡平滑项。为总体能量函数的值，通过最小化，可以得到最优结果。
42.其中，综合各方向epi的估计结果，增强深度估计的鲁棒性，并利用考虑遮挡的整体优化模型，进一步提高整体和局部深度估计精度。
43.如图6所示，一种自适应遮挡的单张光场影像准确深度估计系统，包括：线方向计算模块61，用于基于光场影像提取多方向epi，并分别估计各方向所述epi中目标点对应的线的方向；被遮挡线索计算判断模块62，用于基于各方向epi计算得到的所述线的方向计算被遮挡线索，并根据计算结果判断是否被遮挡；epi结果综合模块63，用于若没有被遮挡，则直接综合多方向epi结果；若被遮挡，则剔除各方向epi中被遮挡视角后重新估计线的方向，并综合多方向epi结果，进而估计场景初始深度；模型构建模块64，用于构建考虑遮挡的深度整体优化模型，并利用所述深度整体优化模型得到准确深度。
44.进一步，所述线方向计算模块61，包括：线方向原始数据采集子模块611，用于确定像素点，获取所述epi中穿过所述像素点且方向为的中心线，以及位于所述中心线两侧且方向一致的区域像素；深度线索衡量子模块612，用于对于线周围信息，基于所述中心线和区域像素获取差异深度线索；对于线上信息，基于所述中心线上像素来源于同一空间点获取一致性深度线索；线方向计算子模块613，用于基于所述差异深度线索和一致性深度线索计算穿过所述像素点的线的方向。
45.进一步，所述被遮挡线索计算判断模块62，包括：相邻深度值采集子模块621，用于获取相邻已评估像素点的深度值；待评估深度值获取子模块622，用于计算在假设不存在遮挡下所述线的方向，获取被遮挡像素点在假设不存在遮挡的情况下的待评估像素点的深度值；遮挡线索计算子模块623，用于基于所述相邻已评估像素点的深度值与待评估像素点的深度值的差值，获取差值遮挡线索；且在被遮挡像素点，不同方向epi估计得到的深度值不同，从而计算所有视角深度值的方差，从而获取方差遮挡线索；被遮挡线索计算子模块624，用于基于所述差值遮挡线索和方差遮挡线索计算被遮挡线索，根据所述被遮挡线索获取被遮挡像素点。
46.进一步，所述epi结果综合模块63，包括：直接综合子模块631，用于若没有被遮挡，则直接综合多方向epi结果；被遮挡综合子模块632，用于若被遮挡，对各方向epi中的被遮挡像素点，评估该被遮挡像素点对应的直线计算待评估像素在不同线方向下未被遮挡视角，且每评估一个被遮挡像素点的线的方向后，即作为后续遮挡检测的输入，利用所述未被遮挡视角计算其线的方向，再综合多方向epi结果。
47.进一步，所述模型构建模块64，包括：已评估深度值采集模块641，用于获取相邻已评估像素点的深度值；模型构建子模块642，用于基于所述相邻已评估像素点的深度值和综合多方向epi结果，构建考虑遮挡的深度整体优化模型。
48.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。