基于区域匹配正则化的由光场数据估计视差的方法及应用与流程

本发明涉及计算成像和计算机视觉，特别是关于一种基于区域匹配正则化的由光场数据估计视差的方法及应用。

背景技术：

1、光场包含光线的空间和角度信息，广泛应用于场景渲染、视差估计与三维重构。由光场数据估计场景视差以光场双平面参数化模型为基础，主要有如下四类方法。

2、第一类方法是根据亚光圈图像进行匹配，再通过逐像素匹配获取场景视差信息。该类方法是多目视觉匹配方法的扩展，可以降低光场频谱混叠和视角串扰的影响，但在弱纹理区域、平滑区域和遮挡区域难以匹配。

3、第二类方法是根据epi（epipolar plane images）的几何结构，通过求得epi中物点的斜率来获取出场景的视差。该类方法在遮挡区域能得到较好的结果，但计算量大、对噪声敏感。

4、第三类方法是基于数字重聚焦，利用聚焦堆栈中像素点的聚焦测度来得到相应物点的视差信息。该类方法的估计精度取决于场景中纹理结构的精细程度。

5、第四类方法是基于视差学习，通过构建神经网络取代复杂的视差估计模型。该类方法依赖于大量的数据样本，且泛化能力不足。

技术实现思路

1、本发明的目的在于提供一种基于区域匹配正则化的由光场数据估计视差的方法及应用来克服或至少减轻现有技术的上述缺陷中的至少一个。

2、为实现上述目的，本发明提供一种基于区域匹配正则化的由光场数据估计视差的方法，其包括：

3、步骤1，建立下式（1）所描述的用于衡量区域匹配窗口区域匹配窗口准确性和稳定性的窗口适应性度量函数；

4、         （1）

5、式中，为中心视图中像素的区域匹配窗口，为区域匹配窗口内像素值lbp编码的均值，为区域匹配窗口内视差值lbp编码的均值；

6、步骤2，建立下式（2）所描述的场景视差估计优化模型;

7、（2）

8、式中，和分别表示场景视差估计优化模型的匹配数据保真项、区域匹配窗口正则项，为正则化参数，表示光场数据相邻视点间的视差，表示中心视图的像素坐标；

9、步骤3，利用搜索法实现区域匹配正则化，得到最优区域匹配窗口；

10、步骤4，利用最优区域匹配窗口，求解下式（5）的最优视差函数：

11、    （5）

12、式中，表示最优视差函数。

13、进一步地，根据区域匹配窗口的像素值lbp编码集合计算获得，而的获取方法具体包括：

14、步骤11，获取像素点的预设方向和个数邻域像素点的灰度，将像素点的灰度值与邻域像素点的灰度值进行比较，如果邻域像素点的灰度值大于等于，则对应二进制位为1；如果邻域像素点的灰度值小于，则对应二进制位为0，由此获得一个二进制编码；

15、步骤12，将步骤11得到的二进制编码转换为十进制数，由此得到像素点的像素值lbp编码，从而得到区域匹配窗口的像素值lbp编码集合，记为，。

16、进一步地，匹配数据保真项描述为下式（3）：

17、     （3）

18、式中，表示区域匹配窗口的视点的集合，表示中心视点，表示中心视点对应的视图，表示视点对应的视图，表示是区域匹配窗口内的像素。

19、进一步地，步骤3具体包括：

20、根据窗口适应性度量的变化情况，动态搜索不同窗口的大小和形状的区域匹配窗口，极大化窗口适应性度量，得到最优区域匹配窗口，同时采用下式（4）描述的高斯分布函数，作为区域匹配窗口的对应的权重系数：

21、（4）

22、式中，为像素的区域匹配加权系数，表示标准差。

23、本发明还提供一种如上所述的基于区域匹配正则化的由光场数据估计视差的方法的应用，其包括：

24、采用下式表示的模型对平滑区域进行修正：

25、

26、式中，为利用模型计算出的视差图，为修正后的，为计算视差图，为视差图的梯度，为正则化参数。

27、本发明由于采取以上技术方案，其具有以下优点：

28、由于本发明能够通过区域匹配正则化减少统一窗口区域匹配的误匹配和冗余计算，有效提升遮挡区域、平滑区域估计结果的精度，能够对四维光场数据进行高精度和高鲁棒性的视差估计，还能够实现由光场相机采集到的光场数据重建场景深度，从而用于场景三维重建、虚拟现实和三维显示等。

技术特征：

1.一种基于区域匹配正则化的由光场数据估计视差的方法，其特征在于，包括：

2.如权利要求1所述的基于区域匹配正则化的由光场数据估计视差的方法，其特征在于，根据区域匹配窗口的像素值lbp编码集合计算获得，而的获取方法具体包括：

3.如权利要求1所述的基于区域匹配正则化的由光场数据估计视差的方法，其特征在于，匹配数据保真项描述为下式（3）：

4.如权利要求1所述的基于区域匹配正则化的由光场数据估计视差的方法，其特征在于，步骤3具体包括：

5.一种如权利要求1-4中任一项所述的基于区域匹配正则化的由光场数据估计视差的方法的应用，其特征在于，包括：

技术总结
本发明公开了一种基于区域匹配正则化的由光场数据估计视差的方法及应用。基于区域匹配正则化的由光场数据估计视差的方法包括：步骤1，建立用于衡量区域匹配窗口区域匹配窗口准确性和稳定性的窗口适应性度量函数；步骤2，建立场景视差估计优化模型；步骤3，利用搜索法实现区域匹配正则化，得到最优区域匹配窗口；步骤4，利用最优区域匹配窗口，求解最优视差函数。本发明用于对四维光场数据进行高精度和高鲁棒性的视差估计，以及用于场景三维重建、虚拟现实和三维显示等。本发明属于计算成像和计算机视觉技术领域。

技术研发人员：王安东,岳修鹏,路峰,吴立新,刘畅,邱钧
受保护的技术使用者：山东黄河三角洲国家级自然保护区管理委员会
技术研发日：
技术公布日：2024/1/15