一种面向全域场景的超球面结构化光场构建方法及系统

本发明属于图像数据处理及光场技术应用领域，具体涉及一种面向全域场景的超球面结构化光场构建方法及系统，

背景技术：

1、光场能够对空间中的光线集合进行完备的表示，结构化光场能够感受场景复杂的三维空间信息，从而对场景信息进行更完整的存储。结构化光场构建方法最初使用全光函数从7维空间，即进行表述，其中表示人眼在空间中的位置坐标，表示进入人眼的光线的水平夹角和垂直夹角，表示光线的波长，进入人眼的光线的时间变化用表示。考虑到高维信息即7维带来的计算复杂性，对7维的结构化光场构建方法进行简化，进而使用双平面四维模型进行结构化光场构建。其基础思想是利用双平面模型记录空间不同方向交汇到同一平面的光线，使用进行结构化光场构建，其中和分别表示光线在两个平面上的位置，这种方式下捕捉光线在成像平面的强度信息，还记录了光线的方向信息。

2、虽然上述现有的结构化光场构建方法能表达部分场景的光线，但是结构化光场具有离散分布的特点，各个光场簇平面之间缺少关联关系，难以充分表示集合结构多样、遮挡关系复杂、空间范围自由的完整全域场景信息，而且仅记录了从空间不同方向交汇到同一平面的光线，对于全域场景的描述受限于双平面结构的表示范围，无法对全域场景中任意角度、任意位置的光线信息进行记录，而且记录的视角信息通常较为离散，无法解决在稀疏视角中进行新视图合成的问题，限制了光场在三维重建、深度估计、显著性检测等其他技术领域的应用发展。

技术实现思路

1、本发明的技术解决问题：克服现有技术的不足，提供一种面向全域场景的超球面结构化光场构建方法及系统，能够对场景中任意角度、任意位置的光线信息进行记录，且能够记录的视角信息连续，从而使光场对场景信息的记录更加全面具体，对场景信息的存储更加完备，应用更广泛。

2、本发明的技术解决方案如下：

3、第一方面，本发明提供一种面向全域场景的超球面结构化光场构建方法，包括：光场子空间集合步骤、构建球面光场模型步骤、关联步骤和聚合步骤；其中：

4、光场子空间集合步骤：利用基于子视图的聚思想，从多个子视图中学习光场信息，求解所述光场信息中光场视图之间的相关性，从每个子场景图片中得到多个角域分布均匀、空间域内容相关性高的光场子空间，组成光场子空间集合；所述全域场景指目标场景中来自空间所有角度观测结果的合集；

5、构建球面光场模型步骤：基于所述光场子空间集合构建球面光场模型；

6、关联步骤：在光场子空间集合中的不同的光场子空间之间，且在两个相邻的球面光场模型的相交区域，构建空间结构感知代价网络；利用所述空间结构感知代价体网络对所述两个相邻的球面光场模型的公共部分进行公共空间特征提取，得到公共空间特征；再引入拉普拉斯分布作为先验分布，利用信息熵理论，计算所述公共空间特征的熵值概率分布，得到所述公共空间特征的不确定性图；基于所述公共空间特征及其不确定性图，筛选出可信的公共空间特征；利用所述可信的公共空间特征进行引导，对所述两个相邻的球面光场模型进行聚合，确定所述两个相邻的球面光场模型之间的关联关系；基于所述两个相邻的球面光场模型之间的关联关系，通过逐一链接其他球面光场模型，得到光场中两个任意的球面光场模型之间的关联路径，基于所述关联路径得到两个任意的球面光场模型的关联关系，实现从一个球面内部的关联构建为更高层次多球面间关联，完成超球面结构模型的搭建，从而能够从任意角度对光场描述的场景进行表示，最终完成面向全域场景下的超球面结构化光场的构建。

7、特别地，所述光场子空间集合步骤中，所述求解光场信息中光场视图之间的相关性实现如下：采用邻接矩阵，求解光场视图之间的相关性，通过域值筛选得到多个角域分布均匀、空间域内容相关性高的光场子空间。

8、特别地，所述建球面光场模型步骤中，所述基于所述光场子空间集合构建球面光场模型实现如下：

9、以任意光场子空间的几何中心作为球心，以簇平面光场的聚焦距离作为半径，构建一个球面，以该球面建立坐标系；利用球面映射算法，将光场子空间中所包含的视角图像映射到球面坐标系中，获得球面坐标系中的坐标位置，从而得到任意光场子空间的球面光场模型。

10、特别地，所述球面映射算法采用面积等比约束映射算法。

11、特别地，所述关联步骤中，所述空间结构感知代价体网络包括2d卷积层、3d卷积层和球间光场融合模块；

12、（1）将两个球面光场模型的公共部分中的光场子空间场景图片输入多个所述2d卷积层，提取所述场景图片的像素表示特征；利用所述3d卷积层聚合所述浅层像素表示特征，得到不同光场的子空间场景图片的像素表示特征；所述球间光场融合模块聚合所述不同光场的子空间场景图片的像素表示特征，得到空间结构感知代价；再次使用另一3d卷积层提取所述浅层像素特表示征进行聚合，得到聚合后的特征，通过多分类激活函数回归函数对聚合后的特征提取单个光场子空间特征；

13、（2）对多个光场子空间进行同（1）的相同操作，得到公共子空间特征。

14、特别地，所述聚合步骤中，基于所述两个球面光场模型之间的关联关系，利用其他的光场球面模型作为中间桥梁进行跳转，构建关联路径，根据相邻的两个球面光场模型关联关系，得到空间多球面聚合关系，最终构建为面向全域场景下的超球面结构化光场模型具体过程如下：

15、从源球面光场开始，以相邻两球面光场模型的关系函数权重作为边的距离权重，每次选择距离特征权重最大的特征，并将其加入到已经求出的最优路径集合中，然后更新从源球面光场到其他球面的权重，直到所有球面光场都被加入到已求出最优路径和集合中为止，从而获取空间内任意两个球面光场模型之间的关联关系。由此，在得到空间任意两球面光场之间的关联关系后，通过先确定单体球面光场，再确定球面坐标位置，最后聚焦多个球面光场的方式，实现了面向全域场景的超球面结构化光场模型的表示。

16、第二方面，本发明提出一种面向全域场景的超球面结构化光场构建系统，包括以下内容：

17、光场子空间集合模块：使用基于子视图的聚类思想，从多个子视图中学习光场信息，并求解所述光场信息中光场视图之间的相关性，从每个子场景图片中得到多个角域分布均匀、空间域内容相关性高的光场子空间，并组成光场子空间集合；

18、构建球面光场模型模块：基于所述光场子空间集合构建球面光场模型；

19、关联模块：在光场子空间集合中的不同的光场子空间之间，且在两个相邻的球面光场模型的相交区域，构建空间结构感知代价网络；利用所述空间结构感知代价体网络对所述两个相邻的球面光场模型的公共部分进行公共空间特征提取，得到公共空间特征；再引入拉普拉斯分布作为先验分布，利用信息熵理论，计算所述公共空间特征的熵值概率分布，得到所述公共空间特征的不确定性图；基于所述公共空间特征及其不确定性图，筛选出可信的公共空间特征；利用所述可信的公共空间特征进行引导，对所述两个相邻的球面光场模型进行聚合，确定所述两个相邻的球面光场模型之间的关联关系；基于所述两个相邻的球面光场模型之间的关联关系，通过逐一链接其他球面光场模型，得到光场中两个任意的球面光场模型之间的关联路径，基于所述关联路径得到两个任意的球面光场模型的关联关系，实现从一个球面内部的关联构建为更高层次多球面间关联，完成超球面结构模型的搭建，从而能够从任意角度对光场描述的场景进行表示，最终完成面向全域场景下的超球面结构化光场的构建。

20、第三方面，本发明提供一种电子设备，包括处理器和存储器，其中：

21、存储器，用于存放计算机程序；

22、处理器，用于执行存储器上所存放的计算机程序，执行时实现前述方法，或前述系统。

23、第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时，实现前述所述的方法，或前述的系统。

24、本发明与现有技术相比的优点在于：

25、（1）本发明提出一种面向全域场景的超球面结构化光场构建方法及系统，通过先将光场空间分为多个光场子空间，对每个光场子空间构建球面模型，从而规则化的表示了单一光场子空间中的光线信息，随后探索相邻两球面光场模型之间的关联关系，并利用公共空间特征的不确定性图使的关联关系更加准确可靠，随后由相邻两球面模型之间的关联关系，注意拓展，得到任意两个光场子空间之间的关联关系，从而能对空间中任意一束光线信息进行记录，使得整体模型能对场景中任意角度、任意位置的连续光线信息进行记录，让光场对场景信息的记录更加全面具体，对场景信息的存储更加完备，应用更广泛。

26、（2）本发明从空间域和角度域两个层次解耦光场空间为多个光场子空间，使得能够对每个光场单独进行更完整的模型构建，使最终光场记录的场景信息更加完备连续。

27、（3）本发明将邻接矩阵与光场结合，基于传统四维双平面光场模型，利用邻接矩阵从空间域与角度域层次学习子视图之间的相关性，使得对光场子视图之间相关性度量更加准确；随后根据设定阈值从空间域和角域中筛选出相关性高于阈值的光场子空间组成光场子空间集合，由此保证了光场子空间之间的紧密耦合，记录的场景信息连续完整。

28、（4）对于任意一光场子空间，传统四维双平面光场表示方法受限于双平面模型大小限制，仅能对双平面能捕捉到的光线进行记录，破坏了场景信息的连续性。而在本发明中，使用球面模型来表示任意一光场子空间中的光线信息，由于表示表示维度的升高，能对来自空间中任意角度，任意位置的光线信息进行记录，能使得光场记录的场景信息连续完备。

29、（5）本发明中构建了一个空间结构题感知代价网络来捕获相邻两个球面光场模型公共部分的公共子空间特征。通过交替使用2d卷积层和3d卷积层的形式，能够达到浅层像素特征和空间深度特征相互交融的效果。基于光场视差信息在球间光场融合模块构建空间结构感知代价，以获得更准确的反向传播代价，最终使提取的相邻两球面光场模型公共部分的特征更具备鲁棒性与准确性，使最终光场对场景信息的记录更加准确。

30、（6）本发明提出了一种新颖的探寻任意两个不相邻光场子空间关联关系的方式。即从源球面光场模型开始，每次选取最优的相邻球面光场模型建立关联关系，直到抵达目标球面光场模型为止。在这种方式下，能够利用已知的相邻球面关联关系推广到空间中任意两个不相邻球面光场模型，使得对于所有的光场子空间可以采用精准的模型进行表示。同时，相比于传统对于全部球面光场模型直接通过计算建立关系的方式，大大缩减了计算量，使得模型建立的过程更加高效，提升最终对场景信息建模的效率。