复杂场景下真3D图像显著重建方法

复杂场景下真3d图像显著重建方法
一、技术领域
1.本发明涉及计算集成成像重建技术，特别涉及一种复杂场景下真3d图像显著重建方法。
二、

背景技术：

2.集成成像显示具有全视差、真彩色、无立体观看视疲劳、体积超薄、显示环境要求不苛刻等优点，成为目前裸眼3d显示研究的热点之一，它包含了捕获和再现两个互逆过程。捕获过程是利用相机阵列对物空间场景进行拍摄，从而获得空间场景不同角度的微图像阵列；再现过程是将得到的微图像阵列通过具有相同参数的微透镜阵列在观看空间中重建出3d图像，并可以在有限的视角内从任意方向观看这个重建像。
3.传统的计算集成成像算法在简单的场景下能够较好地重建出3d图像，由于周围简单的背景元素对3d图像重建干扰较小，3d重建效果较为理想。但是，当3d图像所处物空间场景较为复杂时，复杂场景和3d显著目标在重建过程中会存在相互串扰，从而导致3d图像的重建效果不理想。因此,在复杂场景下3d图像重建需要消除复杂场景像素对显著目标的3d图像重建带来的串扰。目前，尚未有对应复杂场景下真3d图像显著重建方法出现。
三、

技术实现要素：

4.为解决上述问题，本发明提出一种复杂场景下真3d图像显著重建方法，所述方法通过相机阵列拍摄物空间3d场景获取视差图像序列，之后利用时空一致显著性检测算法生成上述视差图像序列的时空显著图，并对每一张显著图的灰度值进行归一化处理，得到每张视差图像像素映射权值，则复杂场景下3d物体的视差图像可通过其对应的像素映射权值过滤掉复杂背景像素对3d显著目标成像的干扰，得到3d显著目标的微图像阵列，最后利用透镜阵列重建出显著目标的3d图像。
5.所述方法包括以下四个步骤。
6.第一步，获取物空间场景的视差图像序列,记为i
k
(k＝1,2
……
m*n)。
7.第二步，利用时空一致显著性检测算法得到视差图像序列i
k
的时空显著图，并对每一张显著图的灰度值进行归一化处理，得到每张视差图像像素映射权值，记为mask
k
(x,y)(k＝1,2
……
m*n)。
8.第三步，复杂场景下3d物体的视差图像通过其对应的像素映射权值过滤掉复杂背景像素对3d显著目标成像的干扰，即mask
k
(x,y)*i
k
，对应点乘后得到的已过滤掉复杂背景的m*n幅视差图用于生成一个微图像阵列，记为res(x,y)。
9.第四步，res(x,y)通过微透镜阵列进行重建，从而得到显著目标的3d图像。
10.所述第一步，获取物空间场景的视差图像序列步骤中。首先搭建摄像机阵列，所述摄相机阵列包含的摄像机个数为m*n，其中m表示垂直方向的摄像机个数，n表示水平方向的摄像机个数，m和n分别表示摄像机在垂直和水平方向上的索引，相邻摄像机间隔为d。摄相机阵列对物空间场景进行拍摄，获得m*n幅视差图序列，记为i
k
(k＝1,2
……
m*n)。
11.所述第二步，利用时空一致显著性检测算法得到视差图像序列i
k
的时空显著图，并对每一张显著图的灰度值进行归一化处理，得到每张视差图像像素映射权值步骤中。将第一步得到的m*n幅视差图序列看作一段视频，则每一幅视差图相当于视频中的每一帧，因此引入时空显著性检测算法来获取每一帧即每一幅视差图的显著图。视频的每一帧都通过简单线性迭代聚类算法被过度分割成超像素，设表示帧s
k
的超像素元素,获得对应于像素处的第k帧s
k
的边缘概率图并计算相邻帧之间的光流。设f
k
表示帧s
k
的光流，光流的梯度大小可以由f
k
计算：
[0012][0013]
设像素的边缘图为的边缘概率可以计算为具有十个最大边缘概率的像素值的平均值，由此生成超像素边缘图类似地，我们使用来计算超像素的光流值图并且时空边缘概率p
k
可以使用以下公式来计算:
[0014][0015]
利用公式(2)结合了空间边缘和运动边界边缘获得了时空边缘概率。然而，生成的时空边缘图仅提示了显著目标的前景位置。为了突出其前景位置，使用测地距离算法来计算目标概率图。测地距离d
g
(v1,v2,g)表示图g中节点v1和v2之间的距离，是连接v1和v2的所有路线上3的最小化积分，其中ω表示权函数。满足：
[0016][0017]
其中，c表示节点v1和v2之间路线。
[0018]
对于每一帧s
k
,创建一个加权图g
k
＝{v
k
,ε
k
},其中超像素y
k
作为节点v
k
，相邻节点之间的连接为边ε
k
。因此相邻超像素和之间的权重ω
k
可通过：
[0019][0020]
计算得到，其中和分别表示和的时空边界概率。概率则可以通过利用以下公式由最小测地距离计算得到:
[0021][0022]
其中q
k
表示沿着帧s
k
的四个边界的超像素。利用所获得的前景概率图p
k
，即可以检测到显著目标，将检测到的m*n幅显著图的灰度值进行归一化处理，得到每张视差图像像素映射权值，记为mask
k
(x,y)(k＝1,2
……
m*n)。
[0023]
所述第三步，复杂场景下3d物体的视差图像通过其对应的像素映射权值过滤掉复杂背景像素对3d显著目标成像的干扰，即mask
k
(x,y)*i
k
，对应点乘后得到的已过滤掉背景的m*n幅视差图用于生成一个微图像阵列步骤中。经过点乘后得到的m*n幅视差图都已过滤掉复杂背景而仅保留了显著目标，则利用其生成的是一个3d显著目标的微图像阵列，记为res(x,y)。
[0024]
所述第四步，res(x,y)通过微透镜阵列进行重建，从而得到显著目标的3d图像步
骤中。利用透镜阵列重建物体空间的光线，通过在每个3d图像点上相交大量的射线，在重建空间中形成3d图像。所述方法可为在复杂背景下的显著目标重建提供正确的思路。
四、附图说明
[0025]
本发明的前述方面及优点从下述结合附图与实施例的详细描述中将得以进一步明确和容易理解，其中：
[0026]
附图1为根据本技术一实施例的一种复杂场景下真3d图像显著重建方法的流程图。
[0027]
附图2为本技术一实施例的3d物空间场景。
[0028]
附图3为根据本技术一实施例的时空一致显著性检测算法流程图。
[0029]
附图4为根据本技术一实施例生成的微图像阵列res(x,y)。
[0030]
附图5为根据本技术一实施例的3d图像重建设备的示意图。
[0031]
上述附图中的图示标号为：13d显著目标，2复杂背景，3摄像机阵列，4微图像阵列，5光学扩散屏，6透镜阵列,72d显示面板。
[0032]
应该理解上述附图只是示意性的，并没有按比例绘制。
五、具体实施方式
[0033]
为了便于理解本技术，下面将详细阐述本发明提出的一种复杂场景下真3d图像显著重建方法的一个典型实施例。但是有必要在此指出的是，下面描述的实施例是示例性的，旨在对本发明作进一步解释，不能理解为对本发明保护范围的限制。
[0034]
除非另有定义，本文所使用的所有技术和科学术语与属于发明的技术领域的技术人员通常理解的含义相同。本文中在发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本技术。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
[0035]
本文所使用的方位术语“垂直”、“水平”以及类似的表述只是为了说明的目的，并不表示是唯一的实施方式也并非对于本技术的限制。
[0036]
下面将结合本技术公开的实施例及附图对本技术所提出的一种复杂场景下真3d图像显著重建方法进行详细的描述。
[0037]
图1示出了根据本技术一实施例的一种复杂场景下真3d图像显著重建方法，该方法包括以下步骤。
[0038]
步骤s100，获取物空间场景的视差图像序列,记为i
k
(k＝1,2
……
m*n)。
[0039]
步骤s101，利用时空一致显著性检测算法得到视差图像序列i
k
的时空显著图，并对每一张显著图的灰度值进行归一化处理，得到每张视差图像像素映射权值，记为mask
k
(x,y)(k＝1,2
……
m*n)。
[0040]
步骤s102，复杂场景下3d物体的视差图像通过其对应的像素映射权值过滤掉复杂背景像素对3d显著目标成像的干扰，即mask
k
(x,y)*i
k
，对应点乘后得到的已过滤掉复杂背景的m*n幅视差图用于生成微图像阵列，记为res(x,y)。
[0041]
步骤s103，res(x,y)通过微透镜阵列进行重建，从而得到显著目标的3d图像。
[0042]
在一个实施例中，所述第一步，获取物空间场景的视差图像序列步骤中。首先搭建
摄像机阵列，所述摄相机阵列包含的摄像机个数m*n可以为50*50，垂直、水平摄像机个数相同。相邻摄像机间隔d可以为100mm。摄相机阵列对物空间场景进行拍摄，获得50*50幅视差图序列。在一个实施例中，3d显著目标1为一个魔方和一个车子。
[0043]
在一个实施例中，所述第二步，利用时空一致显著性检测算法得到视差图像序列i
k
的时空显著图，并对每一张显著图的灰度值进行归一化处理，得到每张视差图像像素映射权值步骤中。将第一步得到的50*50幅视差图序列看作一段视频，则每一幅视差图相当于视频中的每一帧，因此引入时空显著性检测算法来获取每一帧即每一幅视差图的显著图。视频的每一帧都通过简单线性迭代聚类算法被过度分割成超像素，则表示帧s
k
(k＝1,2
……
50*50)的超像素元素。当k＝1时，则获得对应于像素处的第1帧s1的边缘概率图设f1表示帧s1的光流，光流的梯度大小可以由f1计算：
[0044][0045]
设像素的边缘图为的边缘概率可以计算为具有十个最大边缘概率的像素值的平均值，由此生成超像素边缘图类似地，我们使用来计算超像素的光流值图并且时空边缘概率p1可以使用以下公式来计算:
[0046][0047]
为了突出其前景位置，使用测地距离算法来计算目标概率图。测地距离d
g
(v1,v2,g)表示图g中节点v1和v2之间的距离，是连接v1和v2的所有路线上ω的最小化积分，其中ω表示权函数。满足：
[0048][0049]
其中，c表示节点v1和v2之间路线。
[0050]
则对于第一帧s1,创建一个加权图g1＝{v1,ε1},其中超像素y1作为节点v1，相邻节点之间的连接为边ε1。因此相邻超像素和之间的权重ω1可通过：
[0051][0052]
计算得到，其中和分别表示和的时空边界概率。概率则可以通过利用以下公式由最小测地距离计算得到:
[0053][0054]
其中q1表示沿着帧s1的四个边界的超像素。利用所获得的前景概率图p1，即可以检测到第一帧s1的显著目标。以此类推k＝2,3
…
50*50，将检测到50*50幅显著图，并对其灰度值进行归一化处理从而得到每张视差图像像素映射权值，记为mask
k
(x,y)(k＝1,2
……
50*50)。
[0055]
在一个实施例中，所述第三步，复杂场景下3d物体的视差图像通过其对应的像素映射权值过滤掉复杂背景像素对3d显著目标成像的干扰，即mask
k
(x,y)*i
k
，对应点乘后得到的已过滤掉复杂背景的m*n幅视差图用于生成一个微图像阵列步骤中。经过点乘后得到的50*50幅视差图都已过滤掉复杂背景而仅保留了显著目标，则利用其生成的是一个3d显
著目标的微图像阵列，记为res(x,y)，图4示出了根据本技术一实施例的微图像阵列res(x,y)的示意图。其中，*表示点乘。
[0056]
在一个实施例中，所述第四步，res(x,y)通过微透镜阵列进行重建，从而得到显著目标的3d图像步骤中。根据光路可逆原理，每个单元图像上的像素发出光线经过透镜阵列还原光路并汇聚成一个个焦点，显著目标的3d物体图像就在中心平面的一定深度内被重构出来，图5示出了根据本技术一实施例的3d图像重建设备的示意图。