一种实现高分辨率超宽视场角三维显示的图像格式的方法

1.本发明涉及一种实现高分辨率超宽视场角三维显示的图像格式的方法，属于三维图像重建技术领域。


背景技术：

2.视觉信息是人类感受外部世界的主要手段，视觉图像信息为人类感受真实世界提供了70％以上的信息。人们通常使用的视觉图像信息为二维平面信息，而真实的世界场景是三维立体的，在向二维平面映射空间信息的过程中，会造成信息的损失。还原和重建真实三维信息是一项具有现实意义的工作。在进行三维场景重建的过程中，困难之一就是遮挡信息的补充。物体在空间中因处于不同深度而带来的遮挡关系，使三维信息在采集和观测的过程中存在难以恢复的空洞部分。通常使用两种方式捕获和重建三维场景的信息，一种方式是使用rgb-d相机，在采集场景彩色信息的同时捕获场景的深度信息；另一种为使用双目相机同时采集两个方向上的彩色信息，通过重建算法得到需要的三维关系。这两种方法都无法有效解决遮挡关系造成的空洞，在高像素大视场角的情况下恢复的三维场景有肉眼可见的恢复误差，在不同视角上进行观察，空洞的填充部分难以令人信服。为了有效提高在高分辨率宽视场角下从不同视角观察三维图像产生空洞的填充质量，提出了一种新图像传输格式，这种传输格式由3张不同角度下的彩色图像和主视图角度的深度信息组成，可以实现高分辨率超宽视场角三维空洞填充。


技术实现要素：

3.技术问题：本发明目的是提供一种实现高分辨率超宽视场角三维空洞填充的图像格式的方法，该图像格式通过采集目标场景的三张彩色子图和一张深度子图，并将这四张子图组合成一个新的图像进行储存和传输，传输的新格式图像通过结合射影几何和空洞填充算法，可以填补在宽视场角度范围内任意观察方向上的高分辨率的场景的空洞，既可以扩大观测范围又可以保证填充场景的质量。
4.技术方案：为了实现上述目的本发明的一种实现高分辨率超宽视场角三维显示的图像格式的方法包括以下步骤：
5.步骤1.获取目标场景图像信息，获取的目标场景的图像信息包括以最大成像角为主光轴的相机拍摄的左右两张场景彩色图作为左右侧视子图和在最大夹角之间为还原场景而捕捉任意角度的深度图作为深度子图；
6.步骤2.将获取的若干张子图重新组合成一个输入阵列，这个输入阵列整体的每一部分为原始子图的完整表达，将重组后的阵列输入到成像设备中；
7.步骤3.利用三维场景补全算法对输入阵列进行重建并依托该图像格式完成因视角变换而造成的图像空洞的补全。
8.其中：
9.所述步骤1中获取目标场景的图像信息，除左右侧视子图以及场景的深度子图外，
在输入阵列中添加目标场景更多的彩色子图、深度子图作为补充信息共同够成实现高分辨率超宽视场角三维显示的图像格式。
10.所述步骤2中若干张子图重新组合成一个输入阵列，按照形如的方阵形式输入，或按照形如[a b c d]的行向量形式或者形如[a b c d]
t
的列向量形式输入成像设备，其中子图的排列顺序是任意的。
[0011]
所述步骤2中若干张子图重新组合成一个输入阵列，是将输入的若干张子图按照像素位置依次排列，使得若干张子图形成交错，构成整体输入阵列。
[0012]
所述步骤3中利用步骤2中的输入阵列补全三维场景中空洞的三维场景补全算法具体可以分解为两部分：a.视图在视角位置的像素还原；b.侧视子图对任意观测视角位置图像空洞的补全。
[0013]
所述步骤3中的三维场景补全算法实现在最大观测夹角内的任意视角变化，对于任意观测视角下图像的还原和空洞的填充，利用深度子图中的深度信息索引两张侧视图中相同空间位置上的像素，作为空洞部分像素的填充，其计算公式可以写为：
[0014]
pv＝(1-k)p
v1
+kp
v2
#(1)
[0015]
其中表示任意观测视角处图像信息，以下称为视点信息；表示经由单张彩色子图提供图像信息重建的观测视点处视图，以下称为视图信息；表示经由其他彩色子图提供图像信息进行图像填充后的观测视点处视图，以下称为填充信息；k为计算因子，取值为{0，1}，用以表示还原观测视角处视点信息的来源，当k取值为0时视点信息取自视图信息，k取值为1时视点信息取自填充信息。
[0016]
所述视图信息p
v1
通过单张彩色子图和深度子图提供的深度信息获得，计算公式可以写为：
[0017]
p
v1
＝f1p
m-bm#(2)
[0018]
其中表示图像阵列中单张彩色子图提供的原始图像信息，以下称为主视图信息；表示主视图信息映射到视图信息p
v1
的传递系数，以下简称主视系数；表示主视图信息因视角偏转而造成的移位偏差，简称主视偏差。
[0019]
所述主视偏差计算公式可以写为：
[0020][0021][0022]bmx
＝f
vxzozi-1
tanβ#(5)
[0023]bmy
＝f
vyzozi-1
tanβ#(6)
[0024]
其中f
vx
、f
vy
分别是视点处成像设备在成像面的x轴和y轴上的经过照相机几何标定后的焦距；f
mx
、f
my
分别是选定的用于恢复图像的单张彩色子图的成像设备在成像面的x轴和y轴上的经过照相机几何标定后的焦距；zo、zi分别为深度信息图基准线的深度和重建图像对应像素的深度；β为观测点处偏角。
[0025]
所述填充信息p
v2
通过其他彩色子图和深度子图提供的深度信息获得，计算公式可以写为：
[0026]
p
v2
＝f2ps+bs#(7)
[0027]
其中表示图像阵列中其他彩色子图提供的原始图像信息，以下称为侧向信息；表示侧向信息映射填充信息ps的传递系数，以下简称侧视系数；的传递系数，以下简称侧视系数；表示侧向信息因视角偏转而造成的移位偏差，以下简称侧视偏差。
[0028]
所述侧视偏差计算公式可以写为：
[0029][0030][0031]bsx
＝f
vxzo
(tanβ-tanα)z
i-1
#(10)
[0032]bsy
＝f
vyzo
(tanβ-tanα)z
i-1
#(11)
[0033]
其中f
sx
、f
sy
分别是最大侧向视角光学设备在成像面的x轴和y轴上的经过照相机几何标定后的焦距；α为提供侧向信息的彩色子图的最大偏角。
[0034]
有益效果：1.本发明首次提出的图像格式，应用于三维场景中因视角偏转而造成的空洞填充问题中可以有效补全空洞，生成高质量可信服的图像像素，避免了传统图像中信息缺乏而造成的填补困难，和使用迭代方法而带来的复杂、繁琐的步骤。
[0035]
2.使用多张子图构建的图像格式，所获取的信息可以用于更大的视场角下的图像空洞填充，使对场景的观测范围不再被限制于一个极小的观测视角，同时这种格式下恢复的空洞可以应用于高分辨率的图像，在呈现设备上可以更快速、高效地进行实时计算和观测。
附图说明
[0036]
图1是本发明的步骤1的获取目标场景图像信息子图图示；
[0037]
图2是本发明的步骤2中所述以四张子图为例的矩形图像阵列格式示意图；
[0038]
图3是本发明的步骤2中所述以四张子图为例的列向量图像阵列格式示意图；
[0039]
图4是本发明的步骤2中所述以四张子图为例的列向量图像阵列格式示意图；
[0040]
图5是本发明的步骤2中所述以若干张子图为例的交叉图像阵列格式示意图；
[0041]
图6是本发明的步骤3中对图形进行重建和空洞补全方法的示意图。
具体实施方式
[0042]
下面结合具体实施例，进一步阐明发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等同变换均落于本技术所附权利要求所限定的范围。
[0043]
实施例：
[0044]
如图1所示，本发明实施例公开的一种实现高分辨率超宽视场角三维显示的图像格式，主要包括以下步骤：
[0045]
步骤1)获取目标场景图像信息。
[0046]
首先获得目标场景的图像信息，这里我们选择一种较为便捷的方式，即获取目标场景的四张子图，分别为以最大成像角为主光轴的相机拍摄的两张场景彩色图作为左右侧视子图，和在最大夹角的角平分线处为场景法线拍摄的彩色图为主视子图以及主视图的深度子图。应当注意这种方案并不唯一，本领域技术人员可以还可以选择使用但不限于：1.获取最大观测夹角处的左右两张场景彩色图和场景法线处的深度图；2.获取最大观测夹角处的左右两张场景彩色图和两张彩色图所对应的深度图；3.获取最大观测夹角处的左右两张场景彩色图、一张场景法线位置的彩色图以及一张任意位置的深度图；4.在保留最大观测夹角处的左右两张场景彩色图和位于最大观测角之间的深度图的基础上增加和减少视图的个数，即在保有这三张子图的基础上根据需要捕获任意角度下任意数量的场景彩色图像信息和深度信息作为补充子图等其他方案作为实施方案，其他等同变换均落于本技术所附权利要求所限定的范围。
[0047]
本实施例中使用的图像信息具体的获取方法为：以目标场景中心点为原点，延伸场景法线为0
°
基础，在
±
β的角度上各设置两台内参一致的rgb相机采集场景两张侧视子图，记为：彩色图a、彩色图b；并沿法线方向设置rgb-d相机采集场景主视子图和深度子图：记为彩色图c和深度图d。
[0048]
为简化计算和成像过程，可以以原点为圆心设置相机。如果不这么设置，则需要在预处理阶段将捕获的子图进行变换，可以按照距离比例对图像进行伸缩，以保证图像每个像素对场景的投影是相同或者相近的尺度。
[0049]
步骤2)将子图组合为完整图像格式。
[0050]
将获得的3张彩色图像和1张深度图像按照同样的方向和角度对齐后重新组合成1张用于计算和成像的完整图像，作为输入阵列传输到计算和成像设备中。这个阵列以4张子图作为元素，阵列格式可以是一个2
×
2的矩阵阵列、1
×
4的行向量阵列或者4
×
1的列向量阵列，而每个子图在阵列中的位置是任意的，在计算时只需要将对应的图像像素的位置索引标识明确即可。
[0051]
在由4张子图生成完整图像时，为简化计算和成像过程，应注意将图像对齐，即如果构成阵列的任意子图在阵列中处于同一行或者同一列，则应该使得世界坐标下的投影像素处于阵列的同一行或者同一列。
[0052]
步骤3)利用步骤2)中的图像格式进行视点图像的生成并对因为观测角度发生偏转而造成的空洞进行填充。
[0053]
考虑到在不同的图像中，每个像素实际对应的实际场景世界坐标是相同的，可以依据投影几何的原理将观测视点图像处的图像依靠主视子图像素进行填补，记
表示任意观测视角处图像依据主视子图像素进行的填充。索引4张子图构成的阵列中主视子图的像素，观测视图可以表示为：
[0054]
p
v1
＝f1p
m-bmꢀꢀ
(1)
[0055]
其中具体地，f
x1
和f
y1
分别是主视子图在x轴向和y轴向上变换系数。
[0056]
由射影几何关系可以获得，其中f
vx
，f
mx
分别是图像在x轴向处观测视点位置的相机参数和主视位置的相机参数；f
vy
，f
my
分别是图像在y轴向处观测视点位置的相机参数和主视位置的相机参数。观测视点的相机参数可以是任意的，将在成像设备中进行模拟计算，可以更自由地模拟多参数的相机进行成像。
[0057]
表示主视子图提供的图像信息，这部分信息通过变换系数f1的约束，使观测视点处图像p
v1
可以依据射影几何的变换关系将主视子图中的对应像素信息在成像中进行计算。
[0058]
表示观测位置因视角偏转而造成的主视子图映射过程中的移位偏差，其中b
mx
，b
my
分别表示图像在x轴向和y轴向上主视子图的移位偏差。主视子图的移位偏差可以表示为：
[0059]bmx
＝f
vxzozi-1
tanβ
ꢀꢀ
(2)
[0060]bmy
＝f
vyzozi-1
tanβ
ꢀꢀ
(3)
[0061]
其中zo、zi分别为深度信息图基准线深度和场景中各像素深度，这部分信息可以从图像阵列的深度子图中获得。为简化计算过程，可以将图像深度最大处选为基准线深度，也可以按照实际需求设置深度基准，只需要在计算过程中按深度数值改变比值即可。β表示观测位置偏角，偏角β范围应在侧视子图之间。
[0062]
步骤4)利用步骤3)中完成主视子图映射的生成图通过步骤2)中的图像格式，对生成图的空洞进行填补。观测位置视图的空洞部分虽然没有像素信息但是对应图像的坐标位置可以通多射影几何的映射原理在两张侧视子图中找到对应的像素进行填充。记表示任意观测视角处图像需要依据两处侧视子图像素进行填充的空洞。索引4张子图构成的阵列中两张侧视子图的像素，观测视图空洞部分图像可以表示为：
[0063]
p
v2
＝f2ps+bsꢀꢀ
(4)
[0064]
其中具体地，f
x2
和f
y2
分别是侧视子图在x轴向和y轴向上变换系数。
[0065]
由射影几何关系可以获得，其中f
vx
，f
mx
分别是图像在x轴向处观测视点位置的相机参数和最大偏转角位置的相机参数；f
vy
，f
my
分别是图像在y轴向处观测视点位置的相机参数和最大偏转角位置的相机参数。这里观测视点位置的相机参数应
当与步骤3)中使用的相机参数一致，以保证生成的任意角度下的观测视点图像是对同一相机捕获视图的模拟，这即符合人眼观测的方式，也避免了复杂的预处理过程，同时可以利用步骤2)中的图像阵列对空洞像素进行更高效合理的填充。
[0066]
表示侧视子图提供的图像信息，这部分信息通过变换系数f2的约束，使观测视点处图像p
v2
可以依据射影几何的变换关系将侧视子图中的对应像素信息在成像中进行计算。
[0067]
表示观测位置因视角偏转而造成的侧视子图映射过程中的移位偏差，其中b
sx
，b
sy
分别表示图像在x轴向和y轴向上侧视子图的移位偏差。侧视子图的移位偏差可以表示为：
[0068]bsx
＝f
vxzo
(tanβ-tanα)z
i-1
#(5)
[0069]bsy
＝f
vyzo
(tanβ-tanα)z
i-1
#(6)
[0070]
其中zo、zi同步骤3)一样同样是来自深度子图处的信息，α、β分别为侧向最大偏角和观测位置偏角。
[0071]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。