基于多视点的环形异构全景深度感知装置和三维重建方法与流程

1.本技术涉及计算成像技术领域，特别是涉及一种基于多视点的环形异构全景深度感知装置和三维重建方法。


背景技术：

2.根据技术调研情况，全景合成多用于安防、消费娱乐等领域，如大场景监控、全景看房、百度街景拍摄等，拥有广泛的应用领域和价值。全景合成算法解决了二维全景图像合成问题，随着人工智能逐渐在三维领域崭露头角，在三维视觉空间中全景高分辨空间将有更多的应用价值。
3.为实现全景高分辨三维重建，现有方法分为深度学习方法和传统多视图几何方法。其中，深度学习方法过于依赖数据，尤其是单目深度估计，泛化能力存在巨大挑战，导致基于深度学习的单目重建难以在实际场景中稳定运行；而而对称性双目结构虽然可以直接获取深度，但在大场景中标定非常困难。传统多视图几何方法，在经历多年的发展后，在性能上达到了瓶颈，难以在无纹理、运动模糊等场景下使用，且标定也很困难。


技术实现要素：

4.基于此，针对上述技术问题，提供一种基于多视点的环形异构全景深度感知装置和三维重建方法。
5.第一方面，一种基于多视点的环形异构全景深度感知装置，包括环形固定支架，所述环形固定支架上沿周向等间隔固定有多个全局重建辅助相机，每相邻两个全局重建辅助相机的中间固定有一个全局合成相机；每个全局合成相机的位置上沿环形固定支架的轴向还相应固定有一个阵列相机固定支架，每个阵列相机固定支架的中部固定在所述环形固定支架上，每个阵列相机固定支架的两端均各固定有一个局部相机；每个阵列相机固定支架上的两个局部相机和该阵列相机固定支架相应的全局合成相机构成一组阵列相机；
6.多个全局重建辅助相机和多个全局合成相机分别对应覆盖环形固定支架周向的多个外围区域，相邻的全局重建辅助相机和全局合成相机具有感知重叠区域；每个全局合成相机的垂直视场角大于或等于局部相机的垂直视场角的2倍。
7.可选地，所述环形固定支架上等间隔固定有九个全局重建辅助相机，相应全局合成相机共有九个。
8.进一步可选地，每个全局重建辅助相机的水平视角和每个全局合成相机的水平视角均大于或等于60
°
，每个全局合成相机和局部相机的感知图像分辨率均大于或等于1400万像素。
9.进一步可选地，所有全局重建辅助相机和所有全局合成相机的视场光轴均与所述环形固定支架共面。
10.进一步可选地，所有全局重建辅助相机和所有全局合成相机的型号完全一致。
11.第二方面，一种基于多视点的环形异构全景三维重建方法，包括：
12.步骤一，搭建上述环形异构全景深度感知装置，对其中的全局相机进行视觉标定，得到18个全局相机的内参和相邻全局相机的外参矩阵，并基于全局重建辅助相机，计算得到所有全局合成相机之间的外参矩阵；
13.步骤二，根据18个全局相机的内参和相邻全局相机的外参矩阵，计算得到每个全局合成相机视角下的稠密深度图；
14.步骤三，利用搭建的环形异构全景深度感知装置进行图像的采集，在同一时间戳下得到9组阵列相机数据，包括9张全局合成相机拍摄的全局合成相机图像和18张局部相机拍摄的局部相机图像；计算9张全局合成相机图像中每对相邻图像之间的变形矩阵，并利用得到的变形矩阵进行全景图像和稠密深度图的融合，得到全景图像ig和全景深度感知结果dg。
15.可选地，所述步骤一具体包括：
16.搭建上述环形异构全景深度感知装置，并将其中18个全局相机依次从1至18进行编号，奇数编号为全局相机中的全局重建辅助相机，偶数编号为全局相机中的全局合成相机；
17.基于张正友标定法，使用棋盘格对环形异构全景深度感知装置中的全局相机和相邻全局相机进行视觉标定，得到18个全局相机的内参邻全局相机进行视觉标定，得到18个全局相机的内参其中，代表全局相机中的全局重建辅助相机的内参，代表全局相机中的全局合成相机的内参；以及得到相邻全局相机的外参矩阵{t
1，2
，t
2,3
，...，t
17，18
，t
18,1
}，每个外参矩阵包含一个旋转矩阵r和一个平移向量t；
18.m依次取2,4,6
…
16，对每个m执行以下操作：
19.根据m号全局合成相机与m+1号全局重建辅助相机之间的外参t
m,m+1
{r
m,m+1
，t
m,m+1
}，以及m+1号全局重建辅助相机与m+2号全局合成相机之间的外参t
m+1,m+2
{r
m+1,m+2
，t
m+1,m+2
}，计算得到m号全局合成相机与m+2号全局合成相机之间的外参t
m,m+2
{r
m,m+2
，t
m,m+2
}，其中：
20.r
m,m+2
＝r
m+1，m+2
*r
m,m+1
21.t
m,m+2
＝r
m+1,m+2
t
m,m+1
+t
m+1,m+2
；
22.由此计算得到所有全局合成相机之间的外参矩阵。
23.进一步可选地，所述步骤二具体包括：
24.将m-1号全局重建辅助相机和m号全局合成相机作为立体相机对，基于m-1号全局重建辅助相机和m号全局合成相机的内外参数和t
m-1,m
，以及m-1号全局重建辅助相机和m号全局合成相机组成的立体图像对i
m-1
和im，进行双目立体深度求取，所述双目立体深度求取包括畸变校正、立体校正、视差求解和深度计算，得到m号全局合成相机视角下的第一稠密深度图d
m-1,m
；
25.将m号全局合成相机和m+1号全局重建辅助相机作为立体相机对，基于m号全局合成相机和m+1号全局重建辅助相机的内外参数和t
m,m+1
，以及m号全局合成相机和m+1号全局重建辅助相机组成的立体图像对im和i
m+1
，进行双目立体深度求取，所述双目立体深度求取包括畸变校正、立体校正、视差求解和深度计算，得到m号全局合成相机视角
下的第二稠密深度图d
m,m+1
；
26.获取m-1号全局重建辅助相机和m号全局合成相机组成的立体视觉对，在立体校正过程中得到的有效校正区域的遮罩m
m-1,m
，以及获取m号全局合成相机和m+1号全局重建辅助相机组成的立体视觉对，在立体校正过程中得到的有效校正区域的遮罩m
m,m+1
；遮罩层中，像素索引值为1代表有效，0代表无效；
27.根据遮罩m
m-1,m
和遮罩m
m,m+1
对第一稠密深度图d
m-1,m
和第二稠密深度图d
m,m+1
进行合并，得到合并稠密深度图dm，合并原则如下，对于像素索引(p，q)：
[0028][0029]
对dm进行双边滤波，获取最终的m号全局合成相机视角下的稠密深度图dm；
[0030]
m依次取2,4,6
…
，16，对每个m执行以上操作；
[0031]
m取18，将17号全局重建辅助相机和18号全局合成相机作为立体相机对，基于17号全局重建辅助相机和18号全局合成相机的内外参数和t
17,18
，以及17号全局重建辅助相机和18号全局合成相机组成的立体图像对i
17
和i
18
，进行双目立体深度求取，所述双目立体深度求取包括畸变校正、立体校正、视差求解和深度计算，得到18号全局合成相机视角下的第一稠密深度图d
17,18
；
[0032]
将18号全局合成相机和1号全局重建辅助相机作为立体相机对，基于18号全局合成相机和1号全局重建辅助相机的内外参数和t
18,1
，以及18号全局合成相机和1号全局重建辅助相机组成的立体图像对i
18
和i1，进行双目立体深度求取，所述双目立体深度求取包括畸变校正、立体校正、视差求解和深度计算，得到18号全局合成相机视角下的第二稠密深度图d
18，1
；
[0033]
获取17号全局重建辅助相机和18号全局合成相机组成的立体视觉对，在立体校正过程中得到的有效校正区域的遮罩m
17，18
，以及获取18号全局合成相机和1号全局重建辅助相机组成的立体视觉对，在立体校正过程中得到的有效校正区域的遮罩m
18，1
；遮罩层中，像素索引值为1代表有效，0代表无效；
[0034]
根据遮罩m
17，18
和遮罩m
18，1
对第一稠密深度图d
17，18
和第二稠密深度图d
18，1
进行合并，得到合并稠密深度图d
18
，合并原则如下，对于像素索引(p，q)：
[0035][0036]
对d
18
进行双边滤波，获取最终的18号全局合成相机视角下的稠密深度图d
′
18
。
[0037]
进一步可选地，所述步骤三具体包括：
[0038]
利用搭建的环形异构全景深度感知装置，使用外部同步触发或软件时间戳同步方法进行图像数据采集，在同一时间戳下，得到9组阵列相机数据，包含9张全局合成相机拍摄
的全局合成相机图像g2、g4、
…
、g
18
，和18张局部相机拍摄的局部相机图像其中gi、为一组阵列相机上的图像；
[0039]
在同一时间戳下，针对一组全局合成相机图像序列g2、g4、
…
、g
18
，使用特征检测算法对相邻图像进行特征检测；
[0040]
对于一组全局合成相机图像序列的一对相邻图像，针对检测出的特征点进行图像配准，分别得到全局合成相机图像序列中每对相邻图像之间的变形矩阵tg
2，4
、tg
4，6
、
……
、tg
16，18
；
[0041]
使用得到的变形矩阵，将9张全局合成图像g2、g4、
…
、g
18
进行拼接，得到360度全景拼接图像ig；
[0042]
使用得到的变形矩阵，将每个全局合成相机视角下的稠密深度图d
′2、d
′4、
……
、d
′
18
进行拼接，得到360度全景深度感知结果dg；
[0043]
使用跨尺度图像融合网络，将18张局部相机图像融合到ig中，得到亿像素级别全景图像ig；
[0044]
使用超分辨方法，对dg进行分辨率提升，得到与ig同等分辨率的亿像素级别全景深度感知结果dg。
[0045]
进一步可选地，使用随机一致性采样算法进行图像配准；所述跨尺度图像融合网络为如crossnet网络。
[0046]
本发明至少具有以下有益效果：
[0047]
本发明结合多相机视觉和深度学习的优势，提出一种差异化异构成像的非结构化全景深度感知装置，并在此基础上，利用局部相机的优势，通过融合方法得到全景图像和全景深度感知结果；本发明所提出的全景深度感知装置和三维重建方法，对数据的依赖更少，泛化能力更强，并且适用于各种场景，在不同的大场景下均能非常容易地实现数据的标定。
[0048]
本发明在生成最终全景图像时，会将局部相机图像融合到由全局图像拼接而成的360度全景拼接图像，来得到亿像素级别全景图像；并会通过超分辨方法来提升360度全景深度感知结果，来得到亿像素级别全景深度感知结果，因此本发明提升了全局深度和成像感知的分辨率和精度。
附图说明
[0049]
图1为本发明一个实施例提供的一种基于多视点的环形异构全景深度感知装置的结构示意图；
[0050]
图2为本发明一个实施例提供的一种基于多视点的环形异构全景深度感知装置的详细结构示意图；
[0051]
图3为本发明一个实施例提供的一种基于多视点的环形异构全景三维重建方法的流程示意图；
[0052]
图4为本发明一个实施例中环形异构全景深度感知装置的编号示意图。
[0053]
附图标记说明：
[0054]
101、全局重建辅助相机；102、全局合成相机；103、环形固定支架；104、阵列相机固定支架；105、局部相机。
具体实施方式
[0055]
为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
[0056]
在一个实施例中，为实现全景360度高分辨深度感知，如图1所示，提供了一种基于多视点的环形异构全景深度感知装置，感知硬件在结构上采用环形异构设计；该环形异构全景深度感知装置包括环形固定支架103，环形固定支架103上沿周向等间隔固定有多个全局重建辅助相机101(图1中的白色相机)，每相邻两个全局重建辅助相机101的中间固定有一个全局合成相机102(图1中的黑色相机)。换句话说，在环形固定支架103上均匀分布着全局相机(全局重建辅助相机101和全局合成相机102均统称为全局相机)。特征上，所有全局重建辅助相机101和所有全局合成相机102的型号完全一致，全局相机按照功能可以划分为两种，白色相机(101为代表)为全局重建辅助相机，黑色相机(102为代表)为全局合成相机。
[0057]
进一步地，如图2所示，每个全局合成相机102的位置上沿环形固定支架103的轴向还相应固定有一个阵列相机固定支架104，每个阵列相机固定支架104的中部固定在环形固定支架103上，每个阵列相机固定支架104的两端均各固定有一个局部相机105；每个阵列相机固定支架104上的两个局部相机105和该阵列相机固定支架104相应的全局合成相机102构成一组阵列相机。换句话说，每个全局合成相机102在列式结构上(垂直方向)还包含另外两个局部相机105。
[0058]
进一步地，多个全局重建辅助相机101和多个全局合成相机102分别对应覆盖环形固定支架103周向的多个外围区域，相邻的全局重建辅助相机101和全局合成相机102具有感知重叠区域，也就是说全局相机两两之间具有感知重叠区域；对于单个列式相机阵列，每个全局合成相机102的垂直视场角至少应是局部相机105的垂直视场角的2倍以上。
[0059]
作为可选的一种方案，如图1所示，环形固定支架103上等间隔固定有九个全局重建辅助相机101，相应全局合成相机102也共有九个。九个相机组合的配置，即能满足视场和分辨力需要，又是该条件下的最小相机数量。理论上，18个全局相机的水平视场角不小于40度，为保障重叠区域足够大方便后续算法开发，单个全局相机的水平视角应该达到60度以上，也就是说，每个全局重建辅助相机101的水平视角和每个全局合成相机102的水平视角均大于或等于60
°
。并且每个全局合成相机102和局部相机105的感知图像分辨率均大于或等于1400万像素。该全景深度感知装置中的环形异构主要体现，全局相机中的差异化设置，以及列式阵列相机中局部相机105的角度可任意配置。
[0060]
另外，所有全局重建辅助相机101和所有全局合成相机102的视场光轴均与环形固定支架103共面。
[0061]
作为优选的一种方案，所有全局重建辅助相机101和所有全局合成相机102的视场光轴的反向延长线均经过环形固定支架103的中心。
[0062]
本发明结合多相机视觉和深度学习的优势，提出一种差异化异构成像的非结构化全景深度感知装置，对数据的依赖更少，泛化能力更强，并且适用于各种场景，在不同的大场景下均能非常容易地实现数据的标定。
[0063]
在一个实施例中，如图3所示，提供了一种基于多视点的环形异构全景三维重建方法，包括以下步骤：
[0064]
步骤s301，按照图1和图2中的结构描述，搭建上述实施例可选的一种方案中所提供的环形异构全景深度感知装置，该环形异构全景深度感知装置包括9个全局合成相机和9个全局重建辅助相机，对其中的全局相机进行视觉标定，得到18个全局相机的内参和相邻全局相机的外参矩阵，并基于全局重建辅助相机，计算得到所有全局合成相机之间的外参矩阵；
[0065]
步骤s301具体包括：
[0066]
(1)搭建上述实施例可选的一种方案中所提供的环形异构全景深度感知装置，该环形异构全景深度感知装置包括9个全局合成相机和9个全局重建辅助相机，并将其中18个全局相机依次从1至18进行编号，如图4所示，奇数编号为全局相机中的全局重建辅助相机，偶数编号为全局相机中的全局合成相机；
[0067]
(2)基于张正友标定法，使用棋盘格对环形异构全景深度感知装置中的全局相机和相邻全局相机进行视觉标定，得到18个全局相机的内参和相邻全局相机进行视觉标定，得到18个全局相机的内参其中，代表全局相机中的全局重建辅助相机的内参，代表全局相机中的全局合成相机的内参；以及得到相邻全局相机的外参矩阵{t
1，2
，t
2,3
，...，t
17,18
，t
18,1
}，每个外参矩阵包含一个旋转矩阵r和一个平移向量t；
[0068]
(3)按照下述操作计算所有全局合成相机之间的外参：
[0069]
m依次取2,4,6
…
16，对每个m执行以下操作：
[0070]
根据m号全局合成相机与m+1号全局重建辅助相机之间的外参t
m,m+1
{r
m,m+1
，t
m,m+1
}，以及m+1号全局重建辅助相机与m+2号全局合成相机之间的外参t
m+1,m+2
{r
m+1,m+2
，t
m+1,m+2
}，计算得到m号全局合成相机与m+2号全局合成相机之间的外参t
m,m+2
{r
m,m+2
，t
m,m+2
}，其中：
[0071]rm,m+2
＝r
m+1，m+2
*r
m,m+1
[0072]
t
m,m+2
＝r
m+1，m+2
t
m,m+1
+t
m+1,m+2
；
[0073]
由此借助全局重建辅助相机计算得到所有全局合成相机之间的外参矩阵。
[0074]
举例来说，以2号和4号全局合成相机之间的外参求取为例，该过程需要借助全局辅助相机3，2号全局合成相机与3号全局重建辅助相机之间的外参为t
2,3
{r
2，3
，t
2,3
}，3号全局重建辅助相机与4号全局合成相机之间的外参为t
3,4
{r
3，4
，t
3,4
}，代求外参为t
2,4
{r
2，4
，t
2,4
}，计算方法如下：
[0075]r2,4
＝r
3,4
*r
2,3
[0076]
t
2,4
＝r
3,4
t
2,3
+t
3,4
；
[0077]
以此类推，借助全局重建辅助相机，计算得到所有全局合成相机之间的外参t
2,4
{r
2，4
，t
2,4
}、t
4,6
{r
4，6
，t
4,6
}、t
6,8
{r
6，8
，t
6,8
}、......。
[0078]
步骤s302，根据18个全局相机的内参和相邻全局相机的外参矩阵，计算得到每个全局合成相机视角下的稠密深度图。
[0079]
步骤s302具体包括：
[0080]
m依次取2,4,6
…
，16，对每个m执行以下操作；
[0081]
(1)将m-1号全局重建辅助相机和m号全局合成相机作为立体相机对，基于m-1号全
局重建辅助相机和m号全局合成相机的内外参数和t
m-1,m
，以及m-1号全局重建辅助相机和m号全局合成相机组成的立体图像对i
m-1
和im，进行双目立体深度求取，所述双目立体深度求取包括畸变校正、立体校正、视差求解和深度计算，得到m号全局合成相机视角下的第一稠密深度图d
m-1,m
；
[0082]
(2)将m号全局合成相机和m+1号全局重建辅助相机作为立体相机对，基于m号全局合成相机和m+1号全局重建辅助相机的内外参数和t
m,m+1
，以及m号全局合成相机和m+1号全局重建辅助相机组成的立体图像对im和i
m+1
，进行双目立体深度求取，所述双目立体深度求取包括畸变校正、立体校正、视差求解和深度计算，得到m号全局合成相机视角下的第二稠密深度图d
m,m+1
；
[0083]
(3)获取m-1号全局重建辅助相机和m号全局合成相机组成的立体视觉对，在立体校正过程中得到的有效校正区域的遮罩m
m-1,m
，以及获取m号全局合成相机和m+1号全局重建辅助相机组成的立体视觉对，在立体校正过程中得到的有效校正区域的遮罩m
m,m+1
；遮罩层中，像素索引值为1代表有效，0代表无效；
[0084]
(4)根据遮罩m
m-1，m
和遮罩m
m，m+1
对第一稠密深度图d
m-1，m
和第二稠密深度图d
m，m+1
进行合并，得到合并稠密深度图dm，合并原则如下，对于像素索引(p，q)：
[0085][0086]
(5)对dm进行双边滤波，获取最终的m号全局合成相机视角下的稠密深度图d
′m；
[0087]
m取18，对其执行以下操作：
[0088]
(1)将17号全局重建辅助相机和18号全局合成相机作为立体相机对，基于17号全局重建辅助相机和18号全局合成相机的内外参数和t
17,18
，以及17号全局重建辅助相机和18号全局合成相机组成的立体图像对i
17
和i
18
，进行双目立体深度求取，所述双目立体深度求取包括畸变校正、立体校正、视差求解和深度计算，得到18号全局合成相机视角下的第一稠密深度图d
17，18
；
[0089]
(2)将18号全局合成相机和1号全局重建辅助相机作为立体相机对，基于18号全局合成相机和1号全局重建辅助相机的内外参数和t
18，1
，以及18号全局合成相机和1号全局重建辅助相机组成的立体图像对i
18
和i1，进行双目立体深度求取，所述双目立体深度求取包括畸变校正、立体校正、视差求解和深度计算，得到18号全局合成相机视角下的第二稠密深度图d
18，1
；
[0090]
(3)获取17号全局重建辅助相机和18号全局合成相机组成的立体视觉对，在立体校正过程中得到的有效校正区域的遮罩m
17，18
，以及获取18号全局合成相机和1号全局重建辅助相机组成的立体视觉对，在立体校正过程中得到的有效校正区域的遮罩m
18，1
；遮罩层中，像素索引值为1代表有效，0代表无效；
[0091]
(4)根据遮罩m
17，18
和遮罩m
18，1
对第一稠密深度图d
17，18
和第二稠密深度图d
18，1
进行合并，得到合并稠密深度图d
18
，合并原则如下，对于像素索引(p，q)：
[0092][0093]
(5)对d
18
进行双边滤波，获取最终的18号全局合成相机视角下的稠密深度图d
′
18
。
[0094]
以2号全局合成相机为例进行说明，其他全局合成相机都是类似的：
[0095]
(1)将1号和2号相机作为立体相机对，基于1号和2号的内外参数((1)将1号和2号相机作为立体相机对，基于1号和2号的内外参数(t
1，2
)，以及1号和2号组成的立体图像对(i1和i2)进行双目深度求取，得到2号相机视角下的稠密深度图d
1，2
；
[0096]
(2)同理，以2号和3号相机组成的立体图像对，包含内外参数(t
2，3
)，以及2号和3号组成的立体图像对(i3和i2)，进行立体深度计算，得出2号相机视角下的稠密深度图d
2，3
；
[0097]
(3)获取1号和2号组成立体视觉对在立体校正过程得到的有效校正区域的遮罩m
1，2
，同理获取2号和3号组成立体视觉对在立体校正过程得到的有效校正区域的遮罩m
2，3
；遮罩层中，像素索引值为1代表有效，0代表无效。
[0098]
(4)根据遮罩m
1，2
和m
2，3
对d
1，2
和d
2，3
进行合并，得到最终的合并稠密深度图d2，合并原则如下，对于像素索引(p，q)：
[0099][0100]
(5)对d2进行双边滤波，获取最终的2号全局合成相机视角下的稠密深度图d
′2。
[0101]
另外，进行双目立体深度求取会还会用到步骤s301所计算得到的全局合成相机之间的外参，具体的求取过程是本领域人员的公知常识，在此不作赘述。
[0102]
步骤s303，利用搭建的环形异构全景深度感知装置进行图像的采集，在同一时间戳下得到9组阵列相机数据，包括9张全局合成相机拍摄的全局合成相机图像和18张局部相机拍摄的局部相机图像；计算9张全局合成相机图像中每对相邻图像之间的变形矩阵，并利用得到的变形矩阵进行全景图像和稠密深度图的融合，得到全景图像ig和全景深度感知结果dg。
[0103]
步骤s303具体包括：
[0104]
(1)利用搭建的环形异构全景深度感知装置，使用外部同步触发或软件时间戳同步方法进行图像数据采集，在同一时间戳下，可以得到9组阵列相机数据，包含9张全局合成相机拍摄的全局合成相机图像g2、g4、
…
、g
18
，和18张局部相机拍摄的局部相机图像其中gi、为一组阵列相机上的图像；
[0105]
(2)在同一时间戳下，针对一组全局合成相机图像序列g2、g4、
…
、g
18
，使用特征检测算法对全局合成序列图像中的相邻图像进行特征检测；
[0106]
(3)对于一组全局合成相机图像序列的一对相邻图像，针对检测出的特征点，使用
ransac(随机一致性采样算法)进行图像配准，得到相邻图像的变形矩阵tg，使用该变形矩阵可以将相邻图像进行拼接；依据此方法，可以分别得到全局合成相机图像序列中每对相邻图像之间的变形矩阵tg
2，4
、tg
4,6
、
……
、tg
16,18
：
[0107]
(4)使用上述得到的变形矩阵，将9张全局合成图像g2、g4、
…
、g
18
进行拼接，得到360度全景拼接图像ig；
[0108]
(5)使用上述得到的变形矩阵，将九个全局合成相机视角下的稠密深度图d
′2、d
′4、
……
、d
′
18
进行拼接，得到360度全景深度感知结果dg；
[0109]
(6)使用跨尺度图像融合网络(如crossnet，一种端到端超分辨融合方法)，将18张局部相机图像融合到ig中，得到亿像素级别全景图像ig；
[0110]
(7)使用超分辨方法，对dg进行分辨率提升，得到与ig同等分辨率的亿像素级别全景深度感知结果dg。
[0111]
针对深度学习在复杂场景学习上的优势，考虑深度学习对数据的苛刻要求，本发明在瞄准解决以下两个问题的基础上提出了一种多视点非结构化全景高分辨三维重建装置和方法：问题一、单目深度估计对数据量要求高，重建结果缺乏量纲，而对称性双目结构虽然可以直接获取深度，但在大场景中标定非常困难，因此如何利用深度学习的优势，并解决相机的标定问题是要重点考虑的问题；问题二、全景相机阵列在大场景下如何在解决全景深度感知的基础上，完成分辨率提升问题，提高局部感知的精细化程度。
[0112]
基于深度学习的双目深度估计在几何上拥有先验优势，对训练数据量的要求也更低，为此，本发明结合多相机视觉和深度学习的优势，提出一种差异化异构成像的非结构化全景深度感知装置，并在此基础上，利用局部相机的优势，通过融合方法得到全景图像和全景深度感知结果；本发明所提出的全景深度感知装置和三维重建方法，对数据的依赖更少，泛化能力更强，并且适用于各种场景，在不同的大场景下均能非常容易地实现数据的标定。
[0113]
本发明在生成最终全景图像时，会将局部相机图像融合到由全局图像拼接而成的360度全景拼接图像，来得到亿像素级别全景图像；并会通过超分辨方法来提升360度全景深度感知结果，来得到亿像素级别全景深度感知结果，因此本发明提升了全局深度和成像感知的分辨率和精度。
[0114]
应该理解的是，虽然图3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图3中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0115]
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，涉及上述实施例方法中的全部或部分流程。
[0116]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，涉及上述实施例方法中的全部或部分流程。
[0117]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，
本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。
[0118]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0119]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。