全向立体视觉的摄像机配置系统及摄像机配置方法与流程

1.本发明涉及立体视觉(stereo vision)技术，尤指一种可将多个摄像镜头间隔排列设置为矩形，并使待校正的至少三个摄像镜头的镜心配置于同一基准线，以可因此获得无遮挡深度图，进而能于完成影像拼接(image stitching)后获取全向深度图(omnidirectional depth map)的「全向立体视觉的摄像机配置系统及摄像机配置方法」。


背景技术：

2.在双目视觉中，需要对摄像机进行标定和校正，而摄像机校正(camera rectification)的目的是达成理想的双目摄像机系统，使得至少两个摄像机的光轴完全平行(即镜心彼此之间仅存在x分量)，并与基线垂直(左右摄像机的镜心的连线即为基线)，才能续行深度计算与三维重建。
3.一般而言，校正前左右摄像机的镜心(光心)并不是平行的，而校正后理想双目系统的左右摄像机的光轴彼此平行、光轴和影像平面垂直，且成像点在左右影像上的高度一致，依此，后续进行立体匹配(stereo matching)时，只需在同一列的搜索区间(search range)，搜索左右影像的匹配点即可，能使摄像机校正效率大大提高。
4.目前虽有人提出可利用3d检测摄像机(stereoscopic camera)取得全向深度信息，例如中国台湾发明专利第 tw201832547号「产生全景深度影像的影像装置、相关方法及相关影像装置」所揭(下称台湾案)，台湾案主要使四颗超广角鱼眼镜头(>190度)两两背对与上下排列，并将提取的广角影像投影至经纬(equirectangular)坐标系，而位于同侧的左右两颗鱼眼镜头可用于计算180 x 180度的立体深度影像(stereo depth)，最后再将两侧的深度影像进行影像拼接，即可获取360 x 180度的全向深度影像，然而，此种将广角影像投影至经纬坐标的等距柱状投影法 (equirectangular projection)，在接近180度的影像解析度相当差(因使用鱼眼镜头会产生镜头扭曲现象)，同时，也会产生因采用立体视觉技术所产生的遮挡(occlusion) 问题，而遮挡问题将直接影响到深度估计的准确度。
5.虽另有发明人提出可将n颗摄像机排列成正n边形，并通过两两摄像机生成深度影像，最后再完成全景拼接以获取全向深度影像，即如美国发明专利第us 10244226 b2 「camera rig and stereoscopic image capture」所揭(下称美国案)，然而，此种作法虽可产生解析度较高的深度影像，但美国案摆放各摄像机的位置，将无法处理前述的遮挡问题，使得其产生的深度影像产生缺陷。
6.承上，为了在双目视觉领域获取无遮挡深度图 (de-occlusion depth map)，多镜头(至少三颗)的摄像机校正是必要的，并请搭配参阅「图1」，假设图中所示的基线b12、b13分别为美国案校正前第一与第二摄像机、以及美国案校正前第一与第三摄像机的镜心o的连线，而基线b12’、b13’即为校正后第一摄像机与第二摄像机、以及校正后第一摄像机与第三摄像机的镜心o的连线，校正时，得以基线b13为基准线，故第一与第三摄像机只需通过旋
转即可让x轴与基线b13的向量平行，至于第二摄像机虽也可通过偏移矩阵t(也可称平移矩阵)，达到让x轴与基线b12的向量平行，但由于第二摄像机偏离x轴太远，导致偏移矩阵t的y、z分量较大，而当y、z分量达到一定程度(例如若高于1mm)，将造成后续计算深度图的误差过大，进而影响到后续将摄像机坐标转换至世界坐标的准确性，且即便有其它方式(例如调整第二摄像机的焦距)可让第二摄像机的镜心位置逼近于x轴(理想位置)，但效果仍为有限，且届时在计算深度图时也会因此增加可观的运算量，反之，由于美国案的第一至第三摄像机的镜心并非排列于同一基线(尤其像第二摄像机偏离x轴太远)，故在无法取得第二摄像机所拍摄场景物体的xyz信息(摄像机坐标)前，将无法计算出无遮挡视差图。
7.依此，如何提出一种可获取无遮挡视差图、毋须使用鱼眼镜头的全向立体视觉的摄像机配置系统及摄像机配置方法，乃有待解决的问题。


技术实现要素：

8.为达上述目的，本发明提出一种全向立体视觉的摄像机配置系统及摄像机配置方法，摄像机配置系统主要包括：一主摄像机组、一辅摄像机组及一运算单元；其中，主摄像机组可至少包括四个主摄像镜头，各主摄像镜头可分别排列于可构成一矩形的四个基准线；辅摄像机组可至少包括四个副摄像镜头，且各主摄像镜头与各副摄像镜头，可沿着四个基准线于同一平面间隔排列设置为矩形；运算单元可分别与各主摄像镜头及各副摄像镜头呈信息连结；各副摄像镜头或各主摄像镜头的光轴被配置为可旋转，使排列于基准线的副摄像镜头与主摄像镜头的光轴彼此平行，以及使排列于基准线的副摄像镜头与主摄像镜头的光轴皆与对应的基准线垂直，以完成摄像机校正；位于同一基准线且完成摄像机校正的该等摄像镜头，其所提取的多个影像可供运算单元演算出至少两深度图，且运算单元对各深度图执行影像融合演算后，可消除各深度图彼此之间的遮挡区域，而生成一去遮挡深度图；最后，运算单元可对于各基准线所演算出的各去遮挡深度图，进行一影像拼接而获取一全向深度图。
9.因此，本发明据以实施后，相较于既有获取全向深度图的作法，本发明至少可达成获取无遮挡的全向深度的有利功效，并且，即便采用的摄像机数量为四颗以上，仍可使该等摄像机维持矩形排列，而毋须排列为多边形而增加摄像机系统的配置成本。
10.为使贵审查委员得以清楚了解本发明的目的、技术特征及其实施后的功效，兹以下列说明搭配图示进行说明，敬请参阅。
附图说明
11.图1为常规熟知摄像机校正示意图。
12.图2本发明的摄像机配置系统架构图。
13.图3为本发明的摄像机配置流程图。
14.图4为本发明的的实施示意图(一)。
15.图5为本发明的的实施示意图(二)。
16.图6为本发明的的实施示意图(三)。
17.图7为本发明的另一实施例(一)。
18.图8为本发明的另一实施例(二)。
具体实施方式
19.请参阅「图2」，其为本发明的摄像机配置系统架构图，本发明提出一种全向立体视觉的摄像机配置系统10，包括一主摄像机组101、一辅摄像机组102及一运算单元 103，其中：
20.(1)主摄像机组101至少包括四个主摄像镜头(1011～1014)，各主摄像镜头(1011～1014)可分别排列于可构成一矩形的四个基准线(base line)；
21.(2)辅摄像机组102至少包括四个副摄像镜头 (1021～1024)，且各主摄像镜头(1011～1014)与各副摄像镜头(1021～1024)，被配置为可沿着四个基准线于同一平面间隔排列设置为矩形；
22.(3)运算单元103分别与各主摄像镜头(1011～1014) 及各副摄像镜头(1021～1024)呈信息连结，其中，运算单元103可至少具有一处理器(图中未绘示，例如cpu、 mcu)，其供以运行运算单元103，并具备逻辑运算、暂存运算结果、保存执行指令位置、执行影像处理等功能；
23.(4)各副摄像镜头(1021～1024)或各主摄像镜头 (1011～1014)的镜头光轴(optical axis)均可被配置为可旋转，使排列于基准线的副摄像镜头(1021～1024)与主摄像镜头(1011～1014)的镜头光轴彼此平行，以及使排列于基准线的副摄像镜头(1021～1024)与主摄像镜头(1011～1014) 的镜头光轴皆与对应的基准线垂直，以对主摄像机组101 与辅摄像机组102皆完成摄像机校正；
24.(5)位于同一基准线且完成摄像机校正的该等摄像镜头(1011～1014、1021～1024)，其所提取的影像可供运算单元103演算出至少两深度图(depth map，也可称视差图)，且运算单元103对各深度图执行影像融合演算(fusion)后，可消除各深度图彼此之间的遮挡区域，而生成一去遮挡深度图；
25.(6)运算单元103可对于各基准线所演算出的各去遮挡深度图，进行一影像拼接而获取一全向深度图；
26.(7)承上，本发明在一较佳实施例中，辅摄像机组 102的各副摄像镜头(1021～1024)，或是主摄像机组101 的主摄像镜头(1011～1014)，系可被配置为以镜头光轴为基准向左或向右旋转一特定角度，且位于同一基准线的主摄像机组101与辅摄像机组102，其镜头光轴于完成摄像机校正前，系可分别朝向同一方向或不同方向；
27.(8)承上，本发明在一较佳实施例中，还包括耦接于运算单元103的一惯性传感器104(imu)，供以回传多个自由度(dof)的运动信息与姿态信息，以更精确追踪被摄物体与拍摄场景如何在现实世界中运动，其中，自由度可例如区分为两种类型：平移和旋转，平移可包括x轴(前 /后)、y轴(左/右)、z轴(上/下)，旋转可包括纵摇(pitch)、横摇(roll)和垂摇(yaw)，但并不以此些自由度为限。
28.请参阅「图3」，其为本发明的摄像机配置流程图，并请搭配参阅「图2」、「图4」～「图6」，本发明提出一种全向立体视觉的摄像机配置方法s，包括：
29.(1)于基准线配置摄像机组(步骤s10)：如「图4」所示，将一主摄像机组101的至少四个主摄像镜头 (1011～1014)配置于可构成一矩形的四个基准线(l1～l4)，将一辅摄像机组102的至少四个副摄像镜头(1021～1024) 分别配置于各基准线(l1～l4)，使各主摄像镜头 (1011～1014)与各副摄像镜头(1021～1024)沿着四个基准线(l1～l4)于同一平面间隔排列设置为矩形；
30.(2)校正摄像机(步骤s20)：旋转辅摄像机组102 的至少一副摄像镜头(1021～1024)、或旋转主摄像机组101 的主摄像镜头(1011～1014)的镜头光轴，使排列于基准线 (l1～l4)的主摄像镜头(1011～1014)与副摄像镜头 (1021～1024)的镜头光轴彼此平行，以及使排列于基准线 (l1～l4)的主摄像镜头(1011～1014)与副摄像镜头 (1021～1024)的镜头光轴皆与对应的基准线(l1～l4)垂直，以完成摄像机校正，其中，该等摄像镜头(1011～1014、 1021～1024)可被配置为以镜头光轴为基准，分别二部分向左或向右旋转一特定角度，即如「第4图」所示，并请搭配参阅「图2」，图中所示位于基准线l1的主摄像镜头1011，系可以其光轴为基准向左或向右旋转θ度，而位于主摄像镜头1011的左右两侧的副摄像镜头(1021、1022)，由于其与主摄像镜头1011的镜心皆排列于相同的基准线 l1，故可将副摄像镜头(1021、1022)的光轴旋转θ度，以让位于相同基准线l1的摄像镜头(1011、1021、1022)在偏移矩阵t中的y、z分量(ty、tz)趋近于0，让摄像镜头(1011、1021、1022)的镜心坐标形成彼此零旋转，而只保留x轴向的偏移量(tx)；
31.(3)承上，同样地，位于基准线l2的主摄像镜头 1012，可以其光轴为基准向左或向右旋转φ度，而位于主摄像镜头1012的左右两侧的副摄像镜头(1022、1023)，由于其与主摄像镜头1012的镜心皆排列于相同的基准线 l2，故可将副摄像镜头(1022、1023)的光轴旋转φ度，以让位于相同基准线l2的摄像镜头(1012、1022、1023)在偏移矩阵t中的y、z分量(ty、tz)趋近于0，让摄像镜头(1012、1022、1023)的镜心坐标形成彼此零旋转，而只保留x轴向的偏移量(tx)，至于基准线l3与基准线l4 的摄像机校正作法，则可分别以旋转角度φ、ω旋转摄像镜头的光轴，与前述对于基准线l1、l2的作法类同，以此类推，于此不再赘述，其中，2θ+2φ+2φ+2ω可≥ 360
°
；
32.(4)承上，由于本发明于执行步骤s20时，并未改变各摄像镜头(1011～1014、1022～1024)的位置，故主摄像机组101与辅摄像机组102的摄像头所接收到的光线都是相同的，依此，可通过旋转镜心成功模拟镜头光轴所面对的方向；
33.(5)产生深度信息(步骤s30)：由设置于同一基准线、且完成摄像机校正的主摄像机组101与辅摄像机组 102所提取的影像(例如「图5」所示的各拍摄影像，而本示意图仅为举例，并不以此些影像数量为限)，供一运算单元103演算出不同角度的至少两深度图，且各深度图经运算单元103执行影像融合演算后，可消除各深度图彼此之间的遮挡区域，而生成一去遮挡深度图，请搭配参阅「图6」，图中左侧的深度图为运算单元103基于位于基准线l1的主摄像镜头101与副摄像镜头1021所提取的影像，而生成的深度图dl，而中间的深度图为运算单元 103基于位于基准线l1的主摄像镜头101与副摄像镜头 1022所提取的影像，而生成的深度图dr，从图中的深度图dl与深度图dr皆可发现部分的遮挡区域，而右侧的深度图d即为深度图dl与深度图dr作影像融合演算而生成的去遮挡深度图；
34.(6)产生全向深度图(步骤s40)：运算单元103对于各基准线所演算出的各去遮挡深度图，进行一影像拼接而获取一全向深度图。
35.请参阅「图7」，其为本发明的另一实施例(一)，并请搭配参阅「图2」，本实施例与「图2」～「图6」的技术类同，主要差异在于，由于在不靠投射主动光源的情况下，3d信息的品质与影像中物体的纹理程度有关，例如毛毯、报纸即为富含纹理的物体，而白纸、单色墙壁即为不具纹理的物体，另外若是光源不足的情况，例如夜晚或在室内但未开灯的情况下，也会影响3d信息的品质，依此，本实施例的全向立体视觉的摄像机配置系统10还可包含耦接于运算单元103的一绕射光学元件 105(diffractive optical element，doe)，且绕射光学元件 105可分别搭载于主摄像机组101的各个主摄像镜头 (1011～1024)，而绕射光学元件105主要用于投射光点于物体表面，以辅助判断被摄物体与拍摄场景的三维深度，即于步骤s30执行时，若环境光源不足或被摄物体的纹理特征不明显时，耦接于运算单元103的绕射光学元件 105可投射光点于物体表面，以给予被摄物体纹理与光源，达到于特定位置或空间产生所需的图案，以辅助判断被摄物体与拍摄场景的三维深度。
36.请参阅「图8」，其为本发明的另一实施例(二)，并请搭配参阅「图2」，本实施例与「图2」～「图7」的技术类同，主要差异在于，本实施例的全向立体视觉的摄像机配置系统10还包含耦接于运算单元103的一光达模组 106(lidar)，供以通过测量发送和接受到的脉冲讯号(例如脉冲雷射)的时间间隔，来计算被摄物体与拍摄场景的深度信息，而深度信息的格式可例如为点云(point cloud，其中信息可包括水平角度、垂直角度、距离、强度、line、 id、时间戳(laser timestamp)意即，执行步骤s30时，运算单元103可通过与其耦接的光达模组106，测量发送和接受到的脉冲讯号的时间间隔来确定一飞行时间(tof)，进而演算被摄物体与拍摄场景的深度信息，并且，在光达模组106尚未回传深度信息至运算单元103前，运算单元 103可先对步骤s30执行时所产生的各深度图以及该等摄像镜头(1011～1014、1021～1024)所提取的影像进行影像分割(image segmentation)，以供运算单元103获取全向深度图时，可针对较远距离的被摄物体或拍摄场景生成较精确的深度信息，以弥补若仅采用光达模组106来侦测较远距离的被摄物体或拍摄场景的深度，其回传的深度信息会有 x、y信息不够致密的问题；承上，本实施例的全向立体视觉的摄像机配置系统10还可包含耦接于运算单元103 的一雷达模组107(radar)，供以于步骤s30执行时接收空间内存在物体所反射的无线电波，以供运算单元103计算出被摄物体与拍摄场景的深度信息，且雷达模组107可例如为一毫米波雷达(mmwave rader)，换言的，本实施例通过使用光达模组106与雷达模组107，可解决本发明通过该等摄像镜头(1011～1014、1021～1024)达成全向立体视觉时，针对较远距离的被摄物体或场景的深度信息可能会有不够准确的问题。
37.以上所述者，仅为本发明的较佳的实施例而已，并非用以限定本发明实施的范围；任何熟习此技艺者，在不脱离本发明的精神与范围下所作的均等变化与修饰，皆应涵盖于本发明的专利范围内。
38.【符号说明】
39.o镜心
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
b12基线
40.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
b12’基线
41.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
b13基线
42.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
b13’基线
43.10全向立体视觉的摄像机配置系统
44.101主摄像机组
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
101主摄像机组
45.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
1011主摄影镜头
46.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
1012主摄影镜头
47.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
1013主摄影镜头
48.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
1014主摄影镜头
49.102辅摄像机组
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
1021副摄影镜头
50.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
1022副摄影镜头
51.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
1023副摄影镜头
52.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
1024副摄影镜头
53.103运算单元
54.104惯性传感器
55.105绕射光学元件
56.106光达模组
57.107雷达模组
58.l1～l4基准线
59.d深度图
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
dl深度图
60.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
dr深度图
61.s全向立体视觉的摄像机配置方法
62.s10于基准线配置摄像机组
63.s20校正摄像机
64.s30产生深度信息
65.s40产生全向深度图。