专利名称：利用单摄像机实时生成半球全景视频图像的方法及系统的制作方法
利用单摄像机实时生成半球全景视频图像的方法及系统技术领域
本发明属于图像处理技术领域，尤其涉及一种利用单摄像机实时生成半球全景视频图像的方法及系统。
背景技术：
实时生成半球全景视频图像对于在安防监控系统中的应用有着非常重要的意义， 同时也可用于其它使用，现有技术中，生成半球全景视频图像的方法有
1992年,美国Alabama大学使用全景环形透镜PAL,利用它的平面圆柱透镜现象提出了半球成像和跟踪系统，实现实时的接近半球视场范围(160° )内寻的制导和跟踪的全新方案。
2001年中国科学院计算所实现了一个基于固定视点的球面全景图室内漫游系统， 该系统能够将水平方向的图像投影到球面上，并实现漫游功能。该系统只是针对静态图像， 并且没有完整的实现整个半球模型。
2005年浙江大学CAD&CG国家重点实验室开发了一套桌面型虚拟建筑环境实时漫游系统，该系统读取多幅静态图像，然后进行水平拼接和垂直拼图两种操作，生成全景图， 并实现漫游功能。该系统是针对静态图像，实时性不强，并且能够覆盖的视角有限。
“中国安防”年2006年12月出版的第3期中，文中介绍其“全景视频监控” 是指只用一个摄像头不用机械移动部件，也不用图像拼接，能够捕捉涵盖整个半球 (180° X 360° )，单文中并未给出具体的实现方法。
综上所述，现有技术中，利用单个普通摄像机实时生成整个半球全景视频图像的方法处于空白。发明内容
本发明所要解决的第一个技术问题在于提供一种利用单摄像机实时生成半球全景视频图像的方法，旨在实现利用单个普通摄像机实时生成整个半球全景视频图像。
本发明是这样实现的，一种利用单摄像机实时生成半球全景视频图像的方法，包括下述步骤
步骤A，在半球面上选定一条经线作为0°经线，沿0°经线方向在俯仰90度的范围内设置若干个预置点，相邻预置点之间纬度差基本一致；
步骤B，在各个预置点处，将摄像机光轴的俯仰角方向调整为预置点所在的纬线的纬度方向，从预置点开始绕垂直轴在水平360度的范围内旋转摄像机，并在旋转过程中每隔一定时间间隔采集图像，将即时采集的每帧视频图像预处理；
步骤C，将预处理后的与同一个预置点纬度相同的视频图像拼接为一沿水平方向设置的条带全景；各个预置点的条带全景沿竖直方向排列；
步骤D，对各条带全景中嵌入的每帧视频图像，对其与左、右帧视频图像的重叠区域进行光线一致性调整；
步骤E，将各条带全景进行0°经度对齐后拼接为一半球展开图像；
步骤F，将所述半球展开图像正投影成圆盘显示；
步骤G，将所述半球展开图像正侧投影成半球显示。
本发明所要解决的第二个技术问题在于提供一种利用单摄像机实时生成半球全景视频图像的系统，包括
一摄像机，其放置在一个俯仰90度、水平360度的范围内旋转的云台上；
云台控制单元，用于控制云台将摄像机光轴的俯仰角方向调整为预置点所在的纬线的纬度方向，带动所述摄像机从预置点开始绕垂直轴在水平360度的范围内旋转；所述各个预置点沿半球面上选定的一条0°经线方向设置，且相邻预置点之间纬度差基本一
图像采集单元，用于在所述摄像机旋转过程中每隔一定时间间隔采集图像，并将即时采集的每帧视频图像预处理；
条带全景拼接单元，用于将预处理后的与同一个预置点相对应的视频图像拼接为一沿水平方向设置的条带全景，并针对各条带全景中嵌入的每帧视频图像，对其与左、右帧视频图像的重叠区域进行光线一致性调整；各个预置点的条带全景沿竖直方向排列；
半球展开图像拼接单元，用于将所述条带全景拼接单元拼接成的各条带全景进行 0°经度对齐后进一步拼接为一半球展开图像；
半球全景视频图像生成单元，用于将所述半球展开图像正投影成圆盘显示、正侧投影成半球显示。
本发明中，半球全景视频图像由多幅水平方向和垂直方向的图像拼接融合生成， 计算、拼接和成像速度快，设备简单，成本低，可广泛应用于车站候车厅和机场候机厅等大场面场景视频监控及交通监控、全景安防监控等使用。
图1是本发明实施例提供的利用单摄像机实时生成半球全景视频图像方法的实现流程图2是本发明实施例提供的图像球面变换示意图3是本发明实施例提供的条带全景向球面投影示意图4是本发明实施例提供的半球展开图像示意图5是本发明实施例提供的半球展开图像条带融合示意图6是本发明实施例提供的半球展开图像正侧投影行坐标示意图7是本发明实施例提供的半球展开图像正侧投影列坐标示意图8是本发明实施例提供的利用单摄像机实时生成半球全景视频图像的方法原理图9是本发明实施例提供的利用单摄像机实时生成半球全景视频图像的系统结构原理图10是图9的控制原理图11是本发明实施例提供的条带全景拼接单元的结构原理图12是本发明实施例提供的半球展开图像拼接单元的结构原理图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明利用现使用的普通单摄像机，在水平360°、俯仰90°范围旋转的云台上， 随云台的旋转进行连续的视频采集，将连续采集的多帧图像，经计算机实时合成半球全景视频图像。
半球全景视频图像由多幅水平方向和垂直方向的图像拼接融合生成，本发明实施例中垂直方向上有9幅图像条带，水平方向每个条带上有161. I幅图像。本发明首先选定一条经线作为0°经线，沿0°经线设置9个预置点，对各个条带，以预置点为起点，沿同一纬度圆在水平旋转过程中采集图像，将采集的图像预处理后嵌入条带。预置点处于0°纬度的条带全景为第I个条带，垂直向上，与9个预置点相对应的条带全景编号依次为1，2，. . .，9。 根据各个条带半径计算出各个条带全景在半球展开图像中的位置，将条带全景进行O经度对齐后嵌入半球展开图像，对相邻条带全景重叠区域进行光线一致性调整。将半球展开图像正投影成圆盘显示，正侧投影成半球显示。
图I示出了本发明提供的利用单摄像机实时生成半球全景视频图像方法的实现流程，详述如下
步骤A，在半球面上选定一条经线作为0°经线，沿0°经线方向在俯仰90度的范围内设置若干个预置点，相邻预置点之间纬度差基本一致。
步骤B，在各个预置点上，将摄像机光轴的俯仰角方向调整为预置点所在的纬线的纬度方向，从预置点开始绕垂直轴在水平360度的范围内旋转摄像机，并在旋转过程中每隔一定时间间隔采集图像，将即时采集的每帧视频图像预处理。
预处理包括视频奇偶场景锯齿消减，删除每帧视频图像中变形较大的视频图像左、右边界垂直条带，保留变形较小的视频图像中间垂直条带。
视频奇偶场锯齿消减的具体方案和目的是对于逐行扫描的摄像机可以省略这一步骤；对于隔行扫描的摄像机，只取每一帧视频图像的奇数场，对奇数场的每一行，计算每一个奇数列像素与后续相邻偶数列像素的平均值，然后将偶数列像素丢弃。该步骤的目的是为了消除某些摄像机由于运动带来的图像奇偶场锯齿偏移。
保留变形较小的视频图像中间垂直条带的标准是，一般摄像机会在边界处有一些非成像的黑条带，并在四周边界处变形较大。根据摄像机质量的差异，剪切掉视频图像每帧左右各10至30个像素宽度的垂直条带。
步骤C，将预处理后的与同一个预置点相对应的纬度圆上的视频图像拼接为一沿水平方向设置的条带全景；各个预置点的条带全景沿竖直方向排列。
在预置点所在的同一纬度圆的水平方向上采集N幅图像，根据当前条带全景的帧间相关距离d，计算出每帧视频图像中保留的变形较小的中间垂直条带在当前条带全景中的位置，将其嵌入计算出的位置。若一个周期全景条带由Ntl帧图像拼接而成，则上述N是 N0与20之和的整数部分(N也可以是其它值，加20的目的是使摄像机旋转采集的图像帧数所覆盖的圆周视场适当大于一个圆周周期)，N是每一个条带全景生成中实际采集的图像帧数。由于云台绕垂直轴水平旋转的角速度为固定不变，与摄像机光轴的纬度方向无关，因此设定在不同预置点所在纬度圆上的摄像机采集的图像序列的图像帧数N都是相同的。对计算出的当前条带全景的帧间相关距离d进行四舍五入得到Cl1，根据Cl1计算出每帧视频图像中保留的变形较小的中间垂直条带在当前条带全景中的位置，并将其嵌入计算出的位置。
假设中心处于0°纬度的条带全景的圆周周长为Dtl，中心处于0°纬度的条带全景的帧间相关距离为dQ，N0的计算具体为公式(I)
= ~r⑴d0
其中，上述中心处于0°纬度的条带全景图的圆周周长Dtl的计算方式在 ZL200710125400. 5中有描述，为便于理解，本发明仅简述如下
A、获取云台匀速转动三到四个周期期间采集的视频图像序列。
B、根据帧间相关距离d，对步骤A采集的视频图像序列进行全景拼接。
C、对步骤B拼接得到的多周期全景图像，计算其灰度图的梯度投影直方图P (t)。
D、对步骤C获得的梯度投影直方图，进行一维低通滤波，计算滤波信号的局部极大值位置(to)。
一维低通滤波的目的和技术方案是在低通滤波后的信号中可以获得更准确的最大值位置，该位置一般为图像中垂直边界最强的位置。一种技术实现方案为，首先对梯度垂直投影直方图的每个值取绝对值，得到一个非负的一维序列信号，将该信号与一个一维低通滤波器(如长度为7的低通滤波器[1，I, I, I, I, I, I])作卷积后的信号。
E、以局部极大位置(t0)为中心，取适当长度直方信号图，以此作为待相关的局部信号L(t)。
F、在梯度投影直方图P(t)中，找出与相关的局部信号L(t)相关系数大于O. 9的 3个位置，3个点分别为tl点、t2点、t3点。
G、验算tl点、t2点和t3点相邻点之间距离关系，若tl点与t2点之间的距离等于t2点与t3点之间的距离，tI点与t2点、或t2点与t3点之间的距离即为全景视频图圆周周期(D0) ο
同理，上述中心处于0°纬度的条带全景的帧间相关距离Cltl的计算方式在 ZL200710125400. 5中有描述，为便于理解，本发明仅简述如下
A、获取当前视频图像帧，计算沿摄像机运动方向的该帧图像梯度，得到平行梯度图。
计算沿摄像机运动方向的该帧图像梯度的目的是，将该帧图像中的图像特征用数学模型表示，便于帧图像之间的相关性判断，发明中的平行梯度图为对图像使用水平梯度算子(如Sobel算子[1,0,-1;-2. O,-2;1,0,-1]等)进行卷积运算得到的图。
B、对步骤A平行梯度图，进行垂直方向的梯度投影，得到梯度垂直投影直方图。发明中梯度垂直投影直方图为对梯度图中每一像素点处的值沿列方向累加起来，形成的一个沿行方向的一维信号序列。
C、在相邻帧重叠区域内，取相关的一段投影直方图。
D、对步骤C中所取相关的一段投影直方图，对照相邻的上一帧视频图像的投影直方图中的相关位置，计算前后相邻的两帧图像的相关距离(dQ)。12
进一步地,在已知屯条件下，所述当前条带全景的巾贞间相关距离d的值通过下述 步骤得到步骤C11，获取当前视频图像帧，计算沿摄像机运动方向的该帧图像梯度，得到平 行梯度图。计算沿摄像机运动方向的该帧图像梯度的目的是，将该帧图像中的图像特征用数 学模型表示，便于帧图像之间的相关性判断，发明中的平行梯度图为对图像使用水平梯度 算子(如Sobel算子[1，0，-l;-2. 0，-2; 1，0，-1]等)进行卷积运算得到的图。步骤C12，一幅图像投影到半球上，计算球面变换后图像最底行的视角大小。设W为图像宽度，H为图像高，中心处于0°纬度的条带全景的帧间相关距离为dQ， 当前条带帧间相关距离为山球体半径为R，当前条带图像最底行像素点所在纬度圆的纬度 为0.5ti-(^，所在纬度圆的半径为rb，通过如下公式计算当前帧图像最底行视场角大小0 b
权利要求
1.ー种利用单摄像机实时生成半球全景视频图像的方法，其特征在于，包括下述步骤 步骤A，在半球面上选定一条经线作为0°经线，沿0°经线方向在俯仰90度的范围内设置若干个预置点，相邻预置点之间纬度差基本一致； 步骤B，在各个预置点处，将摄像机光轴的俯仰角方向调整为预置点所在的纬线的纬度方向，从预置点开始绕垂直轴在水平360度的范围内旋转摄像机，并在旋转过程中每隔ー定时间间隔采集图像，将即时采集的每帧视频图像预处理； 步骤C，将预处理后的与同一个预置点纬度相同的视频图像拼接为一沿水平方向设置的条带全景；各个预置点的条带全景沿竖直方向排列； 步骤D，对各条带全景中嵌入的每帧视频图像，对其与左、右帧视频图像的重叠区域进行光线一致性调整； 步骤E，将各条带全景进行0°经度对齐后拼接为一半球展开图像； 步骤F，将所述半球展开图像正投影成圆盘显示； 步骤G，将所述半球展开图像正侧投影成半球显示。
2.如权利要求I所述的方法，其特征在于，所述步骤C具体包括下述步骤 摄像机在当前绕垂直轴旋转的水平方向上等时间间隔采集N幅图像，根据当前条带全景的帧间相关距离d，计算出每帧视频图像中变形较小的中间垂直条带，以及该中间垂直条带在当前条带全景中的位置，将其嵌入计算出的位置； 其中，N是ー个大于Ntl的常数，N0是条带全景ー个周期中所包含的视频图像帧数，N0可通过如下公式得到
3.如权利要求2所述的方法，其特征在于，所述当前条带全景的帧间相关距离d的计算通过下述步骤得到 步骤C11，获取当前视频图像帧，计算沿摄像机旋转运动方向的该帧图像梯度，得到平行梯度图； 步骤C12，设W为图像宽度，H为图像高，中心处于0°纬度的条带全景的帧间相关距离为も，当前条带帧间相关距离为山球体半径为R，图像最底行像素点所在纬度圆的纬度为0.571-^ ，所在纬度圆的半径为rb，通过如下公式计算当前帧图像最底行视场角大小Θ b : 与2 π/Ntl—个数量级的小数，用0b与1000相乘取整后记作W1，把W1作为梯度图球面变换后的宽；步骤C13，根据所述图像最底行的视角大小将步骤Cll梯度图做球面变换，使具有相同垂直视角的像素点排列在一垂直列上；梯度图Gy(h，y)进行球面变换后得到变换后的梯度图gy(h，Θ)，球面变换关系式 Λ θ (v-W!2\6* = ~^ + arctan -- , y=l. ···, W 2\ r ) ψ( 0Λy =--hr*tan Θ——-，Θ =0, ···, Θ b 2、 2 ノ 其中，n . ,Rsm(d/d0) + h r = R sm(-—---) R . y为梯度图最底行从左到右的像素点的位置；y对应的视角度数为θ，h为梯度图中像素点与梯度图中心像素点的垂直距离，h大小从-H/2到H/2，W为梯度图宽度，H为梯度图高；Θ b为图像最底行视场角大小为梯度图中与梯度图中心像素点垂直距离为h的行所在的纬度圆的半径ポ为球体半径，も为中心处于0°纬度的条带全景的帧间相关距离，d为当前条带帧间相关距离； 步骤C14，对步骤C13球面变换后的梯度图，进行垂直方向的梯度投影，即将梯度图中像素点的值沿列方向累加起来，形成ー个沿行方向的ー维信号序列； 步骤C15，根据下述公式计算步骤C13球面变换后梯度图的像素位移Se S Gb N0Ob 其中，Φ。为中心处于0°纬度的条带全景的相邻帧图像视场角位移； 步骤C16，根据步骤C15得到的球面变换后梯度图的像素位移Se，在相邻两帧梯度图的ー维信号序列中各取一段，计算这两段的相关系数P ; 步骤C17，将当前条带全景的帧间相关距离d从I依次増大到dQ，针对每ー个d，执行步骤C12到步骤C16，计算出一系列的相关系数P (d)，相关系数P (d)的最大值对应的d作为当前条带全景的帧间相关距离； 步骤C18，获得步骤C17中d依次从I増大到も的相关系数序列P (d)，使用窗函数对相关系数序列P (d)进行拟合，得到拟合后的相关函数Pjt) も A W=Σバ命ぅ d=l 其中，t 是相关函数Pjt)的连续取值的自变量，hf是拟合函数的窗ロ宽度，一般可取hf=2 ;进ー步计算出如下的相关函数插值序列；(I \ Px W = A t = —，i = 1,2, - ,IOd0 V川ノ 对序列P Ji]进行数字低通滤波 Pi W = L· P\ Ii + Λ，i = 1，2，…，IOd0在数字低通滤波的计算中，在i+j〈l，或i+j>10dQ时，令P iti+j] =0，m是滤波常数，m=4 ；上述P2[i]是一个精确到一位小数的帧间相关函数序列，其最大值P2[m]对应的 d=m/10即为亚像素精度的帧间相关距离。
4.如权利要求1所述的方法，其特征在于，所述步骤E具体包括下述步骤步骤E1，对每个条带全景，相对于中心处于0°纬度的条带全景底部行，当前条带全景 中的各行依次左移s个像素点，s通过下述公式得到
5.如权利要求1所述的方法，其特征在于设半球展开图像像素点直角坐标为(i，j)，半球展开图像第i行的宽度为Q，圆盘全景 图像中像素点的极坐标为(r(i，j)，0 (i，j))，所述步骤F具体根据如下公式将所述半球展 开图像正投影成圆盘显示r (i, j)=i设球体半径为R，半球展开图像的像素直角坐标为(i，j)，第i行的宽度为Q， 在半球显示中截取的起始经度为v，正侧投影后半球显示的图像像素点直角坐标为 (X(i，j)，Y(i，j))，所述步骤G具体根据如下公式将所述半球展开图像正侧投影成半球显 示
6.ー种利用单摄像机实时生成半球全景视频图像的系统，其特征在于，包括 ー摄像机，其放置在ー个俯仰90度、水平360度的范围内旋转的云台上； 云台控制单元，用于控制云台将摄像机光轴的俯仰角方向调整为预置点所在的纬线的纬度方向，带动所述摄像机从预置点开始绕垂直轴在水平360度的范围内旋转；所述各个预置点沿半球面上选定的一条0°经线方向设置，且相邻预置点之间纬度差基本一致；图像采集単元，用于在所述摄像机旋转过程中每隔一定时间间隔采集图像，并将即时采集的每帧视频图像预处理； 条带全景拼接单元，用于将预处理后的与同一个预置点相对应的视频图像拼接为一沿水平方向设置的条带全景，并针对各条带全景中嵌入的每帧视频图像，对其与左、右帧视频图像的重叠区域进行光线一致性调整；各个预置点的条带全景沿竖直方向排列； 半球展开图像拼接单元，用于将所述条带全景拼接单元拼接成的各条带全景进行0°经度对齐后进一歩拼接为一半球展开图像； 半球全景视频图像生成単元，用于将所述半球展开图像正投影成圆盘显示、正侧投影成半球显示。
7.如权利要求6所述的系统，其特征在于，所述条带全景拼接单元在水平方向上采集N幅图像，根据当前条带全景的帧间相关距离d，计算出每帧视频图像的保留变形较小的中间垂直条带在当前条带全景中的位置，将其嵌入计算出的位置； 其中，N大于ー个周期条带全景中所包含的视频图像帧数No, N0可通过如下公式得到 no=Do/do 其中，Dtl为中心处于0°纬度的条带全景的圆周周长，も为中心处于0°纬度的条带全景的帧间相关距离。
所述条带全景拼接单元包括 平行梯度图计算模块，用于获取当前视频图像帧，计算沿摄像机运动方向的该帧图像梯度，得到平行梯度图； 最底行视角计算模块，用于通过如下公式计算图像最底行视角宽度Qb:
8.如权利要求6所述的系统，其特征在于，所述半球展开图像拼接单元包括 条带0°经度对齐模块，用于在半球展开图像中将0°经度所在的像素点对齐到展开图的第一个垂直列上； 具体为，以中心处于0°纬度的条带全景底部行为基准，通过下述公式对每个条带全景中的各行依次左移s个像素点，s通过下述公式得到
9.如权利要求6所述的系统，其特征在干，所述半球全景视频图像生成单元将半球展开图像正投影成圆盘显示、正侧投影成半球显示，包括 半球展开图像像素点的直角坐标(i，j)与正投影成圆盘显示中像素点的极坐标(r(i, j), Θ (i，j))的关系利用如下公式计算
全文摘要
本发明适用于图像处理技术领域，提供了一种利用单摄像机实时生成半球全景视频图像的方法及系统。本发明利用现使用的普通单摄像机，在水平360度、俯仰90度范围旋转的云台上，随云台的旋转进行连续的视频采集，将连续采集的多帧图像，经计算机实时合成半球全景视频图像，计算、拼接和成像速度快，设备简单，成本低，可广泛应用于车站候车厅和机场候机厅等大场面场景视频监控及交通监控、全景安防监控等使用。
文档编号G03B37/00GK102984453SQ20121043051
公开日2013年3月20日 申请日期2012年11月1日 优先权日2012年11月1日
发明者裴继红, 谢维信, 杨烜, 杨焰 申请人:深圳大学