用于全景视频的补盲方法与流程

本发明涉及一种用于全景视频的补盲方法。

背景技术：

图像拼接是将几幅具有不同视角但包含一定图像重叠区的图像拼成一幅全景图像，被广泛应用于安防监控、遥感图像处理、医学图像分析、虚拟现实等领域。尤其对于机场、广场等大视野场景，利用图像拼接技术得到的全景视频可一目了然地呈现场景全貌，相比将各个单路视频简单排列显示，具有全面、直观等不可比拟的优点。

由于视角、遮挡等原因，在全景视频中仍有可能存在部分用户感兴趣区域不能很好呈现。例如，在机场全景视频中，远处跑道及远机位一般都很清楚，但近机位可能由于廊桥遮挡等原因存在一定盲区。本专利旨在提出一种在全景视频中的补盲方法，融合补盲视频与全景视频，以更为直观的方式将全景补盲区域呈现给用户。

在全景中呈现细节或补盲的主要方式包括：球机关联和枪机关联。

球机关联：在全景之外再单独使用一个球机，并将球机不同ptz状态下的画面与全景画面进行关联。当用户点击全景中某一感兴趣区域时，球机随即转到相应位置，以较高分辨率显示该区域画面，也称“一点即视”，如果结合运动目标检测、跟踪技术，还可进一步实现“球机自动追视”。球机关联的主要优点在于可以交互式地显示用户感兴趣区域的细节；如果点位布设恰当，也能起到补盲作用，但对用户持续关注的盲区，更好的方式是采用枪机关联。

枪机关联：与球机不同，枪机以固定视角与视野拍摄目标，能够持续显示全景视频中用户关注的盲区或局部细节。

但无论球机关联还是枪机关联，都是在全景画面之外以独单画面的形式显示盲区。对用户而言，全景与盲区的对应关系不够清晰直观，特别当全景中存在多个盲区，有多个补盲画面并存时，问题尤显突出。

技术实现要素：

为解决上述技术问题，本发明提供了一种用于全景视频的补盲方法，以便将补盲画面融入全景画面当中，用户不仅可直接在全面画面的对应位置看到盲区情形，而且补盲画面与全景画面有较好的融合，使补盲显示清晰直观。

本发明的技术方案是：一种用于全景视频的补盲方法，包括下列步骤：

1)盲区指定：确定全景图像中的盲区(需要进行补盲的区域，或称全景盲区，或不可见区域)以及包围在所述盲区周围的图像重叠区，获得包含所述盲区和图像重叠区对应场景图像的补盲图像；

2)图像匹配：在全景图像的图像重叠区进行特征点检测，以相同的特征点检测方式在补盲图像中进行特征点检测，进行全景图像和补盲图像相应特征点的匹配，获得若干匹配点对；

3)图像变换：根据全景图像和补盲图像上的若干匹配点对，采用最小二乘法估算补盲图像与全景图像件的变换关系，获得图像变换矩阵或图像变换参数；

4)图像融合：依据图像变换矩阵或图像变换参数，将补盲图像变换至全景坐标系下，与全景图像融合，全景图像中的盲区图像由补盲图像相应区域的图像替代，形成补盲后全景图像。

所述全景图像通常可以由若干全景场景摄像机拍摄的视频图像拼接而成。

所述补盲图像可以为补盲场景摄像机拍摄的视频图像。

可以依据同一时间的全景图像和补盲图像，离线进行图像匹配和图像变换。

可以依据离线计算获得的变换矩阵，在线进行图像融合。

通常应定期更新图像融合参数。

可以以手动交互的方式在全景图像中框选出盲区和图像重叠区，其中所述盲区位于图像重叠区内，所述图像重叠区为位于盲区外的相应框选区域。

优选基于orb(orientedfastandrotatedbrief)算法提取图像特征并进行相应的特征点匹配。

优选以角点为特征点，所述特征点检测为角点检测

优选采用快速fast算子进行角点检测，以灰度质心法计算特征点主方向。

优选以改进的brief(binaryrobustindependentelementaryfeatures)描述子描述角点特征。

优选采用ransac(randomsampleconsensus)算法估计图像变换矩阵。

补盲后全景图像在盲区内各点(像素)的值通常应为补盲图像的相应像素值，在图像重叠区外各点的像素值通常应为全景图像的相应像素值。

在图像重叠区内各点的像素值优选为全景图像和补盲图像的相应像素值的加权平均值，全景图像的权重系数和补盲图像的权重系数之和通常应为1。

在图像重叠区的内侧区域(近盲区区域)，补盲图像的权重系数优选大于全景图像的权重系数。

在图像重叠区的外侧区域(近外部区域)，全景图像的权重系数优选大于补盲图像的权重系数。

优选在补盲图像与全景图像融合前进行色差矫正。

色差矫正后，优选在全景图像与补盲图像的图像重叠区中寻找二者差异最小的封闭曲线，以该封闭曲线作为缝合线。

优选以缝合线为界，在缝合线的内侧，补盲图像的权重系数大于全景图像的权重系数，且越靠近盲区越大，在缝合线的外侧，全景图像的权重系数大于补盲图像的权重系数，且越靠外缘越大。

例如，可以为，在位于缝合线外侧的图像重叠区，补盲图像的权重系数依据像素点与缝合线之间的距离确定，距离越大，权重系数越小，在位于缝合线内侧的图像重叠区，全景图像的权重系数依据像素点与缝合线之间的距离确定，距离越大，权重系数越小。

本发明的有益效果是：本发明的输入数据分别是全景图像和补盲图像，全景图像是由多路视频拼接得到^[1]，感兴趣盲区由用户指定，补盲图像来自补盲摄像机，补盲摄像机的布设须尽量使其成像光轴与全景画面虚拟光轴保持一致，其画面能够覆盖全景图像中的用户指定盲区，并与盲区存在共同可见的图像重叠区，经过图像匹配、变换及融合等处理，最终输出补盲融合后的全景图像。

附图说明

图1是本发明的流程示意图；

图2是补盲融合的图像示意图；

图3是盲区和图像重叠区分布示意图；

图4是图像特征提取与匹配流程示意图；

图5角点检测圆形模板；

图6是图像融合示意图；

图7全景图像的距离变换模板；

图8是补盲图像的距离变换模板。

具体实施方式

参见图1-8，本发明将补盲图像的画面融入全景画面当中，用户不仅可直接在全面画面的对应位置看到盲区情形，而且补盲画面与全景画面有较好的融合，使得补盲显示更为清晰直观(参见图2)。

本发明的处理流程如图1所示，输入数据分别是全景图像和补盲图像，其中，全景图像是由多路视频拼接得到^[1]，感兴趣的盲区由用户指定；补盲图像来自补盲摄像机，补盲摄像机的布设须尽量使其成像光轴与全景画面虚拟光轴保持一致，即补盲摄像机的成像光轴与全景图像的虚拟光轴保持一致或基本一致，其画面能够覆盖全景图像中的用户指定盲区，并与盲区存在共同可见的图像重叠区，经过图像匹配、变换及融合等处理，最终输出补盲融合后的全景图像(可称为补盲后全景图像，以与补盲前的全景图像相区别)。

本发明包括下列几个基本步骤：

1)盲区指定

如图3所示，可以通过手动框选方式等方式进行盲区指定，用户在全景图像中指定的盲区呈“回”字型，其中内框表示在全景中不可见而在补盲图像中可见的场景区域，称作盲区或不可见区域；内、外框之间的部分表示同时在全景及补盲图像中可见的场景，称作图像重叠区。

盲区可以不止一个，如用户指定多个盲区，则需布设多个补盲摄像头，分别对不同盲区进行补盲融合。

盲区不限于规则形状，可以是任意形状。

2)图像匹配

图像匹配的目的在于建立补盲图像与全景图像中的盲区之间的对应关系，以便完成后续的图像变换。

图像匹配的方法是在图像重叠区寻找匹配的点对，通常可采用特征点自动提取匹配的方式，当然，也可以采用手工指定的方式。

图像匹配的前提是补盲图像与指定的全景盲区存在图像重叠区，从而能够在图像重叠区提取具有相似性的图像特征。

可以采用orb(orientedfastandrotatedbrief)算法^[2]提取图像特征并进行匹配，其处理流程如图3所示。其中，图像特征提取分别在全景图像的图像重叠区和补盲图像上完成，包括角点检测、确定主方向、特征点描述等步骤。具体可包括：

2.1)角点检测

角点检测采用快速fast算子，利用一个固定大小的圆形模板(如图4所示)，设模板的中心像素点为p，其灰度值为ip，比较圆形模板圆周上16个像素点的灰度值与ip的大小关系，如果这16个像素点中，有m个连续点，其像素值均大于ip+t或均小于ip-t(t为给定阈值)，那么就认为中心点p是一个角点，也即特征点。通常情况，t＝40，m＝9。

2.2)确定主方向

然后采用灰度质心法计算特征点主方向，将特征点与其邻域质心之间的偏移向量作为该特征点的主方向。首先计算特征点邻域灰度矩的质心位置，特征点邻域矩定义如下：

θ＝arctan(m01,m10)式(5)

其中x,y是特征点邻域内以特征点为原点的像素位置坐标，i(x,y)为点(x,y)处的灰度值，r为圆形邻域半径，mpq称为p+q阶矩(p、q均为非负整数)，m00是0阶矩，m10,m01是1阶矩，c为质心，θ即是特征点到质心偏移向量的角度，以之作为特征点的主方向，以便下一步得到具有供旋转不变性的特征描述子。

2.3)特征点描述

orb算法以改进的brief(binaryrobustindependentelementaryfeatures)描述子描述特征，主要改进是对brief添加了方向信息。在特征点邻域内随机选取n个点对(xk,yk)，做如下二值测试，并将n个测试结果构成二值字串。

其中，i表示图像灰度，fn(i)即是brief描述子，n一般取256，构成一个256bit的二值特征描述子。

以下为brief描述子添加方向信息，对每个点对(xk,yk)，如下定义2×2n维矩阵s，并根据特征点主方向角θ，构造旋转矩阵rθ，对s进行矫正得到sθ，进而得到具有旋转不变性的特征描述子gn(i,θ)。

s＝[x1,y1,x2,y2,...,xn,yn]

sθ＝rθs＝[x1′,y1′,x2′,y2′,...,xn′,yn′]

2.4)特征匹配

基于前面得到的orb二值特征描述子，可通过汉明距离计算两个特征点间的特征距离：

其中，g1和g2分别表示两个特征点的描述子，表示它们的汉明距离，越小，表示这两个特征点的相似程度越高。

通过计算图像对中所有orb特征点间的特征距离，得到每个特征点的最近邻与次近邻特征点，计算到最近邻与次近邻特征点的特征距离比值，若比值比小于给定阈值thr1时，则认为该特征点与其最近邻点相匹配。通常情况，thr可设为0.6。

2.5)图像变换

获得匹配点对后，可利用最小二乘法估计补盲图像与全景图像间的变换关系。如式9，假设它们满足仿射变换关系：

其中，(x,y)、(x′,y′)分别表示补盲图像与全景图像坐标，h0～h5表示待求图像变换矩阵h的参数，使用至少3对匹配点对可估计得出。

为剔除错误匹配点对，提高估计的可靠性，本发明采用ransac(randomsampleconsensus)算法估计图像变换矩阵。

设初始最佳内点数ni＝0，算法步骤如下：

(a)从匹配点对中随机选取3对初始匹配点对建立方程组，求解变换矩阵h的6个未知参数。

(b)计算剩余特征点经过变换矩阵变换后的坐标值与其匹配点之间的距离：

式(10)

若距离小于阈值thr2(可设为3)，则认为该特征点匹配对为内点，否则为外点。

(c)比较当前内点数目，若大于ni，则转换矩阵h为当前最佳，更新ni为当前内点数。

(d)经过若干次随机抽样计算后，选择内点最多的变换矩阵参数为图像间的变换矩阵。

3)图像融合

得到矩阵h后，可将补盲图像变换至全景坐标系下，并与全景图像进行融合(如图6)：

其中，p表示像素，iwarp、ipano和ifuse分别表示变换后的补盲图像、全景图像(用户指定盲区部分)和融合后的图像，当像素坐标位于不可见区域时，融合结果等于补盲图像像素值；位于图像重叠区时，融合结果等于全景图像与补盲图像的加权平均，wpano、wwarp表示权重系数，满足wpano+wwarp＝1。一种简单的方法可令wpano＝wwarp＝0.5，但融合效果通常不佳，易出现重影现象。另外，由于补盲图像与全景图像可能存在色差，直接融合后也易导致明显的拼缝。因此，更好的融合方法是先做色差矫正，然后搜索最优拼缝，最后根据最优拼缝计算融合加权系数。

具体如下：

(a)色差矫正

分别计算全景图像与补盲图像在图像重叠区的像素均值mpano与mwarp，以全景图像作为参考，将补盲图像的整体色调矫正至与全景图像近似。

其中iwarp、i′warp分别表示矫正前和矫正后的补盲图像。值得一提的是，虽然像素均值的计算只针对图像重叠区，但对补盲图像的色差矫正是对整个图像进行的，包括不可见区域与图像重叠区，后续操作将在全景图像与矫正后的补盲图像上完成。

(b)搜索最优拼缝

搜索最优拼缝的目的是在全景图像与补盲图像的图像重叠区中寻找二者差异最小的部分，以之作为图像间的缝合线(如图6)，可表示为对如下定义的能量函数进行最小化：

e＝∑(p,q)∈ne(p,q)

e(p,q)＝||ipano(p)-i′warp(p)||+||ipano(q)-i′warp(q)||式(13)

其中，补盲图像i′warp带撇号表示是经过色差矫正后的图像，p、q是图像重叠区内的相邻像素(n表示邻域)，它们定义了一段图像“边”；e(p,q)是其代价函数，定义为全景图像与补盲图像在边(p、q)上的像素值之差。优化过程即是搜索使能量函数e最小的边(p、q)的集合，它们穿越了图像间差异最小的区域，构成了图像的最优拼缝。优化方法可采用graph-cut算法，它通过图论模型解决能量优化问题，广泛应用于图像分割、纹理合成、图像修复、图像拼接、抠图等视觉领域，具体细节可参考文献^[3-4]

(c)计算加权系数

得到最优拼缝后，可进一步确定图像融合的权重，基本思想是：在最优拼缝外侧，逐步减小补盲图像权重wwarp，而在最优拼缝内侧，逐步减小全景图像权重wpano，具体可通过距离变换来实现。以最优拼缝为界，为全景图像与补盲图像分别定义用于距离变换的模版maskpano(如图7所示)与maskwarp(如图8所示)，其中，黑色表示背景区域(记为b)，白色表示目标区域(记为o)，则距离变换图像d(p)的值表示像素p到与之最近的目标区域像素q的距离，定义如下：

其中，dist(p,q)表示像素p、q间的距离。

分别以maskpano与maskwarp作为定义目标区域的模板，可计算出全景图像与补盲图像的距离变换图像dpano与dwarp，则权重系数定义为距离图像的倒数：

上式中分母加1是为避免除零错误，公式表明在最优拼缝外侧(全景图像的目标区域，补盲图像的背景区域)，全景图像权重为1(dpano＝0)，而补盲图像权重随到最优拼缝的距离增大而减小；反之在最优拼缝内侧(全景图像的背景区域，补盲图像的目标区域)，补盲图像权重为1(dwarp＝0)，全景图像权重随到最优拼缝的距离增大而减小。为使wpano+wwarp＝1，还需对上述计算得到的wpano、wwarp进行归一化，从而得到最终权重。

实时性考虑：为保证补盲视频能够实时融合，可对上述流程做如下优化，前提假设是摄像机固定不动。

(a)离线计算图像变换参数：图像匹配及变换矩阵计算都较为耗时，但在摄像机固定情况下，图像变换矩阵h可离线计算，对在线处理的每帧补盲视频，只需按预先计算的矩阵h向全景图像进行变换即可。

(b)在线定期更新图像融合参数：考虑到光照条件会随时间变化，故色差矫正、图像加权等融合参数不可如图像变换参数一样离线计算后就固定不变，但可以假设光照条件短时内保持恒定，因此不必每帧都计算融合参数，只定期更新即可，更新周期设为1至2分钟为宜。

本发明公开的各优选和可选的技术手段，除特别说明外及一个优选或可选技术手段为另一技术手段的进一步限定外，均可以任意组合，形成若干不同的技术方案。

参考文献

[1]“imagealignmentandstitching:atutorial”,technicalreportofmicrosoftresearch,2006.

[2]“orb:anefficientalternativetosiftorsurf”,iccv,2012.

[3]“interactivegraphcutsforoptimalboundary&regionsegmentationofobjectsinn-dimages”,iccv,2001.

[4]“imagesegmentation:asurveyofgraph-cutmethods”,icsai,2012.