一种全景视频的热点交互方法与流程

本发明涉及全景视频互动技术领域，具体涉及一种全景视频的热点交互方法。

背景技术：

随着视频应用技术与城市公共安全监管系统的逐步推进，目前各大城市的视频监管点的数量都已达到一定的数量级。

全景视频技术和全景摄像机也已经在城市管理中应用，同传统视频不同，全景视频打破了传统视频视场角的限制，可以完全沉浸在视频所展现的环境当中。自主交互性是全景视频区别于传统视频的最显著特征，使用者可以任意的变换视角，任意的缩放，现有的全景视频交互过程主要是依靠鼠标、或者是键盘。

鉴于此，克服以上现有技术中的缺陷，提供一种新的适用于在城市公共安全领域的全景视频的热点交互方法成为本领域亟待解决的技术问题。

技术实现要素：

本发明的目的可通过以下的技术措施来实现：

本发明提供了一种全景视频的热点交互方法，所述交互方法包括：

s1，获取原始视频图像，对所述原始视频图像进行拼接，以生成球面全景视频；

s2，利用球面重投影算法在以所述全景视频的球心为视点的不同视线方向上对所述全景视频进行重构，生成不同视线方向上的透视图；

s3，在所述全景视频中接收对目标物的点选操作，将所述点选操作对应的像素位置配置为热点，获取所述热点的球面坐标信息，将所述目标物的属性信息与所述热点的球面坐标信息进行关联；

s4，获取所述透视图上与所述热点对应的投影点的图像坐标信息，将所述投影点的图像坐标信息与所述热点的球面坐标信息建立映射关系；

s5，将所述目标物的部分或全部属性信息作为标注内容按照所述热点的球面坐标信息以及所述热点对应的投影点的图像坐标信息分别在所述全景视频和所述透视图中进行显示。

优选地，步骤s1包括：

s11，对视频流图像帧进行特征点提取；

s12，对所述图像帧进行特征点匹配，利用最小二乘法或随机抽样一致算法对所述特征点匹配中的误匹配点进行剔除；

s13，基于剔除误匹配点的特征点，建立图像帧的配准模型；

s14，根据所述配准模型在球体模型的三维球面上将图像帧进行配准，生成球面全景视频。

优选地，步骤s2包括：

s21，建立以所述全景视频的球心为原点的世界坐标系xyz，将世界坐标系xyz绕x轴旋转α度，得到相机坐标系xyz；

s22，根据原始视频图像的像素高度h及像素宽度w、和相机的焦距r建立图像点在透视图中的二维图像坐标与所述图像点在相机坐标系xyz的对应坐标的转换关系；

s23，根据所述转换关系、以及世界坐标系xyz与相机坐标系xyz的变换矩阵，建立全景视频中任意点投影到透视图的对应投影点的坐标转换关系，计算对应投影点在透视图上的二维图像坐标，生成不同视线方向上的透视图。

优选地，在步骤s3中，当所述目标物移动时，获取所述目标物在全景视频中首次出现的图像帧，在所述图像帧中接收对所述目标物的点选操作，将所述点选操作对应的像素位置配置为初始热点，获取所述初始热点的球面坐标信息，将所述目标物的属性信息与所述初始热点的球面坐标信息进行关联。

优选地，在步骤s3中还包括：

在所述图像帧中对所述目标物在上下左右四个方向放大x个像素，对放大区域进行特征提取，得到目标物的特征信息，其中，x为大于20且小于50的自然数；

继续播放全景视频，根据所述特征信息在全景视频的图像帧中进行目标物识别，将识别区域配置为后续热点，将所述目标物的属性信息与所述后续热点的球面坐标信息进行关联。

优选地，在步骤s4中，当所述目标物移动时，获取所述透视图上与所述初始热点及所述后续热点对应的投影点的图像坐标信息，将所述投影点的图像坐标信息与对应初始热点或后续热点的球面坐标信息建立映射关系。

优选地，所述交互方法还包括：

s6，利用webgl加载所述全景视频和所述透视图，将所述全景视频和所述透视图作为纹理渲染到3d几何模型上。

优选地，所述交互方法还包括：

接收目标物的属性信息，所述属性信息包括文字、图片、矢量图、音频、视频、网址链接中的一种或组合；

创建所述全景视频的标注图层，并在标注图层中存储所述目标物的热点的球面坐标信息、与所述热点对应的投影点的图像坐标信息以及目标物的标注内容，所述标注内容包括目标物的部分或全部属性信息。

优选地，步骤s5包括：

在播放全景视频中出现所述目标物时，在标注图层中读取并在全景视频的热点处以及透视图的对应投影点处显示所述目标物对应的标注内容。

优选地，在步骤s4中，将所述透视图上与所述热点对应的投影点配置为热点。

本发明的全景视频的热点交互方法在全景视频中为城市公共安全监管的目标物按照球面坐标信息设置了热点，将目标物的属性信息作为热点关联信息，并将目标物的属性信息关联至热点在不同视线透视图上的投影点，通过热点实现了视频内容与属性信息的交互，便于用户管理。

附图说明

图1是本发明第一实施例的全景视频的热点交互方法的流程图。

图2是本发明实施例的交互方法中球面全景图的重投影坐标系示意图。

图3是本发明实施例的交互方法中热点示意图。

图4是本发明第二实施例的全景视频的热点交互方法的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了使本揭示内容的叙述更加详尽与完备，下文针对本发明的实施方式与具体实施例提出了说明性的描述；但这并非实施或运用本发明具体实施例的唯一形式。实施方式中涵盖了多个具体实施例的特征以及用以建构与操作这些具体实施例的方法步骤与其顺序。然而，亦可利用其它具体实施例来达成相同或均等的功能与步骤顺序。

应当理解，尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

本发明第一实施例提供了一种全景视频的热点交互方法，请参阅图1所示，该交互方法包括如下步骤：

s101，获取原始视频图像，对该原始视频图像进行拼接，以生成球面全景视频。

s102，利用球面重投影算法在以该全景视频的球心为视点的不同视线方向上对该全景视频进行重构，生成不同视线方向上的透视图。

s103，在该全景视频中接收对目标物的点选操作，将该点选操作对应的像素位置配置为热点，获取该热点的球面坐标信息，将该目标物的属性信息与该热点的球面坐标信息进行关联。

s104，获取该透视图上与该热点对应的投影点的图像坐标信息，将该投影点的图像坐标信息与该热点的球面坐标信息建立映射关系。

s105，将该目标物的部分或全部属性信息作为标注内容按照该热点的球面坐标信息以及该热点对应的投影点的图像坐标信息分别在该全景视频和该透视图中进行显示。

在步骤s101中，获取至少二帧原始视频的图像帧，并对该至少二帧原始视频的图像帧进行视频拼接，拼接后生成全景视频。

首先，对视频流图像帧进行特征点提取；然后，对该图像帧进行特征点匹配，利用最小二乘法或随机抽样一致算法(randomsampleconsensus，ransac)对该特征点匹配中的误匹配点进行剔除；然后，基于剔除误匹配点的特征点，建立图像帧的配准模型；最后，根据该配准模型在球体模型的三维球面上将图像帧进行配准，生成球面全景视频。

ransac算法需要在一定的置信概率p下使用，p一般设置为0.99，且进行n组抽样中至少有一组数据全是局内点，n的计算公式如下：

其中，μ为局外点所占的比例，m为计算模型参数所需最小数据量。

ransac算法具体步骤如下：

计算当前的参数模型，去适应于假设的局内点，模型中的所有未知参数能够通过输入样本计算得到，并且初始化参数；对由特征点匹配得到的假定对应点，计算其对称变换误差，统计误差的局内点的个数；如果有足够多的点被归类为假设的局内点，那么估计的模型就足够合理；利用上述公式计算循环次数n，循环执行第1到3步。

当循环结束时，用最大局内点集再进行一次参数模型的计算，得到的变换矩阵h即为最优的模型矩阵。

在步骤s102中，全景视频可以实现水平360度任意视角(观看角度)方向的环视，浏览全景视频时，需要根据当前视线方向和视域范围对球面的全景视频进行重投影变换，生成符合人眼视觉习惯的平面的透视图，其中，视域范围与原始视频的参数相关，即为拍摄原始视频的相机的视域。使用球面全景图的重投影算法，模拟相机的旋转运动，并通过改变相机的视域，可以模拟相机的变焦运动，进而模拟观察者的视点，将相应场景展现出来。

球面全景图的重投影算法的原理如下：建立以该全景视频的球心为原点的世界坐标系xyz，将世界坐标系xyz绕x轴旋转α度，得到相机坐标系xyz，二者之间可以通过旋转α度相互得到。请参阅图2所示，o为透视图k的二维坐标系的原点，o’为相机坐标系xyz的原点，对于全景视频中任意一点p`，其在透视图k(二维图像平面)上对应的投影点为p(x,y)，p`在球面上的坐标为p`(φ,λ)，λ是透视图所在平面与相机坐标系xyz间的水平旋转角，φ是俯仰角，h是图像的像素高度，w是像素宽度。

虚拟相机在三维空间中具有3个旋转自由度:绕x轴的旋转,旋转角度为pitch；绕y轴的旋转，旋转角度为yaw；绕z轴的旋转，旋转角度为roll。

相机绕x轴的旋转矩阵rx为：

相机绕y轴地点旋转矩阵ry为：

当相机同时绕x轴和y轴旋转时，旋转的复合旋转矩阵r＝rx·ry。

世界坐标系xyz与相机坐标系xyz的变换矩阵为1/＝rx。

由以上关系可得点p(x,y)在相机坐标系xyz下的坐标为(x-w/2,y-h/2,r)，点p(x,y)在世界坐标系xyz下的坐标(u,v,w)为：

其中，r为观察点(相机坐标xyz的球心)到透视图所在二维平面的距离，也为相机的焦距。

通过建立全景视频中任意点p`投影到透视图的对应投影点p的坐标转换关系，根据p在世界坐标系xyz下的坐标(u,v,w)和上述坐标转换关系计算对应投影点p在透视图上的二维图像坐标(x,y)，生成不同视线方向上的透视图。

在步骤s103和步骤s104中，为了在全景视频中实现与目标物的交互，本发明实施例在全景视频的图像帧画面上和重构的各透视图上设置目标物的交互热点。

当目标物为建筑物时，目标物的热点为静态热点，在全景视频中相对静止；当目标物为车辆或行人时，目标物的热点为动态热点，在全景视频中随着车辆或行人的位置移动而不断变化。建筑物属性信息可以包括但不限于名称、地址、安全等级等。

当目标物呈静态时，对全景视频的图像帧中的目标物所在的位置进行点选操作，将点选的像素位置转换为球面坐标点，将该球面坐标点配置为热点，通过数据库技术建立热点信息存储表，存储目标物的属性信息，将该目标物的属性信息与该热点的球面坐标信息进行关联。对该透视图上与该热点对应的投影点与该热点建立映射关系，在该热点以及该热点对应的投影点上均显示热点图标，也就是说，在全景视频图像帧的画面上以及在透视图上均显示热点图标，热点图标中写有标注内容，标注内容为目标物的属性信息，标注内容可以是部分属性信息，也可以是全部属性信息。

进一步地，可以将透视图的投影点也配置为热点，用户可以在透视图上直接进行交互。

当目标物呈动态时，获取该目标物在全景视频中首次出现的图像帧，在该图像帧中接收对该目标物的点选操作，将该点选操作对应的像素位置转换为球面坐标点，将该球面坐标点配置为初始热点，获取该初始热点的球面坐标信息，通过数据库技术建立热点信息存储表，存储目标物的属性信息，将该目标物的属性信息与该初始热点的球面坐标信息进行关联；在该图像帧中对该目标物在上下左右四个方向放大x个像素，对放大区域进行特征提取，得到目标物的特征信息，其中，x为大于20且小于50的自然数；继续播放全景视频，根据该特征信息在全景视频的图像帧中进行目标物识别，找出所有目标物出现的图像帧，将图像帧上的识别区域转换为球面坐标点，将该球面坐标点配置为后续热点，具体地，对该放大区域图像进行分割并提取特征，经过t时间间隔后，在全景视频图像帧中查找该特征并作为下一个热点，并不断重复以上过程计算出所有热点。将该目标物的属性信息与该后续热点的球面坐标信息进行关联；获取该透视图上与该初始热点及该后续热点对应的投影点的图像坐标信息，将该投影点的图像坐标信息与对应初始热点或后续热点的球面坐标信息建立映射关系。在所有热点以及热点对应的投影点上均显示热点图标，也就是说，在全景视频图像帧的画面上以及在透视图上均显示热点图标，热点图标中写有标注内容，标注内容为目标物的属性信息，标注内容可以是部分属性信息，也可以是全部属性信息。

进一步地，可以将透视图的投影点也配置为热点，用户可以在透视图上直接进行交互。

在步骤s102之后、步骤s103之前还可以包括如下步骤：

s1021，接收目标物的属性信息，该属性信息包括文字、图片、矢量图、音频、视频、网址链接中的一种或组合。

在步骤s104之后、步骤s105之前，还可以包括如下步骤：

s1041，创建该全景视频的标注图层，并在标注图层中存储该目标物的热点的球面坐标信息、与该热点对应的投影点的图像坐标信息以及目标物的标注内容，该标注内容包括目标物的部分或全部属性信息。

在步骤s105中，在播放全景视频中出现该目标物时，在标注图层中读取并在全景视频的热点处以及透视图的对应投影点处显示该目标物对应的标注内容。

本发明第二实施例提供了一种全景视频的热点交互方法，请参阅图3所示，该交互方法包括如下步骤：

s201，获取原始视频图像，对该原始视频图像进行拼接，以生成球面全景视频。

s202，利用球面重投影算法在以该全景视频的球心为视点的不同视线方向上对该全景视频进行重构，生成不同视线方向上的透视图。

s203，在该全景视频中接收对目标物的点选操作，将该点选操作对应的像素位置配置为热点，获取该热点的球面坐标信息，将该目标物的属性信息与该热点的球面坐标信息进行关联。

s204，获取该透视图上与该热点对应的投影点的图像坐标信息，将该投影点的图像坐标信息与该热点的球面坐标信息建立映射关系。

s205，将该目标物的部分或全部属性信息作为标注内容按照该热点的球面坐标信息以及该热点对应的投影点的图像坐标信息分别在该全景视频和该透视图中进行显示。

s206，利用webgl加载该全景视频和该透视图，将该全景视频和该透视图作为纹理渲染到3d几何模型上。

步骤s201至步骤s205具体参见第一实施例。在步骤s206中，采用webgl技术进行场景绘制和渲染，使全景视频可在浏览器或虚拟现实设备中使用。开发工具采用vs2017和ffmpeg包，进行开发场景漫游和视频内容热点交互功能的实现。ffmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序库，它由一系列c函数和c++类所组成。请参阅图3所示，依次为(a)建筑物静态热点交互，(b)车辆动态热点交互，(c)行人动态热点交互。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。