基于网络全景图的视频轻量嵌入方法与流程

本发明涉及网络全景图领域，特别是涉及一种基于网络全景图的视频轻量嵌入方法。

背景技术：

随着互联网html5技术的广泛应用，网络全景图在互联网的传播不再依赖flash、silverlight等插件，用户直接通过支持html5技术的客户端与服务端的全景图进行交互。在虚拟旅游、虚拟购物、数字展馆以及地理导航领域，网络全景图都以其互动能力强，分辨率高，体积轻量等特点被广发应用。在工程实践中，全景图是物理实景在空间上的组合展示，对基于时间变化的视频内容展现能力较差。在现有技术中，视频作为网络全景图的独立模块嵌入到全景图中，一方面视频体积较大，需要占用较多的网络带宽，消耗较多的系统资源；另一方面，视频内容与网络全景图内容没有进行融合，内容再现形式局限，尤其是视频场景与网络全景图的场景相同时，两者不能基于一种背景展示内容，用户体验欠佳。

鉴于此，本发明的目的在于提供一种基于网络全景图的视频轻量嵌入方法，将视频中的活动目标提取后嵌入到网络全景图中，以缓解现有技术存在的问题。

技术实现要素：

一种基于网络全景图的视频轻量嵌入方法，包括：在视频中选择活动目标，从视频中以帧为单位分离活动目标，形成活动目标序列，存储活动目标每个像素在视频中的位置；对活动目标序列中的相邻活动目标的像素进行插值或删除运算；在网络全景图中设置活动目标序列的嵌入位置，活动目标序列中每一个活动目标与网络全景图嵌入位置背景进行滤波，以使活动目标与嵌入位置背景的像素数据平滑；嵌入位置的确定方法包含视频与网络全景图的位置匹配或配准；在网络全景图播放过程中，活动目标序列在嵌入位置进行动态展示。

进一步地，在视频中选择活动目标的方法，包括以下至少一种：根据活动目标的时域特征，将视频每一帧中的活动目标进行检测；根据活动目标的光流特性，检测视频中活动目标的轮廓。

进一步地，视频与网络全景图的位置匹配，包括：在活动目标序列中选择任一活动目标，在活动目标上设置至少一个第一标记点，在网络全景图上设置相同数量的第二标记点，至少一个第一标记点形成的图形经过旋转、平移、缩放、仿射中的至少一种图形运算映射到第二标记点形成的图形；活动目标序列进行相同的图形运算映射到网络全景图的嵌入位置。

进一步地，视频与网络全景图的配准，包括：如果网络全景图与视频对应同一物理实景时，视频以帧为单位形成的图像与网络全景图进行图像配准，得到视频到网络全景图的变换矩阵；通过变换矩阵运算，活动目标序列映射到网络全景图的嵌入位置。

进一步地，活动目标序列在嵌入网络全景图前，包括以下至少一种处理：活动目标序列的亮度调整至与网络全景图一致；活动目标序列根据网络全景图的光源配置，在活动目标上设置亮度退化。

进一步地，活动目标序列在嵌入位置进行动态展示，包括以下至少一种：如果网络全景图的显示区域包含活动目标序列的嵌入位置，活动目标序列在嵌入位置进行动态展示；如果网络全景图接收到鼠标、键盘、语音、视频、图像中至少一种触发，活动目标序列在嵌入位置进行动态展示。

进一步地，如果视频包含声音，在目标序列动态展示时，根据目标序列开始时刻播放声音。

进一步地，如果网络全景包含两个以上活动目标序列，动态展示两个以上活动目标序列中的一个；或动态展示多个活动目标序列，控制多个活动目标序列的播放速率或声音。

进一步地，存储活动目标序列的动态展示进度，以进行展示进度控制。

本发明的有益效果如下：

本发明提供的技术方案可以包括以下有益效果：本发明提出的技术方案实现了视频在网络全景图中的轻量嵌入，活动目标与全景图融合为一个整体，减小了内容传输需要的网络带宽。另一方面也实现了异构媒体间内容的融合，扩充了网络全景图对动态内容的展示能力。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一种实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的一种基于网络全景图的视频轻量嵌入方法流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

图1是本发明实施例的一种基于网络全景图的视频轻量嵌入方法流程示意图，如图1所示，该方法包括如下四个步骤。

步骤s101：从视频中分离活动目标序列。具体地，在视频中选择活动目标，从视频中以帧为单位分离活动目标，形成活动目标序列，存储活动目标每个像素在视频中的位置；对活动目标序列中的相邻活动目标的像素进行插值或删除运算。

在一个可选的实施例中，根据活动目标的时域特征，将视频每一帧中的活动目标进行检测。具体地，由于活动目标在视频帧中的位置随时间发生变化，利用视频背景帧和当前帧的差值，或视频相邻两帧之间的差值，获取视频中的所有活动目标。

在另一个可选的实施例中，根据活动目标的光流特性，检测视频中活动目标的轮廓。具体地，首先对视频的光流场进行参数估计，求解符合运动模型的像素区域，像素区域合并构成活动目标。

需要进行说明的是，无论是根据视频时域特征还是光流特性分离的活动目标，都会存在边缘像素的缺失或者多余的边缘外像素，因此需要对活动目标的像素进行插值或删除运算。在工程实践中，视频帧的采样率一般高于每秒25帧，相邻活动目标的像素差异较小。在相邻两个活动目标像素差异大于第一阈值时，引入相邻两个活动目标之外最近邻的至少一个活动目标组成子序列，根据子序列中活动目标包含像素数量的均值或中值，对每一个活动目标的边缘像素进行插值或者删除运算。

步骤s102：确定活动目标序列嵌入位置。具体地，在网络全景图中设置活动目标序列的嵌入位置，嵌入位置的确定方法包含视频与网络全景图的位置匹配或配准。

在一个可选的实施例中，在活动目标序列中选择任一活动目标1，在活动目标1上设置至少一个第一标记点2，在网络全景图上设置相同数量的第二标记点3，至少一个第一标记点2形成的图形经过旋转、平移、缩放、仿射中的至少一种图形运算映射到第二标记点3形成的图形；活动目标序列进行相同的图形运算映射到网络全景图的嵌入位置。

需要进行说明的是，活动目标为图像，每个活动目标从视频中分离时，存储活动目标每个像素在视频中的位置，从而可知活动目标间的相对位置和运动。在目标序列任一活动目标1上设置至少一个第一标记点2，从而可得到序列中其它活动目标相对第一标记点2的位置。在网络全景图上设置相同数量的第二标记点3，第一标记点2形成的图形和第二标记点3形成的图形之间进行映射，映射的方法即图形间的变换，具体变换包括旋转、平移、缩放和仿射，活动目标序列经过相同的图形运算，从而得到匹配到网络全景图的嵌入位置。

在另一个可选的实施例中，如果网络全景图与视频对应同一物理实景时，视频以帧为单位形成的图像与网络全景图进行图像配准，得到视频到网络全景图的变换矩阵；通过变换矩阵运算，活动目标序列映射到网络全景图的嵌入位置。需要进行说明的是，由于存储了活动目标每个像素在视频中的位置，在视频以帧为单位形成的图像与网络全景图进行图像配准后，活动目标根据配准结果的变换矩阵映射到网络全景图中，从而实现嵌入到网络全景图中。

步骤s103：对活动目标序列进行处理。具体地，活动目标序列中每一个活动目标与网络全景图嵌入位置背景进行滤波，以使活动目标与嵌入位置背景的像素数据平滑。

需要进行说明的是，为了使活动目标序列嵌入到网络全景图后，具有较好的视觉体验，因此需要活动目标序列中每一个活动目标与网络全景图嵌入位置背景进行滤波。滤波的方法包括均值滤波、中值滤波、高斯滤波、盒子滤波、拉普拉斯滤波、双边滤波等，滤波后活动目标在嵌入位置的数据变得平滑。

在一个可选的实施例中，活动目标序列的亮度调整至与网络全景图一致。

在另一个可选的实施例中，活动目标序列根据网络全景图的光源配置，在活动目标上设置亮度退化。需要进行说明的是，活动目标序列根据网络全景图的光源的配置，根据距离光源越远亮度越低的退化模型，调整活动目标各个像素的亮度，以提升活动目标嵌入后的视觉体验。

步骤s104：活动目标序列在网络全景图中展示。具体地，在网络全景图播放过程中，活动目标序列在嵌入位置进行动态展示。如果网络全景图的显示区域包含活动目标序列的嵌入位置，活动目标序列在嵌入位置进行动态展示；

在一个可选的实施例中，如果网络全景图接收到鼠标、键盘、语音、视频、图像中至少一种触发，活动目标序列在嵌入位置进行动态展示。

在一个优选的实施例中，如果视频包含声音，在目标序列动态展示时，根据目标序列开始时刻播放声音。

在另一个可选的实施例中，如果网络全景包含两个以上活动目标序列，动态展示两个以上活动目标序列中的一个；或动态展示多个活动目标序列，控制多个活动目标序列的播放速率或声音。

在又一个可选的实施例中，存储活动目标序列的动态展示进度，以备活动目标序列再次展示时进行展示进度控制。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。