用于生成视频摘要的系统及方法
【专利摘要】本发明提供了一种用于生成视频摘要的系统，包括轨迹提取单元、轨迹重排单元以及摘要创建单元，其中：所述轨迹提取单元，用于根据原始视频中前后图像帧的帧间梯度信息提取图像帧中的前景目标，并保存前景目标的运动轨迹及对应的时间；所述轨迹重排单元，用于将所有前景目标的运动轨迹进行时域和空域重排；所述摘要创建单元，用于根据重排顺序，将所有前景目标的运动轨迹通过无缝拼接生成视频摘要。本发明还提供一种对应的方法。本发明通过将前景目标的运行轨迹在空域和时域上重排，可大大提高视频摘要中的信息量，从而大大删减原始视频中的冗余信息。
【专利说明】用于生成视频摘要的系统及方法
【技术领域】
[0001]本发明涉及视频处理领域，更具体地说，涉及一种用于生成视频摘要的系统及方法。
【背景技术】
[0002]随着多媒体技术、视频采集技术、互联网应用的不断加深，以及图像压缩编码与流媒体技术的逐步发展，使得视频图像业务在日常生活中的应用越来越广泛，例如安防视频监控等。
[0003]然而，在一些视频中(例如安防监控视频等)，往往只有很少一部分信息有用，而在该段视频里寻找出有用的信息需要花费大量的时间。为了有效提升视频查看的效率，出现了视频摘要技术。视频摘要，即以自动或半自动的方式对视频的结构和内容进行分析，从原视频中提取出感兴趣的部分，并将它们重新组合，以简洁的摘要方式呈现出来。比如:在安防场景中，通过视频摘要技术，将几小时甚至几十小时的录像内容放置到几分钟的视频中，从而大大节省了查看视频的时间。
[0004]目前的视频摘要技术主要有两大类方法:基于关键帧(静态)的方法和基于对象(动态)的方法。这两类方法都是缩短视频长度的有效方法，其中基于关键帧的方法通过选择一系列的关键帧组成相应的语义单元来表现视频；而基于对象的方法则是由能够表达原始视频内容的许多重要的小片段组成。
[0005]基于对象的方法在对视频中感兴趣对象的检测、分割的基础上，选择合适的算法，通过最大限度的减少时间-空间冗余来进行摘要浓缩，因而生成视频的动态表现力要远强于基于关键帧的方法。
【发明内容】
[0006]本发明要解决的技术问题在于，针对上述视频摘要中冗余信息较多的问题，提供一种用于生成视频摘要的系统及方法。
[0007]本发明解决上述技术问题的技术方案是，提供一种用于生成视频摘要的系统，包括轨迹提取单元、轨迹重排单元以及摘要创建单元，其中:所述轨迹提取单元，用于根据原始视频中前后图像帧的帧间梯度信息提取图像帧中的前景目标，并保存由多个图像帧中的前景目标构成的所述前景目标的运动轨迹及对应的时间；所述轨迹重排单元，用于将所有前景目标的运动轨迹进行时域和空域重排，其中至少一个前景目标的运行轨迹重排到第一区域、至少一个前景目标的运行轨迹重排到第二区域，在所述原始视频中所有的前景目标位于所述第一区域；所述摘要创建单元，用于根据重排顺序，将所有前景目标的运动轨迹通过无缝拼接生成视频摘要。
[0008]在本发明所述的用于生成视频摘要的系统中，所述轨迹重排单元包括区域识别子单元、第一重排子单元和第二重排子单元，其中:所述区域识别子单元，用于识别原始视频中的第一区域及第二区域，在所述原始视频中所有的前景目标位于所述第一区域、且在所述原始视频中第二区域中无前景目标；所述第一重排子单元用于在所有运动轨迹中选择第一组前景目标的运动轨迹，并将该组前景目标的运动轨迹重排到第一区域，所述第一组前景目标中包括至少一个前景目标的运行轨迹；所述第二重排子单元用于在剩余的前景目标的运行轨迹中选择第二组前景目标的运行轨迹，并将该组前景目标的运行轨迹重排到第二区域。
[0009]在本发明所述的用于生成视频摘要的系统中，所述区域识别子单元将原始视频的所有图像帧中都无前景目标的区域识别为背景区域，并使所述第二区域位于该背景区域内、使所述第一区域位于该背景区域外或部分位于该背景区域内，且所述第一区域和第二区域的范围动态变化。
[0010]在本发明所述的用于生成视频摘要的系统中，所述摘要创建单元在创建视频摘要时使用原始视频中该第一区域的背景作为视频摘要中的第一区域的背景，并使用原第一区域或第一区域的一部分的背景替换第二区域的背景使用。
[0011]在本发明所述的用于生成视频摘要的系统中，所述摘要创建单元在创建视频摘要时，使所述视频摘要中的第二区域的背景及前景目标的显示比例小于1: 1，并使所述第二区域的背景及前景目标的轨迹相对原始视频旋转-45度?+45度。
[0012]本发明还提供一种用于生成视频摘要的方法，包括以下步骤:
[0013](a)根据原始视频中前后图像帧的帧间梯度信息提取图像帧中的前景目标，并保存由多个图像帧中的前景目标构成的所述前景目标的运动轨迹及对应的时间；
[0014](b)将所有前景目标的运动轨迹进行时间和空域重排，其中至少一个前景目标的运行轨迹重排到第一区域、至少一个前景目标的运行轨迹重排到第二区域，在所述原始视频中所有的前景目标位于所述第一区域；
[0015](c)根据重排顺序，将所有前景目标的运动轨迹通过无缝拼接生成视频摘要。
[0016]在本发明所述的用于生成视频摘要的方法中，所述步骤(b)包括:
[0017](bl)识别原始视频中的第一区域及第二区域，在所述原始视频中所有的前景目标位于所述第一区域、且在所述原始视频中第二区域中无前景目标；
[0018](b2)在所有运动轨迹中选择第一组前景目标的运动轨迹，并将该组前景目标的运动轨迹重排到第一区域，所述第一组前景目标中包括至少一个前景目标的运行轨迹；
[0019](b3)在剩余的前景目标的运行轨迹中选择第二组前景目标的运行轨迹，并将该组前景目标的运行轨迹重排到第二区域。
[0020]在本发明所述的用于生成视频摘要的方法中，所述步骤(bl)中包括:将原始视频的所有图像帧中都无前景目标的区域识别为背景区域，并使所述第二区域位于该背景区域内、使所述第一区域位于该背景区域外或部分位于该背景区域内，且所述第一区域和第二区域的范围动态变化。
[0021]在本发明所述的用于生成视频摘要的方法中，所述步骤(C)中的视频摘要中，所述第一区域的背景使用原始视频中该第一区域的背景，第二区域的背景使用原第一区域或第一区域的一部分的背景替换。
[0022]在本发明所述的用于生成视频摘要的方法中，所述步骤视频摘要中的第二区域的背景及前景目标的显示比例小于或等于1: 1，且所述第二区域的背景及前景目标的轨迹相对原始视频旋转-45度?+45度。[0023]本发明的用于生成视频摘要的系统及方法，通过将前景目标的运行轨迹在空域和时域上重排，可大大提高视频摘要中的信息量，从而大大删减原始视频中的冗余信息。
【专利附图】
【附图说明】
[0024]图1是本发明用于生成视频摘要的方法实施例的示意图。
[0025]图2是图1中的用于生成视频摘要的方法空域重排的示意图。
[0026]图3是图1中的用于生成视频摘要的方法另一空域重排的示意图。
[0027]图4是图1中的用于生成视频摘要的方法又一空域重排的示意图。
[0028]图5是图1中的用于生成视频摘要的方法时域重排的示意图。
[0029]图6是本发明用于生成视频摘要的系统实施例的示意图。
【具体实施方式】
[0030]为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0031]如图1所示，是本发明用于生成视频摘要的方法实施例的示意图，该方法用于将播放时间较长的原始视频转换为具有较短播放时间的视频摘要，且保留原始视频中的有用信息。该方法包括以下步骤:
[0032]步骤S31:根据原始视频中前后图像帧的帧间梯度信息提取图像帧中的前景目标，并保存由多个图像帧中的前景目标构成的所述前景目标的运动轨迹及对应的时间。
[0033]在判断图像帧中前景目标时，可通过对原始视频数据进行背景建模实现。例如，当图像平面上的一给定像素点S= (x，y)，亮度函数为I，其历史数据记为{II，12，..., It-Ι},可通过混合高斯模型使用K个高斯分布来表征该像素点的特征，并通过对其在线更新来表征背景的渐变。具体可定义当前像素点的概率密度函数为该K个高斯模型的概率密度函数的加权和，如下式所示:
[0034]
【权利要求】
1.一种用于生成视频摘要的系统，其特征在于:包括轨迹提取单元、轨迹重排单元以及摘要创建单元，其中:所述轨迹提取单元，用于根据原始视频中前后图像帧的帧间梯度信息提取图像帧中的前景目标，并保存由多个图像帧中的前景目标构成的所述前景目标的运动轨迹及对应的时间；所述轨迹重排单元，用于将所有前景目标的运动轨迹进行时域和空域重排，其中至少一个前景目标的运行轨迹重排到第一区域、至少一个前景目标的运行轨迹重排到第二区域，在所述原始视频中所有的前景目标位于所述第一区域；所述摘要创建单元，用于根据重排顺序，将所有前景目标的运动轨迹通过无缝拼接生成视频摘要。
2.根据权利要求1所述的用于生成视频摘要的系统，其特征在于:所述轨迹重排单元包括区域识别子单元、第一重排子单元和第二重排子单元，其中:所述区域识别子单元，用于识别原始视频中的第一区域及第二区域，在所述原始视频中所有的前景目标位于所述第一区域、且在所述原始视频中第二区域中无前景目标；所述第一重排子单元用于在所有运动轨迹中选择第一组前景目标的运动轨迹，并将该组前景目标的运动轨迹重排到第一区域，所述第一组前景目标中包括至少一个前景目标的运行轨迹；所述第二重排子单元用于在剩余的前景目标的运行轨迹中选择第二组前景目标的运行轨迹，并将该组前景目标的运行轨迹重排到第二区域。
3.根据权利要求2所述的用于生成视频摘要的系统，其特征在于:所述区域识别子单元将原始视频的所有图像帧中都无前景目标的区域识别为背景区域，并使所述第二区域位于该背景区域内、使所述第一区域位于该背景区域外或部分位于该背景区域内，且所述第一区域和第二区域的范围动态变化。
4.根据权利要求1所述的用于生成视频摘要的系统，其特征在于:所述摘要创建单元在创建视频摘要时使用原始视频中该第一区域的背景作为视频摘要中的第一区域的背景，并使用原第一区域或第一区域的一部分的背景替换第二区域的背景使用。
5.根据权利要求4所述的用于生成视频摘要的系统，其特征在于:所述摘要创建单元在创建视频摘要时，使所述视频摘要中的第二区域的背景及前景目标的显示比例小于或等于1: 1，并使所述第二区域的背景及前景目标的轨迹相对原始视频旋转-45度~+45度。
6.一种用于生成视频摘要的方法，其特征在于:包括以下步骤: (a)根据原始视频中前后图像帧的帧间梯度信息提取图像帧中的前景目标，并保存由多个图像帧中的前景目标构成的所述前景目标的运动轨迹及对应的时间； (b)将所有前景目标的运动轨迹进行时域和空域重排，其中至少一个前景目标的运行轨迹重排到第一区域、至少一个前景目标的运行轨迹重排到第二区域，在所述原始视频中所有的前景目标位于所述第一区域； (c)根据重排顺序，将所有前景目标的运动轨迹通过无缝拼接生成视频摘要。
7.根据权利要求6所述的用于生成视频摘要的方法，其特征在于:所述步骤(b)包括: (bl)识别原始视频中的第一区域及第二区域，在所述原始视频中所有的前景目标位于所述第一区域、且在所述原始视频中第二区域中无前景目标； (b2)在所有运动轨迹中选择第一组前景目标的运动轨迹，并将该组前景目标的运动轨迹重排到第一区域，所述第一组前景目标中包括至少一个前景目标的运行轨迹； (b3)在剩余的前景目标的运行轨迹中选择第二组前景目标的运行轨迹，并将该组前景目标的运行轨迹重排到第二区域。
8.根据权利要求7所述的用于生成视频摘要的方法，其特征在于:所述步骤(bl)中包括:将原始视频的所有图像帧中都无前景目标的区域识别为背景区域，并使所述第二区域位于该背景区域内、使所述第一区域位于该背景区域外或部分位于该背景区域内，且所述第一区域和第二区域的范围动态变化。
9.根据权利要求6所述的用于生成视频摘要的方法，其特征在于:所述步骤(c)中的视频摘要中，所述第一区域的背景使用原始视频中该第一区域的背景，第二区域的背景使用原第一区域或第一区域的一部分的背景替换。
10.根据权利要求6所述的用于生成视频摘要的方法，其特征在于:所述步骤视频摘要中的第二区域的背景及前景目标的显 示比例小于或等于1:1，且所述第二区域的背景及前景目标的轨迹相对原始视频旋转-45度~+45度。
【文档编号】G06F17/30GK103793477SQ201410011112
【公开日】2014年5月14日 申请日期:2014年1月10日 优先权日:2014年1月10日
【发明者】史方, 胡韦伟, 金明 申请人:同观科技（深圳）有限公司