专利名称：基于能量分布最优策略的视频摘要方法
技术领域：
本发明涉及对视频流的分析与处理领域，特别涉及一种基于能量分布最优策略的视频摘要方法。
背景技术：
随着网络以及多媒体技术的迅速发展，涌现出了大量的数字视频，如新闻、广告、监控视频、家庭视频等。数字视频的大量涌现引发了许多新的技术，包括视频存档、编目、索引以及有效存取等。在众多的研究领域中有一个重要的问题，即如何快速浏览大容量的视频数据，如何获取和表现视频的内容。为了解决这个问题，近年来出现了视频摘要技术。视频摘要，即以自动或半自动的方式对视频的结构和内容进行分析，从原视频中提取出有意义的部分，并将它们以某种方式进行组合，形成简洁的、能够充分表现视频语义内容的概要。它是对长视频内容的简短总结，通常用一段静态或者动态的图像序列来表示，并对原始信息予以保留。视频摘要方法得到的浓缩视频以其包含信息完整，时间短的优势，得到国内外学校和公司的关注，如Virage、哥伦比亚大学的VideoQ、IBM的CueVideo和卡耐基梅隆大学(CMU)的 Informedia II 等、微软亚洲研究院(Zhong D, Shih-Fu Chang.“StructureAnalysis of Sports Video Using Domain Models.” ICME, 2001)和中国科学院计算所(Ouyang Jianquan, Li Jintao, Zhang Yongdong.“Replay Boundary Detection in MPEGCompressed Vide0.，’IEEE The Second International Conference on Machine Learningand Cybernetics, 2003)、清华大学、浙江大学、复旦大学等。
发明内容
本发明的目的是 提供一种基于能量分布最优策略的视频摘要方法。为了实现上述目的，一种基于能量分布最优策略的视频摘要方法，包括:基于最大概率对视频图像进行背景建模与前景分割；基于最优如景覆盖进行目标跟踪；计算最大事件能量；基于能量分布最优策略进行事件重组。本发明通过基于最优前景覆盖的方法，不但可以快速实现目标跟踪，而且通过保留所有前景图像部分，最大程度的保留了所有的事件。本发明基于最大概率的背景建模方法，快速有效，适用于离线视频的背景分离。
图1是本发明技术方案流程图；图2是基于能量分布最优策略的浓缩视频流程图；图3是事件重组方式。
具体实施例方式本发明的思想要点是:1)使用基于最大概率的背景建模方法，可以快速有效的分离离线视频的背景和前景。2)通过基于最优前景覆盖的方法，快速实现目标跟踪，并且最大程度的保留所有的事件。3)通过定义事件能量，和计算能量分布，获得兼顾事件完整性和浓缩效率的事件重组方式，从而获得包含所有事件的视频摘要。本发明的整个技术方案流程图如附图1所示。下面对发明中所涉及到的技术细节予以说明。基于最大概率的背景建模与前景分割一段视频可用以下方式定义:V = {N I (x, y, ti), i = I,..., N},其中 I (x, y, tj为视频中的第i帧图像，整个视频的帧数为N。基于最大概率的背景建模指的是在一段时间内，把每个像素点处出现频率最高的背景值作为该像素位置的背景图像的值。具体实施步骤如下:步骤1:背景建模。每帧图像分辨率为HXW，为图像中的每个像素点建立一个统计直方图1ii, Jk)，统计直方图的维数为256，即IlhyGOll = 256，每一维k(k = 0，l，...，255)代表着像素值k在统计时间中出现的频数。我们把整个视频，分为若干段，每10分钟一段，提取每段视频的前T帧图像，对图像中的每一点做统计直方图hq(k)，从而得到整幅图像在前T帧中的统计结果为:Hist =(HXWlhi,j(k)，i = 1，...H ;j = 1，...，W ;k = 0，...,255}，其中，Hist为背景直方图，Iii,」(k)是点(i，j)处的统计直方图，W为图像的宽，H为图像的闻。
背景图像上的像素点对应于统计直方图中出现频数较多的像素点，则点(i，j)处的背景图像的像素值为:B (i, /) = arg max htJ(k)( I)其中，B(i，j)为点(i，j)处背景的像素值，hyGO是点(i，j)处的统计直方图。从而得到该段视频的背景图像为:B(x, y) = {HXW|B(i, j), i = I,...H ；j = I,..., ff}(2)步骤2:前景分割。将每一帧图像与步骤I中得到的背景图像相减，再利用图割算法(Jian Sun,Weiwei Zhang, Xiaoou Tang, Heung-Yeung Shum,“Background Cut”，ECCV, 2006)得到精确的二值前景图像F(X, y, 。基于最优如景覆盖的目标跟踪对提取得到的前景图像F(x，y, \)，寻找图像中相互独立的目标区域:Rai)={n|rj(x, y, w, h, , j = I,..., η}, (x, y)为目标区域最小外接矩形的左上角坐标，(w, h)为最小外接矩形的大小。并将Rai)存储到一块临时的内存区域。临时内存区域分别存储了相邻2帧图像的相互独立的目标区域R(V1)和Rai)，为了快速得到图像中的目标序列，使用最优前景覆盖率方法。对于运动目标，在相邻2帧图像中的相对位移比较小，因此在前景区域中有很大的重叠面积，可以通过定义两个区域的覆盖率来跟踪目标。两个区域的覆盖率用式(3)计
权利要求
1.一种基于能量分布最优策略的视频摘要方法，包括: 基于最大概率对视频图像进行背景建模与前景分割； 基于最优前景覆盖进行目标跟踪； 计算最大事件能量； 基于能量分布最优策略进行事件重组。
2.根据权利要求1所述的方法，还包括:使用泊松图像编辑方法对图像的拼接进行处理。
3.根据权利I所述的方法，其特征在于所述背景建模包括: 统计时间T内的背景直方图； 以每点最大概率出现的值作为背景点像素值。
4.根据权利3所述的方法，其特征在于统计时间T内的背景直方图由以下公式决定: Hist = {HXWI Iii,」(k)，i = 1，...H ; j = I,..., W ；k = O,.., 255} 其中，Hist为背景直方图，、j(k)是点(i，j)处的统计直方图，W为图像的宽，H为图像的闻。
5.根据权利3所述的方法，其特征在于获得背景的每点的像素值由以下公式决定: B {i, /) = arg max H j (々) 其中，B(i，j)为点(i，j)处背景的像素值，hi, j(k)是点(i，j)处的统计直方图。
6.根据权利要求1所述的方法，其特征在于所述前景分割包括: 将每一帧图像与背景图像相减； 利用图割算法得到二值前景图像。
7.根据权利I所述的方法，其特征在于计算前景覆盖率由以下公式决定:
8.根据权利7所述方法，其特征在于判断目标是否得到匹配由以下公式决定:
9.根据权利7所述方法，其特征在于判断目标是否消失由以下公式决定:
10.根据权利I所述方法，其特征在于计算最大事件能量，由以下公式决定:
11.根据权利I所述的方法，其特征在于所述基于能量分布最优策略进行事件重组包括: 初始化浓缩视频； 重组事件到浓缩视频中，得到临时浓缩视频； 计算事件能量分布； 获得最大的能量分布。
12.根据权利11所述方法，其特征在于计算事件重组后的能量由以下公式决定:
13.根据权利11所述方法，其特征在于计算事件重组后的能量损失由以下公式决定:
全文摘要
一种基于能量分布最优策略的视频摘要方法，包括基于最大概率对视频图像进行背景建模与前景分割；基于最优前景覆盖进行目标跟踪；计算最大事件能量；基于能量分布最优策略进行事件重组。本发明通过基于最优前景覆盖的方法，不但可以快速实现目标跟踪，而且通过保留所有前景图像部分，最大程度的保留了所有的事件。本发明基于最大概率的背景建模方法，快速有效，适用于离线视频的背景分离。
文档编号G06F17/30GK103226586SQ20131012349
公开日2013年7月31日 申请日期2013年4月10日 优先权日2013年4月10日
发明者黄凯奇, 曹黎俊, 谭铁牛 申请人:中国科学院自动化研究所