基于代表性特征的视频摘要提取方法及其系统的制作方法
【专利摘要】一种基于代表性特征的视频摘要提取方法及其系统，包括：事件提取模块、事件聚类模块、代表性事件选取模块和事件快照模块，通过事件提取模块对视频中的每一帧图像进行前景块提取和筛选，得到视频中所有的前景块序列，将每个前景块序列作为视频的一个事件；然后通过事件聚类模块对事件进行聚类，并通过代表性事件选取模块根据代表性特征值对各事件类选取代表性的事件；最后通过事件快照模块对每个代表性事件制作快照得到视频的摘要；本发明设计合理，可以快速有效提取视频中的信息。
【专利说明】
基于代表性特征的视频摘要提取方法及其系统
技术领域
[0001] 本发明设及的是一种视频图像处理领域的技术，具体是一种基于代表性特征的视 频摘要提取方法及其系统。
【背景技术】
[0002] 随着视频监控越来越普及，监控视频的长度和数量迅速增长，所W从长的监控视 频中高效地提取有效的信息是很重要的工作。通过查看整个监控视频来获得视频中的有效 信息费时费力，考虑到视频长度和数量越来越多，运种方式也越来越不可行。所W找到合适 的对长视频的基于代表提取的视频分析和摘要方法显得极为重要。
[0003] 目前有一种方法是对视频的关键帖进行检测和提取，使用关键帖作为视频的摘要 的方法。运种方法虽然可W有效获得视频的一些信息，但其只提取视频关键帖，没有表达出 视频的时间信息。在视频中关键信息很多且分散在不同帖的情况下，运种方法效率较低，对 于对时间信息有要求的监控视频并不适用。
[0004] 最近几年，一些基于序列的视频摘要方法被提出。运些方法对视频的每一帖提取 前景，然后关联前景得到前景序列，并对前景序列进行时域上的压缩。运些方法虽然对提取 的事件进行了时域上的压缩，但未对视频中的事件信息进行有效的分析整理。
[0005] 经过对现有技术的检索发现，中国专利文献号CN103345492A，公布日2013.10.9， 公开了一种视频浓缩的方法和系统，包括:对原视频图像中的每帖图像进行建模分析，判定 前景与背景的区域位置;建立二值图；对前景中的每个目标物体进行跟踪，得到事件体;将 事件体W及事件体的信息存储到前景图像数据库中；将存储在事件体数据库中的事件体按 预设的时间间隔切分成事件片并获取事件片的特征信息;对事件片进行聚类分类;进行视 频浓缩展现;所述方法还包括对背景图像进行采样。但该技术需要对每帖图像分析前景区 域和背景区域，对每个目标进行跟踪，加大了数据处理量和程序繁琐程度，无法对不同类型 的大量事件进行有效的浓缩和展示。
【发明内容】
[0006] 本发明针对现有技术存在的上述不足，提出一种基于代表性特征的视频摘要提取 方法及其系统，通过提取视频中的前景块序列作为事件，对事件进行聚类，提取代表性的事 件，并制作快照和视频摘要，快速有效地获取视频中的有效信息，方便用户查看。
[0007] 本发明是通过W下技术方案实现的：
[000引本发明设及一种基于代表性特征的视频摘要提取方法，通过对视频中的每一帖图 像进行前景块提取和筛选，得到视频中所有的前景块序列，每个前景块序列作为视频的一 个事件;然后对前景块序列进行聚类，并根据代表性特征值对聚类得到的每一类前景块序 列选取代表性的前景块序列；最后通过对每个代表性前景块序列制作快照得到视频的摘 要。
[0009]所述的前景块序列是指:若连续两帖提取到的前景像素点重叠面积与该两帖前景 像素点面积平均值的比值大于设定值，则将该两帖的前景块按时间顺序连接起来得到的序 列。
[0010] 所述的筛选是指:筛除提取出的大小小于背景图片1/100,大于背景图片1/3的前 景块。
[0011] 所述的背景图片是指没有前景块的帖。
[0012] 所述的代表性的前景块序列为通过暴力捜索的方法得到每一前景序列类中代表 性特征值最大的前景块序列。
[0013] 所述的代表性特征值包括前景块序列的质量信息、大小信息和与聚类中屯、的距离 信息。
[0014] 所述的代表性特征值 <HR(u,v))=Ac<l)c(R(u,v))+As(l)s(R(u,v))+Ad(l)d(R(u, V))，其中：R(u，v)是起止帖分别为第U帖和第V帖的前景块序列，A。、、和、!为权重因子，4。 (R(u，v))为前景块序列(R(u，v))的质量，d)s(R(u，v))为前景块序列(R(u，v))的大小，d)d(R (u，v)为前景块序列(R(u，v))与聚类中屯、的距离。
[0015] 所述的前景块序列的质量
，其中：故为前景块序列R(u，v) 的第k个前景块，H(Bk)为前景块化的质量，NBk为前景块序列R(u，v)中前景块的个数。
[0016] 所述的前景块的质量H(化）为核前昔诀化所有像素点的赌。
[0017] 所述的前景块的质量
，其中：h(i)为前景块Bk灰度化之 后像素值为i的像素点的个数，IBkI为前景块化中像素点的个数。
[0018] 所述的前景块序列的大小
其中：S(Bk)为前景块Bk的大 小，var(s(Bk))为前景块序列R(u，v)中前景块大小的方差。
[0019] 所述的前景块序列与聚类中屯、的距長
，其 中:Ga为结果聚类得到的一类前景块序列，R(U，V)与R(U'，V'）为前景块序列类Ga中两个不同 的前景块序列，IGaI为前景块序列类Ga中前景块序列的个数，0(3(11，乂），1?(11'，乂'））为两个前 景块序列R(U，V)和R(u'，v'）之间的距离。
[0020] 所述的制作快照是指:通过在同一张背景图片上标示出前景块序列中的起止帖的 前景块的点，通过前景块序列中各帖前景块像素的中屯、，描绘出物体运动的轨迹。
[0021] 本发明设及一种实现上述方法的系统，包括:事件提取模块、事件聚类模块、代表 性事件选取模块和事件快照模块，其中：事件提取模块提取视频中的事件信息，并传输至事 件聚类模块进行聚类;代表性事件选取模块选取事件聚类模块中各事件类中的代表性事 件，并传输至事件快照模块对各代表性事件制作快照，生成视频摘要。 技术效果
[0022] 与现有技术相比，本发明通过对连续视频图像的每一帖中的前景进行事件的提 取，并通过筛选去除噪所，提高了视频中事件检测和提取的准确性和鲁棒性；同时，结合时 间和空间信息对事件进行聚类，使得时间信息有序化，用户可W通过查看图片就获得事件 信息。
【附图说明】
[0023] 图1为本发明示意图；
[0024] 图2为实施例效果图。
【具体实施方式】
[0025] 下面对本发明的实施例作详细说明，本实施例在W本发明技术方案为前提下进行 实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施 例。 实施例1
[0026] 如图1所示，本实施例在PC机上运行，包括W下步骤：
[0027] 步骤1、对视频中的每一帖图像进行前景块提取和筛选，得到视频中所有的前景块 序列。
[002引所述的前景块提取采用B.Olivier等人的"ViBe:A Universal Background Subtraction Algorithm for Video Sequences''（ IEEE Transactions on Image Processing) -文中的ViBe前景提取算法。
[0029] 所述的筛选是指:筛除提取出的大小小于背景图片1/100,大于背景图片1/3的前 景块。
[0030] 所述的背景图片是指没有前景块的帖。
[0031] 所述的前景过小，说明可能为噪声，过大可能是由于摄像头抖动。
[0032] 所述的前景块序列是指:若连续两帖提取到的前景像素点重叠面积与该两帖前景 像素点面积平均值的比值大于设定值，将该两帖的前景块按时间顺序连接起来得到的序 列。
[0033] 本实施例的设定值为70%。
[0034] 步骤2、计算视频中的两个前景块序列之间的距离，采用谱聚类进行聚类，得到特 定类数的前景块序列类，并对各类前景块序列根据代表性特征值提取代表性的前景块序 列。
[0(X3日]所述的前景块序列之间的距离计算采用Meinard Miiller等人的《Information Retrieval for Music and Motion))一书中"Dynamic Time Waging" -章中的算法，其中： 前景块的重屯、作为该前景块的位置，两个前景块位置的欧拉距离作为两个前景块的距离。
[0036] 所述的谱聚类引自 Ulr ike von Luxburg等人的"A tutor ial spectral clustering"(Statistics and Computin邑）一文。
[0037] 所述的代表性特征值包括前景块序列的质量信息、大小信息和与聚类中屯、的距离 信息。
[003引所述的代表性特征值 <HR(u,v))=入 c4c(R(u,v))+、<l)s(R(u,v))+、i<l)d(R(u, V))，其中：R(u，v)是起止帖分别为第U帖和第V帖的前景块序列，A。、、和、!为权重因子，4。 (R(u，v))为前景块序列(R(u，v))的质量，d)s(R(u，v))为前景块序列(R(u，v))的大小，d)d(R (u，v)为前景块序列(R(u，v))与聚类中屯、的距离。
[0039] 所述的前景块序列的质量
其中：Bk为前景块序列R(u, V) 的第k个前景块，H(Bk)为前景块化的质量，N为前景块序列R(u，v)中前景块的个数。
[0040] 所述的前景块的质量H(化)为该前景块化所有像素点的赌。
[0041] 所述的前景块的质量
其中:h(i)为前景块Bk灰度化之 后像素值为i的像素点的个数，IBkI为前景块化中像素点的个数。
[0042] 所述的前景块序列的大/J
其中：S(Bk)为前景块Bk的大 小，var(s(Bk))为前景块序列R(u，v)中前景块大小的方差。
[0043] 所述的前景块序列与聚类中屯、的距長
，其 中:Ga为结果聚类得到的一类前景块序列，R(U，V)与R(U'，V'）为前景块序列类Ga中两个不同 的前景块序列，IGaI为前景块序列类Ga中前景块序列的个数，0(3(11，乂），1?(11'，乂'））为两个前 景块序列R(U，V)和R(u'，v'）之间的距离。
[0044] 所述的前景块序列的质量越大，则表明该序列中的前景块越清晰，包含的信息越 多，质量越高。
[0045] 所述的前景块序列的大小越大，则表明该序列中的前景块大小变化均匀。
[0046] 所述的代表性的前景块序列为通过暴力捜索的方法得到每一前景序列类中代表 性特征值最大的前景块序列。
[0047] 步骤3、对视频中的每个前景块序列制作快照，具体包括W下步骤：
[0048] SI:将前景块序列的起止前景块在背景图片上画出，如图2所示，图中al为前景块 序列的起始帖提取出的前景块，a6为结束帖提取出的前景块。
[0049] S2:通过在背景图片上标出前景块序列中每一前景块像素的重屯、，描绘出物体移 动的轨迹，图中曰2~曰5为前景块序列除起止帖W外的帖所提取出的前景块，得到该前景块 序列的快照。
[0050] 通过实验发现，本实施例在处理长度为35min的视频需要6min，提取到89个事件 类，快速高效，并且能更有效地更有序地表达出视频中的有效信息。
[0051] 由于长视频中事件数量会很多，也会分成多个类型，直接观看长视频来获得其中 的有效信息是一件费时费力的事情，通过提取每一个视频中的事信息，对提取到的事件信 息进行聚类，然后将聚类得到的每一个事件类选取一个代表性的事件;并且对每一类事件 分别做一个简短的视频摘要、制作快照，W便更迅速了解整个事件。通过观察运些摘要和快 照，我们可W有效快速得到视频中的信息。
【主权项】
1. 一种基于代表性特征的视频摘要提取方法，其特征在于，通过对视频中的每一帖图 像进行前景块提取和筛选，得到视频中所有的前景块序列，每个前景块序列作为视频的一 个事件;然后对前景块序列进行聚类，并根据代表性特征值对聚类得到的每一类前景块序 列选取代表性的前景块序列；最后通过对每个代表性前景块序列制作快照得到视频的摘 要。2. 根据权利要求1所述的视频摘要提取方法，其特征是，若连续两帖提取到的前景像素 点重叠面积与该两帖前景像素点面积平均值的比值大于设定值，则将该两帖的前景块按时 间顺序连接起来得到的序列。3. 根据权利要求1所述的视频摘要提取方法，其特征是，所述的筛选是指:筛除提取出 的大小小于背景图片1/100,大于背景图片1/3的前景块； 所述的背景图片是指没有前景块的帖。4. 根据权利要求1所述的视频摘要提取方法，其特征是，所述的代表性的前景块序列为 通过暴力捜索的方法得到每一前景序列类中代表性特征值最大的前景块序列，其中：代表 性特征值包括前景块序列的质量信息、大小信息和与聚类中屯、的距离信息。5. 根据权利要求4所述的视频摘要提取方法，其特征是，所述的代表性特征值Φ(Κ(ιι, V)) =λ。Φ c(R(u,V) )+As Φs(R(u,V))+λ(? (J)d(R(u,v))，其中：R(u,V)是起止帖分别为第U帖和 第V帖的前景块序列，λΕ、λ3和Ad为权重因子，φ。(R(u，v))为前景块序列(R(u，v))的质量，Φs (R(u，v))为前景块序列(R(u，v))的大小，d)d(R(u，v)为前景块序列(R(u，v))与聚类中屯、的 距离。6. 根据权利要求5所述的视频摘要提取方法，其特征是，所述的前景块序列的质量其中：故为前景块序列R(u，V)的第k个前景块，H(Bk)为前景块Bk的 质量，N为前景块序列R(u，v)中前景块的个数； 所述的前景块的质量，其中：h(i)为前景块Bk灰度化之后像 素值为i的像素点的个数，I Bk I为前景块化中像素点的个数； 所述的前景块序列的大其中：S(化)为前景块Bk的大小，var (s(Bk))为前景块序列R(u，v)中前景块大小的方差； 所述的前景块序列与聚类中屯、的距离其中：Ga 为结果聚类得到的一类前景块序列，R(u，v)与R(u，，v，）为前景块序列类Ga中两个不同的前 景块序列，|Ga|为前景块序列类Ga中前景块序列的个数，0(3(11，乂），1?(11，，乂，））为两个前景块 序列R(u，v)和R(u，，v，）之间的距离。7. 根据权利要求1所述的视频摘要提取方法，其特征是，所述的制作快照是指:通过在 同一张背景图片上标示出前景块序列中的起止帖的前景块的点，通过前景块序列中各帖前 景块像素的中屯、，描绘出物体运动的轨迹。8. -种实现上述任一权利要求所述视频摘要提取方法的系统，其特征在于，包括:事件 提取模块、事件聚类模块、代表性事件选取模块和事件快照模块，其中：事件提取模块提取 视频中的事件信息，并传输至事件聚类模块进行聚类;代表性事件选取模块选取事件聚类 模块中各事件类中的代表性事件，并传输至事件快照模块对各代表性事件制作快照，生成 视频摘要。
【文档编号】H04N21/8549GK105979406SQ201610268490
【公开日】2016年9月28日
【申请日】2016年4月27日
【发明人】林巍峣, 琚震, 王晓琦
【申请人】上海交通大学