一种视频显著性的分析方法及装置的制造方法
【技术领域】
[0001]本发明涉及视频数据挖掘技术领域，具体涉及一种视频显著性的分析方法及装置。
【背景技术】
[0002]随着数字技术的发展，视频数据也呈现出了爆炸式增长，如何对视频进行快速的语义解析以及信息获取，有助于提高对海量视频的存储、分类以及检索速度，提高管理效率。
[0003]现有的视频显著性分析方法主要是将视频的每一帧图像划分为超像素单元，然后对每个超像素单元进行测度计算，并将得到的测度值进行融合获得超像素单元的显著性图，最后对超像素单元的显著性图进行双边高斯滤波得到视频显著性图。
[0004]但是，现有技术中并没有涉及亮度信息以及音频信息对视频显著性分析的影响，导致无法获得准确、全面的视频数据的显著性。
【发明内容】
[0005]针对现有技术中无法获得准确、全面的视频数据的显著性的缺陷，本发明提供了一种视频显著性的分析方法及装置。
[0006]本发明提供的一种视频显著性的分析方法，包括:
[0007]对于待分析视频流，提取全部关键帧；
[0008]针对每一所述关键帧，获取该关键帧对应的显著图；
[0009]获取所述待分析视频流的音频描述符；
[0010]将获取的全部关键帧对应的显著图与所述待分析视频流的音频描述符进行关联，得到该视频流的视频显著性图。
[0011]进一步地，所述针对每一所述关键帧，获取该关键帧对应的显著图的步骤，包括:
[0012]针对每一所述关键帧提取该关键帧的颜色特征、亮度特征和运动特征；
[0013]根据所述关键帧的颜色特征、亮度特征和运动特征确定该关键帧对应的显著图。
[0014]进一步地，所述根据所述关键帧的颜色特征、亮度特征和运动特征确定该关键帧对应的显著图的步骤，包括:
[0015]将所述关键帧的颜色特征进行融合获得该关键帧的颜色单元素显著图，将所述关键帧的亮度特征进行融合获得该关键帧的亮度单元素显著图，将所述关键帧的运动特征进行融合获得该关键帧的运动单元素显著图；
[0016]将所述关键帧的颜色单元素显著图、亮度单元素显著图和运动单元素显著图进行叠加得到该关键帧对应的显著图。
[0017]进一步地，所述获取所述待分析视频流的音频描述符的步骤，包括:
[0018]采用音频显著模型获取所述待分析视频流的音频描述符。
[0019]进一步地，所述将获取的全部关键帧对应的显著图与所述待分析视频流的音频描述符进行关联，得到该视频流的视频显著性图的步骤，包括:
[0020]将获取的全部关键帧对应的显著图与所述待分析视频流的音频描述，根据时间顺序进行同步关联，得到该视频流的视频显著性图。
[0021]另一方面，本发明还提供了一种视频显著性的分析装置，包括:
[0022]关键帧提取模块，用于对于待分析视频流，提取全部关键帧；
[0023]第一获取模块，用于针对每一所述关键帧，获取该关键帧对应的显著图；
[0024]第二获取模块，用于获取所述待分析视频流的音频描述符；
[0025]关联模块，用于将获取的全部关键帧对应的显著图与所述待分析视频流的音频描述符进行关联，得到该视频流的视频显著性图。
[0026]进一步地，所述第一获取模块包括特征提取子模块和确定子模块；
[0027]特征提取子模块，用于针对每一所述关键帧提取该关键帧的颜色特征、亮度特征和运动特征；
[0028]确定子模块，用于根据所述关键帧的颜色特征、亮度特征和运动特征确定该关键帧对应的显著图。
[0029]进一步地，所述确定子模块进一步具体用于:
[0030]将所述关键帧的颜色特征进行融合获得该关键帧的颜色单元素显著图，将所述关键帧的亮度特征进行融合获得该关键帧的亮度单元素显著图，将所述关键帧的运动特征进行融合获得该关键帧的运动单元素显著图；
[0031]将所述关键帧的颜色单元素显著图、亮度单元素显著图和运动单元素显著图进行叠加得到该关键帧对应的显著图。
[0032]进一步地，所述第二获取模块具体用于:
[0033]采用音频显著模型获取所述待分析视频流的音频描述符。
[0034]进一步地，所述关联模块具体用于:
[0035]将获取的全部关键帧对应的显著图与所述待分析视频流的音频描述符，根据时间顺序进行同步关联，得到该视频流的视频显著性图。
[0036]本发明提供的一种视频显著性的分析方法及装置，通过从包括颜色、亮度在内的静态显著性与视频图像在空间的运动变化特征相结合进行显著性图的提取，同时将其与音频数据进行管理匹配，从而获得视频数据的全面显著性，有效地提高了视频显著性分析的准确性。
【附图说明】
[0037]通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中:
[0038]图1是本发明一个实施例中视频显著性的分析方法的流程示意图；
[0039]图2是本发明一个实施例中获取每一帧关键帧视屏图像的显著图的流程示意图；
[0040]图3是本发明一个实施例中视频显著性的分析装置的结构示意图。
【具体实施方式】
[0041]现结合附图和实施例对本发明技术方案作进一步详细阐述。
[0042]图1示出了本实施例中视频显著性的分析方法的流程示意图，如图1所示，本实施例提供的一种视频显著性的分析方法，包括:
[0043]SI，对于待分析视频流，提取全部关键帧。
[0044]其中，所述关键帧的提取可根据相邻帧之间的距离进行提取，例如，从获取的视频中任意提取一帧作为第一个关键帧，然后判断与该第一个关键帧相邻的帧的灰度距离是否大于预设阈值，如果大于则该相邻帧为第二个关键帧，否则判断下一帧，依次执行直至提取到该视频中的全部关键帧为止。
[0045]所述关键帧的提取方式可采用本领域公知方法，本实施例仅为举例说明，并不对其进行限定。
[0046]S2，针对每一所述关键帧，获取该关键帧对应的显著图；
[0047]S3，获取所述待分析视频流的音频描述符。本实施例中，可以采用音频显著模型获取该视频的音频描述符。
[0048]S4，将获取的全部关键帧对应的显著图与所述待分析视频流的音频描述符进行关联，得到该视频流的视频显著性图。具体的，根据时间顺序将获取的全部关键帧对应的显著图与所述待分析视频流的音频描述符进行同步关联。
[0049]如图2所示，所述S2针对每一所述关键帧，获取该关键帧对应的显著图的步骤，包括:
[0050]S21，针对每一所述关键帧提取该关键帧的颜色特征、亮度特征和运动特征。
[0051]举例来说，颜色特征、亮度特征和运动特征通过下述方法提取:
[0052]首先，建立输入图像的9层高斯金字塔。其中第O层是输入图像，I到8层分别是用5X5的高斯滤波器对输入图像进行滤波和采样得到的大小分别为输入图像的1/2到1/256的子图。然后，对金字塔每一层分别提取颜色、亮度、运动特征，形成特征金字塔。最后，对金字塔不同层的特征值做差，得到中心-外周的特征对比。
[0053]S22，根据所述关键帧的颜色特征、亮度特征和运动特征确定该关键帧对应的显著图。
[0054]进一步地，所述S22根据所述关键帧的颜色特征、亮度特征和运动特征确定该关键帧对应的显著图的步骤，包括:
[0055]将所述关键帧的颜色特征进行融合获得该关键帧的颜色单元素显著图，将所