一种基于运动矢量投影矩阵的h.264/avc压缩域视频匹配方法
【技术领域】
[0001] 本发明属于视频处理领域，一种压缩域视频匹配方法，具体涉及一种基于运动矢 量投影矩阵的H. 264/AVC(高级视频编码）压缩域视频匹配方法。
【背景技术】
[0002] 现如今，由于网络通信技术和多媒体技术的飞速发展，数字多媒体已经广泛应用 于广告、娱乐、教育、医学等多个领域。众多应用导致数字视频数量快速增加。如何对巨大 的视频库进行有效管理，从大量视频库中高效地检索出与目标视频相匹配的视频数据已经 成为十分重要的研宄课题。目前存储或传输视频大多以压缩的形式出现，直接在压缩域中 进行处理和分析可以避免复杂的视频全解码过程，从而有效降低检索中的计算复杂度、缩 短检索时间。因此，压缩域视频检索匹配技术越来越受到广泛关注。
[0003] H.264/AVC作为目前最流行的视频编解码标准，具有比以往编码标准更出色的 压缩性能，广泛应用于如网络电视、高清电视、视频监控以及各种移动设备等众多领域，针 对H. 264/AVC压缩视频的检索和匹配更是各界纷纷研宄的热点。（ZargariF，Mehrabi M,GhanbariM.Compresseddomaintexturebasedvisualinformationretrieval methodforI-framecodedframes.IEEETransConsumElectron56(2):728-736,2010)和（MehrabiM,ZargariF,GhanbariM.Fastandlowcomplexitymethod forcontentaccessingandextractingDC-framesfromH. 264codedvideos.IEEE TransConsumElectron56(3) :1801 - 1808, 2010)分别利用I帧编码信息中的预测模 式和直流分量值，通过二者的直方图进行检索和匹配。该方法仅仅利用了I帧中的空间 信息，并未考虑视频序列的时间特征。现有的基于P帧的视频检索和匹配算法（Sovan BiswasR.VenkateshBabu.H. 264C0MPRESSEDVIDEOCLASSIFICATIONUSINGHOMV.IEEE ICASSP2013:2040-2044,2013)和（MopuriKReddy,SahilArora，R.VenkateshBabu. Spatio-TemporalfeaturebasedVLADforefficientVideoRetrieval.Computer Vision,PatternRecognition,ImageProcessingandGraphics(NCVPRIPG), 2013Fourth NationalConferenceon, 2013)将HOMV(运动矢量的方向直方图）作为视频签名进行视频 检索和匹配。该方法对预处理后的运动矢量MV先在时间域上划分成t帧重合的层，对时间 域的每一层，再在空间域上划分成相互重叠的立方体。对每一个时间-空间立方体，将所属 在该时间-空间立方体中的运动矢量进行分析处理，处理方法为：将运动矢量的幅度作为 权值，把运动矢量的方向分成n组，统计落在每一组中的运动矢量的个数。该统计结果即为 该时间-空间立方体的运动矢量方向直方图，即为视频签名。具体按如下公式实现：
[0004] 首先，按下式计算时间-空间立方体内运动矢量的方向和幅度：
[0005] orientation(x,y) = |tan1 (MVy/MVx)Xn/n
【主权项】
1. 一种基于运动矢量投影矩阵的H. 264/AVC压缩域视频匹配方法，其特征在于，包括 以下步骤： 步骤一、提取运动矢量： 对库视频与查询视频的H. 264/AVC的压缩码流进行部分解码，以提取出运动矢量MV(i，j)f，其中，f为每秒的帧数，i和j分别表示运动矢量MV在第f帧中水平方向和垂直 方向的位置点； 步骤二、时间域均值化运动矢量： 2. 1)、利用指示函数I(i，j)f将帧内编码的影响系数设置为零，指示函数I(i，j) f用下 式表示：
2. 2)、对每帧中相同位置处的块进行均值化，均值化以后的运动矢量矩阵记为MVT(i,j)； 步骤三、空间域均值化运动矢量： 对时间域处理后的运动矢量矩阵MVT(i，j)进行空间8X8块的平均，得到空间域均值 化以后的运动矢量矩阵MVs(k，1)，其中，k为MVs(k，1)在水平方向的位置点，1为MVs(k，1) 在垂直方向的位置点； 步骤四、生成高斯随机矩阵： 通过代码生成s个与MVS (k，1)大小相同的、服从高斯分布的随机矩阵分别标记为R(i)，i= 1，2,…s; 步骤五、将运动矢量矩阵投影到高斯随机矩阵上： 首先，分别提取MVs(k，1)在水平方向的分量MVsx(k，1)和垂直方向的分量MVSY(k，1)，然 后，将MVsx(k，1)和MVSY(k，1)分别投影到步骤四中生成的服从高斯分布的随机矩阵R(i)上， 得到MVsx(k，1)在随机矩阵R(i)上的投影结果Px(i)和MVSY(k，1)在随机矩阵R(i)上的投影结 果PY⑴； 步骤六、量化生成视频签名： 6. 1)、采用四分位数量化法，按下式将Px(i)分为四等份，分别标记为0, 1，2, 3 :
其中Hx(i)表示水平方向分量的投影结果量化以后的哈希码流值，QQ2、Q3分别为Px(i) 的四分位数； 6. 2)、将量化以后的值排列起来形成长度为s的一维四值向量，作为这一秒水平方向 分量的视频签名； 6. 3)、对于垂直方向分量的投影结果PY(i)，采用与水平方向分量同样的量化方法，得出 垂直方向的视频签名，将水平方向和垂直方向分量的量化结果排列起来，形成长度为2s的 一维四值向量，作为这一秒视频的签名； 6. 4)、重复步骤6. 1)到6. 3)过程，直到得出整个视频的签名； 步骤七、计算视频签名之间的距离： 步骤八、视频检索和匹配： 采用滑动窗的方法找出库视频与查询视频的最佳匹配时间，得出与查询视频最匹配的 库视频。
2. 如权利要求1所述的一种基于运动矢量投影矩阵的H. 264/AVC压缩域视频匹配方 法，其特征在于：所述步骤二中2. 2)的时间域均值化的过程表示为：
其中，R为视频总帧数，I(i，j)f为指示函数。
3. 如权利要求1或2所述的一种基于运动矢量投影矩阵的H. 264/AVC压缩域视频匹配 方?'决_it蛙征亦干.所试空问M询佶仆,的付耜.
其中，k为MVs(k，1)在水平方向的位置点，1为MVs(k，1)在垂直方向的位置点。
4. 如权利要求1所述的一种基于运动矢量投影矩阵的H. 264/AVC压缩域视频匹配方 法，其特征在于：步骤四中生成高斯随随机矩阵的个数s= 48。
5. 如权利要求1所述的一种基于运动矢量投影矩阵的H. 264/AVC压缩域视频匹配方 法，其特征在于：所述步骤五中投影过程具体为：
其中，Px(i)和PY(i)分别代表MVsx(k，1)和MVSY(k，1)在随机矩阵R(i)上的投影结果，m、n如步骤三中所述，在本实施例中的取值分别为m= 22,n= 18。
6. 如权利要求1所述的一种基于运动矢量投影矩阵的H. 264/AVC压缩域视频匹配方 法，其特征在于：所述步骤七中计算视频签名之间的距离具体过程为：
其中，VqUCTy表示1秒的查询视频的视频签名，Vdatabas彦示1秒的库视频的视频签名。
7. 如权利要求1或6所述的一种基于运动矢量投影矩阵的H. 264/AVC压缩域视频匹配 方法，其特征在于：所述步骤八的具体过程为：将查询视频的视频签名在库视频的视频签 名上进行滑动，每次滑动的距离为滑动窗的宽度，然后根据计算得到的每秒两个视频签名 的距离，滑动过程中DiffBEK值最小的时刻，记为最佳匹配时刻，在所有库视频中重复该滑动 过程，得出与查询视频最匹配的库视频。
【专利摘要】本发明提供了一种基于运动矢量投影矩阵的H.264/AVC压缩域视频匹配方法，为了解决传统视频匹配方法需要将视频全部解压缩且计算量大的问题，本发明提出了一种基于运动矢量投影矩阵的H.264压缩域视频匹配方法，属于视频处理领域。该方法通过对H.264压缩码流中提取出来的运动矢量进行时间域均值化和空间域均值化处理，然后投影到高斯随机矩阵上，经四分位数量化后形成视频签名，最后利用该视频签名进行视频匹配和检索，不仅省去了对视频完全解压缩的步骤，还在保证匹配效果良好的条件下，有效降低了计算复杂度，节省了大量检索的时间。
【IPC分类】H04N19-533, H04N19-593, H04N19-513
【公开号】CN104618723
【申请号】CN201410611980
【发明人】王萍, 李平, 黄华
【申请人】西安交通大学, 北京理工大学深圳研究院
【公开日】2015年5月13日
【申请日】2014年11月3日