一种视频质量评价方法、装置制造方法
【专利摘要】本发明适用于视频【技术领域】，提供了一种视频质量评价方法、装置，所述方法包括：获取视频流的时空显著图；根据时空显著图中的每个像素点的像素值和视频帧中的每个像素点的像素值计算所述视频流的平均掩蔽失真度；根据视频帧中的每个像素点的灰度值计算所述视频流的播放失真度；根据时空显著图中的每个像素点的像素值计算所述视频流的视频质量稳定性失真度；根据所述平均掩蔽失真度、播放失真度以及视频质量稳定性失真度计算所述视频流的整体失真量。本发明，在时间和空间域上同时考虑了人眼视觉注意区域，掩蔽效应和视频播放的连贯性，与人眼的主观评价值具有更好的关联性，更加符合人眼视觉系统判断结果，能有效评价视频质量。
【专利说明】一种视频质量评价方法、装置
【技术领域】
[0001]本发明属于视频【技术领域】，尤其涉及一种视频质量评价方法、装置。
【背景技术】
[0002]由于视频经过编码、压缩及传输后无法避免的会产生失真，而准确了解视频质量是系统设计及控制、参数优化等环节的重要前提。因此视频质量评价(Video QualityAssessment, VQA)是视频应用的关键内容之一。
[0003]视频质量评价主要包括了主观和客观两种评价方式。前者通过一定数量的观测人员按规定测试流程，根据人心理及生理感受对视频质量进行评测，后者则采用一定的客观标准，通过对视频某些方面进行分析来评测视频质量。两者相比较，主观评测方法被认为是最准确、可靠的质量评测标准。然而，主观评价方法复杂费时且评测结果易因人因时因环境而异。因此，如何概括出一种客观评测指标能够尽可能与主观评测结果相一致成为业界内主要研究方向。
[0004]目前应用最多的两种视频质量评价指标为:均方差(Mean-squared Error, MSE)以及峰值信噪比(Peak Signal-to-noise Ratio, PSNR)。这两种视频质量评价方法并未考虑人眼视觉系统(Human Visual System, HVS)的特性,无法应用于估计实际视频当中的感知质量。近年来出现了一些结合视觉感知的视频质量评价方法，通过数学模型模拟一些人眼视觉特性，如对比敏感性函数(Constrast Sensitivity Function, CSF),颜色感知以及掩盖效应等，比较典型的结合视觉感知特性的评价方法有视频质量监控(VideoQuality Monitor, VQM),语音质量主动监控(Perceptual Video Quality Metric, PVQM),中贞间差，结构相似度(structural similarity, S SIM),视觉互信息(Video IntermediateFrequency, VIF),视觉对比度(Using visible SNR, VSNR)以及 MOVIE 等等。由于利用了HVS特性，近期提出的很多VQA模型具有比PSNR更好的视频质量评测效果。从仿生学角度来看，最终的VQA评价算法应该与HVS中的心理及生理特性相吻合。
[0005]然而，这些视频评价方法仅仅从视频单帧，也就是图像的内容方面考虑，而图像失真分析只是视觉模型分析的基础，对于视频来说，需进一步考虑时域上的失真变化。对于人眼动态视觉感知，另外一些视频质量评价模型则尝试对不同视频背景进行不同的视觉敏感分析，这种分析方式一般是对低级生理视觉特征进行建模，譬如基于全局运动的视觉失真分析(VSSM，Speed-SSM)和对比掩盖效应。总之，在现有的研究工作以外，仍然有很多重要的人眼视觉特性没有考虑到或者说没有充分得以挖掘利用，譬如人眼眼动策略分析，时域相关性分析等等。
【发明内容】
[0006]本发明实施例提供了一种视频质量评价方法、装置，旨在解决现有技术在对视频质量进行评价时，没有充分考虑并挖掘利用人眼视觉特性的问题。
[0007]一方面，提供一种视频质量评价方法，所述方法包括:[0008]获取视频流的时空显著图；
[0009]根据时空显著图中的每个像素点的像素值和视频帧中的每个像素点的像素值计算所述视频流的平均掩蔽失真度；
[0010]根据视频帧中的每个像素点的灰度值计算所述视频流的播放失真度；
[0011]根据时空显著图中的每个像素点的像素值计算所述视频流的视频质量稳定性失
真度；
[0012]根据所述平均掩蔽失真度、播放失真度以及视频质量稳定性失真度计算所述视频流的整体失真量。
[0013]另一方面，提供一种视频质量评价装置，所述装置包括:
[0014]时空显著图获取单元，用于获取视频流的时空显著图；
[0015]平均掩蔽失真度计算单元，用于根据时空显著图中的每个像素点的像素值和视频帧中的每个像素点的像素值计算所述视频流的平均掩蔽失真度；
[0016]播放失真度计算单元，用于根据视频帧中的每个像素点的灰度值计算所述视频流的播放失真度；
[0017]视频质量稳定性失真度计算单元，用于根据时空显著图中的每个像素点的像素值计算所述视频流的视频质量稳定性失真度；
[0018]整体失真量计算单元，用于根据所述平均掩蔽失真度、播放失真度以及视频质量稳定性失真度计算所述视频流的整体失真量。
[0019]在本发明实施例，基于视频流的时空显著图以及视频帧中的每个像素点的像素值，先计算视频流的平均掩蔽失真度、播放失真度以及视频质量稳定性失真度，然后根据该平均掩蔽失真度、播放失真度以及视频质量稳定性失真度计算视频流的整体失真量。在时间和空间域上同时考虑了人眼视觉注意区域，掩蔽效应和视频播放的连贯性，与人眼的主观评价值具有更好的关联性，更加符合人眼视觉系统判断结果，能有效评价视频质量。
【专利附图】
【附图说明】
[0020]图1是本发明实施例一提供的视频质量评价方法的实现流程图；
[0021]图2是有损视频主观评价值的EPFL-PoliMI MOS的散点测试示意图；
[0022]图3是有损视频主观评价值的LIVE DMOS的散点测试示意图；
[0023]图4是本发明实施例二提供的视频质量评价装置的结构框图。
【具体实施方式】
[0024]为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0025]在本发明实施例中，基于视频流的时空显著图以及视频帧中的每个像素点的像素值，先计算视频流的平均掩蔽失真度、播放失真度以及视频质量稳定性失真度，然后根据该平均掩蔽失真度、播放失真度以及视频质量稳定性失真度计算视频流的整体失真量。
[0026]以下结合具体实施例对本发明的实现进行详细描述:
[0027]实施例一[0028]图1示出了本发明实施例一提供的视频质量评价方法的实现流程，详述如下:
[0029]在步骤SlOl中，获取视频流的时空显著图。
[0030]时空显著图的计算包括初始显著区域计算与最终显著区域计算部分。初始显著区域计算利用Harel方法可以算得到，最终显著区域计算在初始显著区域计算结果的基础上，综合考虑了视觉注视转移及延迟方面的视觉特性，对初始显著区域计算结果进一步优化。
[0031]在获取初始显著计算结果后，由于人眼注视视频画面过程中会发生注视、眼跳和追随运动，而人眼视觉及心理学相关研究表明，人眼对区域平均眼跳延迟(注视)时长约为350ms，平均眼跳时长约为70ms。因此为方便计算，根据人眼的视觉特性，先设置时间参数At,该时间参数At满足公式(I):
[0032]Δ tn 00 R2 (mean ( Δ tn)) s.t.mean ( Δ tn) =420 (1)
[0033]其中，n表示第n个显著区域，R2表示显著区域的面积，∞表示注视时间和区域面积成正比，mean (Atn)表示取Δtn的平均值。
[0034]再构造注视转移矩阵Pt，具体构造的Pt满足公式(2):
【权利要求】
1.一种视频质量评价方法，其特征在于，所述方法包括: 获取视频流的时空显著图； 根据时空显著图中的每个像素点的像素值和视频帧中的每个像素点的像素值计算所述视频流的平均掩蔽失真度； 根据视频帧中的每个像素点的灰度值计算所述视频流的播放失真度； 根据时空显著图中的每个像素点的像素值计算所述视频流的视频质量稳定性失真度； 根据所述平均掩蔽失真度、播放失真度以及视频质量稳定性失真度计算所述视频流的整体失真量。
2.如权利要求1所述的方法，其特征在于，所述根据时空显著图中的每个像素点的像素值和视频帧中的每个像素点的像素值计算所述视频流的平均掩蔽失真度具体为: 根据时空显著图中的每个像素点的像素值和视频帧中的每个像素点的像素值以及临界可视误差JND模型计算视频帧中各区域的空间掩蔽失真度； 根据时空显著图中的每个像素点的像素值、视频帧中各区域的空间掩蔽失真度以及场景切换隐蔽加权函数计算场景切换视频帧的空间掩蔽失真度； 根据时空显著图中的每个像素点的像素值、视频帧中各区域的空间掩蔽失真度计算非场景切换视频帧的空间掩蔽失真度； 根据所述场景切换视频帧的空间掩蔽失真度和所述非场景切换视频帧的空间掩蔽失真度计算所述视频流的平均 掩蔽失真度。
3.如权利要求1所述的方法，其特征在于，所述根据视频帧中的每个像素点的灰度值计算所述视频流的播放失真度具体为:根据视频帧中的每个像素点的灰度计算视频帧的平均亮度； 根据所述平均亮度计算视频帧的临界闪烁频率； 根据视频帧的播放帧率以及视频帧的临界闪烁频率计算视频帧的播放失真度； 根据视频帧的播放失真度计算所述视频流的播放失真度。
4.如权利要求1所述的方法，其特征在于，所述根据所述平均掩蔽失真度、播放失真度以及视频质量稳定性失真度计算所述视频流的整体失真量具体为: 对所述平均掩蔽失真度、播放失真度以及视频质量稳定性失真度分别进行对数变换；对进行对数变换后的所述平均掩蔽失真度、播放失真度以及视频质量稳定性失真度分别进行归一化处理； 根据归一化处理结果计算所述视频流的整体失真量。
5.一种视频质量评价装置，其特征在于，所述装置包括: 时空显著图获取单元，用于获取视频流的时空显著图； 平均掩蔽失真度计算单元，用于根据时空显著图中的每个像素点的像素值和视频帧中的每个像素点的像素值计算所述视频流的平均掩蔽失真度； 播放失真度计算单元，用于根据视频帧中的每个像素点的灰度值计算所述视频流的播放失真度； 视频质量稳定性失真度计算单元，用于根据时空显著图中的每个像素点的像素值计算所述视频流的视频质量稳定性失真度；整体失真量计算单元，用于根据所述平均掩蔽失真度、播放失真度以及视频质量稳定性失真度计算所述视频流的整体失真量。
6.如权利要求5所述的装置，其特征在于，所述平均掩蔽失真度计算单元包括: 区域空间掩蔽失真度计算模块，用于根据时空显著图中的每个像素点的像素值和视频帧中的每个像素点的像素值以及临界可视误差JND模型计算视频帧中各区域的空间掩蔽失真度； 第一空间掩蔽失真度计算模块，用于根据时空显著图中的每个像素点的像素值、视频帧中各区域的空间掩蔽失真度以及场景切换隐蔽加权函数计算场景切换视频帧的空间掩蔽失真度； 第二空间掩蔽失真度计算模块，用于根据时空显著图中的每个像素点的像素值、视频帧中各区域的空间掩蔽失真度计算非场景切换视频帧的空间掩蔽失真度； 平均掩蔽失真度计算模块，用于根据所述场景切换视频帧的空间掩蔽失真度和所述非场景切换视频帧的空间掩蔽失真度计算所述视频流的平均掩蔽失真度。
7.如权利要求5所述的装置，其特征在于，所述播放失真度计算单元包括: 平均亮度计算模块，用于根据视频帧中的每个像素点的灰度计算视频帧的平均亮度； 临界闪烁频率计算模块，用于根据所述平均亮度计算视频帧的临界闪烁频率； 视频帧播放失真度计算模块，用于根据视频帧的播放帧率以及视频帧的临界闪烁频率计算视频帧的播放失真度； 视频流播放失真度计算模块，用于根据视频帧的播放失真度计算所述视频流的播放失真度。
8.如权利要求5所述的装置，其特征在于，所述整体失真量计算单元包括: 对数变换模块，用于对所述平均掩蔽失真度、播放失真度以及视频质量稳定性失真度分别进行对数变换； 归一化处理模块，用于对进行对数变换后的所述平均掩蔽失真度、播放失真度以及视频质量稳定性失真度分别进行归一化处理； 整体失真量计算模块，用于根据归一化处理结果计算所述视频流的整体失真量。
【文档编号】H04N17/00GK103458265SQ201310041082
【公开日】2013年12月18日 申请日期:2013年2月1日 优先权日:2013年2月1日
【发明者】柳伟, 陈旭, 梁永生 申请人:深圳信息职业技术学院