一种视频图像质量主观评价方法及系统的制作方法
【专利摘要】本发明属于计算机数字视频图像处理领域，公开了一种视频图像质量主观评价方法及系统。所述评价方法包括：确定评价人员、评分标准和观看条件，选择符合要求的测试序列；对于选定的测试序列组，利用所述评价系统进行测试；保存测试结果，进行数据统计与分析。所述评价系统实现对评价人员信息的记录、评价结果的数据统计与分析及控制整个评价流程，包括：用户管理模块，素材管理模块，序列播放模块，数据管理模块。本发明将多刺激评价方式、类双刺激连续质量评价方式和双屏显示三种评价方式有效地结合在一起对视频图像质量进行主观评价，扩大了主观评价方法适用范围。当评价质量上难以分辨的序列时，本发明提高了评价结果的稳定性和可靠性。
【专利说明】 一种视频图像质量主观评价方法及系统
【技术领域】
[0001]本发明属于计算机数字视频图像处理领域，涉及一种视频图像质量主观评价方法及系统。
【背景技术】
[0002]随着视频业务的发展，人们对视频图像质量的要求越来越高。由于视频图像数据在采集、压缩、传输、处理、存储、恢复过程中不可避免地会影响到图像质量，因此视频图像质量的准确评价成为视频图像研究领域的关键技术之一。视频图像质量的评价方法可分为两大类:客观评价和主观评价。客观评价方法易操作、可重复性强，但可能会存在评价结果与人的主观感觉并不完全一致的问题。而主观评价方法较为直接，结果可靠，并且准确可靠的主观评价结果也可用于指导客观评价算法的研发。因此，主观评价环节已长期被应用于实践中，而主观评价方法的研究也成为目前视频图像质量评价研究领域的热点之一。
[0003]主观评价方法在国际上已经有成熟的技术和国际标准，根据不同的测试环境和测试目的，常用的视频图像主观质量评价方法包括:双刺激损伤标度法、双刺激连续质量标度法、单刺激法和多刺激法等。
[0004]当前诸多文献对特定应用环境下的主观评价方法做了特定的单一选择和相应软件系统设计。董文辉等人于2008年在《广播与电视技术》上发表的论文“CMMB图像质量主观评价研究”中，提出了中国移动多媒体广播(China Mobile Multimedia Broadcasting,CMMB)图像质量主观评价可采用双刺激评价方法或单刺激评价方法，现场主观评价一般采用单刺激的方法；李原于2011年在《电视技术》上发表的论文“CMMB图像质量主观评价方法研究”中，提出了一种以多刺激评价方法为原则的CMMB图像质量主观评价系统；章化冰于2011年在《中国有线电视》上发表的论文“视频图像质量主观评价辅助系统的设计与应用”中，提出了一种以双刺激连续质量标度法为标准的视频图像质量主观评价软件系统。
[0005]上述文献中的视频图像质量主观评价大多是采用单一的主观评价方法及相应软件系统，几乎没有涉及到两种或多种主观评价方法结合使用的情况。但是，在参考了大量文献和实验经验的基础上发现，常用的几种主观评价方法在适用范围方面均存在一定的局限性。例如，当被评估的图像质量损伤差别不明显时，由于多刺激方法允许评价人员反复观看源参考序列和失真测试序列，则可以获取相对单刺激法及双刺激法更精准的评价结果；而当图像质量损伤差别很大或无法一起测试失真图像与源参考图像时，单刺激方法则可快速高效地获取评价结果；此外，当评价某两个失真测试序列质量的相对好坏时，目前的评价算法很难实现。因此，现有文献对视频图像质量的主观评价研究存在一定程度的不足，以致评价结果可能欠缺可靠性和稳定性。
【发明内容】
[0006]针对目前视频图像质量的评价方法中存在的问题，为了提高图像质量主观评价的工作效率和评价结果的可靠性，本发明提出了一种视频图像质量主观评价方法及系统。[0007]为实现上述目的，本发明采用以下技术方案:
[0008]一种视频图像质量主观评价方法，其特征在于包括以下步骤:
[0009]步骤一，确定评价人员、评分标准和观看条件，选择符合要求的测试序列。
[0010](I)确定评价人员
[0011]评价人员应具有正常的视力和色觉，可以不是从事图形图像学的专家。一般要求在15人以上，具体数目要根据测试过程所采用的具体方法来确定，这个数目依赖于测试过程的敏感性和可靠性。尽可能多地收集参与实验人员的信息，比如:性别、年龄范围、专业背景等，并将这些信息整理以进行更加深入的研究。
[0012](2)确定评分标准
[0013]评分为百分制，但基本评价标准仍来自五级标准:优、良、中、差、劣，具体规定如下:
[0014]优:察觉不到损伤或干扰(80-100分)；
[0015]良:可以察觉到轻微损伤或干扰，但是不影响观看/并不令人讨厌(60-80分)；
[0016]中:有明显损伤或干扰，令人感到讨厌(40-60分)；
[0017]差:损伤或干扰比较严重，令人相当讨厌(20-40分)；
[0018]劣:损伤或干扰极为严重，画面无法观看(0-20分)。
[0019](3)确定观看条件
[0020]需要在电脑上运行仿真软件，视频图像序列均应完整地显示在屏幕上的程序界面视窗内，屏幕背景要求为50%的灰色。本发明要求的观看条件如表I所示。
[0021]表1主观评价方法观看条件
[0022]
【权利要求】
1.一种视频图像质量主观评价方法，其特征在于将多刺激评价方式、类双刺激连续质量评价方式和双屏显示三种评价方式有效地结合在一起对视频图像质量进行主观评价，包括以下步骤: 步骤一，确定评价人员、评分标准和观看条件，选择符合要求的测试序列； (O确定评价人员 评价人员应具有正常的视力和色觉，可以不是从事图形图像学的专家；一般要求在15人以上，具体人数根据测试过程所采用的具体方法来确定，这个数目依赖于测试过程的敏感性和可靠性； (2)确定评分标准 评分为百分制，基本评价标准仍来自五级标准:优、良、中、差、劣; (3)确定观看条件 观看条件主要包括观看距离、背景房间亮度和显示器技术参数； (4)选择测试序列 测试序列应涵盖待测应用环境中可能出现的视频图像内容；所选视频图像应包含水平或垂直方向上的运动画面、包含人脸的画面、包含镜头拉伸摇移的画面，并且细节丰富、能被有效检测到应用环境中参数变化对其画面质量较明显的影响； 步骤二，对于选定的测试序列组，利用主观评价系统进行测试； 步骤三，保存评价人员的`个人`信息和测试结果数据，计算每位测试者与测试平均值之间的Pearson相关系数与Spearman等级相关系数,计算拒绝阈值，并对测试者的测试结果进行判断，最后计算每个待测视频图像的平均分、标准偏差和95%置信度区间；计算方法如下: (1)计算Pearson相关系数 Pearson相关系数是描述图像质量与评价人员评分之间的线性关系的，计算该系数的主要目的是为了验证评价人员在整个评价过程中评分的一致性；Pearson相关系数&匕y)的计算公式为:
2.根据权利要求1所述的一种视频图像质量主观评价方法，其特征在于，步骤二利用主观评价系统进行的测试以组为单位，按序列顺序进行；评价人员每测试完一组序列，可以切换下一组序列继续测试；具体方法如下: (1)录入评价人员信息； (2)载入测试系列； (3)进行多刺激评价打分，若评价人员能有效判别出图像质量的好坏，则提交并存储本序列的打分；否则，应选择类双刺激连续质量评价方式； (4)进行类双刺激连续质量评价打分，若评价人员能有效判别出图像质量的好坏，则提交并存储本序列的打分；否则，应再选择双屏显示评价方式； (5)进行双屏显示评价打分，提交并存储本序列的打分； (6)完成所有序列组评价打分；上述过程只是一般情况下的评价方法，还允许这三种评价方式单独或任意组合使用，具体评价方法与上述过程类似。
3.根据权利要求2所述的一种视频图像质量主观评价方法，其特征在于，所述类双刺激连续质量评价方式是ITU-R BT.500中规定的双刺激连续质量标度法的改进，不同的是所述类双刺激连续质量评价方式可允许用户自行选择无法判断质量的任意两个视频测试序列，可以是源序列和受损序列，也可以是两个不同程度的受损序列；两个测试序列可循环播放，每个序列可重复打分。
4.根据权利要求2所述的一种视频图像质量主观评价方法，其特征在于，所述双屏显示评价方式是ITU-R BT.500中规定的同时双刺激连续评价法的改进，不同的是所述双刺激连续评价法必须使基准序列和受损序列并排在监视器上显示；而本发明所述双屏显示评价方式可由用户自行选取两个测试序列，可以是源序列和受损序列，也可以是两个不同程度的受损序列；当多刺激评价方式和类双刺激连续质量评价方式不能有效判断序列质量的好坏时，采用双屏显示评价方式直观地进行比较。
5.一种视频图像质量主观评价系统，通过人机交互可以实现用户信息登记、视频播放模式选择、评分记录等操作，其特征在于包括:用户管理模块，素材管理模块，序列播放模块，数据管理模块；其中， 用户管理模块，包括用户信息添加和用户信息删除两个子模块，用于实现对用户信息的添加、删除等管理； 素材管理模块，包括素材导入和编号管理两个子模块，用于实现待测视频序列的导入、编号管理； 序列播放模块，包括普通播放、组合播放、双屏播放三个子模块，分别用于实现普通播放、组合播放、双屏播放三种播放方式，这三种播放方式分别对应视频图像质量主观评价方法中多刺激评价方式、类双刺激评价方式、双屏显示评价方式； 数据管理模块，包括评价打分、数据保存和结果分析三个子模块，用于实现评分数据的记录、保存和结果统计分析。
6.根据权利要求5所述的一种视频图像质量主观评价系统，其特征在于，所述序列播放模块可实现的三种播放方式的具体工作方式为: (1)普通播放:播放可播放序列，播放同时可对当前序列进行打分； (2)组合播放:选择打分不太确定的任意两个序列循环播放，用户可对正在播放的序列打分； (3)双屏播放:选择打分不太确定的任意两个序列进行左右并排同时播放，用户可在双屏播放的界面上进行打分。
【文档编号】H04N17/00GK103458267SQ201310396076
【公开日】2013年12月18日 申请日期:2013年9月4日 优先权日:2013年9月4日
【发明者】孟放, 郑郁劼, 高攀, 李俊玲, 李原, 刘维明 申请人:中国传媒大学