一种基于视觉主观感受的视频源切换方法
【专利摘要】本发明涉及一种基于视觉主观感受的视频源切换方法，其特征在于：服务器端通过训练获取视觉主观感受预测器NMSVM，并将该视觉主观感受预测器NMSVM分发至客户端，客户端对视觉主观感受预测器NMSVM进行部署；客户端通过多项式拟合预测当前网络服务状态下一阶段可能的网络视频丢包率；客户端通过差分自回归移动平均方法预测当前视频源下一阶段可能的视频内容视觉特性；客户端通过视觉主观感受预测器NMSVM对当前视频源下一阶段的视觉主观感受进行预测，并根据预测结果决定是否需要切换视频源格式。本发明综合考虑网络丢包率、视频源格式、视频内容特性等因素，实现了网络流媒体服务不间断下的视频源格式无缝切换，方法简单灵活，具有较强的实用性。
【专利说明】一种基于视觉主观感受的视频源切换方法
【技术领域】
[0001] 本发明涉及网络实时流媒体服务中的用户体验领域，特别是一种基于视觉主观感 受的视频源切换方法。
【背景技术】
[0002] 随着互联网技术的不断发展，基于IP的实时流媒体服务质量及技术越来越受到 重视。为了最大程度地满足用户对网络流媒体服务的要求，保障用户具有良好的用户体验， 流媒体服务提供商要重视网络稳定性和不同格式、视频内容特性的视频源质量上的一个平 衡，使得用户能够选择最合适的视频源来观看视频，进而提高用户的用户体验。
[0003] 目前实时的流媒体服务在考虑用户合适视频源格式选择时，并没有将视频的内容 特性和用户的主观感受考虑进去，而仅仅是考虑了网络稳定性对用户连续观影的影响，通 常设置一个固定的丢包率阈值，若客户端检测到丢包率超过阈值，即要求更换视频源格式 至低带宽资源的视频源格式。然而，这种僵化的视频源格式选择机制可能会出现如下情况： 当用户观看的视频内容是属于运动量少的视频(如演讲类）时，网络丢包率超过阈值时，用 户的主观视觉感受尚能接受，倘若切换至低带宽资源视频源格式反而进一步降低了用户的 观看体验；当用户观看的视频内容是属于运动量多的视频(如F1赛车比赛）时，网络丢包率 尚未达到阈值时，用户的主观感受已经完全无法接受了，需要切换至低带宽资源视频源格 式以保证连续观影的基本用户体验，然而客户端未能触发切换视频源，这也将影响用户的 观看体验。
[0004] 支持向量机（Support Vector Machine)是 Cortes 和 Vapnik 于 1995 年首先提 出的一种分类技术，具有较高的泛化能力，同时能解决小样本、高维和非线性的机器学习问 题，并且能够避免神经网络结构选择和局部极小值问题，是众多机器学习算法中的佼佼者。 同时SVM在处理多分类问题上有较好的表现，能够提高训练速度，并且有较高的推广能力。
【发明内容】
[0005] 本发明的目的在于提供一种基于视觉主观感受的视频源切换方法，以实现有效的 改善客户端接收到的视频质量的稳定性。
[0006] 为实现上述目的，本发明的技术方案是：一种基于视觉主观感受的视频源切换方 法，提供了服务器端和客户端，其特征在于按照以下方式实现： 51 :所述服务器端对于不同格式的视频源在不同类型的视频内容视觉特性下，通过模 拟不同的网络视频丢包率，生成具有不同视觉主观感受的视频源训练样本，并通过SVM训 练获取视觉主观感受预测器WSVM，并将所述视觉主观感受预测器WSVM分发至所述客户 端，所述客户端对所述视觉主观感受预测器NMSVM进行部署； 52 :所述客户端通过多项式拟合预测当前网络服务状态下一阶段可能的网络视频丢包 率； 53 :所述客户端通过差分自回归移动平均方法预测当前视频源下一阶段可能的视频内 容视觉特性； S4 :所述客户端通过使用所述视觉主观感受预测器NMSVM对所述当前视频源下一阶段 的视觉主观感受进行预测，并根据预测结果决定是否需要切换视频源格式；若需要切换，所 述客户端则向所述服务器端发送切换视频源格式请求消息，否则不发送。
[0007] 在本发明一实施例中，所述视频内容视觉特性的特征包括：时域复杂度、空域复杂 度和平均帧比特率；所述视觉主观感受的类型包括：很差、差、一般、好和很好。
[0008] 在本发明一实施例中，在所述步骤S1中，将所述视频源训练样本表示为 (? yP，其中If表示第i个所述视频源训练样本的特征向量，包括：时域复杂度、空域复杂 度、平均帧比特率和丢包率,表示第i个所述视频源训练样本对应的视觉主观感受类型； 根据所述视觉主观感受的5种类型，所述视觉主观感受预测器NMSVM包括5个分类器；所述 分类器用于区分所述视频源训练样本的视觉主观感受是否属于对应的类型；通过对每个分 类器中视频源训练样本的进行赋值，选取高斯核函数，并通过所述SVM训练构建所述5个 分类器，以实现获取所述视觉主观感受预测器NMSVM。
[0009] 在本发明一实施例中，在所述步骤S2中，所述多项式拟合采用基于最小二乘法的 多项式拟合，并用ffti)表示t时刻的丢包率值，并通过N阶多项式建立多项式拟合模型：
【权利要求】
1. 一种基于视觉主观感受的视频源切换方法，提供了服务器端和客户端，其特征在于 按照以下方式实现： 51 :所述服务器端对于不同格式的视频源在不同类型的视频内容视觉特性下，通过模 拟不同的网络视频丢包率，生成具有不同视觉主观感受的视频源训练样本，并通过SVM训 练获取视觉主观感受预测器WSVM，并将所述视觉主观感受预测器WSVM分发至所述客户 端，所述客户端对所述视觉主观感受预测器NMSVM进行部署； 52 :所述客户端通过多项式拟合预测当前网络服务状态下一阶段可能的网络视频丢包 率； 53 :所述客户端通过差分自回归移动平均方法预测当前视频源下一阶段可能的视频内 容视觉特性； 54 :所述客户端通过使用所述视觉主观感受预测器NMSVM对所述当前视频源下一阶段 的视觉主观感受进行预测，并根据预测结果决定是否需要切换视频源格式；若需要切换，所 述客户端则向所述服务器端发送切换视频源格式请求消息，否则不发送。
2. 根据权利要求1所述一种基于视觉主观感受的视频源切换方法，其特征在于：所述 视频内容视觉特性的特征包括：时域复杂度、空域复杂度和平均帧比特率；所述视觉主观 感受的类型包括：很差、差、一般、好和很好。
3. 根据权利要求2所述一种基于视觉主观感受的视频源切换 方法，其特征在于：在所述步骤S1中，将所述视频源训练样本表示为 (xp 其中表示第i个所述视频源训练样本的特征向量，包括：时域复杂度、空域复杂 度、平均帧比特率和丢包率,y丨表示第i个所述视频源训练样本对应的视觉主观感受类型； 根据所述视觉主观感受的5种类型，所述视觉主观感受预测器NMSVM包括5个分类器；所述 分类器用于区分所述视频源训练样本的视觉主观感受是否属于对应的类型；通过对每个分 类器中视频源训练样本的ff进行赋值，选取高斯核函数，并通过所述SVM训练构建所述5个 分类器，以实现获取所述视觉主观感受预测器NMSVM。
4. 根据权利要求1所述一种基于视觉主观感受的视频源切换方法，其特征在于：在所 述步骤S2中，所述多项式拟合采用基于最小二乘法的多项式拟合，并用表示t时刻 的丢包率值，并通过N阶多项式建立多项式拟合模型
其中η 为阶数；通过前t秒的丢包率值f (t，Α)得到t+1时刻的丢包率值f (t+1，A)，并按照如下步 骤实现： 521 :观测前t秒的网络丢包率，得到训练数据； 522 :用得到的所述训练数据训练所述多项式拟合模型得到aO、al. . . an的值； 523 :利用步骤S22所得的所述多项式拟合模型预测下一秒的丢包率值 f(t+l，A)。
5. 根据权利要求2所述一种基于视觉主观感受的视频源切换方法，其特征在于：在所 述步骤S3中，对应所述视频内容视觉特性的3个特征，所述客户端通过利用差分自回归移 动平均方法分别对应建立差分自回归移动平均模型，模拟所述当前视频源的帧时域复杂度 分布曲线、帧空域复杂度分布曲线和帧比特数分布曲线，进而预测下一阶段视频的内容视 觉特性，并按照如下步骤实现：
531 :计算Μ帧视频帧的视频时域复杂度
，其4 为视频第t帧的时域复杂度，m、η表示视频帧中列和行包含的宏块数；
表示宏块的运动剧烈程度，其中
和
汙别表不宏块t j")运动矢量的水平分量和垂直分量；水平分邏
表 示宏块（t，i，j)在参考宏块水平方向上的位移，垂直分量
表示宏块（t，i，j) 在所述参考宏块垂直方向上的位移； 532 :计算Μ帧视频帧的视频空域复杂度
，其中
为视频中第t个视频帧的空域复杂度，
表示该区域中 白條(i J)t魏織白勺DCT麵碰【
是毅駆神肺般職土夬白勺DCT 直流系数DC的平均值； 533 :计算Μ帧视频的平均帧比特数； 534 :分别绘制Μ帧视频帧的视频时域复杂度散点图、Μ帧视频帧的视频空域复杂度散 点图、Μ帧视频的平均帧比特数散点图； 535 :利用步骤S34中绘制的所述视频时域复杂度散点图、所述视频空域复杂度散点图 和所述视频的平均帧比特数散点图，分别计算所述视频时域复杂度、所述视频空域复杂度 和所述视频平均帧比特数各自对应的差分自回归移动平均模型中的三个参数，包括：自回 归项Ρ、移动平均项数q和时间序列成为平稳时所做的差分次数d，并使用该差分自回归移 动平均模型模拟所述当前视频源的帧时域复杂度分布曲线、帧空域复杂度分布曲线和帧比 特数分布曲线； 536 :分别把每个视频帧的视频时域复杂度、视频空域复杂度和平均帧比特数看做一个 时间序列，通过步骤S35中所得出的对应分布曲线分别预测出下N个帧的时域复杂度、空域 复杂度和平均帧比特数；并将预测的N个帧的时域复杂度、空域复杂度和平均帧比特数对 应分别取平均得到下一阶段视频的时域复杂度、空域复杂度和平均帧比特数。
6.根据权利要求2所述一种基于视觉主观感受的视频源切换方法，其特征在于：在所 述步骤S4中，所述客户端从所述服务器端接收并部署所述视觉主观感受预测器匪SVM后， 在接受所述当前视频源的同时预测下一阶段的网络丢包率和视频内容视觉特性，并将预测 结果输入所述视觉主观感受预测器WSVM中，产生当前视频源下一阶段的视觉主观感受预 测结果；如果视觉主观感受预测结果为"很差"和"差"，则所述客户端主动向所述服务器端 发起切换请求，所述服务器端将网络流媒体服务切换为网络资源要求较低的视频源格式， 从而实现网络流媒体服务不间断下的视频源格式无缝切换。
【文档编号】H04N17/00GK104092960SQ201410358511
【公开日】2014年10月8日 申请日期:2014年7月26日 优先权日:2014年7月26日
【发明者】余春艳, 吴丽丽, 林明安, 刘灵辉, 陈昭炯 申请人:福州大学