一种基于张量分解的屏幕内容视频质量分析方法与流程

本发明属于视频处理领域，涉及视频质量分析方法，尤其是涉及一种基于张量分解的屏幕内容视频质量分析方法。

背景技术：

随着移动互联网和多媒体技术的快速发展，屏幕内容视频引起了学术界和工业界的广泛关注，并被广泛应用于云计算、远程教育、在线直播和视频会议等应用中。与传统自然场景视频不同，屏幕内容视频既包含由摄像机拍摄得到的连续色调区域，如照片和自然场景视频等，又包含基于计算机得到的非连续色调区域，如文字、图表、二维码等，同时也包含变化丰富的运动信息。

与传统自然场景视频一样，屏幕内容视频在生成、处理、压缩、存储、传输和渲染的过程中不可避免地会引入各种失真从而导致视觉效果降低。由于人眼是屏幕内容视频的最终接受者，因此提出一种能够快速准确地反映人类视觉系统对屏幕内容视频的主观感知度的质量分析模型是十分有必要的。但是现有的大多数质量分析方法都是针对传统自然场景视频设计的，并不适用于屏幕内容视频质量分析。目前在视频处理领域中缺乏对屏幕内容视频进行有效质量分析的方法。因此，设计符合人眼视觉特性的屏幕内容视频质量分析方法具有重要的理论研究意义和实际应用价值。

技术实现要素：

本发明的目的在于突破现有技术的局限性，提出了基于张量分解的屏幕内容视频质量分析方法。

本发明解决其技术问题所采用的技术方案是：

基于张量分解的屏幕内容视频质量分析方法，包括：

输入参考屏幕内容视频序列vr和失真屏幕内容视频序列vd；

对参考屏幕内容视频序列vr和失真屏幕内容视频序列vd进行张量分解，得到三方向参考主成分切片mr,x、mr,y、mr,t和三方向失真主成分切片md,x、md,y、md,t；

分别提取三方向参考主成分切片mr,x、mr,y、mr,t的gabor特征图fr,x(x,y)、fr,y(x,y)、fr,t(x,y)和三方向失真主成分切片md,x、md,y、md,t的gabor特征图fd,x(x,y)、fd,y(x,y)、fd,t(x,y)；

计算三方向参考gabor特征图fr,x(x,y)、fr,y(x,y)、fr,t(x,y)和三方向失真gabor特征图fd,x(x,y)、fd,y(x,y)、fd,t(x,y)的特征相似度图sx(x,y)、sy(x,y)、st(x,y)；

基于三方向特征相似度图sx(x,y)、sy(x,y)、st(x,y)获得最终失真屏幕内容视频质量分析值。

优选的，对参考屏幕内容视频序列vr和失真屏幕内容视频序列vd进行张量分解，得到三方向参考主成分切片mr,x、mr,y、mr,t和三方向失真主成分切片md,x、md,y、md,t，具体如下：

步骤2.1：将参考屏幕内容视频序列vr看作一个三阶张量，对其通过张量分解转换为一个核心张量和三个因子矩阵ar,br,cr的组合，具体如下：

其中，×n表示n模乘运算，n＝1,2,3，三个因子矩阵ar,br,cr分别表示原始视频序列vr在x，y，t三方向的主分量，且三者彼此互为正交，而核心张量表示如下：

将失真屏幕内容视频序列vd看作一个三阶张量，对其通过张量分解转换为一个核心张量和三个因子矩阵ad,bd,cd的组合，具体如下：

其中，×n表示n模乘运算，n＝1,2,3，三个因子矩阵ad,bd,cd分别表示原始视频序列vd在x，y，t三方向的主分量，且三者彼此互为正交，而核心张量表示如下：

步骤2.2：分别设定参考因子矩阵ar和失真因子矩阵ad为单位矩阵，得到参考屏幕内容视频序列vr和失真屏幕内容视频序列vd沿x轴方向切割的垂直时空切片集合，如下：

分别设定参考因子矩阵br和失真因子矩阵bd为单位矩阵，得到参考屏幕内容视频序列vr和失真屏幕内容视频序列vd沿y轴方向切割的水平时空切片集合，如下：

分别设定参考因子矩阵cr和失真因子矩阵cd为单位矩阵，得到参考屏幕内容视频序列vr和失真屏幕内容视频序列vd沿t轴方向切割的空间切片集合，如下：

步骤2.3：提取参考屏幕内容视频序列vr的三方向切片集合中能量最大的切片作为参考主成分切片mr,x、mr,y、mr,t，具体如下：

提取失真屏幕内容视频序列vd的三方向切片集合中能量最大的切片作为参考主成分切片md,x、md,y、md,t，具体如下：

其中w＝1,2,...,w，h＝1,2,...,h，l＝1,2,...,l，w，h，l分别表示三方向切片集合的切片数目。

优选的，计算三方向参考gabor特征图fr,x(x,y)、fr,y(x,y)、fr,t(x,y)和三方向失真gabor特征图fd,x(x,y)、fd,y(x,y)、fd,t(x,y)的特征相似度图sx(x,y)、sy(x,y)、st(x,y)，具体如下：

分别提取三方向参考主成分切片mr,x、mr,y、mr,t的gabor特征图fr,x(x,y)、fr,y(x,y)、fr,t(x,y)，如下：

其中，gi(x,y)为gabor滤波器，如下：

x^′＝xcosθ+ysinθ

y^′＝ycosθ-xsinθ

其中，(x,y)表示输入主成分切片中每个像素的坐标，i表示gabor滤波器的方向索引,f和θ为正弦平面波(x′,y′)的频率幅值和方向信息，σx和σy分别是沿x轴方向和y轴方向的高斯核的标准差，此处取f＝0.2,σx＝2.15,σy＝0.15。n为方向总数，此处一共考虑了12个方向，分别对应θ＝i×π/12,i∈{0,...11}的gabor滤波器。

分别提取三方向失真主成分切片md,x、md,y、md,t的gabor特征图fd,x(x,y)、fd,y(x,y)、fd,t(x,y)，如下：

优选的，计算三方向参考gabor特征图fr,x(x,y)、fr,y(x,y)、fr,t(x,y)和三方向失真gabor特征图fd,x(x,y)、fd,y(x,y)、fd,t(x,y)的特征相似度图sx(x,y)、sy(x,y)、st(x,y)，具体如下：

其中，c是一个用于保证数值稳定性的常数，c＝1000。

优选的，基于三方向特征相似度图sx(x,y)、sy(x,y)、st(x,y)获得最终失真屏幕内容视频质量分析值，具体如下：

通过池化x方向特征相似度图sx(x,y)得到x方向失真屏幕内容视频质量分数：

ωx(x,y)＝max{|fr,x(x,y)|,|fd,x(x,y)|}

通过池化y方向特征相似度图sy(x,y)得到y方向失真屏幕内容视频质量分数：

ωy(x,y)＝max{|fr,y(x,y)|,|fd,y(x,y)}

通过池化t方向特征相似度图sx(x,y)得到t方向失真屏幕内容视频质量分数：

ωt(x,y)＝max{|fr,t(x,y)|,|fd,t(x,y)|}

将各方向失真屏幕内容质量分数结合得到最终失真屏幕内容视频质量分析值：

score＝scorex·scorey·scoret

本发明的有益效果如下：

本发明提供了一种基于张量分解的屏幕内容视频质量分析方法。该方法着重于充分考虑人眼视觉系统特性及屏幕内容视频特性，采用张量分解获取屏幕内容视频的主要纹理结构信息，充分利用gabor特征来捕获人眼高度敏感的边缘信息，反应了人眼视主观视觉系统对于屏幕内容视频的主观感知度，具有较好的屏幕内容视频质量分析性能。

附图说明

图1是本发明的流程示意图。

具体实施方式

以下结合附图及实施例对本发明进行进一步的详细说明。

参见图1所示，一种基于张量分解的屏幕内容视频质量分析方法，具体步骤如下：

步骤1，输入参考屏幕内容视频序列vr和失真屏幕内容视频序列vd；

步骤2，对参考屏幕内容视频序列vr和失真屏幕内容视频序列vd进行张量分解，得到三方向参考主成分切片mr,x、mr,y、mr,t和三方向失真主成分切片md,x、md,y、md,t，具体如下：

步骤2.1：将参考屏幕内容视频序列vr看作一个三阶张量，对其通过张量分解转换为一个核心张量和三个因子矩阵ar,br,cr的组合，具体如下：

其中，×n表示n模乘运算，n＝1,2,3，三个因子矩阵ar,br,cr分别表示原始视频序列vr在x，y，t三方向的主分量，且三者彼此互为正交，而核心张量表示如下：

将失真屏幕内容视频序列vd看作一个三阶张量，对其通过张量分解转换为一个核心张量和三个因子矩阵ad,bd,cd的组合，具体如下：

其中，×n表示n模乘运算，n＝1,2,3，三个因子矩阵ad,bd,cd分别表示原始视频序列vd在x，y，t三方向的主分量，且三者彼此互为正交，而核心张量表示如下：

步骤2.2：分别设定参考因子矩阵ar和失真因子矩阵ad为单位矩阵，得到参考屏幕内容视频序列vr和失真屏幕内容视频序列vd沿x轴方向切割的垂直时空切片集合，如下：

分别设定参考因子矩阵br和失真因子矩阵bd为单位矩阵，得到参考屏幕内容视频序列vr和失真屏幕内容视频序列vd沿y轴方向切割的水平时空切片集合，如下：

分别设定参考因子矩阵cr和失真因子矩阵cd为单位矩阵，得到参考屏幕内容视频序列vr和失真屏幕内容视频序列vd沿t轴方向切割的空间切片集合，如下：

步骤2.3：提取参考屏幕内容视频序列vr的三方向切片集合中能量最大的切片作为参考主成分切片mr,x、mr,y、mr,t，具体如下：

提取失真屏幕内容视频序列vd的三方向切片集合中能量最大的切片作为参考主成分切片md,x、md,y、md,t，具体如下：

其中w＝1,2,...,w，h＝1,2,...,h，l＝1,2,...,l，w，h，l分别表示三方向切片集合的切片数目。

步骤3，计算三方向参考gabor特征图fr,x(x,y)、fr,y(x,y)、fr,t(x,y)和三方向失真gabor特征图fd,x(x,y)、fd,y(x,y)、fd,t(x,y)的特征相似度图sx(x,y)、sy(x,y)、st(x,y)，具体如下：

分别提取三方向参考主成分切片mr,x、mr,y、mr,t的gabor特征图fr,x(x,y)、fr,y(x,y)、fr,t(x,y)，如下：

其中，gi(x,y)为gabor滤波器，如下：

x^′＝xcosθ+ysinθ

y^′＝ycosθ-xsinθ

其中，(x,y)表示输入主成分切片中每个像素的坐标，i表示gabor滤波器的方向索引,f和θ为正弦平面波(x′,y′)的频率幅值和方向信息，σx和σy分别是沿x轴方向和y轴方向的高斯核的标准差，此处取f＝0.2,σx＝2.15,σy＝0.15。n为方向总数，此处一共考虑了12个方向，分别对应θ＝i×π/12,i∈{0,...11}的gabor滤波器。

分别提取三方向失真主成分切片md,x、md,y、md,t的gabor特征图fd,x(x,y)、fd,y(x,y)、fd,t(x,y)，如下：

步骤4，计算三方向参考gabor特征图fr,x(x,y)、fr,y(x,y)、fr,t(x,y)和三方向失真gabor特征图fd,x(x,y)、fd,y(x,y)、fd,t(x,y)的特征相似度图sx(x,y)、sy(x,y)、st(x,y)，具体如下：

其中，c是一个用于保证数值稳定性的常数，c＝1000。

步骤5，基于三方向特征相似度图sx(x,y)、sy(x,y)、st(x,y)获得最终失真屏幕内容视频质量分析值，具体如下：

通过池化x方向特征相似度图sx(x,y)得到x方向失真屏幕内容视频质量分数：

ωx(x,y)＝max{|fr,x(x,y)|,|fd,x(x,y)|}

通过池化y方向特征相似度图sy(x,y)得到y方向失真屏幕内容视频质量分数：

ωy(x,y)＝max{|fr,y(x,y)|,|fd,y(x,y)}

通过池化t方向特征相似度图sx(x,y)得到t方向失真屏幕内容视频质量分数：

ωt(x,y)＝max{|fr,t(x,y)|,|fd,t(x,y)|}

将各方向失真屏幕内容质量分数结合得到最终失真屏幕内容视频质量分析值：

score＝scorex·scorey·scoret

上述实施例仅是用来说明本发明，而并非用作对本发明的限定。只要是依据本发明的技术实质，对上述实施例进行变化、变型等都将落在本发明的权利要求的范围内。