立体视频质量评估方法、装置和计算机设备与流程

本申请涉及人工智能，特别是涉及一种立体视频质量评估方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术：

1、随着人工智能技术的发展，立体视频在虚拟现实、混合现实和全息投影等领域被广泛应用。相比于二维视频，立体视频具有三维的深度感知特性，更加符合人类实际的观看内容，可以为人们提供更加真实、更加丰富的观看体验。

2、然而，立体视频的获取、编码、传输和显示不可避免的会引入各种噪声干扰，导致视频质量的变化，从而引起观察者的视觉不适。因此，需要建立立体视频质量评估模型对立体视频的质量进行评估。

3、传统的立体视频质量评估方法，一般通过结合空域特征、时域特征和立体感特征对于立体视频质量的影响,进行立体视频的客观质量评价，但是由于立体视频受到多类复杂因素影响，采用传统的立体视频质量评估方法对立体视频质量进行评估，存在质量评估不准确的问题。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够提高质量评估准确性的立体视频质量评估方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面，本申请提供了一种立体视频质量评估方法。所述方法包括：

3、获取立体视频；所述立体视频中包括多个视频帧各自对应的左视图和右视图；

4、对同一视频帧中的左视图和右视图进行深度分析，确定所述立体视频的双目深度特征和单目深度特征；

5、对相邻视频帧中的左视图和右视图进行深度分析，确定所述立体视频的运动深度特征；

6、基于所述双目深度特征、所述单目深度特征以及所述运动深度特征对所述立体视频进行质量评估，获得所述立体视频的质量评估结果。

7、在其中一个实施例中，所述对同一视频帧中的左视图和右视图进行深度分析，确定所述立体视频的双目深度特征，包括：

8、针对同一视频帧中的左视图和右视图，基于融合竞争机制对所述左视图和所述右视图进行双目视觉模拟，确定所述立体视频的双目融合图和双目抑制图；

9、根据所述双目融合图和所述双目抑制图，确定所述立体视频的双目深度特征。

10、在其中一个实施例中，所述根据所述双目融合图和所述双目抑制图，确定所述立体视频的双目深度特征，包括：

11、分别根据所述双目融合图和所述双目抑制图各自的梯度算子，确定所述双目融合图和所述双目抑制图各自的梯度幅值；

12、分别基于各所述梯度幅值的偏导数，确定所述双目融合图和所述双目抑制图各自的结构张量；

13、分别利用各所述结构张量的特征值，确定所述双目融合图和所述双目抑制图各自的非均匀性数值和方向角；

14、基于各所述梯度幅值、各所述结构张量、各所述非均匀性数值以及各所述方向角，确定所述立体视频的双目深度特征。

15、在其中一个实施例中，所述对同一视频帧中的左视图和右视图进行深度分析，确定所述立体视频的单目深度特征，包括：

16、对同一视频帧中的左视图和右视图分别进行频域变换，得到所述左视图和所述右视图各自对应的多个频域变换图像；

17、针对每一所述频域变换图像分别进行图像分析，确定所述频域变换图像的亮度信息、频率信息和方向信息；

18、基于各所述亮度信息、各所述频率信息以及各所述方向信息，确定所述立体视频的单目深度特征。

19、在其中一个实施例中，所述对相邻视频帧中的左视图和右视图进行深度分析，确定所述立体视频的运动深度特征，包括：

20、对相邻视频帧中的左视图和右视图分别进行深度分析，确定所述左视图和所述右视图各自对应的感知运动矢量；

21、根据各所述感知运动矢量，确定所述立体视频的运动视差；

22、基于各所述感知运动矢量、所述运动视差、以及各所述感知运动矢量与水平面之间的夹角，确定所述立体视频的运动深度特征。

23、在其中一个实施例中，所述对相邻视频帧中的左视图和右视图分别进行深度分析，确定所述左视图和所述右视图各自对应的感知运动矢量，包括：

24、针对所述立体视频中的每一组相邻视频帧，计算出所述相邻视频帧中左视图和右视图各自对应的子运动矢量；

25、对所述立体视频的眼动速度矢量和各所述子运动矢量进行运算，确定所述左视图和所述右视图各自对应的感知运动矢量。

26、第二方面，本申请还提供了一种立体视频质量评估装置。所述装置包括：

27、立体视频获取模块，用于获取立体视频；所述立体视频中包括多个视频帧各自对应的左视图和右视图；

28、单双目深度特征确定模块，用于对同一视频帧中的左视图和右视图进行深度分析，确定所述立体视频的双目深度特征和单目深度特征；

29、运动深度特征确定模块，用于对相邻视频帧中的左视图和右视图进行深度分析，确定所述立体视频的运动深度特征；

30、质量评估模块，用于基于所述双目深度特征、所述单目深度特征以及所述运动深度特征对所述立体视频进行质量评估，获得所述立体视频的质量评估结果。

31、第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上所述的方法的步骤。

32、第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法的步骤。

33、第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上所述的方法的步骤。

34、上述立体视频质量评估方法、装置、计算机设备、存储介质和计算机程序产品，获取立体视频，该立体视频中包括多个视频帧各自对应的左视图和右视图，可以确定立体视频的图像信息，之后对对同一视频帧中的左视图和右视图进行深度分析，确定立体视频的双目深度特征和单目深度特征，对相邻视频帧中的左视图和右视图进行深度分析，确定立体视频的运动深度特征，可以从多方面确定立体视频的质量感知特性，最后基于双目深度特征、单目深度特征以及运动深度特征对立体视频进行质量评估，获得立体视频的质量评估结果，能够更加全面、更加合理地反映人眼视觉系统对立体视频的质量感知特性，更加准确地评估立体视频的质量，进而提高立体视频质量评估的准确性。

技术特征：

1.一种立体视频质量评估方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述对同一视频帧中的左视图和右视图进行深度分析，确定所述立体视频的双目深度特征，包括：

3.根据权利要求2所述的方法，其特征在于，所述根据所述双目融合图和所述双目抑制图，确定所述立体视频的双目深度特征，包括：

4.根据权利要求1所述的方法，其特征在于，所述对同一视频帧中的左视图和右视图进行深度分析，确定所述立体视频的单目深度特征，包括：

5.根据权利要求1至4任意一项中所述的方法，其特征在于，所述对相邻视频帧中的左视图和右视图进行深度分析，确定所述立体视频的运动深度特征，包括：

6.根据权利要求5所述的方法，其特征在于，所述对相邻视频帧中的左视图和右视图分别进行深度分析，确定所述左视图和所述右视图各自对应的感知运动矢量，包括：

7.一种立体视频质量评估装置，其特征在于，所述装置包括：

8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

技术总结
本申请涉及一种立体视频质量评估方法、装置、计算机设备、存储介质和计算机程序产品。方法包括：获取立体视频；立体视频中包括多个视频帧各自对应的左视图和右视图；对同一视频帧中的左视图和右视图进行深度分析，确定立体视频的双目深度特征和单目深度特征；对相邻视频帧中的左视图和右视图进行深度分析，确定立体视频的运动深度特征；基于双目深度特征、单目深度特征以及运动深度特征对立体视频进行质量评估，获得立体视频的质量评估结果。采用本方法能够提高立体视频质量评估结果准确性。

技术研发人员：万文菲,陈钼,徐鹏飞,李小兵,尚斌,林煜森,莫冰
受保护的技术使用者：中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室））
技术研发日：
技术公布日：2024/6/11