用于视频译码的图片方位和质量度量补充增强信息消息的制作方法

本公开内容涉及视频编码和视频解码。

背景技术：

1、数字视频能力可以被合并到宽范围的设备中，该宽范围的设备包括数字电视机、数字直播系统、无线广播系统、个人数字助理(pda)、膝上型计算机或台式计算机、平板计算机、电子书阅读器、数字相机、数字记录设备、数字媒体播放器、视频游戏设备、视频游戏机、蜂窝或卫星无线电话、所谓的“智能电话”、视频电话会议设备、视频流式传输设备等。数字视频设备实现视频译码(coding)技术(诸如在通过mpeg-2、mpeg-4、itu-t h.263、itu-th.264/mpeg-4(部分10，高级视频译码(avc))、itu-t h.265/高效率视频译码(hevc)、itu-th.266/通用视频译码(vvc)定义的标准以及这样的标准的扩展中描述的那些技术)以及专有视频编解码器/格式(诸如由开放媒体联盟开发的aomedia视频1(av1))。通过实现这样的视频译码技术，视频设备可以更高效地发送、接收、编码、解码和/或存储数字视频信息。

2、视频译码技术包括空间(图片内(intra-picture))预测和/或时间(图片间(inter-picture))预测以减少或去除在视频序列中固有的冗余。对于基于块的视频译码，视频切片(例如，视频图片或视频图片的一部分)可以被分割为视频块，该视频块还可以被称为译码树单元(ctu)、译码单元(cu)和/或译码节点。在图片的经帧内译码(i)的切片中的视频块是使用相对于在相同图片中的相邻块中的参考样本的空间预测来编码的。在图片的经帧间译码(p或b)的切片中的视频块可以使用相对于在相同图片中的相邻块中的参考样本的空间预测或者相对于在其它参考图片中的参考样本的时间预测。图片可以被称为帧，以及参考图片可以被称为参考帧。

技术实现思路

1、概括而言，本公开内容描述了用于对视频数据进行译码的技术。具体而言，本公开内容描述了用于对消息(例如，补充增强信息(sei)消息和/或其它分组化结构)进行编码和解码的技术，该消息包括辅助处理(例如，解码、显示等)视频数据的元数据。本公开内容的消息可以包括语法元素，该语法元素指示图片的方位和/或要应用于经解码的图片的变换，该变换可以用于将经解码的图片旋转和/或镜像到期望的方位。语法元素可以指示用于显示的整个图片或组成图片(例如，左视图和右视图立体图片)的变换。在另一示例中，该消息可以包括指示图片质量度量的语法元素。图片质量度量可以指示图片的编码质量，诸如基于质量的视口切换和基于质量的度量测量。

2、视频解码器或其它设备可以对消息进行解码，并且根据消息来处理视频数据的图片。图片方位消息可以用于向视频解码器提供关于要应用于经解码的图片的推荐方位变换的指令。以这种方式，对经解码的图片的显示可以以更合适的方位来示出。视频解码器可以在对经解码的图片的后处理中使用质量度量，和/或可以使用质量度量来选择更高质量的图片以用于帧间预测。

3、在一个示例中，本公开内容描述了一种处理视频数据的方法，该方法包括：接收图片；以及对包括变换类型语法元素的图片方位消息进行译码，其中，该变换类型语法元素指示来自在多个变换当中的要应用于图片的一变换。

4、在另一示例中，本公开内容描述了一种被配置为处理视频数据的装置，该装置包括：被配置为存储图片的存储器；以及在电路中实现并且与该存储器相通信的一个或多个处理器，该一个或多个处理器被配置为：接收图片；以及对包括变换类型语法元素的图片方位消息进行译码，其中，该变换类型语法元素指示来自在多个变换当中的要应用于图片的一变换。

5、在另一示例中，本公开内容描述了一种被配置为处理视频数据的装置，该装置包括：用于接收图片的单元；以及用于对包括变换类型语法元素的图片方位消息进行译码的单元，其中，该变换类型语法元素指示来自在多个变换当中的要应用于图片的一变换。

6、在另一示例中，本公开内容描述了一种存储指令的非暂时性计算机可读存储介质，该指令当被执行时使得被配置为处理视频数据的设备的一个或多个处理器进行以下操作：接收图片；以及对包括变换类型语法元素的图片方位消息进行译码，其中，该变换类型语法元素指示来自在多个变换当中的要应用于图片的一变换。

7、在另一示例中，本公开内容描述了一种处理视频数据的方法，该方法包括：接收图片；以及对包括质量度量语法元素的质量度量消息进行译码，其中，该质量度量语法元素指示与图片相关的质量度量的值。

8、在另一示例中，本公开内容描述了一种被配置为处理视频数据的装置，该装置包括：被配置为存储图片的存储器；以及在电路中实现并且与该存储器相通信的一个或多个处理器，该一个或多个处理器被配置为：接收图片；以及对包括质量度量语法元素的质量度量消息进行译码，其中，该质量度量语法元素指示与图片相关的质量度量的值。

9、在另一示例中，本公开内容描述了一种被配置为处理视频数据的装置，该装置包括：用于接收图片的单元；以及用于对包括质量度量语法元素的质量度量消息进行译码的单元，其中，该质量度量语法元素指示与图片相关的质量度量的值。

10、在另一示例中，本公开内容描述了一种存储指令的非暂时性计算机可读存储介质，该指令当被执行时使得被配置为处理视频数据的设备的一个或多个处理器进行以下操作：接收图片；以及对包括质量度量语法元素的质量度量消息进行译码，其中，该质量度量语法元素指示与图片相关的质量度量的值。

11、在附图和下文的描述中阐述了一个或多个示例的细节。根据说明书、附图和权利要求，其它特征、对象和优势将是显而易见的。

技术特征：

1.一种处理视频数据的方法，所述方法包括：

2.根据权利要求1所述的方法，还包括：

3.根据权利要求2所述的方法，其中，所述多个类型的质量度量包括峰值信噪比(psnr)。

4.根据权利要求2所述的方法，其中，所述多个类型的质量度量包括以下各项中的两个更多项：峰值信噪比(psnr)、结构相似性索引(ssim)、多尺度结构相似性索引(ms-ssim)、视频质量度量(vqm)、加权psnr(wpsnr)、加权到球形均匀psnr(ws-psnr)、序列psnr、序列wpsnr、或序列ws-psnr。

5.根据权利要求2所述的方法，其中，所述质量度量语法元素指示通过所述质量度量类型语法元素指示的所述质量度量的所述值。

6.根据权利要求1所述的方法，还包括：

7.根据权利要求1所述的方法，还包括：

8.根据权利要求1所述的方法，其中，译码包括解码，并且其中，所述方法还包括：

9.根据权利要求1所述的方法，其中，所述质量度量消息包括质量度量补充增强信息(sei)消息。

10.根据权利要求1所述的方法，其中，所述质量度量消息包括质量度量开放比特流单元(obu)。

11.一种被配置为处理视频数据的装置，所述装置包括：

12.根据权利要求11所述的装置，其中，所述一个或多个处理器还被配置为：

13.根据权利要求12所述的装置，其中，所述多个类型的质量度量包括峰值信噪比(psnr)。

14.根据权利要求12所述的装置，其中，所述多个类型的质量度量包括以下各项中的两个更多项：峰值信噪比(psnr)、结构相似性索引(ssim)、多尺度结构相似性索引(ms-ssim)、视频质量度量(vqm)、加权psnr(wpsnr)、加权到球形均匀psnr(ws-psnr)、序列psnr、序列wpsnr、或序列ws-psnr。

15.根据权利要求12所述的装置，其中，所述质量度量语法元素指示通过所述质量度量类型语法元素指示的所述质量度量的所述值。

16.根据权利要求11所述的装置，其中，所述一个或多个处理器还被配置为：

17.根据权利要求11所述的装置，其中，所述一个或多个处理器还被配置为：

18.根据权利要求11所述的装置，其中，所述装置被配置为对所述质量度量消息进行解码，并且其中，所述一个或多个处理器还被配置为：

19.根据权利要求11所述的装置，其中，所述质量度量消息包括质量度量补充增强信息(sei)消息。

20.根据权利要求11所述的装置，其中，所述质量度量消息包括质量度量开放比特流单元(obu)。

21.一种被配置为处理视频数据的装置，所述装置包括：

22.根据权利要求21所述的装置，还包括：

23.根据权利要求22所述的装置，其中，所述多个类型的质量度量包括峰值信噪比(psnr)。

24.根据权利要求22所述的装置，其中，所述多个类型的质量度量包括以下各项中的两个更多项：峰值信噪比(psnr)、结构相似性索引(ssim)、多尺度结构相似性索引(ms-ssim)、视频质量度量(vqm)、加权psnr(wpsnr)、加权到球形均匀psnr(ws-psnr)、序列psnr、序列wpsnr、或序列ws-psnr。

25.根据权利要求22所述的装置，其中，所述质量度量语法元素指示通过所述质量度量类型语法元素指示的所述质量度量的所述值。

26.根据权利要求21所述的装置，还包括：

27.根据权利要求21所述的装置，还包括：

28.根据权利要求21所述的装置，其中，所述用于译码的单元包括用于解码的单元，并且其中，所述装置还包括：

29.根据权利要求21所述的装置，其中，所述质量度量消息包括质量度量补充增强信息(sei)消息。

30.根据权利要求21所述的装置，其中，所述质量度量消息包括质量度量开放比特流单元(obu)。

31.一种存储指令的非暂时性计算机可读存储介质，所述指令当被执行时使得被配置为处理视频数据的设备的一个或多个处理器进行以下操作：

32.根据权利要求31所述的非暂时性计算机可读存储介质，其中，所述指令还使得所述一个或多个处理器进行以下操作：

33.根据权利要求32所述的非暂时性计算机可读存储介质，其中，所述多个类型的质量度量包括峰值信噪比(psnr)。

34.根据权利要求32所述的非暂时性计算机可读存储介质，其中，所述多个类型的质量度量包括以下各项中的两个更多项：峰值信噪比(psnr)、结构相似性索引(ssim)、多尺度结构相似性索引(ms-ssim)、视频质量度量(vqm)、加权psnr(wpsnr)、加权到球形均匀psnr(ws-psnr)、序列psnr、序列wpsnr、或序列ws-psnr。

35.根据权利要求32所述的非暂时性计算机可读存储介质，其中，所述质量度量语法元素指示通过所述质量度量类型语法元素指示的所述质量度量的所述值。

36.根据权利要求31所述的非暂时性计算机可读存储介质，其中，所述指令还使得所述一个或多个处理器进行以下操作：

37.根据权利要求31所述的非暂时性计算机可读存储介质，其中，所述指令还使得所述一个或多个处理器进行以下操作：

38.根据权利要求31所述的非暂时性计算机可读存储介质，其中，所述设备被配置为对所述质量度量消息进行解码，并且其中，所述指令还使得所述一个或多个处理器进行以下操作：

39.根据权利要求31所述的非暂时性计算机可读存储介质，其中，所述质量度量消息包括质量度量补充增强信息(sei)消息。

40.根据权利要求31所述的非暂时性计算机可读存储介质，其中，所述质量度量消息包括质量度量开放比特流单元(obu)。

技术总结
视频编码器和视频解码器被配置为补充增强信息(SEI)消息。SEI消息可以包括指示可以如何旋转图片和/或对图片进行镜像的图片方位变换类型语法元素。SEI消息还可以包括质量度量。

技术研发人员：Y·何,M·Z·科班,D·鲁萨诺夫斯基
受保护的技术使用者：高通股份有限公司
技术研发日：
技术公布日：2024/1/15