用于编解码视频流的系统和方法与流程

本公开内容涉及视频编解码技术，更具体地，涉及用于解码视频流的方法和系统。

背景技术：

1、先前已经存在通过使用运动补偿的图片间预测来进行视频编解码。未经压缩的数字视频可以包括一系列图片，每个图片具有例如1920×1080亮度样本和相关色度样本的空间维度。该系列图片可以具有固定或可变的图片速率(非正式地，也称为帧速率)，例如每秒60张图片或60hz。未经压缩的视频具有很高的比特率要求。例如，每个样本8比特的1080p604:2:0视频(60hz帧速率下的1920×1080亮度样本分辨率)需要接近1.5gbit/s的带宽。一小时的此类视频需要超过600gb的存储空间。

2、视频编解码的一个目的可以是通过压缩来减少输入视频信号中的冗余。压缩可以有助于减少上述带宽或存储空间要求，在某些情况下减少两个数量级或更多。可以使用无损压缩和有损压缩，以及它们的组合。无损压缩是指可以根据经压缩的原始信号重建原始信号的精确副本的技术。当使用有损压缩时，重建信号可能与原始信号不同，但原始信号与重建信号之间的失真可以足够小，以使重建信号用于预期应用。在视频的情况下，广泛采用有损压缩。容忍的失真量取决于应用；例如，某些消费者流式应用的用户会比电视贡献应用的用户容忍更高的失真。可达到的压缩比可以反映为：更高的可允许/可容忍失真可以带来更高的压缩比。

3、视频编码器和解码器可以利用来自几个大类的技术，包括例如运动补偿、变换、量化和熵编码，下面将介绍其中的一些。

4、以前，视频编码器和解码器倾向于对给定的图片大小进行操作，在大多数情况下，针对编码视频序列(coded video sequence，cvs)、图片组(group ofpictures，gop)或类似的多图片时间帧，图片大小是被限定并保持不变的。例如，在mpeg-2中，系统设计用于根据诸如场景活动的因素改变水平分辨率(从而改变图片大小)，但仅限于i图片，因此通常用于gop。例如，在itu-t h.263建议书附录p中已经使用了参考图片的在cvs内使用不同分辨率的重采样。然而，这里的图片大小没有改变，仅参考图片被重采样，导致可能仅部分图片画布(picture canvas)被使用(在下采样的情况下)，或者仅部分场景被捕获(在上采样的情况下)。此外，h.263附录q允许以因子2(在每个维度上)向上或向下对单个宏块进行重采样。同样，图片大小保持不变。宏块的大小在h.263中是固定的，因此不需要用信号通知。

5、预测图片中图片大小的变化在现代视频编码中变得更加主流。例如，vp9允许对整个图片进行参考图片重采样和分辨率更改。类似地，针对vvc提出的某些建议(包括例如hendry等人，“on adaptive resolution change(arc)for vvc(关于vvc的自适应分辨率更改(arc))”，联合视频团队文件jvet-m0135-v1，2019年1月9日至19日，整体上并入本文)允许以不同的(更高或更低)分辨率重采样整个参考图片。在这样的文件中，建议将不同的候选分辨率编码在序列参数集中并且由图片参数集中的每个图片语法元素引用。

6、bross等人，“versatile video coding(draft 9)(下一代视频编码(草案9))”，联合视频专家组文件jvet-r2001-va，2020年4月，其全部内容并入本文。

7、在经编码的视频流中，广泛使用的是在高级语法结构中指示随机访问点信息，例如网络抽象层(network abstraction layer，nal)单元头、参数集、图片头或切片头。基于该随机访问信息，管理与随机访问图片相关联的解码前导图片。在本公开内容中，为了使与随机访问过程相关联的解码图片管理清晰，解释了一些相关的语法元素和约束。

8、当通过特技模式播放来随机访问视频比特流时，帧内随机访问点(intra randomaccess point，irap)图片可以实现对比特流的中间点的随机访问以及成功解码该随机访问点的视频比特流。一种可能的方法是使用一定的恢复时间渐进刷新场景。在vvc和其他视频编解码器中，定义了渐进解码刷新(gradual decoding refresh，gdr)图片和访问单元(access unit，au)以指定具有渐进解码刷新的随机访问操作的语法和语义。在本公开内容中，为了正确指定gdr的信令和解码过程，描述了其语法、语义和约束。

9、当一个或更多个参考图片列表被构造用于p或b切片中的帧间预测时，一个或更多个图片可能由于随机访问或意外图片丢失而无法使用。为了避免任何解码器崩溃或意外行为，需要用像素和参数的默认值生成不可用图片。在生成不可用图片后，可能需要检查参考图片列表中所有参考图片的有效性。

10、因此，如何生成由于随机访问或意外图片丢失而造成的不可用图片，以避免解码器崩溃或意外行为仍是本领域需要继续研究解决的问题。

技术实现思路

1、本公开内容的实施方式涉及具有多层的经编码的视频流中的随机访问图片及其输出过程。本公开内容的实施方式涉及具有多层的经编码的视频流中的随机访问图片及其前导图片输出指示。本公开内容的实施方式涉及在具有多层的经编码的视频流中用信号通知具有渐进解码刷新和恢复点的随机访问图片。本公开内容的实施方式涉及具有多层的经编码的视频流中的参考图片列表构造和不可用图片生成。本公开内容的实施方式包括用于在视频比特流中用信号通知自适应图片大小的技术。

2、本公开内容的一个或更多个实施方式包括一种用于解码视频流的方法。该方法包括：接收包括访问单元的经编码的视频流，该访问单元包括图片；在经编码的视频流的访问单元定界符中用信号通知第一标志，该第一标志指示访问单元是否包括帧内随机访问点(irap)图片和渐进解码刷新(gdr)图片当中的任一个；在经编码的视频流的图片头中用信号通知第二标志，该第二标志指示图片是否是irap图片；以及基于第一标志和第二标志，将图片解码为当前图片，其中，第一标志的值和第二标志的值相等。

3、根据实施方式，该方法还包括：在经编码的视频流的图片头中用信号通知第三标志，该第三标志指示该图片是否为gdr图片，其中，第一标志的值和第三标志的值相等。

4、根据实施方式，基于第二标志指示图片不是irap图片，用信号通知第三标志。

5、根据实施方式，第一标志具有指示图片是irap图片和gdr图片当中的任一个的值，第二标志具有指示图片是irap图片的值，并且方法还包括在经编码的视频流的图片的切片的切片头中用信号通知第五标志，该第五标志指示在irap图片之前的任何图片是否被输出。

6、根据实施方式，该方法还包括：确定切片的网络抽象层(nal)单元类型，其中，基于确定的nal单元类型用信号通知第五标志。

7、根据实施方式，基于被确定为等于idr_w_radl、idr_n_lp或cra_nut的nal单元类型来用信号通知第五标志。

8、根据实施方式，该方法还包括：在经编码的视频流的图片头中用信号通知第四标志，该第四标志指示该图片是否为gdr图片，其中，第一标志的值和第四标志的值相等。

9、根据实施方式，基于第二标志指示图片不是irap图片，用信号通知第五标志。

10、根据实施方式，解码包括：构造参考图片列表；在参考图片列表中生成不可用的参考图片；以及检查比特流一致性，对于参考图片列表中的参考图片，以下约束适用：被指示在参考图片列表中的条目的数目不小于被指示在参考图片列表中的激活(active)条目的数目，参考图片列表中的激活条目所指的每个图片存在于解码图片缓冲区(decodedpicture buffer，dpb)中，并且具有小于或等于当前图片的时间标识符值的时间标识符值，并且参考图片列表中的条目所指的每个图片不是当前图片并且由图片头标志指示为是潜在参考图片。

11、根据实施方式，基于确定当前图片是独立解码器刷新(independent decoderrefresh，idr)图片、干净随机访问(clean random access，cra)图片或渐进解码刷新(gdr)图片来执行检查比特流一致性。

12、根据一个或更多个实施方式，提供了一种用于解码视频流的系统。该系统包括：至少一个处理器，其被配置成接收包括访问单元的经编码的视频流，该访问单元包括图片；以及存储计算机代码的存储器，所述计算机代码包括：第一信令代码，其被配置成使至少一个处理器在经编码的视频流的访问单元定界符中用信号通知第一标志，该第一标志指示访问单元是否包括帧内随机访问点(irap)图片和渐进解码刷新(gdr)图片当中的任一个；第二信令代码，其被配置成使至少一个处理器在经编码的视频流的图片头中用信号通知第二标志，该第二标志指示图片是否是irap图片；以及解码代码，其被配置成使至少一个处理器基于第一标志和第二标志，将图片解码为当前图片，其中，第一标志的值和第二标志的值相等。

13、根据实施方式，该计算机代码还包括：

14、第三信令代码，其被配置成使至少一个处理器在经编码的视频流的图片头中用信号通知第三标志，该第三标志指示图片是否为gdr图片，其中，第一标志的值和第三标志的值相等。

15、根据实施方式，基于第二标志指示图片不是irap图片，用信号通知第三标志。

16、根据实施方式，第一标志具有指示图片是irap图片和gdr图片当中的任一个的值，第二标志具有指示图片是irap图片的值，并且计算机代码还包括第五信令代码，该第五信令代码被配置成使至少一个处理器在经编码的视频流的图片的切片的切片头中用信号通知第五标志，该第五标志指示在irap图片之前的任何图片是否被输出。

17、根据实施方式，该计算机代码还包括：确定代码，其被配置成使至少一个处理器确定切片的网络抽象层(nal)单元类型，其中基于确定的nal单元类型用信号通知该第五标志。

18、根据实施方式，基于被确定为等于idr_w_radl、idr_n_lp或cra_nut的nal单元类型来用信号通知第五标志。

19、根据实施方式，计算机代码还包括：第四信令代码，其被配置成使至少一个处理器在经编码的视频流的图片头中用信号通知第四标志，该第四标志指示图片是否为gdr图片，其中，第一标志的值与第四标志的值相等。

20、根据实施方式，基于第二标志指示图片不是irap图片，用信号通知第五标志。

21、根据实施方式，解码代码包括：构造代码，其被配置成使至少一个处理器构造参考图片列表；生成代码，其被配置成使至少一个处理器在参考图片列表中生成不可用的参考图片；以及检查代码，其被配置成使至少一个处理器检查比特流一致性，对于参考图片列表中的参考图片，以下约束适用：被指示在参考图片列表中的条目的数目不小于被指示在参考图片列表中的激活条目的数目，参考图片列表中的激活条目所指的每个图片存在于解码图片缓冲器(dpb)中并且具有小于或等于当前图片的时间标识符值的时间标识符值，并且参考图片列表中的条目所指的每个图片不是当前图片，并且由图片头标志指示为是潜在参考图片。

22、根据一个或更多个实施方式，提供了一种存储计算机指令的非暂态计算机可读介质。所述计算机指令在由至少一个处理器执行时——所述至少一个处理器接收包括访问单元的经编码的视频流，所述访问单元包括图片——使至少一个处理器：在经编码的视频流的访问单元定界符中用信号通知第一标志，该第一标志指示访问单元是否包括帧内随机访问点(irap)图片和渐进解码刷新(gdr)图片当中的任一个；在经编码的视频流的图片头中用信号通知第二标志，该第二标志指示图片是否是irap图片；以及基于第一标志和第二标志，将图片解码为当前图片，其中，第一标志的值和第二标志的值相等。

23、根据实施方式，提供了一种用于解码视频流的系统，所述系统包括：第一信令单元，其被配置成在经编码的视频流的访问单元定界符中用信号通知第一标志，该第一标志指示访问单元是否包括帧内随机访问点(irap)图片和渐进解码刷新(gdr)图片当中的任一个；第二信令单元，其被配置成在经编码的视频流的图片头中用信号通知第二标志，该第二标志指示图片是否是irap图片；以及解码单元，其被配置成基于第一标志和第二标志，将图片解码为当前图片，其中，第一标志的值和第二标志的值相等。

24、根据实施方式，提供了一种计算机设备，所述设备包括处理器以及存储器。所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；所述处理器用于根据所述程序代码中的指令执行上述方法。

25、根据本公开内容实施例提供的用于解码视频流的系统和方法，接收包括访问单元的经编码的视频流，该访问单元包括图片；在经编码的视频流的访问单元定界符中用信号通知第一标志，该第一标志指示访问单元是否包括帧内随机访问点(irap)图片和渐进解码刷新(gdr)图片当中的任一个；在经编码的视频流的图片头中用信号通知第二标志，该第二标志指示图片是否是irap图片；基于第一标志和第二标志，将图片解码为当前图片，其中，第一标志的值和第二标志的值相等。通过本公开内容，如果参考图片被确定为不可用，则可以将不可用参考图片标记为“无参考图片”。为了避免任何解码器崩溃或非预期行为，可以用像素和参数的默认值立即生成不可用参考图片。在生成不可用参考图片(以及/或者参考图片被确定为可用)之后，解码器可以检查参考图片列表中的所有参考图片(包括所生成的图片)的有效性。