集成用于分层视频编码的解码器的制作方法

本发明涉及用于使用分层编码格式以及解码器和解码系统对信号，例如视频信号进行解码的方法。本发明尤其涉及一种用于将分层解码器，优选地lcevc解码器集成到应用程序或客户端中的视频解码器。

背景技术：

1、先前已经在例如wo 2014/170819和wo 2018/046940(其内容以引入的方式并入本文中)中提出了混合式后向兼容编码技术。基于层的编码格式的其它示例包含iso/iecmpeg-5第2部分lcevc(下文称为“lcevc”)。lcevc在wo 2020/188273a1和相关联标准规范文件中进行了描述，相关联标准规范文件包含在2020年1月13日星期一至2020年1月17日星期五在布鲁塞尔举行的mpeg 129会议上公布的iso/iec dis 23094-2低复杂度增强视频编码草案，两份文件都以引用的方式全文并入本文中。

2、在这些编码格式中，信号被分解成多个数据“梯队”(也称为“分级层”)，每个梯队对应于“质量层级”，从原始信号的采样率的最高梯队到最低梯队。最低梯队通常为原始信号的低质量再现且其它梯队含有关于应用于重构再现以便产生最终输出的校正的信息。

3、lcevc采用此多层方法，其中可经由额外低位率流增强任何基础编解码器(例如，高级视频编码-avc，也称为h.264或高效视频编码-hevc，也称为h.265)。lcevc由两个分量流定义：基础流，其通常可由硬件解码器解码；和增强流，其由适合于具有可持续功耗的软件处理实施方案的一个或多个增强层组成。所述增强为现有编解码器提供改进的压缩效率，并降低编码和解码复杂性。

4、由于lcevc和类似编码格式充分利用现有解码器且本质上为后向兼容的，因此需要与现有视频编码实施方案进行高效且有效的集成而无需完全重新设计。已知视频编码实施方案的示例包含软件工具ffmpeg，其由简单媒体播放器ffplay使用。

5、此外，lcevc不限于已知编解码器且理论上能够充分利用尚待开发的编解码器。因而，任何lcevc实施方案应能够与以硬件或软件实施的任何迄今已知或尚待开发的编解码器集成，而不会引入编码复杂性。

技术实现思路

1、本发明的各方面和变化在所附权利要求中阐述。在下面的详细描述中进一步阐述了某些未要求保护的方面。

2、根据一个方面，提供有一种视频解码器，包括：一个或多个解码器插件，其为一个或多个相应基础解码器提供包装器以实施基础解码层从而对经编码视频信号进行解码，每一包装器实施用于与对应基础解码器进行数据交换的接口；增强解码器，其用以实施增强解码层，所述增强解码器被配置成：接收经编码增强信号；且对经编码增强信号进行解码以获得残差数据的一个或多个层，残差数据的所述一个或多个层基于从经解码视频信号导出的数据与从原始输入视频信号导出的数据的比较来产生；以及解码器集成层，其用以控制一个或多个解码器插件和增强解码器的操作以使用来自基础编码层的经解码视频信号和来自增强编码层的残差数据的所述一个或多个层产生原始输入视频信号的经解码重构，其中解码器集成层为视频解码器提供控制接口。

3、优选地，增强解码器为lcevc解码器，使得解码器集成层、一个或多个插件和增强解码器共同提供lcevc解码软件解决方案。lecvc解码软件堆叠可实施于一个或多个lcevc解码器库中且因此提供用于对mpeg-5增强流进行解码的优化软件库。

4、lcevc解码非常轻量级，与原生基础编解码器解码相比，常常释放资源并匹配或减少电池功耗。以上方面提供所有平台上的lcevc的快速部署，包含支持不同基础编码和解码器实施方案。

5、解码器集成层还可包含控制用以向上按比例缩放来自基础编码层的经解码视频信号的向上按比例缩放操作的操作，使得残差数据的所述一个或多个层可应用于来自基础编码层的经解码视频信号。

6、解码器可易于实施于例如ios(rtm)、安卓(rtm)和windows(rtm)等平台上的流行媒体播放器上。

7、一个或多个解码器插件可被配置成通过库函数调用或操作系统函数调用来指示对应基础解码器。举例来说，取决于操作系统，函数调用可包含安卓(rtm)mediacodec、vtdecompressionsession和mft。因此，可易于支持不同基础解码实施方案，包含操作系统内的原生实施方案和硬件加速解码。

8、解码器集成层可被配置成将来自增强编码层的残差数据的一个或多个层应用于来自基础编码层的经解码视频信号以产生原始输入视频信号的经解码重构。在某些情况下，解码器集成层可指示来自解码器插件集合的插件应用残差数据的一个或多个层；在其它情况下，解码器集成层可从基础编码层获得使用解码器插件指示的经解码输出且将此与增强解码器的输出组合。优选地，残差数据层可在回放期间应用。

9、在某些实施例中，解码器集成层被配置成接收：一个或多个输入缓冲器，其按编码次序包括经编码视频信号和经编码增强信号，其中一个或多个输入缓冲器还馈送到基础解码器；和按呈现次序来自基础编码层的经解码视频信号的一个或多个基础解码帧。以此方式，客户端需要最少处理，且集成负责客户端的操作。相同输入缓冲器可被传递到基础解码层和增强解码层以辅助简化。

10、在尤其优选实施例中，控制接口包括输出类型配置参数，其中解码器集成层被配置成基于输出类型配置参数的值改变原始输入视频信号的经解码重构如何输出。输出类型配置参数的值可存储于在初始化后由解码器集成层检索的配置数据结构中。

11、在经配置输出的一个示例中，解码器集成层被配置成输出原始输入视频信号的经解码重构作为一个或多个缓冲器。在另一示例中，解码器集成层被配置成输出原始输入视频信号的经解码重构作为一个或多个屏幕上表面。替代地，解码器集成层被配置成输出原始输入视频信号的经解码重构作为一个或多个屏幕外纹理。这三个示例输出中的每一个可由输出类型配置参数选择。

12、在输出被选择为一个或多个屏幕外纹理的情况下，控制接口可包括显现指令，并且当解码器集成层接收显现指令时，解码器集成层可被配置成显现屏幕外纹理。当客户端想要精细管理每一帧的显示时间且可能保持经解码帧的队列在正确时间准备好显示时，这尤其有用。对于此使用，提供单独显现函数，即显现指令。

13、控制接口可包括管线模式参数，其中解码器集成层被配置成基于管线模式参数的值控制待执行于中央处理单元(cpu)或图形处理单元(gpu)上的增强层的阶段。举例来说，在一个管线模式下，所有lcevc阶段可执行于cpu中，而gpu仅用于可能的颜色分量(例如，yuv/rgb)转换。类似地，在另一模式下，可使用图形库(gl)着色器在gpu中执行大多数lcevc阶段，包含颜色分量(例如，yuv/rgb)转换，而cpu可仅用于产生lcevc残差平面。本发明解码器的配置允许跨越cpu/gpu的处理的高效分配，且为此经由解码器集成层配置。

14、解码器集成层可被配置成后退以传递基础解码层的输出作为原始输入视频信号的经解码重构，其中未接收到经编码增强信号。这尤其有益，因为仍然可输出视频信号，尽管分辨率比已成功地接收到增强信号时低。

15、控制接口可包括跳帧指令且解码器集成层可被配置成响应于接收到跳帧指令而控制操作以不对经编码增强信号的帧进行解码和/或不对经编码视频信号的帧进行解码。当客户端例如由于时间线中的搜寻而跳帧或因为帧‘延迟’而丢弃帧时，其可使用合适的函数向解码器集成层发出警报。如果接收到跳过指令，那么解码器集成层后退到‘无操作’情况。此警报可用于内部执行最少帧解码以保持参考解码缓冲器一致或可后退到无操作。

16、一个或多个解码器插件可将基础控制接口提供到基础解码器层以调用对应基础解码器的函数。插件因此提供应用程序编程接口(api)以控制操作且交换信息。

17、控制接口可包括预定编码选项的集合，其中解码器集成层被配置成检索包括对应于预定解码选项集合的解码设置集合的配置数据结构。配置数据结构可在初始化后由解码器集成层检索。解码设置的示例包含：图形库版本(例如，opengl主要和次要版本或用于嵌入式系统，例如opengl es的图形库函数的使用)；位深度，例如8或16位lcevc残差平面的使用；硬件缓冲器的使用；用户接口(ui)配置(例如，启用用于统计数据和实时配置的屏幕上ui)；以及记录(例如，启用将统计数据和/或原始输出帧转储到本地存储装置)。

18、在某些实施例中，解码器集成层可被配置成经由控制接口接收解码器集成层应控制一个或多个解码器插件和增强解码器的操作的模式的指示，其中在同步模式下，解码器集成层可被配置成阻止对解码函数的调用直到解码完成；且在异步模式下，解码器集成层可被配置成在调用解码函数后(例如，立即)返回且当解码完成时回调。因此，解码器集成层可任选地通过在任一模式下实施解码函数而在同步或异步模式下使用。

19、对于客户端应用程序，简化解码器集成层的使用，由于控制接口在相对较高层级操作、具有少量命令且隐藏额外复杂性。控制接口可包括指示解码器集成层的相应操作阶段的函数集合，所述函数集合包括以下中的一个或多个：创建函数，响应于其创建解码器集成层的实例；销毁函数，响应于其销毁解码器集成层的实例；解码函数，解码器集成层响应于其控制一个或多个解码器插件和增强解码器的操作以使用来自增强编码层的残差数据的一个或多个层产生原始输入视频信号的经解码重构；馈送输入函数，其将包括经编码视频信号和经编码增强信号的输入缓冲器传递到视频解码器；以及回调函数，解码器集成层将响应于其在产生原始输入视频信号的经解码重构时回调。回调可以被认为是向客户端指示解码完成的注册警报。

20、根据另一方面，可提供一种使用根据以上方面中的任一者的视频编码器产生原始输入视频信号的经解码重构的方法，所述方法包括：初始化解码器集成层的实例；将包括经编码视频信号和相关联的经编码增强信号的输入馈送到视频解码器；指示解码器集成层产生经解码重构；以及销毁解码器集成层的实例。所述方法可由客户端或应用程序执行。

21、根据本发明的其它方面，视频解码器和方法可由包括指令的计算机可读介质提供，所述指令在由处理器执行时使得所述处理器执行视频编码器的功能性或实行方法的步骤。

22、根据另一方面，可提供一种视频解码系统，包括：根据第一方面中的任一者的视频解码器；一个或多个基础解码器；以及客户端，其经由控制接口提供对视频解码器的一个或多个调用以指示使用视频解码器产生原始输入视频信号的经解码重构。结合通常由操作系统提供的基础解码器，本文中所描述的视频解码器提供从缓冲器输出的完整解决方案。一个或多个基础编解码器的示例包含例如avc、hevc、vp9、evc、av1且可以本领域中常见的软件或硬件实施。

23、根据本发明的另一方面，可提供一种解码器集成层，其用以控制一个或多个解码器插件和增强解码器的操作以使用来自基础编码层的经解码视频信号和来自增强编码层的残差数据的一个或多个层产生原始输入视频信号的经解码重构，其中解码器集成层为视频解码器提供控制接口，其中一个或多个解码器插件为一个或多个相应基础解码器提供包装器以实施基础解码层从而对经编码视频信号进行解码，每一包装器实施用于与对应基础解码器进行数据交换的接口；且其中增强解码器实施增强解码层，所述增强解码器被配置成：接收经编码增强信号；且对经编码增强信号进行解码以获得残差数据的一个或多个层，残差数据的所述一个或多个层基于从经解码视频信号导出的数据与从原始输入视频信号导出的数据的比较来产生。以此方式，解码器集成层连同合适配置的客户端一起与简单api通信。

24、在另一说明性方面中，本公开提供一种用于对输入数据进行解码的解码器，所述输入数据包含分层结构中的多个数据层，其中所述多个层包含基础层数据和至少一个增强层数据，其中所述至少一个增强层数据可用以将第一质量层级处的基础层数据的再现增强为第二质量层级处的增强再现，所述第二质量层级高于所述第一质量层级，其特征在于所述解码器包含用于处理基础层数据的基础功能布置(例如，基础解码器)和用于处理至少一个增强层数据的增强层布置(例如，增强解码器)，其中所述解码器进一步包含使用软件实施以介接于基础功能布置与增强层布置之间的插件系统和用于执行可执行于计算硬件上以用于控制解码器的操作的一个或多个软件应用程序的应用层布置(例如，功能层)；其中所述解码器进一步包含用于在增强层布置与基础功能布置之间传送数据时调适或选择插件系统的一个或多个插件以使用的编排单元(例如，解码器集成层)；且其中所述编排单元在处于操作中时经由插件系统重新配置解码器以至少适应基础功能布置和增强层布置的操作特性的改变。

25、此方面的优点在于将插件系统与编排单元组合使用使得解码器能够重新配置且适应基础功能布置和增强层布置中的至少一个的改变。

26、任选地，在编码器中，编排单元在处于操作中时监测基础功能布置和增强层布置的操作特性的改变，且依据操作特性的改变而重新配置插件系统。

27、任选地，在解码器中，编排单元(例如，解码器集成层)在操作中经布置以将测试数据应用于基础功能布置和增强层布置以确定其操作特性，且依据操作特性实施插件系统的选择或调适。更任选地，在解码器中，使用以下中的至少一个实施选择或调适：机器学习、人工智能(ai)算法。

28、任选地，解码器包含用于剖析输入数据以将输入数据划分成用于基础功能布置的层数据且划分成用于增强层布置的至少一个增强层数据的剖析单元。

29、任选地，在解码器中，应用层布置可通过增强功能更新，所述增强功能提供待由解码器提供的额外功能性。

30、任选地，在解码器中，基础功能布置实施遵守行业公认的编码标准的基础层解码器。

31、根据另一说明性方面，提供有一种用于控制用于对输入数据进行解码的解码器的方法(即控制用于对输入数据进行解码的解码器的方法)，所述输入数据包含分层结构中的多个数据层，其中所述多个层包含基础层数据和至少一个增强层数据，其中所述至少一个增强层数据可用以将第一质量层级处的基础层数据的再现增强为第二质量层级处的增强再现，所述第二质量层级高于所述第一质量层级，其特征在于所述方法包含：(a)布置解码器以包含用于处理基础层数据的基础功能布置和用于处理至少一个增强层数据的增强层布置；(b)布置解码器以包含使用软件实施以介接于基础功能布置与增强层布置之间的插件系统和用于执行可执行于计算硬件上以用于控制解码器的操作的一个或多个软件应用程序的应用层布置；(c)布置解码器以包含用于在增强层布置与基础功能布置之间传送数据时调适或选择插件系统的一个或多个插件以使用的编排单元；以及(d)布置编排单元以在处于操作中时经由插件系统重新配置解码器以至少适应基础功能布置和增强层布置的操作特性的改变。