用于视频处理的方法及装置、存储介质及电子装置与流程

本发明实施例涉及通信领域，具体而言，涉及一种用于视频处理的方法及装置、存储介质及电子装置。

背景技术：

1、神经网络(neural network，简称为nn)为代表的机器学习技术运用于图像/视频编码成为趋势，其中基于神经网络的环路滤波(neural network in-loop filter，简称为nnf))建立从失真域到原始/无损域的非线性映射关系，可大幅提升重建视频质量。

2、由于nnf网络训练的离线性，一般情况下，nnf后仍旧会使用自适应环路滤波(adaptive loop filter，简称为alf)滤波器来进一步提高编码图像的性能。nnf对视频的亮度分量大多可以达到最优的性能，alf滤波模块在slice(条带)层级进行决策选择时，若仅仅根据亮度分量的率失真优化性能进行判断，存在将alf滤波模块关闭的情况。而色度分量的nnf大多情况下不是最优的，需要再进行色度alf以及分量间自适应环路滤波(cross-component adaptive loop filter，简称为ccalf)让色度分量达到更好的性能。

3、但在目前的alf滤波技术中，nnf滤波后直接使用alf模块会导致以下问题：

4、如果条带层级亮度分量nnf后达到最优的性能，alf滤波在亮度分量不再有提升，那么当前条带层级的亮度alf就会置为关闭状态。然而一旦根据亮度的性能将alf关闭，那么色度alf以及ccalf都将被强制关闭，不会再进行色度的alf滤波操作。nnf滤波后的色度分量若不进行alf滤波，可能引入更多的值与原始值之间的偏差，导致图像质量无法达到最佳。

5、针对相关技术中存在的处理后的图像质量较差的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本发明实施例提供了一种用于视频处理的方法及装置、存储介质及电子装置，以至少解决相关技术中存在的处理后的图像质量较差的问题。

2、根据本发明的一个实施例，提供了一种用于视频处理的方法，包括：确定经重构视频单元的神经网络环路滤波启用标志；基于所述神经网络环路滤波启用标志为所述经重构视频单元设置自适应环路滤波启用标志；通过信令通知以下信息至少之一：与所述经重构视频单元的神经网络环路滤波相关的滤波器信息，与所述经重构视频单元的自适应环路滤波相关的滤波器信息。

3、在一个可选的实施例中，所述自适应环路滤波相关的滤波器信息包括自适应环路滤波启用标志以及自适应环路滤波引用的自适应参数集。

4、在一个可选的实施例中，所述自适应环路滤波启用标志包括亮度自适应环路滤波启用标志以及色度自适应环路滤波启用标志。

5、在一个可选的实施例中，所述色度自适应环路滤波启用标志包括以下至少之一：第一色度自适应环路滤波启用标志；第二色度自适应环路滤波启用标志；第一色度跨分量自适应环路滤波启用标志；第二色度跨分量自适应环路滤波启用标志。

6、在一个可选的实施例中，在用于产生所述经重构视频单元的编码视频数据的编码位流的以下至少一个语法元素中通过信令通知所述自适应环路滤波启用标志：序列参数集sps、图像参数集pps、图像头ph、条带头sh、编解码树单元ctu。

7、在一个可选的实施例中，所述方法还包括：在所述神经网络环路滤波启用标志在序列层级或图像层级或条带层级指示对所述经重构视频单元执行神经网络环路滤波的情况下，为所述经重构视频单元分别设置亮度自适应环路滤波启用标志和色度自适应环路滤波启用标志。

8、在一个可选的实施例中，所述方法还包括：在所述神经网络环路滤波启用标志在序列层级指示对所述经重构视频单元执行神经网络环路滤波且所述自适应环路滤波启用标志在图像层级或条带层级指示不对所述经重构视频单元执行亮度自适应环路滤波的情况下，为所述经重构视频单元分别设置亮度自适应环路滤波启用标志和色度自适应环路滤波启用标志。

9、在一个可选的实施例中，所述方法还包括：基于所述色度自适应环路滤波启用标志确定是否对所述经重构视频单元执行色度自适应环路滤波。

10、在一个可选的实施例中，为所述经重构视频单元分别设置亮度自适应环路滤波启用标志和色度自适应环路滤波启用标志包括：为所述经重构视频单元设置与亮度分量的自适应环路滤波器相关联的第一标志。

11、在一个可选的实施例中，为所述经重构视频单元分别设置亮度自适应环路滤波启用标志和色度自适应环路滤波启用标志包括：为所述经重构视频单元设置与色度分量的自适应环路滤波器相关联的第二标志。

12、在一个可选的实施例中，在所述自适应环路滤波启用标志取值为第一值的情况下，所述自适应环路滤波启用标志用于指示对所述经重构视频单元执行自适应环路滤波；在所述自适应环路滤波启用标志取值为第二值的情况下，所述自适应环路滤波启用标志用于指示不对所述经重构视频单元执行自适应环路滤波；其中，所述第一值与所述第二值不同。

13、在一个可选的实施例中，对所述经重构视频单元执行自适应环路滤波包括以下操作至少之一：对所述经重构视频单元的亮度分量执行亮度自适应环路滤波；对所述经重构视频单元的第一色度分量执行第一色度自适应环路滤波；对所述经重构视频单元的第二色度分量执行第二色度自适应环路滤波；对所述经重构视频单元的第一色度分量执行第一色度跨分量自适应环路滤波；对所述经重构视频单元的第二色度分量执行第一色度跨分量自适应环路滤波。

14、在一个可选的实施例中，在所述神经网络环路滤波启用标志在序列层级或图像层级或条带层级中指示对所述经重构视频单元执行神经网络环路滤波的情况下，基于以下各项决策中的至少之一为所述经重构视频单元设置自适应环路滤波启用标志：对所述经重构视频单元的亮度分量执行亮度自适应环路滤波的决策；对所述经重构视频单元的第一色度分量执行第一色度自适应环路滤波的决策；对所述经重构视频单元的第二色度分量执行第二色度自适应环路滤波的决策；对所述经重构视频单元的第一色度分量执行第一色度跨分量自适应环路滤波的决策；对所述经重构视频单元的第二色度分量执行第一色度跨分量自适应环路滤波的决策。

15、在一个可选的实施例中，所述神经网络环路滤波相关的滤波器信息包括神经网络环路滤波启用标志以及神经网络环路滤波引用的自适应参数集。

16、在一个可选的实施例中，所述神经网络环路滤波启用标志包括以下至少之一：亮度神经网络环路滤波启用标志；第一色度神经网络环路滤波启用标志；第二色度神经网络环路滤波启用标志。

17、在一个可选的实施例中，在用于产生所述经重构视频单元的编码视频数据的编码位流的以下至少一个语法元素中通过信令通知所述神经网络环路滤波启用标志：序列参数集sps、图像参数集pps、图像头ph、条带头sh、编解码树单元ctu。

18、在一个可选的实施例中，所述经重构视频单元对应于以下至少之一：视频图像、视频切片、视频图案块、条带slice、编解码树单元ctu、编解码单元cu。

19、根据本发明的另一个实施例，还提供了一种用于视频处理的方法，包括：接收以下信息至少之一：与经重构视频单元的神经网络环路滤波相关的滤波器信息，与经重构视频单元的自适应环路滤波相关的滤波器信息；确定所述经重构视频单元的神经网络环路滤波启用标志以及所述经重构视频单元的自适应环路滤波启用标志；基于所述自适应环路滤波启用标志对所述经重构视频单元执行自适应环路滤波。

20、在一个可选的实施例中，所述自适应环路滤波相关的滤波器信息包括自适应环路滤波启用标志以及自适应环路滤波引用的自适应参数集。

21、在一个可选的实施例中，所述自适应环路滤波启用标志包括亮度自适应环路滤波启用标志以及色度自适应环路滤波启用标志。

22、在一个可选的实施例中，所述色度自适应环路滤波启用标志包括以下至少之一：第一色度自适应环路滤波启用标志；第二色度自适应环路滤波启用标志；第一色度跨分量自适应环路滤波启用标志；第二色度跨分量自适应环路滤波启用标志。

23、在一个可选的实施例中，在用于产生所述经重构视频单元的编码视频数据的编码位流的以下至少一个语法元素中确定所述自适应环路滤波启用标志：序列参数集sps、图像参数集pps、图像头ph、条带头sh、编解码树单元ctu。

24、在一个可选的实施例中，所述方法还包括：在所述神经网络环路滤波启用标志在序列层级或图像层级或条带层级中指示对所述经重构视频单元执行神经网络环路滤波的情况下，确定所述经重构视频单元的亮度自适应环路滤波启用标志和色度自适应环路滤波启用标志。

25、在一个可选的实施例中，所述方法还包括：在所述神经网络环路滤波启用标志在序列层级指示对所述经重构视频单元执行神经网络环路滤波的情况下，在图像层级或条带层级确定所述经重构视频单元的亮度自适应环路滤波启用标志；在所述亮度自适应环路滤波启用标志指示不对所述经重构视频单元执行亮度自适应环路滤波的情况下，确定所述经重构视频单元的色度自适应环路滤波启用标志。

26、在一个可选的实施例中，所述方法还包括：基于所述色度自适应环路滤波启用标志确定是否对所述经重构视频单元执行色度自适应环路滤波。

27、在一个可选的实施例中，确定所述经重构视频单元的亮度自适应环路滤波启用标志包括：确定所述经重构视频单元的与亮度分量的自适应环路滤波器相关联的第一标志的值。

28、在一个可选的实施例中，确定所述经重构视频单元的色度自适应环路滤波启用标志包括：确定所述经重构视频单元的与色度分量的自适应环路滤波器相关联的第二标志的值。

29、在一个可选的实施例中，在所述自适应环路滤波启用标志取值为第一值的情况下，所述自适应环路滤波启用标志用于指示对所述经重构视频单元执行自适应环路滤波；在所述自适应环路滤波启用标志取值为第二值的情况下，所述自适应环路滤波启用标志用于指示不对所述经重构视频单元执行自适应环路滤波；其中，所述第一值与所述第二值不同。

30、在一个可选的实施例中，对所述经重构视频单元执行自适应环路滤波包括以下操作至少之一：对所述经重构视频单元的亮度分量执行亮度自适应环路滤波；对所述经重构视频单元的第一色度分量执行第一色度自适应环路滤波；对所述经重构视频单元的第二色度分量执行第二色度自适应环路滤波；对所述经重构视频单元的第一色度分量执行第一色度跨分量自适应环路滤波；对所述经重构视频单元的第二色度分量执行第一色度跨分量自适应环路滤波。

31、在一个可选的实施例中，所述神经网络环路滤波相关的滤波器信息包括神经网络环路滤波启用标志以及神经网络环路滤波引用的自适应参数集。

32、在一个可选的实施例中，所述神经网络环路滤波启用标志包括以下至少之一：亮度神经网络环路滤波启用标志；第一色度神经网络环路滤波启用标志；第二色度神经网络环路滤波启用标志。

33、在一个可选的实施例中，在用于产生所述经重构视频单元的编码视频数据的编码位流的以下至少一个语法元素中确定所述神经网络环路滤波启用标志：序列参数集sps、图像参数集pps、图像头ph、条带头sh、编解码树单元ctu。

34、在一个可选的实施例中，所述经重构视频单元对应于以下至少之一：视频图像、视频切片、视频图案块、条带slice、编解码树单元ctu、编解码单元cu。

35、根据本发明的另一个实施例，还提供了一种用于视频处理的装置，包括：确定模块，用于确定经重构视频单元的神经网络环路滤波启用标志；设置模块，用于基于所述神经网络环路滤波启用标志为所述经重构视频单元设置自适应环路滤波启用标志；通知模块，用于通过信令通知以下信息至少之一：与所述经重构视频单元的神经网络环路滤波相关的滤波器信息，与所述经重构视频单元的自适应环路滤波相关的滤波器信息。

36、在一个可选的实施例中，所述自适应环路滤波相关的滤波器信息包括自适应环路滤波启用标志以及自适应环路滤波引用的自适应参数集。

37、在一个可选的实施例中，所述通知模块包括：通知单元，用于在用于产生所述经重构视频单元的编码视频数据的编码位流的以下至少一个语法元素中通过信令通知所述自适应环路滤波启用标志：序列参数集sps、图像参数集pps、图像头ph、条带头sh、编解码树单元ctu。

38、根据本发明的另一个实施例，还提供了一种用于视频处理的装置，包括：接收模块，用于接收以下信息至少之一：与经重构视频单元的神经网络环路滤波相关的滤波器信息，与经重构视频单元的自适应环路滤波相关的滤波器信息；识别模块，用于在神经网络环路滤波启用标志指示对所述经重构视频单元执行神经网络环路滤波的情况下，识别所述经重构视频单元的自适应环路滤波启用标志；滤波模块，用于基于所述自适应环路滤波启用标志对所述经重构视频单元执行自适应环路滤波。

39、在一个可选的实施例中，所述自适应环路滤波相关的滤波器信息包括自适应环路滤波启用标志以及自适应环路滤波引用的自适应参数集aps。

40、在一个可选的实施例中，所述识别模块包括：识别单元，用于在用于产生所述经重构视频单元的编码视频数据的编码位流的以下至少一个语法元素中确定所述自适应环路滤波启用标志：序列参数集sps、图像参数集pps、图像头ph、条带头sh、编解码树单元ctu。

41、根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

42、根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

43、通过本发明，可以基于经重构视频单元的神经网络环路滤波启用标志来为经重构视频单元设置自适应环路滤波启用标志，从而基于设置结果来执行自适应环路滤波，避免了在进行神经网络环路滤波后直接关闭自适应环路滤波，而导致的无法对图像进行进一步的亮度和/或色度处理，进而出现的图像质量无法达到最佳的问题，达到了提升图像质量的效果。