在超分辨率过程期间利用编解码信息的制作方法

文档序号:37314548发布日期:2024-03-13 21:07阅读:来源:国知局

技术特征:

1.一种处理视频数据的方法,包括:

2.根据权利要求1所述的方法,其中,所述编解码信息包括编码信息。

3.根据权利要求1所述的方法,其中,所述编解码信息包括解码信息。

4.根据权利要求1-3中任一项所述的方法,其中,所述sr过程包括基于神经网络(nn)的sr过程,并且其中所述编解码信息被用作所述基于nn的sr过程的输入。

5.根据权利要求1-4中任一项所述的方法,其中,所述编解码信息用于确定应用所述sr过程,所述sr过程是多个可用sr过程之一。

6.根据权利要求1-5中任一项所述的方法,其中,所述编解码信息包括分割信息、预测信息和帧内预测模式中的一个或多个。

7.根据权利要求1-5中任一项所述的方法,其中,所述sr过程的输入包括重建样点和解码信息,并且其中所述解码信息包括分割信息、预测信息和帧内预测模式中的一个或多个。

8.根据权利要求1-5中任一项所述的方法,其中,所述编解码信息包括具有与重建帧相同分辨率的分割信息。

9.根据权利要求8所述的方法,还包括通过平均所述视频单元中的重建样点来导出所述分割信息中的样点值。

10.根据权利要求1-5中任一项所述的方法,其中,所述编解码信息包括预测信息,并且其中所述预测信息包括来自帧内预测、帧内块复制(ibc)或帧间预测的预测样点。

11.根据权利要求1-5中任一项所述的方法,其中,所述编解码信息包括具有与重建帧相同分辨率的帧内预测模式。

12.根据权利要求11所述的方法,还包括通过在对应的视频单元中填充所述帧内预测模式来导出所述帧内预测模式中的样点值。

13.根据权利要求1-5中任一项所述的方法,其中,所述编解码信息包括量化参数(qp)信息,并且其中,所述qp信息用于生成上采样的重建。

14.根据权利要求1-5中任一项所述的方法,还包括用量化(qp)参数值填充矩阵以构建qp映射,其中所述qp映射用作所述sr过程的输入,并且其中所述qp映射的空域分辨率与所述sr过程的另一输入的空域分辨率相同。

15.根据权利要求1所述的方法,其中,所述视频单元包括第一颜色分量,并且其中在应用于所述第一颜色分量的所述sr过程期间利用第二颜色分量。

16.根据权利要求1所述的方法,其中,所述视频单元包含第一颜色分量,且其中第二颜色分量用作应用于所述第一颜色分量的所述sr过程的输入。

17.根据权利要求1所述的方法,其中,所述sr过程包括亮度上采样过程,并且其中色度信息被用作所述亮度上采样过程的输入。

18.根据权利要求1所述的方法,其中,所述sr过程包括色度上采样过程,并且其中亮度信息被用作所述色度上采样过程的输入。

19.根据权利要求18所述的方法,其中,所述亮度信息包含重建的亮度样点,且其中在环路滤波器已应用于所述视频单元之后或环路滤波器已应用于所述视频单元之前,所述重建的亮度样点用作所述sr过程的输入。

20.根据权利要求18所述的方法,其中,所述亮度信息包含重建的亮度样点,且其中在多个环路滤波器中的第一个已应用于所述视频单元之后但在所述多个环路滤波器中的最后一个已应用于所述视频单元之前,所述重建的亮度样点用作所述sr过程的输入。

21.根据权利要求1所述的方法,其中,在所述sr过程中对神经网络(nn)的输入包括重建的色度样点和重建的亮度样点两者。

22.根据权利要求21所述的方法,其中,所述重建的亮度样点被下采样到与所述重建的色度样点相同的分辨率,并且与所述重建的色度样点连接。

23.根据权利要求22所述的方法,其中,使用双线性插值对所述重建的亮度样点进行下采样。

24.根据权利要求22所述的方法,其中,使用双三次插值对所述重建的亮度样点进行下采样。

25.根据权利要求22所述的方法,其中,使用步长等于原始帧的缩放比率的卷积对所述重建的亮度样点进行下采样。

26.根据权利要求22所述的方法,其中,使用像素混洗的逆过程对所述重建的亮度样点进行下采样。

27.根据权利要求22所述的方法,其中,基于4:2:0或4:2:2的颜色格式对所述重建的亮度样点进行下采样。

28.根据权利要求23-27中任一项所述的方法,其中,从编码器向解码器信令通知对所述重建的亮度样点进行下采样的方法。

29.根据权利要求23-27中任一项所述的方法,其中,基于颜色格式来作出对所述重建的亮度样点应用下采样的确定。

30.根据权利要求21所述的方法,其中,颜色格式是4:4:4,并且所述重建的亮度样点不是下采样的。

31.根据权利要求17所述的方法,其中,所述色度信息包括重建的色度样点,并且其中,在环路滤波器已经被应用于所述视频单元之后或者在所述环路滤波器已经被应用于所述视频单元之前,所述重建的色度样点被用作所述sr过程的输入。

32.根据权利要求17所述的方法,其中,所述色度信息包括重建的色度样点,并且其中,在多个环路滤波器中的第一个已经被应用于所述视频单元之后但是在所述多个环路滤波器中的最后一个已经被应用于所述视频单元之前,所述重建的色度样点被用作所述sr过程的输入。

33.根据权利要求1所述的方法,其中,在所述sr过程中对神经网络(nn)的输入包括重建的色度样点和亮度预测样点两者。

34.根据权利要求15所述的方法,其中,所述第一颜色分量是色度分量,并且所述第二颜色分量是不同的色度分量。

35.根据权利要求16所述的方法,其中,所述输入包括重建样点和解码信息,并且其中所述解码信息包括分割信息、预测信息和帧内预测模式中的一个或多个。

36.根据权利要求35所述的方法,其中,所述帧内预测模式包括二进制帧,其中所述二进制帧中的每个值指示所述重建样点之一是否属于跳过模式。

37.根据权利要求35所述的方法,其中,通过帧间预测编解码单元的运动补偿来导出所述预测信息。

38.根据权利要求1所述的方法,其中,所述编解码信息包括预测信息,并且其中,所述预测信息被用作应用于所述视频单元的所述sr过程的输入,以供重建。

39.根据权利要求38所述的方法,其中,所述预测信息包含预测图片的亮度信息,且其中所述视频单元包含亮度分量。

40.根据权利要求38所述的方法,其中,所述预测信息包含预测图片的亮度信息,且其中所述视频单元包含色度分量。

41.根据权利要求38所述的方法,其中,所述预测信息包含预测图片的色度信息,且其中所述视频单元包含色度分量。

42.根据权利要求38所述的方法,其中,所述预测信息包含一起用于重建的预测图片的亮度和色度信息,且其中所述视频单元包含亮度分量和色度分量中的一个或多个。

43.根据权利要求38所述的方法,其中,当编解码模式是调色板模式或脉冲编解码调制模式时,所述预测信息包括填充样点。

44.根据权利要求1所述的方法,其中,所述编解码信息包括分割信息,并且其中所述分割信息被用作应用于所述视频单元的所述sr过程的输入,以供重建。

45.根据权利要求44所述的方法,其中,所述视频单元包括帧,并且其中所述分割信息具有与所述帧相同的分辨率。

46.根据权利要求1所述的方法,其中,所述编解码信息包括帧内预测模式,并且其中,所述帧内预测模式被用作应用于所述视频单元的所述sr过程的输入,以供重建。

47.根据权利要求46所述的方法,其中,所述帧内预测模式是通过帧内预测或帧间预测获得的当前样点的帧内预测模式。

48.根据权利要求47所述的方法,其中,所述帧内预测模式的矩阵被构建为所述sr过程的一个输入,其中所述矩阵在被重建时具有与所述视频单元相同的分辨率,并且其中所述矩阵中的每个样点具有与对应编解码单元(cu)的帧内预测模式相对应的值。

49.根据权利要求1所述的方法,其中,所述视频单元包括帧内编解码条带(i条带)或帧内编解码帧(i帧)。

50.根据权利要求1所述的方法,其中,所述视频单元包括单向编解码条带(p条带)或双向编解码帧(b帧)。

51.根据权利要求1所述的方法,其中,所述转换包括将所述视频数据编码成所述比特流。

52.根据权利要求1所述的方法,其中所述转换包括从所述比特流中解码所述视频数据。

53.一种用于处理媒体数据的装置,包括处理器和其上具有指令的非暂时性存储器,其中所述指令在由所述处理器执行时使所述处理器:

54.一种存储由视频处理装置执行的方法生成的视频的比特流的非暂时性计算机可读记录介质,其中所述方法包括:

55.一种用于处理媒体数据的装置,包括处理器和其上具有指令的非暂时性存储器,其中所述指令在由所述处理器执行时使得所述处理器执行权利要求1至52中的一项或多项所述的方法。

56.一种存储视频的比特流的非暂时性计算机可读记录介质,所述视频的比特流是通过由视频处理装置执行的权利要求1至52中的一项或多项所述的方法生成的。

57.一种其上存储有代码的计算机可读程序介质,所述代码包括指令,所述指令在由处理器执行时使所述处理器实现权利要求1至52中的一项或多项所述的方法。


技术总结
一种处理视频数据的方法。该方法包括在对视频单元应用超分辨率(SR)过程期间使用编解码信息;以及基于使用编解码信息应用的SR过程,执行包括视频单元的视频和视频的比特流之间的转换。还公开了对应的视频编解码装置和非暂时性计算机可读记录介质。

技术研发人员:林超逸,李跃,张凯,张召宾,张莉
受保护的技术使用者:抖音视界有限公司
技术研发日:
技术公布日:2024/3/12
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1