用于以低比特精度进行基于DNN的交叉分量预测的内容自适应在线训练的制作方法

本公开的实施例涉及在编码或解码图像和/或视频序列期间基于神经网络的交叉分量预测(cross component prediction，或称为，跨分量预测)。

背景技术：

1、视频编码和解码通过压缩减少了输入视频信号中的冗余。无损和有损压缩都有助于减少带宽或存储空间需求，在某些情况下可降低两个数量级或更多。无损压缩是指可以从压缩的原始信号中重构原始信号的精确副本的技术。当使用有损压缩时，重构信号可能与原始信号不相同，但是原始信号和重构信号之间的失真足够小，使得重构信号对预期应用有用。有损压缩广泛应用于视频编码或解码。容许的失真量可能取决于应用。例如，某些消费者流应用的用户可能比电视贡献应用的用户容忍更高的失真。

2、传统的视频编码标准(例如，h.264/高级视频编码(h.264/avc)、高效视频编码(hevc)和通用视频编码(vvc))都是在类似的(递归的)基于块的混合预测/变换框架上设计的，其中，各种编码工具(例如，帧内/帧间预测、整数变换和上下文自适应熵编码)都是精心制作的，以优化整体效率。本质上，时空像素邻域用于预测信号构造，以获得用于后续变换、量化和熵编码的相应残差。然而，这种方法不能通过分析不同层的时空信息来提取不同水平的时空刺激。因此，为了更好的压缩效率和更好的压缩质量，需要探索非线性和非局部时空相关性的方法和装置。

技术实现思路

1、根据本公开的一个方面，可以提供一种用于在编码或解码期间以低比特精度进行基于神经网络nn的交叉分量预测的方法。该方法可以包括：使用用于色度预测的预训练的深度神经网络dnn交叉分量预测ccp模型，基于接收的亮度分量来重构色度分量；以低比特精度更新预训练的dnn ccp模型的一个或多个参数；基于至少一个视频序列生成更新的dnnccp模型，其中，更新的dnn ccp模型用于以低比特精度进行色度预测；以及以减少的处理时间使用更新的dnn ccp模型进行至少一个视频序列的交叉分量预测。

2、根据本公开的一个方面，可以提供一种用于在编码或解码期间以低比特精度进行基于神经网络nn的交叉分量预测的装置。该装置可以包括：至少一个存储器，该存储器被配置为存储程序代码；以及至少一个处理器，该处理器被配置为读取程序代码并按照程序代码的指示进行操作。程序代码可以包括：重构代码，该重构代码被配置为使得至少一个处理器使用用于色度预测的预训练的dnn ccp模型，基于接收的亮度分量来重构色度分量；更新代码，该更新代码被配置为使得至少一个处理器以低比特精度更新预训练的dnn ccp模型的一个或多个参数；生成代码，该生成代码被配置为使得至少一个处理器基于至少一个视频序列生成更新的dnn ccp模型，其中，更新的dnn ccp模型用于以低比特精度进行色度预测；以及预测代码，该预测代码被配置为使得至少一个处理器以减少的处理时间使用更新的dnn ccp模型进行至少一个视频序列的交叉分量预测。

3、根据本公开的一个方面，可以提供一种用于储存在编码或解码期间以低比特精度进行基于神经网络nn的交叉分量预测的指令的非暂时性计算机可读介质。指令在执行时可以使得至少一个处理器：使用用于色度预测的预训练的dnn ccp模型，基于接收的亮度分量来重构色度分量；以低比特精度更新预训练的dnn ccp模型的一个或多个参数；基于至少一个视频序列生成更新的dnn ccp模型，其中，更新的dnn ccp模型用于以低比特精度进行色度预测；以及以减少的处理时间使用更新的dnn ccp模型进行至少一个视频序列的交叉分量预测。

技术特征：

1.一种用于在编码或解码期间以低比特精度进行基于神经网络nn的交叉分量预测的方法，所述方法由一个或多个处理器执行，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，更新所述预训练的dnn ccp模型的所述一个或多个参数包括以低比特精度更新所述预训练的dnnccp模型的一个或多个参数。

3.根据权利要求2所述的方法，其特征在于，更新所述预训练的dnn ccp模型的所述一个或多个参数包括以低比特精度更新来自所述预训练的dnn ccp模型的一层或多层的所述一个或多个参数。

4.根据权利要求1所述的方法，其特征在于，更新所述预训练的dnn ccp模型的所述一个或多个参数还包括基于多个视频序列更新所述预训练的dnn ccp模型的所述一个或多个参数，其中，所述预训练的dnnccp模型用于以低比特精度进行色度预测。

5.根据权利要求2所述的方法，其特征在于，以低比特精度更新的所述一个或多个参数包括一个或多个偏置参数。

6.根据权利要求2所述的方法，其特征在于，以低比特精度更新的所述一个或多个参数包括一个或多个权重参数。

7.根据权利要求2所述的方法，其特征在于，以低比特精度更新的所述一个或多个参数包括一个或多个偏置参数和一个或多个权重参数，所述一个或多个偏置参数和所述一个或多个权重参数是被联合更新的参数。

8.根据权利要求3所述的方法，其特征在于，所述一层或多层包括所述预训练的dnnccp模型的一个或多个卷积层。

9.根据权利要求3所述的方法，其特征在于，所述一层或多层包括所述预训练的dnnccp模型的一组最终层。

10.根据权利要求3所述的方法，其特征在于，所述一层或多层包括所述预训练的dnnccp模型中具有相同层属性的所有层。

11.根据权利要求1所述的方法，其特征在于，所述重构的色度分量的质量计算基于来自其他预测模式的一个或多个色度分量以及与所述重构的色度分量相关联的原始色度分量。

12.根据权利要求1所述的方法，其特征在于，所述更新所述预训练的dnnccp模型的一个或多个参数还包括：

13.一种用于在编码或解码期间以低比特精度进行基于神经网络nn的交叉分量预测的装置，其特征在于，所述装置包括：

14.根据权利要求13所述的装置，其特征在于，更新所述预训练的dnnccp模型的所述一个或多个参数包括以低比特精度更新所述预训练的dnn ccp模型的一个或多个参数。

15.根据权利要求14所述的装置，其特征在于，更新所述预训练的dnnccp模型的所述一个或多个参数包括以低比特精度更新来自所述预训练的dnn ccp模型的一层或多层的所述一个或多个参数。

16.根据权利要求14所述的装置，其特征在于，以低比特精度更新的所述一个或多个参数包括一个或多个偏置参数和一个或多个权重参数，其中，所述一个或多个偏置参数和一个或多个权重参数是被联合更新的参数。

17.根据权利要求15所述的装置，其特征在于，所述一层或多层包括一个或多个卷积层、一组最终层或所述预训练的dnn ccp模型中具有相同层属性的所有层。

18.根据权利要求13所述的装置，其特征在于，所述重构的色度分量的质量计算基于来自其他预测模式的一个或多个色度分量以及与所述重构的色度分量相关联的原始色度分量。

19.一种存储指令的非暂时性计算机可读介质，其特征在于，当由用于在编码或解码期间以低比特精度进行基于神经网络nn的交叉分量预测的至少一个处理器执行所述指令时，使得所述至少一个处理器：

20.根据权利要求19所述的非暂时性计算机可读介质，其特征在于，更新所述预训练的dnn ccp模型的所述一个或多个参数包括以低比特精度更新来自所述预训练的dnn ccp模型的一层或多层的一个或多个参数。

技术总结
一种用于在图像帧或视频序列的编码或解码期间以低比特精度进行基于神经网络的交叉分量预测的方法和装置，其可以包括：使用用于色度预测的预训练的深度神经网络DNN交叉分量预测CCP模型基于接收的亮度分量来重构色度分量；以及以低比特精度更新预训练的DNN CCP模型的一组参数。该方法还可以包括：基于至少一个视频序列生成更新的DNN CCP模型，其中，更新的DNN CCP模型用于以低比特精度进行色度预测；以及以减少的处理时间使用该更新的DNN CCP模型进行至少一个视频序列的交叉分量预测。

技术研发人员：林晟,蒋薇,王炜,刘杉,许晓中
受保护的技术使用者：腾讯美国有限责任公司
技术研发日：
技术公布日：2024/1/14