用于视频编码的外部增强预测的制作方法

本发明实施方案中的至少一个实施方案整体涉及用于例如在云游戏的情境中应用的视频压缩的时间预测。

背景技术：

1、为了实现高压缩效率，图像和视频编码方案通常采用预测和变换来利用视频内容中的空间和时间冗余。一般来讲，帧内或帧间预测用于利用帧内或帧间相关，然后对在原始块与预测块之间的差异(通常表示为预测误差或预测残差)进行变换、量化和熵编码。为了重建视频，通过对应于熵编码、量化、变换和预测的逆过程对压缩数据进行解码。

2、云游戏使用视频编码向用户输送游戏动作。实际上，在此类情境中，游戏的3d环境被渲染在服务器上，经过视频编码并且作为视频流提供给解码器。解码器显示视频，并且作为响应，将用户输入传输回服务器，从而允许与游戏元素和/或其他用户进行交互。

技术实现思路

1、本发明实施方案中的至少一个实施方案涉及用于表示虚拟环境的视频图像的视频编码系统，该视频编码系统使用至少存储基于从图形渲染器获得的第二图像的图像的参考图片缓冲区来提供当前图像的时间预测，第二图像的质量低于当前图像的质量。

2、根据至少一个实施方案的第一方面，一种用于对视频的当前图像(curr)的像素块进行解码的方法包括：使用差分编码来获得表示编码视频的信息，该差分编码至少包括当前图像与第二图像(gcurr)之间的差异(curr-gcurr)，第二图像对应于当前图像的表示，第二图像从外部过程获得并且不同于正被解码的当前图片(curr)；基于层间预测来执行时间预测，其中解码图片缓冲区包括至少存储基于第二图像的差分图像的差分图片以及；对时间预测图像进行解码和重建。

3、根据至少一个实施方案的第二方面，一种用于对视频的当前图像(curr)的像素块进行编码的方法包括：使用差分编码来执行时间预测，其中解码图片缓冲区包括差分图片，该差分图片至少存储基于与当前图像的表示相对应的第二图像(gcurr)的差分图像，第二图像从外部过程获得并且不同于正被编码的当前图片(curr)以及；对时间预测图像进行编码，至少包括对当前图像与第二图像之间的差异(curr-gcurr)进行编码。

4、根据至少一个实施方案的第三方面，一种用于对视频的当前图像(curr)的像素块进行解码的方法包括：获得表示编码视频的信息；基于外部参考图片来执行时间预测，其中解码图片缓冲区至少包括基于与当前图像的表示相对应的第二图像(gcurr)的图片，第二图像从外部过程获得并且不同于正被编码的当前图片(curr)以及；对时间预测图像进行解码和重建。

5、根据至少一个实施方案的第四方面，一种用于对视频的当前图像(curr)的像素块进行编码的方法包括：基于外部参考图片来执行时间预测，其中解码图片缓冲区至少包括基于与当前图像的表示相对应的第二图像(gcurr)的图片，第二图像从外部过程获得并且不同于正被编码的当前图片(curr)以及；对时间预测图像进行编码，至少包括对当前图像进行编码。

6、根据至少一个实施方案的第五方面，一种用于对表示虚拟环境的视频的当前图像的像素块进行解码的装置包括：图形渲染器，该图形渲染器被配置为基于虚拟环境生成第二图像；解码器，该解码器被配置为：使用差分编码来获得表示编码视频的信息，该差分编码至少包括当前图像与第二图像(gcurr)之间的差异(curr-gcurr)，第二图像对应于当前图像的表示，第二图像从外部过程获得并且不同于正被解码的当前图片(curr)；基于层间预测来执行时间预测，其中解码图片缓冲区包括至少存储(1240)基于第二图像的差分图像的差分图片以及；对时间预测图像进行解码和重建。

7、根据至少一个实施方案的第六方面，一种用于对表示虚拟环境的视频的当前图像的像素块进行编码的装置包括：图形渲染器，该图形渲染器被配置为基于虚拟环境生成第二图像；编码器，该编码器被配置为使用差分编码来执行时间预测，其中解码图片缓冲区包括至少存储基于与当前图像的表示相对应的第二图像(gcurr)的差分图像的差分图片，第二图像从外部过程获得并且不同于正被编码的当前图片(curr)以及；对时间预测图像进行编码，至少包括对当前图像与第二图像之间的差异(curr-gcurr)进行编码。

8、根据至少一个实施方案的第七方面，一种用于对表示虚拟环境的视频的当前图像的像素块进行解码的装置包括：图形渲染器，该图形渲染器被配置为基于虚拟环境生成第二图像；解码器，该解码器被配置为：获得表示编码视频的信息；基于外部参考图片来执行时间预测，其中解码图片缓冲区至少包括基于与当前图像的表示相对应的第二图像(gcurr)的图片，第二图像从外部过程获得并且不同于正被编码的当前图片(curr)以及；对时间预测图像进行解码和重建。

9、根据至少一个实施方案的第八方面，一种用于对表示虚拟环境的视频的当前图像的像素块进行编码的装置包括：图形渲染器，该图形渲染器被配置为基于虚拟环境生成第二图像；编码器，该编码器被配置为：基于外部参考图片来执行时间预测，其中解码图片缓冲区至少包括基于与当前图像的表示相对应的第二图像(gcurr)的图片，第二图像从外部过程获得并且不同于正被编码的当前图片(curr)以及；对时间预测图像进行编码，至少包括对当前图像进行编码。

10、根据先前方面的变型实施方案，第二图像的质量低于当前图像的质量。

11、根据至少一个实施方案的第九方面，提出了一种包括可由处理器执行的程序代码指令的计算机程序，该计算机程序实施根据至少第一方面、第二方面、第三方面或第四方面的方法的步骤。

12、根据至少一个实施方案的第十方面，提出了一种存储在非暂态计算机可读介质上并且包括可由处理器执行的程序代码指令的计算机程序产品，该计算机程序产品当在处理器上执行时实施根据至少第一方面、第二方面、第三方面或第四方面的方法的步骤。

13、根据至少一个实施方案的第十一方面，一种视频编码系统包括根据第六方面的服务器装置和根据第五方面的客户端装置。

14、根据至少一个实施方案的第十二方面，一种视频编码系统包括根据第八方面的服务器装置和根据第七方面的客户端装置。

15、尽管本文在游戏情境中描述实施方案，但所描述的原理可应用于需要将高质量图形从第一设备传输到第二设备的其他情境。

技术特征：

1.一种用于解码的方法，所述方法包括：

2.一种用于编码的方法，所述方法包括：

3.根据权利要求1或2所述的方法，其中基于差分编码对所述视频进行编码，所述时间预测基于层间预测，并且所述解码图片缓冲区包括至少存储所述当前图片与所述第二图片之间的差异的差分图片。

4.根据权利要求3所述的方法，其中所述时间预测还包括向所述解码图片缓冲区添加通过从参考图片中减去所述第二图片而确定的新差分图片。

5.根据权利要求1至4所述的方法，其中所述时间预测还包括：

6.根据权利要求1或2所述的方法，其中所述第二图片被用作参考图片以对所述当前图片进行编码。

7.根据权利要求1、2或6所述的方法，其中所述时间预测还包括向所述解码图片缓冲区添加通过将参考图片添加到差分图片而确定的新图片。

8.根据权利要求1至7中任一项所述的方法，其中所述第二图片的质量低于所述当前图片的质量。

9.根据权利要求1至8中任一项所述的方法，其中所述视频表示3d环境，并且所述第二图片由3d渲染器生成。

10.一种用于解码的装置，所述装置包括：

11.一种用于编码的装置，所述装置包括：

12.根据权利要求10或11所述的装置，其中基于差分编码对所述视频进行编码，所述时间预测基于层间预测，并且所述解码图片缓冲区包括至少存储所述当前图片与所述第二图片之间的所述差异的差分图片。

13.根据权利要求12所述的装置，其中所述时间预测还包括向所述解码图片缓冲区添加通过从参考图片中减去所述第二图片而确定的新差分图片。

14.根据权利要求10至13所述的装置，其中所述时间预测还包括：

15.根据权利要求10或11所述的装置，其中所述第二图片被用作参考图片以对所述当前图片进行编码。

16.根据权利要求10、11或15所述的装置，其中所述时间预测还包括向所述解码图片缓冲区添加通过将参考图片添加到差分图片而确定的新图片。

17.根据权利要求10至16中任一项所述的装置，其中所述第二图片的质量低于所述当前图片的质量。

18.根据权利要求10至17中任一项所述的装置，其中所述视频表示3d虚拟环境，并且所述第二图片由3d图形渲染器基于所述3d虚拟环境生成。

19.一种计算机程序，所述计算机程序包括程序代码指令，所述程序代码指令在由处理器执行时实施根据权利要求1至9中至少一项所述的方法的步骤。

20.一种非暂态计算机可读介质，所述非暂态计算机可读介质包括指令，所述指令在由处理器执行时实施根据权利要求1至9中至少一项所述的方法的步骤。

21.一种视频编码系统，所述视频编码系统包括根据权利要求11所述的用于编码的所述装置和根据权利要求10所述的用于解码的所述装置。

技术总结
本发明提供了一种用于表示虚拟环境的视频图像的视频编码系统，该视频编码系统执行时间预测，其中解码图片缓冲区包括基于与当前图像的表示相对应的第二图像的图片，第二图像从外部过程(例如，图形渲染器)获得，并且第二图像的质量低于当前图像的质量。描述了编码方法、解码方法、编码装置、解码装置以及对应的计算机程序和非暂态计算机可读介质。

技术研发人员：F·莱莱昂内克,P·博尔德斯,F·加尔平,A·罗伯特
受保护的技术使用者：交互数字CE专利控股有限公司
技术研发日：
技术公布日：2024/3/17