使用基于模板匹配的缩放因子推导进行运动矢量差的联合编解码的系统和方法与流程

本申请涉及先进的图像和视频编解码技术，更具体地涉及使用基于模板匹配的缩放因子推导进行运动矢量差的联合编解码的系统和方法。

背景技术：

1、流式传输视听内容越来越受欢迎。需要大量带宽来促进这种流式传输内容的数量的增加和质量的提高。因此，需要高效的编码和解码方案，在保持高质量的同时使用较少的带宽来流式传输内容。例如，h.265/hevc、vp9和aomedia视频1(av1)是为此目的而开发的一些编码和解码方案。

2、itu-t vceg(q6/16)和iso/iec mpeg(jtc 1/sc 29/wg 11)于2013年(第1版)、2014年(第2版)、2015年(第3版)和2016年(第4版)发布了h.265/hevc(高效视频编码)标准。

3、aomedia video 1(av1)是一种开放的视频编码格式，设计用于因特网传输视频。av1是由开放媒体联盟(aomedia)作为vp9的继任者开发的，该联盟成立于2015年，包括半导体公司、视频点播供应商、视频内容生产商、软件开发公司和网络浏览器供应商。av1项目的许多组成部分来源于联盟成员以前的研究工作。各个贡献者早在几年前就开始了实验技术平台：xiph/mozilla的daala于2010年发布了代码，谷歌的实验性vp9演进项目vp10于2014年9月12日发布，思科的thor于2015年8月11日发布。在vp9代码库的基础上，av1加入了更多的技术，其中一些技术是以这些实验性格式开发。av1参考编解码器的第一版本(0.1.0版)于2016年4月7日发布。2018年3月28日，该联盟宣布发布av1码流规范，以及一个参考的基于软件的编码器和解码器。2018年6月25日，该规范的1.0.0经验证版本发布。2019年1月8日，该规范的1.0.0经验证版本发布，并附有规范的勘误表1。av1码流规范包括参考视频编解码器。

4、下一代视频编解码器的研究和开发也在进行中。例如，aomedia正式启动了称为通用视频编码(vvc)的下一代视频编解码器的标准化。

5、vvc包括若干改进，诸如引入联合运动矢量差(jmvd)编码。这种新的帧间预测编码模式被命名为joint_newmv，用于指示两个参考列表的运动矢量差(mvd)是否联合发信号通知。如果帧间预测模式等于joint_newmv模式，则参考列表0和参考列表1的mvd是联合发信号通知，只有一个mvd(命名为joint_mvd)被发信号通知，并将其传输到解码器，解码器从joint_mvd推导参考列表0和参考列表1的mvd。通常，joint_newmv模式与near_nearmv、near_newmv、new_nearmv、new_newmv和global_globalmv模式一起发信号通知。不添加附加的上下文。

6、当发信号通知joint_newmv模式，且两个参考帧与当前帧之间的图片次序计数(poc)距离不同时，基于poc距离针对参考列表0或参考列表1的mvd进行缩放。例如，如果参考帧列表0与当前帧之间的距离(td0)等于或大于参考帧列表1与当前帧之间的距离(td1)，则对参考列表0直接使用joint_mvd，基于等式(1)从joint_mvd推导参考列表1的mvd。

7、

8、否则，如果td1等于或大于td0，则对参考列表1直接使用joint_mvd，基于等式(2)从joint_mvd推导参考列表0的mvd。

9、

10、当选择jmvd模式用于块时，为两个参考帧发信号通知一个jmvd，基于这两个参考帧与当前帧之间的距离，从jmvd推导两个参考帧的mvd。这样做是假设相对于当前帧，在后向参考帧与前向参考帧之间存在线性运动。然而，两个参考帧之间的运动可能不总是线性运动。例如，从后向参考帧到前向参考帧的运动可能会变得更慢或更快。

技术实现思路

1、根据本公开的一方面，提供了一种方法，该方法包括：接收视频码流中包括当前块和多个相邻块的当前帧；确定当前块是以联合运动矢量差(jmvd)模式进行编码；响应于当前块是以jmvd模式进行编码，选择当前块的第一相邻已重建样本作为第一模板区域，选择当前块的第二相邻已重建样本作为第二模板区域，用于在jvmd模式下预测当前块；基于从所选的第一模板区域和第二模板区域推导的、应用于与当前块相关联的运动矢量差(mvd)的缩放因子，从参考帧中确定预测块；以及至少基于预测块，在jvmd模式下重建当前块。

2、根据本公开的其它方面，还提供了与该方法一致的装置和计算机可读介质。

技术特征：

1.一种方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，基于所述缩放因子，从所述参考帧中确定所述预测块，包括：

3.根据权利要求1所述的方法，其特征在于，进一步包括：

4.根据权利要求3所述的方法，其特征在于，所述确定与所述当前块相关联的运动矢量差(mvd)的缩放因子，包括：

5.根据权利要求4所述的方法，其特征在于，生成所述多个第一预测块，包括：

6.根据权利要求4所述的方法，其特征在于，生成所述多个第二预测块，包括：

7.根据权利要求4所述的方法，其特征在于，进一步包括：

8.根据权利要求7所述的方法，其特征在于，进一步包括：

9.根据权利要求8所述的方法，其特征在于，进一步包括：

10.根据权利要求9所述的方法，其特征在于，所述成本标准包括绝对差之和(sad)、均方误差之和(sse)或绝对变换差之和(satd)。

11.一种装置，其特征在于，包括：

12.根据权利要求11所述的装置，其特征在于，所述程序代码进一步包括：

13.根据权利要求12所述的装置，其特征在于，所述确定代码包括：

14.根据权利要求13所述的装置，其特征在于，所述程序代码进一步包括：

15.根据权利要求14所述的装置，其特征在于，所述程序代码进一步包括：

16.一种存储计算机可读程序代码的非易失性计算机可读介质，其特征在于，所述计算机可读程序代码在由处理器执行时，使所述处理器至少：

17.根据权利要求16所述的非易失性计算机可读介质，其特征在于，所述程序代码进一步使所述处理器至少：

18.根据权利要求17所述的非易失性计算机可读介质，其特征在于，使所述处理器确定所述缩放因子的所述程序代码进一步使所述处理器至少：

19.根据权利要求18所述的非易失性计算机可读介质，其特征在于，所述程序代码进一步使所述处理器至少：

20.根据权利要求19所述的非易失性计算机可读介质，其特征在于，所述程序代码进一步使所述处理器至少：

技术总结
使用基于模板匹配的缩放因子推导进行运动矢量差联合编解码的系统和方法包括：接收视频码流中的当前帧；确定当前帧中的当前块是以联合运动矢量差(JMVD)模式进行编码；选择当前块的第一相邻已重建样本和第二相邻已重建样本作为模板区域，用于在JVMD模式下预测当前块；基于从所选的模板区域推导的、应用于与当前块相关联的运动矢量差(MVD)的缩放因子，从参考帧中确定预测块；以及至少基于预测块，在JVMD模式下重建当前块。

技术研发人员：赵欣,赵亮,刘杉
受保护的技术使用者：腾讯美国有限责任公司
技术研发日：
技术公布日：2024/1/15