一种视频编解码的方法及存储介质与流程

1.本发明涉及数字媒体处理技术领域，特别涉及一种视频编解码的方法及存储介质。


背景技术：

2.随着数字媒体的应用日益广泛，视频编解码技术的研究也越来越受到重视。现有技术中，通过重建背景模型构建背景参考帧，根据背景参考帧得到残差图像，残差图像中可能包含大片零值或接近零值的区域，直接对包含大片零值的残差图像进行分块、运动预测、编解码，不但增加了不必要的运算，降低了视频的压缩效率，还大大提高了视频处理的复杂度。


技术实现要素：

3.本公开实施例提供了一种视频编解码的方法及存储介质。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
4.第一方面，本公开实施例提供了一种视频编解码的方法，方法用于编码端，包括：
5.根据当前待编码图像与背景参考图像对应位置的像素差值构建残差图像；
6.分割残差图像，并获取残差图像中的非零残差块；
7.对非零残差块进行编码。
8.在一个实施例中，根据当前待编码图像与背景参考图像对应位置的像素差值构建残差图像之前，还包括：
9.根据训练图像集构建背景参考图像。
10.在一个实施例中，根据训练图像集构建背景参考图像，包括：
11.根据训练图像集构建背景参考帧；
12.按照预设的分割规则将背景参考帧分割成若干个背景块；
13.当同一位置的背景块在不同时间的像素差绝对值小于预设第一阈值时，确定背景块趋于稳定；
14.将趋于稳定的背景块作为背景参考图像。
15.在一个实施例中，分割残差图像，并获取残差图像中的非零残差块，包括：
16.按照预设的分割规则将残差图像分割成若干个残差块；
17.当其中某个残差块的残差像素绝对值大于等于预设第二阈值时，确定该残差块为非零残差块；
18.获取残差图像中的非零残差块。
19.在一个实施例中，还包括：
20.当相邻的残差块都是非零残差块时，将相邻的非零残差块合并成一个非零残差
块。
21.在一个实施例中，对非零残差块进行编码，包括：
22.将非零残差块的起始位置信息以及尺寸信息编入码流。
23.第二方面，本公开实施例提供了一种视频编解码的方法，方法用于解码端，包括：
24.获取非零残差块的编码信息；
25.对非零残差块的编码信息进行解码，得到非零残差块；
26.融合非零残差块和背景参考图像，得到重建的完整图像。
27.在一个实施例中，获取非零残差块的编码信息之前，还包括：
28.构建与编码端相同的背景参考图像。
29.第三方面，本公开实施例提供了一种视频编解码的方法，包括：
30.编码端根据当前待编码图像与背景参考图像对应位置的像素差值构建残差图像；
31.编码端分割残差图像，并获取残差图像中的非零残差块；
32.编码端对非零残差块进行编码；
33.解码端获取非零残差块的编码信息；
34.解码端对非零残差块的编码信息进行解码，得到非零残差块；
35.解码端融合非零残差块和背景参考图像，得到重建的完整图像。
36.第四方面，本公开实施例提供了一种计算机可读介质，其上存储有计算机可读指令，计算机可读指令可被处理器执行以实现上述实施例提供的一种基于视频编解码的方法。
37.本公开实施例提供的技术方案可以包括以下有益效果：
38.本公开实施例提供的视频编解码方法，可以获取残差图像中的非零残差块，只需对分割出来的非零残差块进行有效编解码即可，将非零残差块与背景参考帧融合，重构完整图像。该方法无需对大量零残差区域进行运动预测以及复杂的编解码，大大提高了视频的压缩效率，并减少了视频处理的复杂度。
39.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
40.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
41.图1是根据一示例性实施例示出的一种视频编解码方法的流程示意图；
42.图2是根据一示例性实施例示出的一种用于编码端的视频编解码方法的流程示意图；
43.图3是根据一示例性实施例示出的一种用于解码端的视频编解码方法的流程示意图；
44.图4是根据一示例性实施例示出的一种分割残差图像的示例图；
45.图5是根据一示例性实施例示出的一种计算机存储介质的示意图。
具体实施方式
46.为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或一个以上实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。
47.下面将结合附图1
‑
附图4，对本申请实施例提供的视频编解码方法进行详细介绍。该方法可依赖于计算机程序实现，可运行于基于冯诺依曼体系的数据传输装置上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。
48.请参见图2，为本申请实施例提供了一种用于编码端的视频编解码方法的流程示意图，如图2所示，本申请实施例的方法可以包括以下步骤：
49.s201根据当前待编码图像与背景参考图像对应位置的像素差值构建残差图像。
50.具体地，在执行步骤s201之前，还包括根据训练图像集构建背景参考图像。在一种可能的实现方式中，对输入的视频序列，选取一个训练图像集，建模生成背景参考帧。例如，可以通过滑动均值算法建模背景参考帧，滑动均值算法是一种迭代背景建模算法，每次输入图像的时候更新当前存储的均值，记录用于产生当前均值的已训练图像的帧数及权重，该算法可以适应长时间视频采集过程中场景的变化。
51.进一步地，获取到背景参考帧后，可以按照预设的分割规则将背景参考帧分割成若干个背景块，当同一位置的背景块在不同时间的像素差绝对值小于预设第一阈值时，确定背景块趋于稳定，将趋于稳定的背景块作为背景参考图像。
52.在一种可能的实现方式中，可以将获取到的背景参考帧分割成64*64的背景块，具体地分割规则本公开实施例不做限定，本领域技术人员可自行设定。得到背景块后，比较同一位置的分块在不同时间的像素差绝对值，当像素差绝对值小于预设第一阈值时，确定该背景块趋于稳定，其中，预设第一阈值本领域技术人员可自行设置，本公开实施例不做具体限定。可以将稳定的背景块作为背景参考图像，并非需要把完整的一帧背景图作为参考。因此，本公开实施例中的背景参考图像可为完整的背景参考帧，也可为分割的背景块。
53.进一步地，得到背景参考图像之后，根据当前待编码图像与背景参考图像对应位置的像素差值构建残差图像。
54.具体地，逐点计算当前待编码图像与背景参考图像之间的像素差，即以当前待编码图像各点的像素值减去背景参考图像各点的像素值，不同位置上的像素残差构成残差图像。
55.在一种可能的实现方式中，若背景参考图像为不完整的背景参考块，则在当前待编码图像的相应位置上生成与背景参考图像同样大小的残差图像，其它无背景参考的区域，则按照现有的帧间或帧内预测等方式进行编码。
56.根据该步骤，可以获得当前待编码图像与背景参考图像的残差图像。
57.s202分割残差图像，并获取残差图像中的非零残差块。
58.在一个实施例中，分割残差图像，并获取残差图像中的非零残差块，包括：按照预设的分割规则将残差图像分割成若干个残差块，当其中某个残差块的残差像素绝对值大于等于预设第二阈值时，确定该残差块为非零残差块，获取残差图像中的非零残差块。
59.其中，分割规则和第二阈值本领域技术人员可自行设定，本公开实施例不做限制。在一个示例性场景中，将残差图像按固定大小进行划分，可以按照64*64的形式进行划分，可以按照32*32的形式进行划分，还可以按照64*32的形式进行划分，得到划分后的残差块后，判断残差块的残差像素绝对值是否大于预设第二阈值，若大于，则确定该残差块为非零残差块。
60.进一步地，当相邻的残差块都是非零残差块时，将相邻的非零残差块合并成一个非零残差块。为了后续处理方便，尽量让合并后的非零残差块呈矩形。
61.图4是现有技术中分割残差图像的示例图，如图4所示，现有技术中，只是简单地将残差图像分成固定大小的残差块，每个残差块可能包含零残差区域和非零残差区域，对所有的残差块一起进行处理。本公开实施例引入基于轮廓的残差图像分割方法，获取残差图像中的非零残差块，可以将非零残差块进行合并，得到完整的非零残差块区域，后续只对非零残差块进行有效编码即可。
62.s203对非零残差块进行编码。
63.编码端获取到非零残差块后，对非零残差块进行编码。在一种可能的实现方式中，可以采用h.264标准对非零残差块进行编码。h.264标准是一种高性能的视频编解码技术，在同等图像质量的条件下，h.264标准的压缩比是mpeg
‑
2的2倍以上，h.264压缩技术将大大节省用户的下载时间和数据流量收费，而且h.264标准在具有高压缩比的同时还拥有高质量流畅的图像。在一种可能的实现方式中，还可以采用hevc(high efficiency video coding，高效率视频编码)技术对非零残差块进行编码，hevc是一种新的视频压缩标准，可以用来替代h.264或avc编码标准。可选地，还可以采用avc(advanced video coding，高级视频编码)技术对非零残差块进行编码，也可以同时采用h.264、hevc、avc等多种编码技术对非零残差块进行编码。
64.在一个实施例中，对非零残差块进行编码，包括将非零残差块的起始位置信息以及尺寸信息编入码流。
65.本公开实施例中的非零残差块，可能位于残差图像中的任意位置，其大小也不固定，为了解码端能够准确定位非零残差块，可以将非零残差块的起始位置信息和尺寸信息编入视频码流。在一种可能的实现方式中，可以采用变长编码、算数熵编码等编码方式对非零残差块的起始位置信息以及尺寸信息进行编码。
66.编码端将非零残差块的码流信息传入解码端，对于残差图像中的零残差区域，无需再进行与非零残差区域一样的编码处理，只需将该区域是零残差区域的信息告诉解码端即可，该方法可以大大提高视频的压缩效率，并降低视频处理的复杂度。
67.请参见图3，为本申请实施例提供了一种用于解码端的视频编解码方法的流程示意图，如图3所示，本申请实施例的方法可以包括以下步骤：
68.s301获取非零残差块的编码信息。
69.具体地，解码端在获取非零残差块的编码信息之前，还包括构建与编码端相同的背景参考图像。为了保证与编码端构建的背景参考图像相同，编码端可以通过信令将其采用的背景建模算法以及相关参数发送到解码端，解码端根据信令中的背景建模算法以及相关参数构建与编码端相同的背景参考图像。
70.解码端得到背景参考图像之后，获取非零残差块的编码信息。
71.s302对非零残差块的编码信息进行解码，得到非零残差块。
72.解码端根据接收到的视频码流重建非零残差块，视频码流中包含非零残差块信息、起始位置信息以及尺寸信息，在一种可能的实现方式中，解码端对接收到的非零残差块信息、起始位置信息以及尺寸信息进行熵解码、逆变换、反量化等处理，恢复非零残差块的信息。
73.s303融合非零残差块和背景参考图像，得到重建的完整图像。
74.静态摄像机在采集视频时，因为摄像头固定，采集到的视频图像的背景在很长时间是保持不变的，但是完全不变的背景参考图像很多时候是不存在的，因为总有可能被运动的前景所干扰。非零残差块即为发生变化的运动前景，在一种可能的实现方式中，将发生变化的非零残差区域与背景参考图像进行融合，得到重建的完整图像。
75.请参见图1，为本申请实施例提供了一种视频编解码方法的流程示意图，如图1所示，本申请实施例的方法可以包括以下步骤：
76.s101编码端根据当前待编码图像与背景参考图像对应位置的像素差值构建残差图像。
77.具体地，逐点计算当前待编码图像与背景参考图像之间的像素差，即以当前待编码图像各点的像素值减去背景参考图像各点的像素值，不同位置上的像素残差构成残差图像。
78.s102编码端分割残差图像，并获取残差图像中的非零残差块。
79.具体地，按照预设的分割规则将残差图像分割成若干个残差块，当其中某个残差块的残差像素绝对值大于等于预设第二阈值时，确定该残差块为非零残差块，当相邻的残差块都是非零残差块时，将相邻的非零残差块合并成一个非零残差块，并获取残差图像中的非零残差块。
80.s103编码端对非零残差块进行编码。
81.编码端获取到非零残差块后，对非零残差块进行编码。在一种可能的实现方式中，可以采用h.264标准对非零残差块进行编码。还可以采用hevc(high efficiency video coding，高效率视频编码)技术对非零残差块进行编码，还可以采用avc(advanced video coding，高级视频编码)技术对非零残差块进行编码，也可以同时采用h.264、hevc、avc等多种编码技术对非零残差块进行编码。对非零残差块进行编码时，可以将非零残差块的起始位置信息以及尺寸信息编入码流。
82.s104解码端获取非零残差块的编码信息。
83.s105解码端对非零残差块的编码信息进行解码，得到非零残差块。
84.在一种可能的实现方式中，解码端对接收到的非零残差块信息、起始位置信息以及尺寸信息进行熵解码、逆变换、反量化等处理，恢复非零残差块的信息。
85.s106解码端融合非零残差块和背景参考图像，得到重建的完整图像。
86.根据本公开实施例提供的视频编解码方法，可以获取残差图像中的非零残差块，只需对分割出来的非零残差块进行有效编解码，将非零残差块与背景参考帧融合，即可重构完整图像。该方法大大提高了视频的压缩效率，并减少了视频处理的复杂度。
87.本申请实施例还提供一种与前述实施例所提供的视频编解码方法对应的计算机可读存储介质，请参考图5，其示出的计算机可读存储介质为光盘500，其上存储有计算机程
序(即程序产品)，计算机程序在被处理器运行时，会执行前述任意实施例所提供的视频编解码方法。
88.本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
89.本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
90.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
91.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
92.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。