一种视频处理方法及装置与流程

本技术实施例涉及图像处理，尤其涉及一种视频处理方法及装置。

背景技术：

1、视频编码技术，就是在保证图像质量的前提下，尽可能对视频源进行数据压缩，从而更有利于视频数据的存储和传输。通常视频编码时，编码器将每帧图像分割为固定大小的待编码单元(largest coding unit，lcu)，根据图像具体内容划分为更精细的编码单元(coding unit，cu)，然后对每个cu进行预测，变换，量化，熵编码，从而得到最终的编码比特流。

2、编码器会从固定尺寸的lcu开始，根据图像纹理划分为cu，每个cu会再进一步划分为预测单元(prediction unit，pu)和变换单元(transform unit，tu)。划分过程需要多次迭代，以hevc协议lcu大小为64x64为例，第一层尝试将lcu划分为4个大小为32x32的cu，逐个cu再尝试划分为不同大小的pu(32x32，32x16，16x32，16x16)和tu(32x32，16x16)，依次遍历上述的划分方式，经过遍历后判决为帧内预测35种模式，和帧间预测的结果(具体为高级运动向量预测(advanced motion vector predict，amvp)，还是merge)，并进一步求残差，变换和量化，最终求得每种情况的率失真值。第二层将lcu划分为16个大小为16x16的cu，第三层将lcu划分为64个大小为8x8的cu，针对帧间预测还需要计算到第四层的cu。每一层的计算过程都如第一层描述，找到率失真最小的模式进行编码。这一过程需要计算量大，功耗很大。

技术实现思路

1、本技术提供一种视频处理方法及装置，以减少设备的计算量，并节约设备功耗。

2、第一方面，本技术提供一种视频处理方法，该方法可通过视频编码装置来执行，通常视频编码装置可以携带在电子设备中，电子设备可以为摄像机、手机、平板电脑、笔记本电脑、电视等携带处理器的设备，本技术在此不具体限定。

3、视频编码装置获取视频参考信息，视频参考信息指示待压缩视频的前景和背景；背景中的图像元素在预设时间段内保持不变；基于视频参考信息确定待压缩视频的前景和背景；分别采用不同或部分不同的编码方式对前景和背景进行视频编码，得到视频压缩码流，其中，背景的编码方式包括：skip模式；前景的编码方式包括以下中的一种或多种：帧内预测、帧间预测以及残差值预测。

4、本技术在对待压缩视频进行编码时，将待压缩视频分为背景和前景，且对背景和前景进行有区分的编码，针对图像元素在预设时间内保持不变的背景直跳入skip模式进行编码，针对前景采用常规编码方式进行编码，相对于直接对待压缩视频进行常规编码，可以减少编码计算量，节约设备功耗，提高数据处理效率。

5、在一种可选的实施方式中，视频编码装置分别采用skip模式对背景进行视频编码，采用帧内预测、帧间预测以及残差值预测中的一种或多种，对前景进行视频编码，得到压缩码流。

6、在一种可选的实施方式中，视频编码是针对待压缩视频的图像组的视频帧进行处理的；视频帧包括：关键帧以及非关键帧；关键帧采用帧内预测进行编码；非关键帧包括m帧，m为正整数，背景编码的方式还包括帧内预测；

7、视频编码装置针对第1帧至第i帧的非关键帧，采用帧内预测对背景进行视频编码；以及，针对第i帧至第m帧的非关键帧，采用skip模式对背景进行视频编码；其中，i<m；

8、针对m帧的非关键帧，采用帧内预测、帧间预测以及残差值预测中的一种或多种，对前景进行视频编码。

9、需要说明的是，非关键帧需要参考关键帧进行帧间预测编码。如果非关键帧全部采取使用skip模式编码，则关键帧的压缩失真会传染到后面的非关键帧。基于此，本技术将非关键帧中与关键帧相邻的i帧使用常规模式编码，用于提高视频质量，剩余第i帧至第m帧的非关键帧采取skip模式编码。通过该方式不仅可以保证视频压缩质量，还可减少编码计算量，节约设备功耗。

10、在一种可选的实施方式中，对背景进行视频编码时，第1帧至第i帧的非关键帧比特数低于第i+1帧至第m帧的非关键帧比特数。

11、通过该方式不仅可以减少编码计算量，还可节约设备功耗。

12、在一种可选的实施方式中，视频参考信息来自以下设备中的一种或多种：

13、图形处理器(graphics processing unit，gpu)、中央处理器(centralprocessing unit，cpu)以及嵌入式神经网络处理器(neural-network processing unit，npu)。

14、在一种可选的实施方式中，背景由多个背景区域组成，视频参考信息中还指示背景区域的坐标信息。

15、通过该方式可针对不同的背景区域进行单独编码。

16、第二方面，本技术提供一种视频处理装置，包括：

17、获取单元，用于获取视频参考信息，视频参考信息指示待压缩视频的前景和背景；背景中的图像元素在预设时间段内保持不变；确定单元，用于基于视频参考信息确定待压缩视频的前景和背景；编码单元，用于分别采用不同或部分不同的编码方式对前景和背景进行视频编码，得到视频压缩码流，其中，背景的编码方式包括：skip模式；前景的编码方式包括以下中的一种或多种：帧内预测、帧间预测以及残差值预测。

18、在一种可选的实施方式中，编码单元，具体用于：

19、分别采用skip模式对背景进行视频编码，采用帧内预测、帧间预测以及残差值预测中的一种或多种，对前景进行视频编码，得到压缩码流。

20、在一种可选的实施方式中，视频编码是针对待压缩视频的图像组的视频帧进行处理的；视频帧包括：关键帧以及非关键帧；关键帧采用帧内预测进行编码；非关键帧包括m帧，m为正整数，背景编码的方式还包括帧内预测；编码单元，具体用于：

21、针对第1帧至第i帧的非关键帧，采用帧内预测对背景进行视频编码；以及，针对第i帧至第m帧的非关键帧，采用skip模式对背景进行视频编码；其中，i<m；

22、针对m帧的非关键帧，采用帧内预测、帧间预测以及残差值预测中的一种或多种，对前景进行视频编码。

23、在一种可选的实施方式中，对背景进行视频编码时，第1帧至第i帧的非关键帧比特数低于第i+1帧至第m帧的非关键帧比特数。

24、在一种可选的实施方式中，视频参考信息来自以下设备中的一种或多种：

25、图形处理器gpu、中央处理器cpu以及嵌入式神经网络处理器npu。

26、在一种可选的实施方式中，背景由多个背景区域组成，视频参考信息中还指示背景区域的坐标信息。

27、第三方面，本技术实施例提供一种视频处理装置，所述视频装置可以为视频编码装置(或者设置在视频编码装置内部的芯片)。所述视频处理装置具备实现上述第一方面的功能，比如，所述视频处理装置包括执行上述第一方面涉及步骤所对应的模块或单元或手段(means)，所述功能或单元或手段可以通过软件实现，或者通过硬件实现，也可以通过硬件执行相应的软件实现。

28、在一种可能的设计中，所述视频处理装置包括处理单元、收发单元，其中，收发单元可以用于收发信号，以实现该视频处理装置和其它装置之间的通信，比如，收发单元用于传输压缩码流；处理单元可以用于执行该图像处理装置的一些内部操作。所述收发单元可以称为输入输出单元、通信单元等，所述收发单元可以是收发器；所述处理单元可以是处理器。当图像处理装置是通信设备中的模块(如，芯片)时，所述收发单元可以是输入输出接口、输入输出电路或输入输出管脚等，也可以称为接口、通信接口或接口电路等；所述处理单元可以是处理器、处理电路或逻辑电路等。

29、在又一种可能的设计中，所述视频处理装置包括处理器，还可以包括收发器，所述收发器用于收发信号，所述处理器执行程序指令，以完成上述第一方面中任意可能的设计或实现方式中的方法。其中，所述视频处理装置还可以包括一个或多个存储器，所述存储器用于与处理器耦合，所述存储器可以保存实现上述第一方面中任一方面涉及的功能的必要计算机程序或指令。所述处理器可执行所述存储器存储的计算机程序或指令，当所述计算机程序或指令被执行时，使得所述视频处理装置实现上述第一方面任意可能的设计或实现方式中的方法。

30、在又一种可能的设计中，所述视频处理装置包括处理器，处理器可以用于与存储器耦合。所述存储器可以保存实现上述第一方面中任一方面涉及的功能的必要计算机程序或指令。所述处理器可执行所述存储器存储的计算机程序或指令，当所述计算机程序或指令被执行时，使得所述图像处理装置实现上述第一方面任意可能的设计或实现方式中的方法。

31、在又一种可能的设计中，所述视频处理装置包括处理器和接口电路，其中，处理器用于通过所述接口电路与其它装置通信，并执行上述第一方面任意可能的设计或实现方式中的方法。

32、可以理解地，上述第三方面中，处理器可以通过硬件来实现也可以通过软件来实现，当通过硬件实现时，该处理器可以是逻辑电路、集成电路等；当通过软件来实现时，该处理器可以是一个通用处理器，通过读取存储器中存储的软件代码来实现。此外，以上处理器可以为一个或多个，存储器可以为一个或多个。存储器可以与处理器集成在一起，或者存储器与处理器分离设置。在具体实现过程中，存储器可以与处理器集成在同一块芯片上，也可以分别设置在不同的芯片上，本技术实施例对存储器的类型以及存储器与处理器的设置方式不做限定。

33、第四方面，本技术实施例提供一种图像处理系统，该图像处理系统包括上述第一方面的视频编码装置以及上述第二方面的视频解码装置。

34、第五方面，本技术提供了一种芯片系统，该芯片系统包括处理器，还可以包括存储器，用于实现上述第一方面中任一种可能的设计中所述的方法。该芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。

35、第六方面，本技术还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机可读指令，当计算机可读指令在计算机上运行时，以使得计算机执行如第一方面中任一种可能的设计中的方法。

36、第七方面，本技术提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面的各实施例的方法。

37、上述第二方面至第七方面可以达到的技术效果，请参照上述第一方面中相应可能设计方案可以达到的技术效果说明，本技术这里不再重复赘述。