视频解码方法、视频编码方法、装置、存储介质及设备与流程

1.本技术涉及一种数据处理技术领域，尤其涉及一种视频解码方法、视频编码方法、装置、存储介质及设备。


背景技术：

2.随着数字媒体技术和计算机技术的发展，视频应用于各个领域，如移动通信、网络识别、网络电视等，给人们的娱乐和生活带来极大便利。在带宽有限的条件下，传统的编码器对视频帧无区分地进行编码，使视频码流中会存在着较大的冗余信息，导致对视频数据的编码效率比较低。


技术实现要素：

3.本技术实施例所要解决的技术问题在于，提供视频解码方法、视频编码方法、装置、存储介质及设备，可以提高原始视频数据的编码效率。
4.本技术实施例一方面提供一种视频编码方法，包括：
5.获取待编码的原始视频数据的媒体应用场景和视频内容特征；
6.根据媒体应用场景和视频内容特征，确定用于对原始视频数据进行采样处理的目标采样参数；
7.根据目标采样参数，对原始视频数据进行采样处理，得到采样视频数据；
8.对采样视频数据进行编码，得到原始视频数据对应的视频编码数据。
9.本技术实施例一方面提供一种视频解码方法，包括：
10.获取待解码的视频编码数据，以及视频编码数据对应的目标采样参数；视频编码数据是对采样视频数据进行编码得到的，采样视频数据是基于目标采样参数对视频编码数据对应的原始视频数据进行采样处理得到的，目标采样参数是根据原始视频数据的媒体应用场景和视频内容特征确定的；
11.对视频编码数据进行解码，得到采样视频数据；
12.根据目标采样参数，对采样视频数据进行采样恢复处理，得到视频编码数据对应的原始视频数据。
13.本技术实施例一方面提供一种视频解码装置，包括：
14.第一获取模块，用于获取待解码的视频编码数据，以及视频编码数据对应的目标采样参数；视频编码数据是对采样视频数据进行编码得到的，采样视频数据是基于目标采样参数对视频编码数据对应的原始视频数据进行采样处理得到的，目标采样参数是根据原始视频数据的媒体应用场景和视频内容特征确定的；
15.解码模块，用于对视频编码数据进行解码，得到采样视频数据；
16.采样恢复模块，用于根据目标采样参数，对采样视频数据进行采样恢复处理，得到视频编码数据对应的原始视频数据。
17.本技术实施例一方面提供一种视频编码装置，包括：
18.第二获取模块，用于获取待编码的原始视频数据的媒体应用场景和视频内容特征；
19.第二确定模块，用于根据媒体应用场景和视频内容特征，确定用于对原始视频数据进行采样处理的目标采样参数；
20.采样处理模块，用于根据目标采样参数，对原始视频数据进行采样处理，得到采样视频数据；
21.编码模块，用于对采样视频数据进行编码，得到原始视频数据对应的视频编码数据。
22.本技术实施例一方面提供了一种计算机设备，包括：处理器和存储器；
23.处理器与存储器相连，其中，存储器用于存储计算机程序，计算机程序被处理器执行时，使得该计算机设备执行本技术实施例提供的方法。
24.本技术实施例一方面提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，该计算机程序适于由处理器加载并执行，以使得具有该处理器的计算机设备执行本技术实施例提供的方法。
25.本技术实施例一方面提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本技术实施例提供的方法。
26.本技术实施例中，在编码设备侧，通过根据原始视频数据的媒体应用场景和视频内容，自适应地确定原始视频数据的目标采样参数，基于目标采样参数对原始视频数据进行采样处理，得到采样视频数据，可以提高对原始视频数据的采样准确性，也可以实现在确保视频观看质量的同时，有效降低视频编码数据的冗余度。进一步，对采样视频数据进行编码，得到视频编码数据，只需将该视频编码数据发送至的解码设备，能够降低视频编码数据的数据量，进而提高视频编码数据的传输效率，提高对原始视频数据的编码效率。在解码设备侧，对视频编码数据进行解码，得到采样视频数据，由于视频编码数据是对采样视频数据进行编码得到的，即此处的视频编码数据是对原始视频数据中的部分视频内容进行编码得到的，也即在解码的过程中，只需要对部分视频内容的编码数据进行解码，提高对视频数据的解码效率。同时，基于上述目标采样参数对采样视频数据进行采样恢复处理，一定程度上能够恢复得到原始视频数据，提高视频数据的质量。
附图说明
27.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
28.图1是本技术实施例提供的一种视频数据处理过程的示意图；
29.图2是本技术实施例提供的一种编码单元的示意图；
30.图3是本技术实施例提供的一种视频编码方法的流程示意图；
31.图4是本技术实施例提供的一种时间采样方式的示意图；
32.图5是本技术实施例提供的一种空间采样方式的示意图；
33.图6是本技术实施例中提供的一种视频解码方法的示意图；
34.图7是本技术实施例提供的一种视频解码装置的结构示意图；
35.图8是本技术实施例提供的一种视频编码装置的结构示意图；
36.图9是本技术实施例提供的一种计算机设备的结构示意图；
37.图10是本技术实施例提供的一种计算机设备的结构示意图。
具体实施方式
38.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
39.本技术涉及云技术技领域。其中，本技术涉及云技术技领域中的云计算，云计算(cloud computing)是一种计算模式，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展。本技术可以通过云计算对视频数据进行编码和解码。
40.本技术实施例涉及视频数据的处理技术，针对视频数据的完整处理过程具体可包括：视频采集，视频编码，视频文件封装，视频传输，视频文件解封装，视频解码和最终的视频呈现。其中，视频采集用于将模拟视频转换为数字视频，并按数字视频文件的格式进行保存，也就是说，视频采集可将视频信号转换为二进制数字信息。其中，由视频信号转换为的二进制信息是一种二进制数据流，该二进制信息也可称为该视频信号的码流或者位流(bitstream)，视频编码则是值通过压缩技术，将原始视频格式的文件转换为另一种视频格式文件。在本技术实施例中提及视频媒体内容的生成，包括摄像机采集生成的真实场景，以及计算机生成的屏幕内容场景，而从视频信号的获取方式看，视频信号可以分为摄像机拍摄到的以及计算机生成的两种方式，由于统计特性的不同，其对应的压缩编码方式也可能有所区别，现代主流视频编码技术，以国际视频编码标准hevc(high efficiency video coding，国际视频编码标准hevc/h.265)，vvc(versatile video coding，国际视频编码标准vvc/h.266)，以及视频编码标准avs(audio video coding standard，视频编码标准avs)，或avs3(由avs标准组推出的第三代视频编码标准)为例，采用了混合编码框架，对输入的原始视频信号，进行了如下一系列的操作和处理，如图1所示，图1是本技术实施例提供的一种视频数据处理过程的示意图，具体可如图1所示：
41.①
块划分结构(block partition structure)：输入图像(如视频数据中的一个视频帧)根据一个的大小，划分成若干个不重叠的处理单元，每个处理单元将进行类似的压缩操作。这个处理单元被称作ctu(coding tree unit，编码树单元)，或者lcu(largest coding unit，最大编码单元)。其中，编码树单元一般由最大编码单元开始往下划分，ctu再往下，可以继续进行更加精细的划分，得到一个或多个基本编码的单元，称之为cu(coding unit，编码单元)。每个cu是一个编码环节中最基本的元素。以下描述的是对每一个cu可能采用的各种编码方式，其中，如图2所示，图2是本技术实施例提供的一种编码单元的示意
图，lcu(或ctu)和cu之间的关系可如图2所示。
42.②
预测编码(predictive coding)：包括了帧内预测和帧间预测等方式，原始视频信号经过选定的已重建视频信号的预测后，得到残差视频信号。编码端需要为当前cu决定在众多可能的预测编码模式中，选择最适合的一种，并告知解码端。
43.a.帧内预测(intra(picture)prediction)：预测的信号来自于同一图像内已经编码重建过的区域。
44.b.帧间预测(inter(picture)prediction：帧间预测)：预测的信号来自已经编码过的，不同于当前图像的其他图像(称之为参考图像)。
45.③
变换编码及量化(transform&quantization)：残差视频信号经过dft(discrete fourier transform，离散傅里叶变换)，dct(离散余弦变换，是dft的一个子集)等变换操作，将信号转换到变换域中，称之为变换系数。在变换域中的信号，进一步的进行有损的量化操作，丢失掉一定的信息，使得量化后的信号有利于压缩表达。
46.在一些视频编码标准中，可能有多于一种变换方式可以选择，因此，编码端也需要为当前编码cu选择其中的一种变换，并告知解码端。量化的精细程度通常由量化参数(quantization parameter，qp)来决定，qp取值较大大，表示更大取值范围的系数将被量化为同一个输出，因此通常会带来更大的失真，及较低的码率；相反，qp取值较小，表示较小取值范围的系数将被量化为同一个输出，因此通常会带来较小的失真，同时对应较高的码率。
47.④
熵编码(entropy coding)或统计编码：量化后的变换域信号，将根据各个值出现的频率，进行统计压缩编码，最后输出二值化(0或者1)的压缩码流。同时，编码产生其他信息，例如选择的模式，运动矢量等，也需要进行熵编码以降低码率。
48.统计编码是一种无损编码方式，可以有效的降低表达同样的信号所需要的码率。常见的统计编码方式有变长编码(vlc，variable length coding)或者基于上下文的二值化算术编码(cabac，content adaptive binary arithmetic coding)。
49.⑤
环路滤波(loop filtering)：已经编码过的图像，经过反量化，反变换及预测补偿的操作(上述
②
～
④
的反向操作)，可获得重建的解码图像。重建图像与原始图像相比，由于存在量化的影响，部分信息与原始图像有所不同，产生失真(distortion)。对重建图像进行滤波操作，例如去块效应滤波(deblocking)，sao(sample adaptive offset，样点自适应补偿)或者alf(adaptive loop filter，自适应环路滤波)等滤波器，可以有效的降低量化所产生的失真程度。由于这些经过滤波后的重建图像，将作为后续编码图像的参考，用于对将来的信号进行预测，所以上述的滤波操作也被称为环路滤波，及在编码环路内的滤波操作。
50.图1中展示了视频编码器的基本流程，图1中以第k个cu(标记为sk[
×
，y])为例进行举例说明，其中，k为大于等于1且小于等于输入的当前图像中的cu的数量的正整数，sk[
×
，y]表示第k个cu中坐标为[
×
，y]的像素点，
×
表示像素点的横坐标，y表示像素点的中坐标，sk[
×
，y]经过运动补偿或者帧内预测等中的一种较优处理后获得预测信号sk[
×
，y]与相减得到残差信号uk[
×
，y]，然后对该残差信号uk[
×
，y]进行变换和量化，量化输出的数据由两个不同的去处：一是送个熵编码器进行熵编码，编码后的码流输出到一个缓冲器(buffer)中保存，等待传出去；另一个应用是进行反量化和
反变换后，得到信号u’k
[
×
，y]。将信号u’k
[
×
，y]与相加得到新的预测信号s*k[
×
，y]，并将s*k[
×
，y]送到当前图像的缓冲器中保存。s*k[
×
，y]经过帧内—图像预测获得f(s*k[
×
，y])，s*k[
×
，y]经过环路滤波后获得s’k
[
×
，y]，并将s’k
[
×
，y]送至解码图像缓冲器中保存，以用于生成重建视频。s’k
[
×
，y]经过运动—补偿预测后获得s’r
[
×
+m
×
，y+my]，s’r
[
×
+m
×
，y+my]表示参考块，m
×
和my分别表示运动矢量的水平和竖直分量。
[0051]
在对视频数据进行编码后，则需要对编码后得到的数据流进行封装并传输给用户，视频文件封装是指按照封装格式(或容器，或文件容器)，将已经编码压缩好的视频和音频按照一定的格式存放在一个文件中，常见的封装格式包括avi格式(audio video interleaved，音频视频交错格式)或者isobmff(iso based media file format，基于iso(international standard organization，国际标准化组织)标准的媒体文件格式)，其中，isobmff是媒体文件的封装标准，最典型的isobmff文件即mp4(moving picture e
×
perts group 4，动态图像专家组4)文件。封装后的文件将通过视频传输到解码设备，解码设备则可在进行解封装，解码等逆操作后，在解码设备中进行最终视频内容的呈现。
[0052]
可以理解，解码设备的文件解封装的过程与上述的文件封装过程是相逆的，解码设备可按照封装时的文件格式要求对封装文件进行解封装，得到视频码流。解码设备的解码过程也与编码过程是相逆的，该解码设备可对视频码流解码，还原出视频数据。根据上述编码过程可以看出，在解码端，对于每一个cu，解码器获得压缩码流后，先进行熵解码，获得各种模式信息及量化后的变换系数。各个系数经过反量化及反变换，得到残差视频信号。另一方面，根据已知的编码模式信息，可获得该cu对应的预测信号，两者相加之后，即可得到重建信号。最后，解码图像的重建值，需要经过环路滤波的操作，产生最终的输出信号。
[0053]
如图3所示，图3是本技术实施例提供的一种视频编码方法的流程示意图，该方法可由计算机设备来执行，该计算机设备可以是指编码设备。如图3所示，该方法具体可包括但不限于以下步骤：
[0054]
s101，获取待编码的原始视频数据的媒体应用场景和视频内容特征。
[0055]
具体的，编码设备获取到待编码的原始视频数据后，可以获取原始视频数据的媒体应用场景，该媒体应用场景可以包括用户观看场景、机器识别场景等。其中，机器识别场景可以包括由机器对视频数据进行判读并完成相关任务(如检测、识别等任务)的场景。由于在不同媒体应用场景下的目标对象针对视频数据的视频感知特征是不同的，如用户观看场景下的目标用户针对视频数据的视频感知特征，与机器识别场景下的目标机器针对视频数据的视频感知特征是不同的。因此，用户观看场景下对视频数据的质量和分辨率的要求，与机器识别场景下对视频数据的质量和分辨率的要求是不同的。编码设备也可以获取原始视频数据的视频内容特征，该视频内容特征可以包括原始视频数据中的视频内容变化速率、视频内容信息量、原始视频数据中视频帧的视频分辨率、原始视频数据中单位时间内播放的视频帧数等。
[0056]
s102，根据媒体应用场景和视频内容特征，确定用于对原始视频数据进行采样处理的目标采样参数。
[0057]
具体的，媒体应用场景可以反映出目标对象所需要的视频数据的质量要求(如内容变化速率要求和分辨率要求等)，原始视频数据的视频内容特征可以反映出原始视频数据的视频内容变化速率、视频内容信息量。编码设备可以根据媒体应用场景和视频内容特
征，确定用于对原始视频数据进行采样处理的目标采样参数。其中，目标采样参数可以包括目标采样方式和在目标采样方式下的目标采样率。具体的，目标采样方式可以包括时间采样方式和空间采样方式，时间采样方式是指对视频数据进行视频帧采样，空间采样方式是指对视频数据的视频分辨率进行采样。在目标采样方式下的目标采样率可以包括在时间采样方式下的目标采样率和在空间采样方式下的目标采样率，如在时间采样方式下的目标采样率可以是指2倍率抽帧(即间隔一帧采样一帧，)、3倍率抽帧(即间隔两帧采样一帧)等；如在空间采样方式下的目标采样率可以为任意大于0的值，如0.5倍率(即分辨率缩小0.5倍)、0.75倍率(即分辨率缩小0.75倍)、2倍率((即分辨率放大两倍)等。
[0058]
可选的，编码设备确定用于对原始视频数据进行采样处理的目标采样参数的具体方式可以包括：根据视频内容特征，确定用于对原始视频数据进行采样处理的目标采样方式。确定在媒体应用场景下的目标对象针对视频数据的视频感知特征；目标对象为对原始视频数据进行感知处理的对象。根据视频感知特征和视频内容特征，确定在目标采样方式下的目标采样率。将目标采样率和目标采样方式，确定为用于对原始视频数据进行采样处理的目标采样参数。
[0059]
具体的，编码设备可以根据视频内容特征，确定用于对原始视频数据进行采样处理的目标采样方式。这样，可以自适应确定原始视频数据的目标采样方式，可以提高原始视频数据采样的准确性。编码设备可以确定在原始视频数据的媒体应用场景下的目标对象针对视频数据的视频感知特征，该目标对象为对原始视频数据进行感知处理的对象，该视频感知特征可以用于反映出目标对象针对视频数据的质量要求和分辨率要求等信息。进一步地，编码设备可以根据视频感知特征和视频内容特征，确定在目标采样方式下的目标采样率，将目标采样率和目标采样方式，确定为用于对原始视频数据进行采样处理的目标采样参数。这样，根据媒体应用场景和视频内容特征，自适应确定目标采样方式和在目标采样方式下的目标采样率，可以提高对原始视频数据的采样准确性，可以实现在保证解码设备根据视频编码数据还原出原始视频数据时不影响应用(如用户观看或者机器识别)的同时，还可以降低对原始视频数据进行编码得到的视频编码数据的数据量。换句话说，采用目标采样参数对原始视频数据进行采样后，可以确保解码设备根据视频编码数据还原出原始视频数据的观看质量的同时，还可以降低视频编码数据的数据量。
[0060]
此处的目标采样方式可以包括时间采样方式、空间采样方式、时间采样方式和空间采样方式中的一种，其中，时间采样方式是指原始视频数据进行抽帧采样，空间采样方式是指对原始视频数据进行视频分辨率采样。时间采样方式下目标采样率是指对原始视频数据进行抽帧采样时，所抽取出的视频帧数与原始视频帧数的比值，空间采样方式下的目标采样率是指对原始视频数据进行视频分辨率采样时，采样得到的视频分辨率与原始视频分辨率的比值。
[0061]
可选的，编码设备确定目标采样方式的具体方式可以包括：根据视频内容特征所包括的视频内容变化速率，确定原始视频数据中的视频内容的重复率。根据原始视频数据中的视频内容的重复率，确定用于对原始视频数据进行采样处理的目标采样方式。
[0062]
具体的，视频内容特征包括原始视频数据的视频内容变化速率(即视频中画面内容的变化速率)，视频内容变化率可以是指视频内容中的移动对象的移动速度或视频内容中的像素的变化率等等。编码设备可以根据原始视频数据的视频内容变化速率，确定原始
视频数据中视频内容的重复率，该重复率可以是指原始视频数据中任意播放顺序相邻的两帧视频帧之间的重复率。进一步地，编码设备可以根据原始视频数据中的视频内容的重复率，确定用于对原始视频数据进行采样处理的目标采样方式。如在原始视频数据中的视频内容的重复率过低时，不宜对原始视频数据进行抽帧采样，若对原始视频数据进行抽帧采样，则会影响解码设备根据视频编码数据还原出的原始视频数据的展示效果(如出现视频内容不连贯、视频内容跳跃性较大等问题)。这样，根据原始视频数据中的视频内容的重复率，确定目标采样方式，可以提高目标采样方式的准确性，以确保在不影响解码设备根据视频编码数据还原出的原始视频数据的展示效果的同时，可以降低对原始视频数据进行编码得到的视频编码数据的数据量。
[0063]
可选的，编码设备根据重复率确定目标采样方式的具体方式可以包括：若原始视频数据中的视频内容的重复率大于第一重复率阈值，则将时间采样方式和空间采样方式，确定为用于对原始视频数据进行采样处理的目标采样方式。若原始视频数据中的视频内容的重复率小于或等于第一重复率阈值，且大于第二重复率阈值，则将时间采样方式确定为用于对原始视频数据进行采样处理的目标采样方式；第二重复率阈值小于第一重复率阈值。若原始视频数据中的视频内容的重复率小于或等于第二重复率阈值，则将空间采样方式，确定为用于对原始视频数据进行采样处理的目标采样方式。其中，第一重复率阈值以及第二重复率阈值可以根据目标对象的感知需求设置，也可以根据具体情况设置，本技术实施例对第一重复率阈值以及第二重复率阈值不做限制。
[0064]
具体的，若编码设备确定原始视频数据中的视频内容的重复率大于第一重复率阈值，对原始视频数据进行时间采样和空间采样不会对采样得到的采样视频数据的展示效果产生影响，因此可以将时间采样方式和空间采样方式，确定为用于对原始视频数据进行采样处理的目标采样方式。这样，可以较大程度的降低地降低对原始视频数据进行编码得到的视频编码数据的数据量。具体的，若编码设备确定原始视频数据中的视频内容的重复率小于或等于第一重复率阈值，且大于第二重复率阈值，则可以将时间采样方式确定为用于对原始视频数据进行采样处理的目标采样方式，第二重复率阈值小于第一重复率阈值。这样，仅采用时间采样方式对原始视频数据进行采样，可以在降低原始视频数据的视频编码数据的数据量的同时，可以避免采用时间采样方式和空间采样方式对原始视频数据进行时间采样后，导致采样得到的采样视频数据的信息大量丢失，进而导致影响根据采样得到的采样视频数据还原出的原始视频数据的展示效果。
[0065]
当然，若编码设备确定原始视频数据中的视频内容的重复率小于或等于第一重复率阈值，且大于第二重复率阈值，也可以将空间采样方式确定为用于对原始视频数据进行采样处理的目标采样方式。换句话说，在原始视频数据中的视频内容的重复率小于或等于第一重复率阈值，且大于第二重复率阈值，可以采用时间采样方式和空间采样方式中的任意一种采样方式，作为用于对原始视频数据进行采样处理的目标采样方式。具体的，若编码设备确定原始视频数据中的视频内容的重复率小于或等于第二重复率阈值，采用时间采样方式对原始视频数据进行采样则会丢失大量信息，则可以将空间采样方式，确定为用于对原始视频数据进行采样处理的目标采样方式。这样，根据原始视频数据的视频内容的重复率，可以确定出适宜的目标采样方式，可以提高采样准确性。当然，编码设备根据重复率确定目标采样方式的方式可以适用于原始视频数据中的视频帧，如根据原始视频数据中当前
视频帧与参考视频帧(可以是指播放顺序位于当前视频帧上一帧的视频帧，或者，播放顺序位于当前视频帧下一帧的视频帧)之间的重复率，确定用于对当前视频帧进行采样处理的目标采样方式。
[0066]
可选的，编码设备确定目标采样方式的具体方式还可以包括：根据视频内容特征所包括的视频内容信息量，确定原始视频数据中的视频内容的复杂度。根据原始视频数据中的视频内容的复杂度，确定用于对原始视频数据进行采样处理的目标采样方式。
[0067]
可选的，原始视频数据的视频内容特征包括视频内容信息量，该视频内容信息量可以反映出原始视频数据的内容复杂程度，即原始视频数据的视频内容信息量越高，则视频内容越复杂；原始视频数据的视频内容信息量越低，则视频内容越简单。编码设备可以根据原始视频数据中视频内容特征所包括的视频内容信息量，确定原始视频数据中的视频内容的复杂度。进一步地，编码设备可以根据原始视频数据中的视频内容的复杂度，确定用于对原始视频数据进行采样处理的目标采样方式。例如，若原始视频数据中的视频内容的复杂度较高，采用空间采样方式可能会让原始视频数据丢失关键信息，导致采样得到的采样视频数据的视频内容混乱，因此不适宜采用空间采样方式对原始视频数据进行采样。这样，根据原始视频数据中的视频内容的复杂度，确定用于对原始视频数据进行采样处理的目标采样方式，可以确定出适宜的目标采样方式，可以提高采样准确性。当然，编码设备根据复杂度确定目标采样方式的方式可以适用于原始视频数据中的视频帧，如根据原始视频数据中当前视频帧的复杂度，确定用于对当前视频帧进行采样处理的目标采样方式。
[0068]
可选的，编码设备根据复杂度确定目标采样方式的具体方式可以包括：若原始视频数据的视频内容的复杂度小于第一复杂度阈值，则将时间采样方式和空间采样方式，确定为用于对原始视频数据进行采样处理的目标采样方式。若原始视频数据中的视频内容的复杂度大于或等于第一复杂度阈值，且小于第二复杂度阈值，则将空间采样方式确定为用于对原始视频数据进行采样处理的目标采样方式；第二复杂度阈值大于第一复杂度阈值。若原始视频数据中的视频内容的复杂度大于第二复杂度阈值，则将时间采样方式，确定为用于对原始视频数据进行采样处理的目标采样方式。其中，第一复杂度阈值以及第二复杂度阈值可以根据目标对象的感知需求设置，也可以根据具体情况设置，本技术实施例对第一复杂度阈值以及第二复杂度阈值不做限制。
[0069]
具体的，若编码设备确定原始视频数据的视频内容的复杂度小于第一复杂度阈值，说明原始视频数据的视频内容较简单，则可以采用时间采样方式和空间采样方式对原始视频数据进行采样，不会影响解码设备根据采样得到的采样视频还原出的原始视频数据的展示效果，同时也可以较大程度的降低得到视频编码数据的数据量。若原始视频数据中的视频内容的复杂度大于或等于第一复杂度阈值，且小于第二复杂度阈值，则将空间采样方式确定为用于对原始视频数据进行采样处理的目标采样方式，第二复杂度阈值大于第一复杂度阈值。这样，仅采用空间采样方式对原始视频数据进行采样，可以在降低原始视频数据对应的视频编码数据的数据量的同时，可以避免采用时间采样方式和空间采样方式对原始视频数据进行时间采样后，导致采样得到的采样视频数据的信息大量丢失，进而导致影响根据采样得到的采样视频数据还原出的原始视频数据的展示效果。
[0070]
当然，若原始视频数据中的视频内容的复杂度大于或等于第一复杂度阈值，且小于第二复杂度阈值，也可以将时间采样方式确定为用于对原始视频数据进行采样处理的目
标采样方式。换句话说，在原始视频数据中的视频内容的复杂度大于或等于第一复杂度阈值，且小于第二复杂度阈值，可以采用时间采样方式和空间采样方式中的任意一种采样方式，作为用于对原始视频数据进行采样处理的目标采样方式。进一步地，若原始视频数据中的视频内容的复杂度大于第二复杂度阈值，说明原始视频数据的视频内容的复杂度较高，采用空间采样方式可能会让原始视频数据丢失关键信息，导致采样得到的采样视频数据的视频内容混乱。因此不适宜采用空间采样方式对原始视频数据进行采样，则可以将时间采样方式，确定为用于对原始视频数据进行采样处理的目标采样方式。
[0071]
可选的，编码设备确定目标采样方式的具体方式可以包括：编码设备可以根据视频内容特征所包括的视频内容变化速率，确定原始视频数据中的视频内容的重复率，根据视频内容特征所包括的视频内容信息量，确定原始视频数据中的视频内容的复杂度。进一步地，编码设备可以原始视频数据中的视频内容的重复率和原始视频数据中的视频内容的复杂度，确定用于对原始视频数据进行采样处理的目标采样方式。其中，编码设备可以根据原始视频数据中的视频内容的重复率，检测是否采用时间采样方式对原始视频数据进行采样，根据原始视频数据中的视频内容的复杂度，检测是否采用空间采样方式对原始视频数据进行采样。具体的，若原始视频数据中的视频内容的重复率大于第三重复率阈值，则将时间采样方式作为用于对原始视频数据进行采样处理的目标采样方式；若原始视频数据中的视频内容的重复率小于或者等于第三重复率阈值，则禁止将时间采样方式作为用于对原始视频数据进行采样处理的目标采样方式。若原始视频数据中的视频内容的复杂度小于第三复杂度阈值，则将空间采样方式作为用于对原始视频数据进行采样处理的目标采样方式；若原始视频数据中的视频内容的重复率大于或者等于第三复杂度阈值，则禁止将时间采样方式作为用于对原始视频数据进行采样处理的目标采样方式。其中，其中，第三重复率阈值可以根据目标对象的感知需求设置，也可以根据具体情况设置，本技术实施例对第三重复率阈值不做限制，第三复杂度阈值可以根据目标对象的感知需求设置，也可以根据具体情况设置，本技术实施例对第三复杂度阈值不做限制。
[0072]
可选的，编码设备确定在目标采样方式下的目标采样率的具体方式可以包括：若目标采样方式为时间采样方式，则根据视频感知特征，确定目标对象在单位时间内感知视频数据对应的限制视频帧数。根据限制视频帧数与视频内容特征所指示原始视频数据中单位时间内播放的视频帧数之间的比值，确定在时间采样方式下的目标采样率。
[0073]
具体的，若编码设备确定采用时间采样方式对原始视频数据进行采样，则编码设备可以根据视频感知特征，确定目标对象在单位时间内感知视频数据的限制视频帧数。其中，单位时间可以是指每秒、每分钟等。可以理解的是，用户或者机器对单元时间内所能感知到的视频帧帧数是有限制的，如用户眼睛所能感知到的视频帧帧率是55帧/秒，人眼是看不出帧率超过55帧/秒的视频，与帧率为55帧/秒的视频之间的区别，只有在帧率过小时，人眼可以看出帧率过小的视频的画面不流畅问题。其中，由于不同对象具有不同的视频感知特征，因此，不同对象对应的限制视频帧数是不一样的。其中，目标对象在单位时间内感知视频数据的限制视频帧数可以小于或者等于目标对象所能感知到的视频帧帧率，该限制视频帧数可以是指满足目标对象的感知需求的最低帧数。具体的，编码设备可以根据视频感知特征以及原始视频数据的视频内容特征，确定目标对象在单位时间内感知视频数据的限制视频帧数，根据该限制视频帧数对原始视频数据进行采样得到采样视频数据后，根据该
采样视频数据可以还原出视频质量和分辨率均满足目标对象的感知需求的原始视频数据。
[0074]
进一步地，编码设备可以根据限制视频帧数与视频内容特征所指示原始视频数据中单位时间内播放的视频帧数之间的比值，确定在时间采样方式下的目标采样率。具体的，由于视频帧采样的采样率需要为正整数，因此编码设备可以获取限制视频帧数与视频内容特征所指示原始视频数据中单位时间内播放的视频帧数之间的比值，若该比值为正整数，则将该比值为确定在时间采样方式下的目标采样率。若比值不为正整数，则对该比值进行取整处理，得到取整处理后的比值，将取整处理后的比值为确定在时间采样方式下的目标采样率。这样，由于不同目标对象所能感知到的限制视频帧数不同，根据目标对象对应的限制视频帧数，自适应确定在时间采样方式下的目标采样率，可以实现在根据采样得到的采样视频数据还原出原始视频数据时，可以使还原的原始视频数据的质量和分辨率满足目标对象的感知需求。
[0075]
可选的，编码设备根据视频感知特征和视频内容特征，确定在目标采样方式下的目标采样率的具体方式可以包括：若目标采样方式为空间采样方式，则根据视频感知特征，确定目标对象关联的限制视频分辨率。将限制视频分辨率与视频内容特征所指示原始视频数据中的视频帧的视频分辨率之间的比值，确定为在空间采样方式下的目标采样率。
[0076]
具体的，若目标采样方式为空间采样方式，编码设备可以根据视频感知特征，确定目标对象关联的限制视频分辨率。其中，不同目标对象所关联的限制视频分辨率是不同的，该限制视频分辨率可以是指满足目标对象的感知需求的最低分辨率。如用户(即人眼)在观看视频数据时所需要的视频分辨率和机器在处理识别任务时所需要的视频分辨率是不同的，由于用户在观看视频数据时，会需要丰富的展示效果，因此所需要的视频分辨率会较高，机器在处理识别任务时，仅需要识别出待识别对象的相关信息即可，所需要的视频分辨率较低。进一步地，编码设备可以将限制视频分辨率与视频内容特征所指示原始视频数据中的视频帧的视频分辨率之间的比值，确定为在空间采样方式下的目标采样率。这样由于不同目标对象所需要的限制视频分辨率不同，根据目标对象的限制视频分辨率，自适应确定在空间采样方式下的目标采样率，可以实现在根据采样得到的采样视频数据还原出原始视频数据时，可以使还原的原始视频数据的质量和分辨率满足目标对象的感知需求。
[0077]
可选的，编码设备根据视频感知特征和视频内容特征，确定在目标采样方式下的目标采样率的具体方式可以包括：若目标采样方式为时间采样方式和空间采样方式，则根据视频感知特征，确定目标对象在单位时间内感知视频数据对应的限制视频帧数，以及确定目标对象关联的限制视频分辨率。根据限制视频帧数与视频内容特征所指示原始视频数据中单位时间内播放的视频帧数之间的比值，确定在时间采样方式下的目标采样率。将限制视频分辨率与视频内容特征所指示原始视频数据中的视频帧的视频分辨率之间的比值，确定为在空间采样方式下的目标采样率。
[0078]
具体的，若目标采样方式为时间采样方式和空间采样方式，则编码设备可以根据视频感知特征，确定目标对象在单位时间内感知视频数据的限制视频帧数。其中，由于不同对象具有不同的视频感知特征，因此，不同对象对应的限制视频帧数是不一样的。进一步地，编码设备可以根据限制视频帧数与视频内容特征所指示原始视频数据中单位时间内播放的视频帧数之间的比值，确定在时间采样方式下的目标采样率。具体的，由于视频帧采样的采样率需要为正整数，因此编码设备可以获取限制视频帧数与视频内容特征所指示原始
视频数据中单位时间内播放的视频帧数之间的比值，若该比值为正整数，则将该比值为确定在时间采样方式下的目标采样率。若比值不为正整数，则对该比值进行取整处理，得到取整处理后的比值，将取整处理后的比值为确定在时间采样方式下的目标采样率。这样，由于不同目标对象所能感知到的限制视频帧数不同，根据目标对象对应的限制视频帧数，自适应确定在时间采样方式下的目标采样率，可以实现在根据采样得到的采样视频数据还原出原始视频数据时，可以使还原的原始视频数据的质量和分辨率满足目标对象的感知需求。
[0079]
进一步地，编码设备可以根据视频感知特征，确定目标对象关联的限制视频分辨率。其中，不同目标对象所关联的限制视频分辨率是不同的，该限制视频分辨率可以是指满足目标对象的感知需求的最低分辨率。编码设备可以将限制视频分辨率与视频内容特征所指示原始视频数据中的视频帧的视频分辨率之间的比值，确定为在空间采样方式下的目标采样率。这样由于不同目标对象所需要的限制视频分辨率不同，根据目标对象的限制视频分辨率，自适应确定在空间采样方式下的目标采样率，可以实现在根据采样得到的采样视频数据还原出原始视频数据时，可以使还原的原始视频数据的质量和分辨率满足目标对象的感知需求。
[0080]
s103，根据目标采样参数，对原始视频数据进行采样处理，得到采样视频数据。
[0081]
具体的，编码设备可以根据目标采样参数，对原始视频数据进行采样处理，得到采样视频数据。其中，目标采样参数包括目标采样方式和在目标采样方式下的目标采样率，编码设备可以根据目标采样方式和在目标采样方式下的目标采样率，对原始视频数据进行采样处理，得到采样视频数据。这样，对原始视频数据进行采样，得到采样视频数据，后续对采样视频数据进行编码，得到原始视频数据对应的视频编码数据，可以降低视频编码数据的数据量，进而可以提高视频编码数据的传输效率，同时降低视频编码数据的存储空间。
[0082]
可选的，编码设备根据目标采样参数，对原始视频数据进行采样处理，得到采样视频数据的具体方式可以包括：若目标采样方式为时间采样方式，则获取原始视频数据中的视频帧的播放序号，以及原始视频数据中所包含的视频帧的总视频帧数。根据时间采样方式下的目标采样率和总视频帧数，确定从原始视频数据中待抽取的视频帧数，作为第一视频帧数。按照原始视频数据中的视频帧的播放序号，从原始视频数据中抽取第一视频帧数的视频帧，作为采样视频数据。
[0083]
具体的，若目标采样方式为时间采样方式，编码设备可以获取原始视频数据中的视频帧的播放序号，以及原始视频数据中所包含的视频帧的总视频帧数。根据时间采样方式下的目标采样率和总视频帧数，确定从原始视频数据中待抽取的视频帧数，作为第一视频帧数。具体的，编码设备可以获取总视频帧数与时间采样方式下的目标采样率之间的比值(即总视频帧数/时间采样方式下的目标采样率)，作为第一视频帧数。例如，原始视频数据中所包含的视频帧的总视频帧数为100帧，在时间采样方式下的目标采样率为2倍率，则第一视频帧数为100/2＝50。进一步地，编码设备可以按照原始视频数据中的视频帧的播放序号，从原始视频数据中抽取第一视频帧数的视频帧，作为采样视频数据。
[0084]
具体的，编码设备可以按照原始视频数据中的视频帧的播放序号，根据时间采样方式下的目标采样率，从原始视频数据中间隔抽取视频帧，将抽取得到的视频帧，作为采样视频数据。如图4所示，图4是本技术实施例提供的一种时间采样方式的示意图，如图4所示，原始视频数据中所包含的视频帧的总视频帧数为10帧，在时间采样方式下的目标采样率为
2倍率，原始视频数据包括视频帧0、视频帧1、视频帧2、视频帧3、视频帧4、视频帧5、视频帧6、视频帧7、视频帧8、视频帧9、
…
。编码设备可以对原始视频数据进行间隔一帧视频帧抽取一帧视频帧，即抽取出视频帧0、视频帧2、视频帧4、视频帧6、视频帧8、
…
，作为采样视频数据。换句话说，根据时间采样方式下的2倍率，对原始视频数据包括的视频帧0、视频帧1、视频帧2、视频帧3、视频帧4、视频帧5、视频帧6、视频帧7、视频帧8、视频帧9、
…
进行采样，得到采样视频数据，即视频帧0、视频帧2、视频帧4、视频帧6、视频帧8、
…
。
[0085]
可选的，编码设备采用时间采样方式以及在时间采样方式下的目标采样率对原始视频数据进行采样得到采样视频数据后，为确保解码设备可以还原出原始视频数据的总视频帧数。编码设备可以将总视频帧数以及时间采样方式下的目标采样率发送给解码设备，解码设备用于根据总视频帧数以及时间采样方式下的目标采样率，对视频编码数据对应的采样视频数据进行采样恢复处理，以还原出原始视频数据的帧数。
[0086]
可选的，在编码设备采用时间采样方式对原始视频数据进行采样时，为确保解码设备可以还原出原始视频数据的总视频帧数，编码设备可以将采样后末尾丢弃的末尾丢弃帧数以及时间采样方式下的目标采样率发送给解码设备，解码设备用于根据末尾丢弃帧数以及时间采样方式下的目标采样率，对视频编码数据对应的采样视频数据进行采样恢复处理，以还原出原始视频数据的帧数。其中，末尾丢弃帧数可以是指原始视频数据经过时间采样后，末尾丢弃的视频帧的数量。
[0087]
具体的，编码设备将采样后末尾丢弃的末尾丢弃帧数以及时间采样方式下的目标采样率发送给解码设备时，可以生成temporalscaleflag(时间采样标签)、temporalratio(在时间采样方式下的目标采样率标签)以及droppedframenumber(末尾丢弃帧数标签)。temporalscaleflag可以取值为0或者1，temporalscaleflag取值为1时用于表示编码设备采用了时间采样方式对原始视频数据进行采样，temporalscaleflag取值为0时用于表示编码设备未采用时间采样方式对原始视频数据进行采样。在temporalscaleflag取值为1，可以设置temporalratio为在时间采样方式下的目标采样率，如temporalratio可以取值为2、3、4等。在temporalscaleflag取值为1，可以设置droppedframenumber为对原始视频数据进行时间采样后，末尾丢弃的视频帧的数量。例如，采用时间采样方式以及在时间采样方式下的目标采样率为2，对原始视频数据所包括的视频帧0、视频帧1、视频帧2、视频帧3、视频帧4、视频帧5、视频帧6、视频帧7、视频帧8以及视频帧9进行采样后，末尾丢弃的视频帧的数量为1(即末尾丢弃了视频帧9)。
[0088]
可选的，编码设备根据目标采样参数，对原始视频数据进行采样处理，得到采样视频数据的具体方式可以包括：若目标采样方式为空间采样方式，则获取原始视频数据中视频帧mi的原始视频分辨率；i为小于或者等于m的正整数，m为原始视频数据中视频帧的数量。根据空间采样方式下的目标采样率以及视频帧mi的原始视频分辨率，对具有原始视频分辨率的视频帧mi进行分辨率转换，得到具有目标视频分辨率的视频帧mi。在对原始视频数据中所有视频帧进行分辨率采样后，将分辨率转换后的原始视频数据确定为采样视频数据。
[0089]
具体的，若目标采样方式为空间采样方式，则编码设备可以获取原始视频数据中视频帧mi的原始视频分辨率，该原始视频分辨率可以用于反映原始视频数据中像素的数量。具体的，若原始视频数据中视频帧mi的原始视频分辨率越高，则视频帧mi中包含的像素
点越多，则视频帧mi越清晰；若原始视频数据中视频帧mi的原始视频分辨率越低，则视频帧mi中包含的像素点越少，则视频帧mi越模糊。例如，视频分辨率为1920
×
1080的视频帧所包含的像素点大于视频分辨率为720
×
480的视频帧所包含的像素点，但对视频分辨率为1920
×
1080的视频帧编码得到的数据量大于对视频分辨率为720
×
480的视频帧得到的数据量。其中，m为原始视频数据中视频帧的数量，m为正整数，如m可以取值为1,2,3
…
，i可以为小于或者等于m的正整数。
[0090]
进一步地，编码设备可以根据空间采样方式下的目标采样率以及视频帧mi的原始视频分辨率，对具有原始视频分辨率的视频帧mi进行分辨率转换，得到具有目标视频分辨率的视频帧mi。在对原始视频数据中所有视频帧进行分辨率采样后，将分辨率转换后的原始视频数据确定为采样视频数据。这样，通过空间采样方式以及在空间采样方式下的目标采样率，对原始视频数据的视频分辨率进行采样，可以实现在保证满足目标对象的感知需求的同时，降低原始视频数据对应的视频编码数据的数据量，进而提高视频编码数据的传输效率，以使解码设备可以快速获取到视频编码数据，以及对视频编码数据进行解码，可以提高解码效率。
[0091]
具体的，编码设备可以采用最邻近插值方法、重采样滤波方法、双线性插值方法、采样模型预测方法(如视频或图像超分辨率神经网络)中的任意一种空间采样方法，对具有原始视频分辨率的视频帧mi进行分辨率转换，得到具有目标视频分辨率的视频帧mi。其中，具有原始视频分辨率的视频帧mi包括q个原始像素点以及q个原始像素点分别对应的像素值，q为正整数，编码设备可以采用最邻近插值方法对具有原始视频分辨率的视频帧mi进行分辨率转换，得到具有目标视频分辨率的视频帧mi的具体方式可以包括：将在空间采样方式下的目标采样率与原始视频分辨率之间的乘积，作为初始视频分辨率。该初始视频分辨率包括p个采样像素点，p为正整数。进一步地，编码设备可以在q个原始像素点中确定采样像素点pj对应的参考像素点，采样像素点pj属于p个采样像素点，j为小于或者等于p的正整数。将参考像素点的像素值作为采样像素点pj的像素值，在得到p个采样像素点分别对应的像素值时，根据p个采样像素点以及p个采样像素点分别对应的像素值生成具有初始视频分辨率的视频帧mi。
[0092]
可选的，编码设备得到具有目标视频分辨率的视频帧mi的具体方式可以包括：将空间采样方式下的目标采样率与视频帧mi的原始视频分辨率之间的乘积，作为初始视频分辨率。对具有原始视频分辨率的视频帧mi进行分辨率转换，得到具有初始视频分辨率的视频帧mi。若具有初始视频分辨率的视频帧mi不满足编码条件，则对具有初始视频分辨率的视频帧mi进行像素填充，将填充后的视频帧mi所具有的视频分辨率确定为目标视频分辨率，将填充后的视频帧mi，确定为具有目标视频分辨率的视频帧mi。若具有初始视频分辨率的视频帧mi满足编码条件，则将初始视频分辨率，确定为目标视频分辨率，将具有初始视频分辨率的视频帧mi，确定为具有目标视频分辨率的视频帧mi。
[0093]
具体的，编码设备可以将空间采样方式下的目标采样率与视频帧mi的原始视频分辨率之间的乘积，作为初始视频分辨率。进一步地，分辨率原始视频分辨率的视频帧mi进行分辨率转换，得到具有初始视频分辨率的视频帧mi。编码设备可以将视频帧mi的原始视频分辨率标记为width
×
height(即宽
×
高)，将空间采样方式下的目标采样率标识为q，则初始视频分辨率为width*q
×
height*q。如图5所示，图5是本技术实施例提供的一种空间采样方
式的示意图，如图5所示，空间采样方式下的目标采样率标识为1/2，视频帧50a的原始分辨率为宽
×
高时，编码设备可以获取在空间采样方式下的1/2采样率与视频帧50a的原始分辨率之间的乘积，作为初始视频分辨率宽/2
×
高/2。进一步地，编码设备可以最邻近插值方法、重采样滤波方法、双线性插值方法、采样模型预测方法中的任意一种空间采样方法，对具有原始视频分辨率宽
×
高的视频帧50a进行分辨率转换，得到具有初始视频分辨率宽/2
×
高/2的视频帧50b。由于编码设备中的编码器只能对固定分辨率格式的视频帧进行编码，则编码设备可以检测具有初始视频分辨率的视频帧mi是否满足编码条件。其中，该编码条件可以是指分辨率为8的倍数，即视频分辨率中width为8的倍数，以及height为8的倍数。例如，当初始视频分辨率的视频帧mi为720
×
480时，720为8的倍数，480为8的倍数，因此编码设备可以确定具有初始视频分辨率的视频帧mi满足编码条件；当初始视频分辨率的视频帧mi为727
×
483时，727不为8的倍数，483不为8的倍数，因此编码设备可以确定具有初始视频分辨率的视频帧mi不满足编码条件。
[0094]
进一步地，若编码设备确定具有初始视频分辨率的视频帧mi不满足编码条件，则编码设备可以对具有初始视频分辨率的视频帧mi进行像素填充，将初始视频分辨率填充为满足编码条件的视频分辨率，得到填充后的视频帧mi。编码设备可以将填充后的视频帧mi所具有的视频分辨率确定为目标视频率，将填充后的视频帧mi，确定为具有目标视频分辨率的视频帧mi。具体的，编码设备对具有初始视频分辨率的视频帧mi进行像素填充时，可以获取满足编码条件且与初始视频分辨率的差值最小的视频编码分辨，作为目标视频分辨率。例如，初始视频分辨率的视频帧mi为717
×
479时，则可以确定视频分辨率720
×
480与初始视频分辨率714
×
475之间的差值最小，因此，可以对具有717
×
479分辨率的视频帧mi进行像素填充，得到具有720
×
480分辨率的视频帧mi。
[0095]
具体的，编码设备可以采用目标像素值对视频帧mi进行像素填充，该目标像素值可以为任一像素值，如目标像素值可以为0或者255等，本技术实施例对目标像素值不做限制。例如，编码设备可以将初始视频分辨率中水平方向(即宽方向)填充3个像素值为0的像素点，将初始视频分辨率中垂直方向(即高方向)填充1个像素值为0的像素点，得到填充后的视频分辨率为720
×
480的视频帧mi。若具有初始视频分辨率的视频帧mi满足编码条件，则将初始视频分辨率，确定为目标视频分辨率，将具有初始视频分辨率的视频帧mi，确定为具有目标视频分辨率的视频帧mi。
[0096]
可选的，在编码设备采用空间采样方式对原始视频数据进行采样后，若具有目标视频分辨率的视频帧mi是经过像素填充得到的，则获取具有目标视频分辨率的视频帧mi中进行像素填充的像素填充位置信息，将空间采样方式下的目标采样率以及像素填充位置信息发送给解码设备，解码设备用于根据空间采样方式下的目标采样率以及像素填充位置信息，对根据视频编码数据解码得到的采样视频数据进行采样恢复处理，以还原出原始视频数据。若具有目标视频分辨率的视频帧mi是未经过像素填充得到的，则将空间采样方式下的目标采样率发送给解码设备，解码设备用于根据空间采样方式下的目标采样率，对视频编码数据对应的采样视频数据进行采样恢复处理，以还原出原始视频数据。
[0097]
具体的，编码设备可以生成spatialscaleflag(时间空间采样标签)、spatialscaleratio(在空间采样方式下的目标采样率标签)、paddingflag(像素填充标签)、paddingx(水平方向填充像素值，即宽)以及paddingy(垂直方向填充像素值，即高)。其
中spatialscaleflag可以取值为0或者1，spatialscaleflag取值为1时用于表示编码设备采用了空间采样方式对原始视频数据进行采样，spatialscaleflag取值为0时用于表示编码设备未采用空间采样方式对原始视频数据进行采样。在spatialscaleflag取值为1，可以设置spatialscaleratio为在空间采样方式下的目标采样率，如spatialscaleratio可以取值为0.5、0.75、2等任意大于0的值。在spatialscaleflag取值为1，可以设置paddingflag的值为0或者1，paddingflag的值为1时用于表示对原始视频数据的空间采样过程中存在像素填充操作(即具有目标视频分辨率的视频帧mi是经过像素填充得到的)；paddingflag的值为0时用于表示对原始视频数据的空间采样过程中不存在像素填充操作(即具有目标视频分辨率的视频帧mi是未经过像素填充得到的)。进一步地，在paddingflag的值为1时，编码设备可以设置为paddingx(水平方向填充像素值)以及paddingy(垂直方向填充像素值)。
[0098]
可选的，编码设备对原始视频数据进行采样处理的具体方式可以包括：若目标采样方式为时间采样方式和空间采样方式，则根据时间采样方式下的目标采样率和原始视频数据中的总视频帧数，确定从原始视频数据中待抽取的视频帧数，作为第二视频帧数。按照原始视频数据中的视频帧的播放序号，从原始视频数据中抽取第二视频帧数的视频帧，作为初始采样视频数据。获取初始采样视频数据中视频帧nj的原始视频分辨率；j为小于或者等于n的正整数，n为初始采样视频数据中视频帧的数量。根据空间采样方式下的目标采样率以及视频帧nj的原始视频分辨率，对具有原始视频分辨率的视频帧nj进行分辨率转换，得到具有目标视频分辨率的视频帧nj。在对初始采样视频数据中所有视频帧进行分辨率采样后，将分辨率采样后的初始采样视频数据确定为采样视频数据。具体内容可以参考上述目标采样方式为时间采样方式，以及目标采样方式为空间采样方式时的内容，本技术实施例在此不再赘述。
[0099]
其中，在目标采样方式为时间采样方式和空间采样方式时，则编码设备可以将原始视频数据中的总视频帧数以及时间采样方式下的目标采样率发送给解码设备。同时，若具有目标视频分辨率的视频帧nj是经过像素填充得到，则编码设备需要将空间采样方式下的目标采样率以及具有目标视频分辨率的视频帧nj中的像素填充位置信息发送给解码设备；若具有目标视频分辨率的视频帧nj是经过像素填充得到，则编码设备需要将空间采样方式下的目标采样率发送给解码设备，以便解码设备恢复原始视频数据的视频帧帧数和视频分辨率。
[0100]
s104，对采样视频数据进行编码，得到原始视频数据对应的视频编码数据。
[0101]
具体的，编码设备可以采样帧内预测或者帧间预测等预测方式，对采样视频数据进行预测，得到采样视频数据的残差视频信号。进一步地，编码设备可以对采样视频数据的残差视频信号变换，得到采样视频数据的变换域信号，以及对采样视频数据的变换域信号进行量化，得到量化后的变换域信号。进一步地，编码设备可以对量化后的变换域信号进行熵编码，输出二值化(0或者1)的视频编码数据。当然，编码设备也可以对目标采样参数以及原始视频数据的总视频帧数、像素填充位置信息等参数进行熵编码，以降低码率。可见，本技术实施例可以通过对采样视频数据进行编码，可以降低视频编码数据的码率，可以提高视频编码数据的传输效率，进而降低视频编码数据的存储空间。
[0102]
可选的，编码设备可以确定关于原始视频数据的关键视频区域信息(如roi感兴趣区域)，将关键视频区域信息以及视频编码数据发送至解码设备；关键视频区域信息用于指
示解码设备对原始视频数据中的关键视频区域进行图像增强处理。这样，解码设备对原始视频数据中的关键视频区域进行图像增强处理，以丰富解码设备恢复出的原始视频数据的展示效果，进而可以提高原始视频数据恢复的准确性。同时，在后续对恢复出的原始视频数据进行对象识别任务时，可以提高识别的准确性。
[0103]
可选的，编码设备确定关于原始视频数据的关键视频区域信息的具体方式可以包括：将原始视频数据输入目标检测模型中，通过目标检测模型中的嵌入层，对原始视频数据进行嵌入向量转换，得到原始视频数据的媒体嵌入向量。通过目标检测模型中的对象提取层，对媒体嵌入向量进行对象提取，得到原始视频数据中的视频对象。将视频对象在原始视频数据中所属的区域，确定为关键视频区域，生成用于描述关键视频区域在原始视频数据中的位置的关键视频区域信息。当然，编码设备也可以通过其他关键视频区域确定方式(如目标检测、目标识别等方法)，提取出原始视频数据中的关键视频区域，本技术实施例在此不做限制。具体的，编码设备提取出原始视频数据中的关键视频区域后，可以生成roinumber(区域数量标签)和roiinformation(区域特征信息标签，如区域坐标信息)。其中，roinumber用于指示当前原始视频数据或者当前视频帧的关键视频区域的数量，在roinumber大于0，则传递数量为roinumber的roiinformation，该roiinformation用于指示关键视频区域(即roi感兴趣区域)的信息，如坐标、所包括的视频对象的类型等信息。如图表1所示，编码设备在对原始视频数据进行时间采样和空间采样后，可以传输表1中的参数，以便解码设备根据表1中的参数恢复出原始视频数据。
[0104][0105][0106]
表1
[0107]
在本技术实施例中，通过根据原始视频数据的媒体应用场景和视频内容，自适应地确定原始视频数据的目标采样参数，基于目标采样参数对原始视频数据进行采样处理，得到采样视频数据，可以提高对原始视频数据的采样准确性，可以实现在确保视频观看质量的同时，有效降低视频编码数据的冗余度。进一步，对采样视频数据进行编码，得到视频编码数据，只需将该视频编码数据发送至的解码设备，能够降低视频编码数据的数据量，进而提高视频编码数据的传输效率，便于解码设备可以快速获取到视频编码数据，同时也提高原始视频数据的编码效率。
[0108]
如图6所示，图6是本技术实施例提供的一种视频解码方法，下面结合图6，对本技术实施例提出的视频解码方法进行详细说明，该方法可由计算机设备来执行，该计算机设备可以是指解码设备。如图6所示，该方法具体可包括但不限于以下步骤：
[0109]
s201，获取待解码的视频编码数据，以及视频编码数据对应的目标采样参数。
[0110]
具体的，解码设备可以获取待解码的视频编码数据，以及视频编码数据对应的目标采样参数，视频编码数据是对采样视频数据进行编码得到的，采样视频数据是基于目标采样参数对视频编码数据对应的原始视频数据进行采样处理得到的，目标采样参数是根据原始视频数据的媒体应用场景和视频内容特征确定的。
[0111]
可选的，目标采样参数是由编码设备所发送的，目标采样参数包括目标采样方式和目标采样方式下的目标采样率，目标采样方式是根据原始视频数据的视频内容特征确定的。目标采样方式下的目标采样率是根据视频感知特征和视频内容特征确定的，视频感知特征为在媒体应用场景下的目标对象针对视频数据的感知特征，目标对象为对原始视频数据进行感知处理的对象。其中，目标采样方式可以包括时间采样方式和在时间采样方式下的目标采样率，以及空间采样方式和在空间采样方式下的目标采样率，目标采样参数的确定可以参考上述图3中步骤s102的内容，本技术实施例在此不再赘述。
[0112]
s202，对待解码的视频编码数据进行解码，得到采样视频数据。
[0113]
具体的，解码设备的解码过程与编码设备的编码过程是相逆的，解码设备可获取编码设备发送的待解码的视频编码数据，对视频编码数据进行熵解码，获得各种参数及量化后的变换系数。量化后的变换系数经过反量化及反变换，得到残差视频信号。另一方面，根据编码设备发送的已知的编码模式信息，可获得对应的视频预测信号，将视频预测信号与残差视频信号进行相加之后，即可得到重建视频信号。最后，重建视频信号需要经过环路滤波的操作，生成采样视频数据。其中，该采样视频数据可以是指编码设备中对原始视频数据进行采样得到的采样视频数据。
[0114]
s203，根据目标采样参数，对采样视频数据进行采样恢复处理，得到视频编码数据对应的原始视频数据。
[0115]
具体的，解码设备可以根据目标采样参数，对采样视频数据进行采样恢复处理，得到视频编码数据对应的原始视频数据。可见，解码设备快速获取到低码率的视频编码数据，对该低码率的视频编码数据进行解码和采样恢复，得到视频编码数据对应的原始视频数据，可以提高视频编码数据解码的解码效率，以及可以降低视频编码数据的存储空间。
[0116]
可选的，解码设备对采样视频数据进行采样恢复处理的具体方式可以包括：若目标采样方式为时间采样方式，则根据在时间采样方式下的目标采样率，确定第一解码视频帧与第二解码视频帧之间待恢复的恢复视频帧的第三视频帧数；第一解码视频帧和第二解
码视频帧属于采样视频数据中播放序号具有相邻关系的视频帧。在第一解码视频帧与第二解码视频帧之间插入第三视频帧数的恢复视频帧。在采样视频数据中任意两个相邻解码视频帧之间均完成插入恢复视频帧后，根据恢复得到的采样视频数据，确定视频编码数据对应的原始视频数据。
[0117]
具体的，若解码设备接收到编码设备发送的参数指示编码设备采用时间采样方式对原始视频数据进行采样，则解码设备可以确定目标采样方式为时间采样方式，获取在时间采样方式下的目标采样率，根据在时间采样方式下的目标采样率，确定第一解码视频帧与第二解码视频帧之间待恢复的恢复视频帧的第三视频帧数。具体的，若时间采样方式下的目标采样率为n倍率(即间隔一帧视频帧采集一帧视频帧)，则第一解码视频帧与第二解码视频帧之间待恢复的恢复视频帧的第三视频帧数为n-1。例如，若时间采样方式下的目标采样率为2倍率(即间隔一帧视频帧采集一帧视频帧)，则第一解码视频帧与第二解码视频帧之间待恢复的恢复视频帧的第三视频帧数为1。若时间采样方式下的目标采样率为3倍率(即间隔两帧视频帧采集一帧视频帧)，则第一解码视频帧与第二解码视频帧之间待恢复的恢复视频帧的第三视频帧数为2。进一步地，编码设备可以在第一解码视频帧与第二解码视频帧之间插入第三视频帧数的恢复视频帧。在采样视频数据中任意两个相邻解码视频帧之间均完成插入恢复视频帧后，根据恢复得到的采样视频数据，确定视频编码数据对应的原始视频数据。
[0118]
可选的，第三视频帧数的恢复视频帧是根据第一解码视频帧生成的；或者，第三视频帧数的恢复视频帧是根据第二解码视频帧生成的；或者，第三视频帧数的恢复视频帧是根据第一解码视频帧和第二解码视频帧生成的。
[0119]
具体的，第三视频帧数的恢复视频帧可以与第一解码视频帧相同，即在在第一解码视频帧与第二解码视频帧之间插入第三视频帧数的第一解码视频帧。当然，第三视频帧数的恢复视频帧可以与第二解码视频帧相同，即在第一解码视频帧与第二解码视频帧之间插入第三视频帧数的第二解码视频帧。换句话说，在第一解码视频帧与第二解码视频帧之间插入第三视频帧数的重复视频帧(该重复视频帧可以为第一解码视频帧或者第二解码视频帧)。当然，第三视频帧数的恢复视频帧可以是指根据第一解码视频帧与第二解码视频帧进行网络预测得到的。如解码设备可以根据第一解码视频帧中的对象运行信息与第二解码视频帧中的对象运动信息，预测第一解码视频帧与第二解码视频帧之间的恢复视频帧的对象运行信息。
[0120]
可选的，解码设备根据恢复得到的采样视频数据，确定视频编码数据对应的原始视频数据的具体方式可以包括：在采样视频数据中任意两个相邻解码视频帧之间均完成插入恢复视频帧后，则获取恢复得到的采样视频数据中包含的视频帧的第四视频帧数，以及原始视频数据中包含的视频帧的总视频帧数。若第四视频帧数与总视频帧数相同，则将恢复得到的采样视频数据确定为视频编码数据对应的原始视频数据。若第四视频帧数与总视频帧数不相同，则获取第四视频帧数与总视频帧数之间的差值，作为第五视频帧数，在恢复得到的采样视频数据后，插入第五视频帧数的恢复视频帧，得到视频编码数据对应的原始视频数据。
[0121]
具体的，若解码设备获取到的编码设备发送的参数包括原始视频数据中包含的视频帧的总视频帧数，则在采样视频数据中任意两个相邻解码视频帧之间均完成插入恢复视
频帧后，解码设备可以获取恢复得到的采样视频数据中包含的视频帧帧数，作为第四视频帧数。进一步地，解码设备可以检测恢复得到的采样视频数据中包含的视频帧的第四视频帧数，与始视频数据中包含的视频帧的总视频帧数是否相同。若第四视频帧数与总视频帧数不相同，则获取第四视频帧数与总视频帧数之间的差值，作为第五视频帧数，在恢复得到的采样视频数据后，插入第五视频帧数的恢复视频帧，得到视频编码数据对应的原始视频数据。这样，可以准确恢复至原始视频数据的视频帧数。其中，第五视频帧数的恢复视频帧可以根据恢复得到的采样视频数据中播放顺序最晚的视频帧确定，如第五视频帧数的恢复视频帧可以是指恢复得到的采样视频数据中播放顺序最晚的视频帧，也可以是根据恢复得到的采样视频数据中播放顺序最晚的视频帧进行网络预测到的。若第四视频帧数与总视频帧数相同，则可以将恢复得到的采样视频数据确定为视频编码数据对应的原始视频数据。
[0122]
具体的，若解码设备获取到的编码设备发送的参数包括原始视频数据中包含的视频帧的末尾丢弃视频帧数，则可以直接在恢复得到的采样视频数据后，插入末尾丢弃视频帧数的恢复视频帧，得到视频编码数据对应的原始视频数据。这样，可以准确恢复至原始视频数据的视频帧数。当然，末尾丢弃视频帧数的恢复视频帧也可以根据恢复得到的采样视频数据中播放顺序最晚的视频帧确定。
[0123]
可选的，解码设备对采样视频数据进行采样恢复处理的具体方式可以包括：若目标采样方式为空间采样方式，则获取采样视频数据中第三解码视频帧当前的目标视频分辨率。根据在空间采样方式下的目标采样率以及目标视频分辨率，对具有目标视频分辨率的第三解码视频帧进行分辨率恢复处理，得到具有原始视频分辨率的第三解码视频帧。在完成恢复采样视频数据中所有解码视频帧后，将恢复后的采样视频数据，确定为采样视频数据对应的原始视频数据。
[0124]
具体的，若目标采样方式为空间采样方式，以采样视频数据中第三视频帧为例，该第三解码视频帧属于采样视频数据中的任意视频帧，编码设备可以获取采样视频数据中第三解码视频帧当前的目标视频分辨率，以及获取在空间采样方式下的目标采样率。进一步地，解码设备可以将第三解码视频帧当前的目标视频分辨率与在空间采样方式下的目标采样率之间的比值(即目标视频分辨率/在空间采样方式下的目标采样率)，得到初始视频分辨率。编码设备可以采用空间采样恢复方法，对具有目标视频分辨率的第三解码视频帧进行恢复处理，得到具有初始视频分辨率的第三解码视频帧，进一步地，根据具有初始视频分辨率的第三解码视频帧，生成具有原始视频分辨率的第三解码视频帧。其中，空间采样恢复方法可以为最邻近插值方法、重采样滤波方法、双线性插值方法、采样模型预测方法中的任意一种，可以与编码设备中的空间采样方法相同，也可以与编码设备中的空间采样方式不同。在完成恢复采样视频数据中所有解码视频帧后，将恢复后的采样视频数据，确定为视频编码数据对应的原始视频数据。这样，可以准确恢复至原始视频数据的原始视频分辨率，提高解码准确性。
[0125]
可选的，解码设备得到具有原始视频分辨率的第三解码视频帧的具体方式可以包括：若接收到关于第三解码视频帧的像素填充位置信息，则根据像素填充位置信息，对具有目标视频分辨率的第三解码视频帧进行像素裁剪，得到具有初始视频分辨率的第三解码视频帧，将初始视频分辨率与在空间采样方式下的目标采样率之间的比值，确定为第三解码视频帧待恢复的原始视频分辨率，对具有初始视频分辨率第三解码视频帧进行分辨率恢复
处理，得到具有原始视频分辨率的第三解码视频帧。若未接收到关于第三解码视频帧的像素填充位置信息，则将在空间采样方式下的目标采样率与目标视频分辨率之间的比值，确定为第三解码视频帧待恢复的原始视频分辨率，对具有目标视频分辨率的第三解码视频帧进行分辨率恢复处理，得到具有原始视频分辨率的第三解码视频帧。
[0126]
例如，在空间采样方式下的目标采样率为0.5，第三解码视频帧的目标视频分辨率为960
×
544，若接收到第三解码视频帧对应的像素填充位置信息为垂直方向上填充了4个像素值，则解码设备可以第三解码视频帧的目标视频分辨率为960
×
544垂直方向上的像素值进行像素裁剪4个像素值，得到具有初始视频分辨率960
×
540的第三解码视频帧。进一步地，解码设备可以获取初始视频分辨率960
×
540与0.5(即空间采样方式下的目标采样率)之间的比值(即(960
×
540)/0.5)，得到第三解码视频帧待恢复的原始视频分辨率，即1920
×
1080。进一步地，解码设备可以根据最邻近插值方法、重采样滤波方法、双线性插值方法、采样模型预测方法中的任意一种，对具有目标视频分辨率的第三解码视频帧进行分辨率恢复处理，得到具有原始视频分辨率的第三解码视频帧。这样，可以准确恢复至原始视频数据的原始视频分辨率，提高解码准确性。
[0127]
可选的，解码设备对采样视频数据进行采样恢复处理的具体方式可以包括：若目标采样方式为时间采样方式和空间采样方式，则获取采样视频数据中第三解码视频帧的目标视频分辨率，根据在空间采样方式下的目标采样率以及目标视频分辨率，对第三解码视频帧的目标视频分辨率进行分辨率恢复处理，得到具有原始视频分辨率的第三解码视频帧。在完成恢复采样视频数据中所有解码视频帧后，将恢复后的采样视频数据，确定为视频编码数据对应的初始视频数据。根据在时间采样方式下的目标采样率，确定第一初始视频帧与第二初始视频帧之间待恢复的恢复视频帧的第六视频帧数；第一初始视频帧和第二初始视频帧属于初始视频数据中播放序号具有相邻关系的视频帧。在第一初始视频帧与第二初始视频帧之间插入第六视频帧数的恢复视频帧，在初始视频数据中任意两个相邻初始视频帧之间均完成插入恢复视频帧后，根据恢复得到的初始视频数据，确定视频编码数据对应的原始视频数据。
[0128]
具体的，若解码设备接收到编码设备发送的temporalscaleflag(时间采样标签)、temporalratio(在时间采样方式下的目标采样率标签)、droppedframenumber(末尾丢弃帧数标签)、spatialscaleflag(时间空间采样标签)、spatialscaleratio(在空间采样方式下的目标采样率标签)、paddingflag(像素填充标签)、paddingx(水平方向填充像素值，即宽方向)以及paddingy(垂直方向填充像素值，即高方向)等参数。解码设备可以根据参数中的spatialscaleflag判断解码得到的采样视频数据是否经过空间采样，若spatialscaleflag取值为1，则继续从参数中获取spatialscaleratio和paddingflag。若paddingflag取值为1，则继续获取paddingx和paddingy，并将采样视频数据中水平方向和垂直方向的填充像素进行裁剪。根据spatialscaleratio和裁剪后的采样视频数据的目标视频分辨率计算出原始视频分辨率，并采用空间采样方法(如最邻近插值、双线性插值，视频或图像超分辨率神经网络等)对裁剪后的采样视频数据进行恢复处理，得到采样视频数据对应的初始视频数据。
[0129]
进一步地，解码设备可以根据参数中的temporalscaleflag判断采样视频数据是否经过时间采样，如果temporalscaleflag取值为1，则继续从参数中获取temporalratio以
及droppedframenumber。解码设备根据temporalratio对初始视频数据中第一初始视频帧与第二初始视频帧之间的恢复视频帧的第六视频帧数，第一初始视频帧和第二初始视频帧属于初始视频数据中播放序号具有相邻关系的视频帧，如根据重复帧、视频插帧网络等方式确定第一初始视频帧与第二初始视频帧之间的待恢复视频帧，具体可以参考上述确定第一解码视频帧和第二解码视频帧之间的待恢复视频帧的内容。在第一初始视频帧与第二初始视频帧之间插入第六视频帧数的恢复视频帧，在初始视频数据中任意两个相邻初始视频帧之间均完成插入恢复视频帧后，再根据droppedframenumber对恢复得到的初始视频数据中缺失的视频帧进行补齐，得到裁剪后的对应的原始视频数据。
[0130]
可选的，解码设备可以接收编码设备所发送的关于视频编码数据的关键视频区域信息，根据关键视频区域信息，确定原始视频数据中的关键视频区域。对原始视频数据中的关键视频区域进行图像增强，得到图像增强后的原始视频数据。具体的，若解码设备获取到roinumber(区域数量标签)和roiinformation(区域特征信息标签，如区域坐标信息)，解码设备可以roinumber(区域数量标签)和roiinformation(区域特征信息标签，如区域坐标信息)，对原始视频数据中的所有关键视频区域进行图像增强处理。这样，可以提高恢复得到的原始视频数据的展示效果，也可以提高原始视频数据恢复的准确性。同时，在后续对恢复出的原始视频数据进行对象识别任务时，可以提高识别的准确性。
[0131]
可选的，解码设备对原始视频数据中的关键视频区域进行图像增强，得到图像增强后的原始视频数据的具体方式可以包括：将原始视频数据中的关键视频区域输入图像增强模型中，通过图像增强模型中的增强系数生成层，生成原始视频数据中的关键视频区域的图像增强系数。通过图像增强模型中的图像增强层，根据图像增强系数，对原始视频数据中的关键视频区域进行图像增强，得到图像增强后的原始视频数据。这样，通过图像增强模型对原始视频数据中的关键视频区域进行图像增强处理，可以提高图像增强效率和准确性。当然，解码设备也可以采用其他图像增强方式对原始视频数据中的关键视频区域进行图像增强处理，本技术实施例在此不做限制。
[0132]
本技术实施例中，通过对待解码的视频编码数据进行解码，得到采样视频数据，目标采样参数是根据视频编码数据对应的原始视频数据的媒体应用场景和视频内容特征确定的。由此可见，视频编码数据是目标采样参数对原始视频数据进行采样编码得到的，目标采样参数是根据视频编码数据对应的原始视频数据的媒体应用场景和视频内容特征确定的。由于视频编码数据是对采样视频数据进行编码得到的，即此处的视频编码数据是对原始视频数据中的部分视频内容进行编码得到的，也即在解码的过程中，只需要对部分视频内容的编码数据进行解码，提高对视频数据的解码效率。同时，基于上述目标采样参数对采样视频数据进行采样恢复处理，一定程度上能够恢复得到原始视频数据，提高视频数据的质量。
[0133]
请参见图7，图7是本技术实施例提供的一种视频解码装置的结构示意图。上述视频解码装置可以是运行于计算机设备中的一个计算机程序(包括程序代码)，例如该视频解码装置为一个应用软件；该视频解码装置可以用于执行本技术实施例提供的视频解码方法中的相应步骤。如图7所示，该视频解码装置可以包括：第一获取模块11、解码模块12、采样恢复模块13、接收模块14、第一确定模块15以及图像增强模块16。
[0134]
第一获取模块11，用于获取待解码的视频编码数据，以及视频编码数据对应的目
标采样参数；视频编码数据是对采样视频数据进行编码得到的，采样视频数据是基于目标采样参数对视频编码数据对应的原始视频数据进行采样处理得到的，目标采样参数是根据原始视频数据的媒体应用场景和视频内容特征确定的；
[0135]
解码模块12，用于对视频编码数据进行解码，得到采样视频数据；
[0136]
采样恢复模块13，用于根据目标采样参数，对采样视频数据进行采样恢复处理，得到视频编码数据对应的原始视频数据。
[0137]
其中，目标采样参数是由编码设备所发送的，目标采样参数包括目标采样方式和目标采样方式下的目标采样率；
[0138]
目标采样方式是根据原始视频数据的视频内容特征确定的；
[0139]
目标采样方式下的目标采样率是根据视频感知特征和视频内容特征确定的；视频感知特征为在媒体应用场景下的目标对象针对视频数据的感知特征，目标对象为对原始视频数据进行感知处理的对象。
[0140]
其中，采样恢复模块13包括：
[0141]
第一确定单元1301，用于若目标采样方式为时间采样方式，则根据在时间采样方式下的目标采样率，确定第一解码视频帧与第二解码视频帧之间待恢复的恢复视频帧的第三视频帧数；第一解码视频帧和第二解码视频帧属于采样视频数据中播放序号具有相邻关系的视频帧；
[0142]
插入单元1302，用于在第一解码视频帧与第二解码视频帧之间插入第三视频帧数的恢复视频帧；
[0143]
第二确定单元1303，用于在采样视频数据中任意两个相邻解码视频帧之间均完成插入恢复视频帧后，根据恢复得到的采样视频数据，确定视频编码数据对应的原始视频数据。
[0144]
其中，第三视频帧数的恢复视频帧是根据第一解码视频帧生成的；或者，
[0145]
第三视频帧数的恢复视频帧是根据第二解码视频帧生成的；或者，
[0146]
第三视频帧数的恢复视频帧是根据第一解码视频帧和第二解码视频帧生成的。
[0147]
其中，第二确定单元1303具体用于：
[0148]
在采样视频数据中任意两个相邻解码视频帧之间均完成插入恢复视频帧后，则获取恢复得到的采样视频数据中包含的视频帧的第四视频帧数，以及原始视频数据中包含的视频帧的总视频帧数；
[0149]
若第四视频帧数与总视频帧数相同，则将恢复得到的采样视频数据确定为视频编码数据对应的原始视频数据；
[0150]
若第四视频帧数与总视频帧数不相同，则获取第四视频帧数与总视频帧数之间的差值，作为第五视频帧数，在恢复得到的采样视频数据后，插入第五视频帧数的恢复视频帧，得到视频编码数据对应的原始视频数据。
[0151]
其中，采样恢复模块13还包括：
[0152]
第一获取单元1304，用于若目标采样方式为空间采样方式，则获取采样视频数据中第三解码视频帧当前的目标视频分辨率；
[0153]
分辨率恢复单元1305，用于根据在空间采样方式下的目标采样率以及目标视频分辨率，对具有目标视频分辨率的第三解码视频帧进行分辨率恢复处理，得到具有原始视频
分辨率的第三解码视频帧；
[0154]
第三确定单元1306，用于在完成恢复采样视频数据中所有解码视频帧后，将恢复后的采样视频数据，确定为视频编码数据对应的原始视频数据。
[0155]
其中，分辨率恢复单元1305具体用于：
[0156]
若接收到关于第三解码视频帧的像素填充位置信息，则根据像素填充位置信息，对具有目标视频分辨率的第三解码视频帧进行像素裁剪，得到具有初始视频分辨率的第三解码视频帧，将初始视频分辨率与在空间采样方式下的目标采样率之间的比值，确定为第三解码视频帧待恢复的原始视频分辨率，对具有初始视频分辨率第三解码视频帧进行分辨率恢复处理，得到具有原始视频分辨率的第三解码视频帧；
[0157]
若未接收到关于第三解码视频帧的像素填充位置信息，则将在空间采样方式下的目标采样率与目标视频分辨率之间的比值，确定为第三解码视频帧待恢复的原始视频分辨率，对具有目标视频分辨率的第三解码视频帧进行分辨率恢复处理，得到具有原始视频分辨率的第三解码视频帧。
[0158]
其中，采样恢复模块13还包括：
[0159]
第四确定单元1307，用于若目标采样方式为时间采样方式和空间采样方式，则获取采样视频数据中第三解码视频帧的目标视频分辨率，根据在空间采样方式下的目标采样率以及目标视频分辨率，对第三解码视频帧的目标视频分辨率进行分辨率恢复处理，得到具有原始视频分辨率的第三解码视频帧；
[0160]
第五确定单元1308，用于在完成恢复采样视频数据中所有解码视频帧后，将恢复后的采样视频数据，确定为视频编码数据对应的初始视频数据；
[0161]
第六确定单元1309，用于根据在时间采样方式下的目标采样率，确定第一初始视频帧与第二初始视频帧之间待恢复的恢复视频帧的第六视频帧数；第一初始视频帧和第二初始视频帧属于初始视频数据中播放序号具有相邻关系的视频帧；
[0162]
第七确定单元1310，用于在第一初始视频帧与第二初始视频帧之间插入第六视频帧数的恢复视频帧，在初始视频数据中任意两个相邻初始视频帧之间均完成插入恢复视频帧后，根据恢复得到的初始视频数据，确定视频编码数据对应的原始视频数据。
[0163]
其中，视频解码装置还包括：
[0164]
接收模块14，用于接收编码设备所发送的关于视频编码数据的关键视频区域信息；
[0165]
第一确定模块15，用于根据关键视频区域信息，确定原始视频数据中的关键视频区域；
[0166]
图像增强模块16，用于对原始视频数据中的关键视频区域进行图像增强，得到图像增强后的原始视频数据。
[0167]
其中，图像增强模块16包括：
[0168]
第一生成单元1601，用于将原始视频数据中的关键视频区域输入图像增强模型中，通过图像增强模型中的增强系数生成层，生成原始视频数据中的关键视频区域的图像增强系数；
[0169]
图像增强单元1602，用于通过图像增强模型中的图像增强层，根据图像增强系数，对原始视频数据中的关键视频区域进行图像增强，得到图像增强后的原始视频数据。
[0170]
根据本技术的一个实施例，图7示的视频解码装置中的各个模块可以分别或全部合并为一个或若干个单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个子单元，可以实现同样的操作，而不影响本技术的实施例的技术效果的实现。上述模块是基于逻辑功能划分的，在实际应用中，一个模块的功能也可以由多个单元来实现，或者多个模块的功能由一个单元实现。在本技术的其它实施例中，视频解码装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。
[0171]
在解码设备侧，对视频编码数据进行解码，得到采样视频数据，由于视频编码数据是对采样视频数据进行编码得到的，即此处的视频编码数据是对原始视频数据中的部分视频内容进行编码得到的，也即在解码的过程中，只需要对部分视频内容的编码数据进行解码，提高对视频数据的解码效率。同时，基于上述目标采样参数对采样视频数据进行采样恢复处理，一定程度上能够恢复得到原始视频数据，提高视频数据的质量。
[0172]
请参见图8，图8是本技术实施例提供的一种视频编码装置的结构示意图。上述视频编码装置可以是运行于计算机设备中的一个计算机程序(包括程序代码)，例如该视频编码装置为一个应用软件；该视频编码装置可以用于执行本技术实施例提供的视频编码方法中的相应步骤。如图8所示，该视频编码装置可以包括：第二获取模块21、第二确定模块22、采样处理模块23、编码模块24、第一发送模块25、第二发送模块26、第三发送模块27、第四确定模块28以及第四发送模块29。
[0173]
第二获取模块21，用于获取待编码的原始视频数据的媒体应用场景和视频内容特征；
[0174]
第二确定模块22，用于根据媒体应用场景和视频内容特征，确定用于对原始视频数据进行采样处理的目标采样参数；
[0175]
采样处理模块23，用于根据目标采样参数，对原始视频数据进行采样处理，得到采样视频数据；
[0176]
编码模块24，用于对采样视频数据进行编码，得到原始视频数据对应的视频编码数据。
[0177]
其中，第二确定模块22包括：
[0178]
第八确定单元2201，用于根据视频内容特征，确定用于对原始视频数据进行采样处理的目标采样方式；
[0179]
第九确定单元2202，用于确定在媒体应用场景下的目标对象针对视频数据的视频感知特征；目标对象为对原始视频数据进行感知处理的对象；
[0180]
第十确定单元2203，用于根据视频感知特征和视频内容特征，确定在目标采样方式下的目标采样率；
[0181]
第十一确定单元2204，用于将目标采样率和目标采样方式，确定为用于对原始视频数据进行采样处理的目标采样参数。
[0182]
其中，第八确定单元2201具体用于：
[0183]
根据视频内容特征所包括的视频内容变化速率，确定原始视频数据中的视频内容的重复率；
[0184]
根据原始视频数据中的视频内容的重复率，确定用于对原始视频数据进行采样处
理的目标采样方式。
[0185]
其中，根据原始视频数据中的视频内容的重复率，确定用于对原始视频数据进行采样处理的目标采样方式，包括：
[0186]
若原始视频数据中的视频内容的重复率大于第一重复率阈值，则将时间采样方式和空间采样方式，确定为用于对原始视频数据进行采样处理的目标采样方式；
[0187]
若原始视频数据中的视频内容的重复率小于或等于第一重复率阈值，且大于第二重复率阈值，则将时间采样方式确定为用于对原始视频数据进行采样处理的目标采样方式；第二重复率阈值小于第一重复率阈值；
[0188]
若原始视频数据中的视频内容的重复率小于或等于第二重复率阈值，则将空间采样方式，确定为用于对原始视频数据进行采样处理的目标采样方式。
[0189]
其中，第八确定单元2201具体用于：
[0190]
根据视频内容特征所包括的视频内容信息量，确定原始视频数据中的视频内容的复杂度；
[0191]
根据原始视频数据中的视频内容的复杂度，确定用于对原始视频数据进行采样处理的目标采样方式。
[0192]
其中，根据原始视频数据中的视频内容的复杂度，确定用于对原始视频数据进行采样处理的目标采样方式，包括：
[0193]
若原始视频数据的视频内容的复杂度小于第一复杂度阈值，则将时间采样方式和空间采样方式，确定为用于对原始视频数据进行采样处理的目标采样方式；
[0194]
若原始视频数据中的视频内容的复杂度大于或等于第一复杂度阈值，且小于第二复杂度阈值，则将空间采样方式确定为用于对原始视频数据进行采样处理的目标采样方式；第二复杂度阈值大于第一复杂度阈值；
[0195]
若原始视频数据中的视频内容的复杂度大于第二复杂度阈值，则将时间采样方式，确定为用于对原始视频数据进行采样处理的目标采样方式。
[0196]
其中，第十确定单元2203具体用于：
[0197]
若目标采样方式为时间采样方式，则根据视频感知特征，确定目标对象在单位时间内感知视频数据对应的限制视频帧数；
[0198]
根据限制视频帧数与视频内容特征所指示原始视频数据中单位时间内播放的视频帧数之间的比值，确定在时间采样方式下的目标采样率。
[0199]
其中，第十确定单元2203具体用于：
[0200]
若目标采样方式为空间采样方式，则根据视频感知特征，确定目标对象关联的限制视频分辨率；
[0201]
将限制视频分辨率与视频内容特征所指示原始视频数据中的视频帧的视频分辨率之间的比值，确定为在空间采样方式下的目标采样率。
[0202]
其中，第十确定单元2203具体用于：
[0203]
若目标采样方式为时间采样方式和空间采样方式，则根据视频感知特征，确定目标对象在单位时间内感知视频数据对应的限制视频帧数，以及确定目标对象关联的限制视频分辨率；
[0204]
根据限制视频帧数与视频内容特征所指示原始视频数据中单位时间内播放的视
频帧数之间的比值，确定在时间采样方式下的目标采样率；
[0205]
将限制视频分辨率与视频内容特征所指示原始视频数据中的视频帧的视频分辨率之间的比值，确定为在空间采样方式下的目标采样率。
[0206]
其中，采样处理模块23包括：
[0207]
第二获取单元2301，用于若目标采样方式为时间采样方式，则获取原始视频数据中的视频帧的播放序号，以及原始视频数据中所包含的视频帧的总视频帧数；
[0208]
第十二确定单元2302，用于根据时间采样方式下的目标采样率和总视频帧数，确定从原始视频数据中待抽取的视频帧数，作为第一视频帧数；
[0209]
第一抽取单元2303，用于按照原始视频数据中的视频帧的播放序号，从原始视频数据中抽取第一视频帧数的视频帧，作为采样视频数据。
[0210]
其中，采样处理模块23包括：
[0211]
第三获取单元2304，用于若目标采样方式为空间采样方式，则获取原始视频数据中视频帧mi的原始视频分辨率；i为小于或者等于m的正整数，m为原始视频数据中视频帧的数量；
[0212]
第一分辨率转换单元2305，用于根据空间采样方式下的目标采样率以及视频帧mi的原始视频分辨率，对具有原始视频分辨率的视频帧mi进行分辨率转换，得到具有目标视频分辨率的视频帧mi；
[0213]
第十三确定单元2306，用于在对原始视频数据中所有视频帧进行分辨率采样后，将分辨率转换后的原始视频数据确定为采样视频数据。
[0214]
第一分辨率转换单元2305具体用于：
[0215]
将空间采样方式下的目标采样率与视频帧mi的原始视频分辨率之间的乘积，作为初始视频分辨率；
[0216]
对具有原始视频分辨率的视频帧mi进行分辨率转换，得到具有初始视频分辨率的视频帧mi；
[0217]
若具有初始视频分辨率的视频帧mi不满足编码条件，则对具有初始视频分辨率的视频帧mi进行像素填充，将填充后的视频帧mi所具有的视频分辨率确定为目标视频分辨率，将填充后的视频帧mi，确定为具有目标视频分辨率的视频帧mi；
[0218]
若具有初始视频分辨率的视频帧mi满足编码条件，则将初始视频分辨率，确定为目标视频分辨率，将具有初始视频分辨率的视频帧mi，确定为具有目标视频分辨率的视频帧mi。
[0219]
其中，采样处理模块23包括：
[0220]
第十四确定单元2307，用于若目标采样方式为时间采样方式和空间采样方式，则根据时间采样方式下的目标采样率和原始视频数据中的总视频帧数，确定从原始视频数据中待抽取的视频帧数，作为第二视频帧数；
[0221]
第二抽取单元2308，用于按照原始视频数据中的视频帧的播放序号，从原始视频数据中抽取第二视频帧数的视频帧，作为初始采样视频数据；
[0222]
第四获取单元2309，用于获取初始采样视频数据中视频帧nj的原始视频分辨率；j为小于或者等于n的正整数，n为初始采样视频数据中视频帧的数量；
[0223]
第二分辨率转换单元2310，用于根据空间采样方式下的目标采样率以及视频帧nj的原始视频分辨率，对具有原始视频分辨率的视频帧nj进行分辨率转换，得到具有目标视频分辨率的视频帧nj；
[0224]
第十五确定单元2311，用于在对初始采样视频数据中所有视频帧进行分辨率采样后，将分辨率采样后的初始采样视频数据确定为采样视频数据。
[0225]
视频编码装置还包括：
[0226]
第一发送模块25，用于将总视频帧数以及时间采样方式下的目标采样率发送给解码设备，解码设备用于根据总视频帧数以及时间采样方式下的目标采样率，对视频编码数据对应的采样视频数据进行采样恢复处理。
[0227]
其中，视频编码装置还包括：
[0228]
第二发送模块26，用于若具有目标视频分辨率的视频帧mi是经过像素填充得到的，则获取具有目标视频分辨率的视频帧mi中进行像素填充的像素填充位置信息，将空间采样方式下的目标采样率以及像素填充位置信息发送给解码设备，解码设备用于根据空间采样方式下的目标采样率以及像素填充位置信息，对视频编码数据对应的采样视频数据进行采样恢复处理；
[0229]
第三发送模块27，用于若具有目标视频分辨率的视频帧mi是未经过像素填充得到的，则将空间采样方式下的目标采样率发送给解码设备，解码设备用于根据空间采样方式下的目标采样率，对视频编码数据对应的采样视频数据进行采样恢复处理。
[0230]
其中，视频编码装置还包括：
[0231]
第四确定模块28，用于确定关于原始视频数据的关键视频区域信息；
[0232]
第四发送模块29，用于将关键视频区域信息以及视频编码数据发送至解码设备；关键视频区域信息用于指示解码设备对原始视频数据中的关键视频区域进行图像增强处理。
[0233]
其中，第四确定模块28包括：
[0234]
向量转换单元2801，用于将原始视频数据输入目标检测模型中，通过目标检测模型中的嵌入层，对原始视频数据进行嵌入向量转换，得到原始视频数据的媒体嵌入向量；
[0235]
对象提取单元2802，用于通过目标检测模型中的对象提取层，对媒体嵌入向量进行对象提取，得到原始视频数据中的视频对象；
[0236]
第二生成单元2803，用于将视频对象在原始视频数据中所属的区域，确定为关键视频区域，生成用于描述关键视频区域在原始视频数据中的位置的关键视频区域信息。
[0237]
根据本技术的一个实施例，图8示的视频编码装置中的各个模块可以分别或全部合并为一个或若干个单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个子单元，可以实现同样的操作，而不影响本技术的实施例的技术效果的实现。上述模块是基于逻辑功能划分的，在实际应用中，一个模块的功能也可以由多个单元来实现，或者多个模块的功能由一个单元实现。在本技术的其它实施例中，视频编码装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。
[0238]
在编码设备侧，通过根据原始视频数据的媒体应用场景和视频内容，自适应地确定原始视频数据的目标采样参数，基于目标采样参数对原始视频数据进行采样处理，得到采样视频数据，可以提高对原始视频数据的采样准确性，可以实现在确保视频观看质量的
同时，有效降低视频编码数据的冗余度。进一步，对采样视频数据进行编码，得到视频编码数据，只需将该视频编码数据发送至的解码设备，能够降低视频编码数据的数据量，进而提高视频编码数据的传输效率，便于解码设备可以快速获取到视频编码数据，同时也提高对原始视频数据的编码效率。
[0239]
请参见图9，图9是本技术实施例提供的一种计算机设备的结构示意图。如图9所示，该计算机设备1000可以包括：处理器1001，网络接口1004和存储器1005，此外，上述计算机设备1000还可以包括：用户接口1003，和至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，用户接口1003可以包括显示屏(display)、键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。可选的，网络接口1004可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1005可以是高速ram存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器1005还可以是至少一个位于远离前述处理器1001的存储装置。如图9所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
[0240]
在如图9所示的计算机设备1000中，网络接口1004可提供网络通讯功能；而用户接口1003主要用于为用户提供输入的接口；而处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现：
[0241]
获取待解码的视频编码数据，以及视频编码数据对应的目标采样参数；视频编码数据是对采样视频数据进行编码得到的，采样视频数据是基于目标采样参数对视频编码数据对应的原始视频数据进行采样处理得到的，目标采样参数是根据原始视频数据的媒体应用场景和视频内容特征确定的；
[0242]
对视频编码数据进行解码，得到采样视频数据；
[0243]
根据目标采样参数，对采样视频数据进行采样恢复处理，得到视频编码数据对应的原始视频数据。
[0244]
应当理解，本技术实施例中所描述的计算机设备1000可执行前文图6所对应实施例中对视频解码方法的描述，也可执行前文图7所对应实施例中对视频解码装置的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。
[0245]
请参见图10，图10是本技术实施例提供的一种计算机设备的结构示意图。如图10所示，该计算机设备2000可以包括：处理器2001，网络接口2004和存储器2005，此外，上述计算机设备2000还可以包括：用户接口2003，和至少一个通信总线2002。其中，通信总线2002用于实现这些组件之间的连接通信。其中，用户接口2003可以包括显示屏(display)、键盘(keyboard)，可选用户接口2003还可以包括标准的有线接口、无线接口。可选的，网络接口2004可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器2005可以是高速ram存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器2005还可以是至少一个位于远离前述处理器2001的存储装置。如图10所示，作为一种计算机可读存储介质的存储器2005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
[0246]
在如图10所示的计算机设备2000中，网络接口2004可提供网络通讯功能；而用户接口2003主要用于为用户提供输入的接口；而处理器2001可以用于调用存储器2005中存储
的设备控制应用程序，以实现：
[0247]
获取待编码的原始视频数据的媒体应用场景和视频内容特征；
[0248]
根据媒体应用场景和视频内容特征，确定用于对原始视频数据进行采样处理的目标采样参数；
[0249]
根据目标采样参数，对原始视频数据进行采样处理，得到采样视频数据；
[0250]
对采样视频数据进行编码，得到原始视频数据对应的视频编码数据。
[0251]
应当理解，本技术实施例中所描述的计算机设备2000可执行前文图3所对应实施例中对视频编码方法的描述，也可执行前文图8所对应实施例中对视频编码装置的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。
[0252]
此外，这里需要指出的是：本技术实施例还提供了一种计算机可读存储介质，且计算机可读存储介质中存储有前文提及的视频解码装置所执行的计算机程序，且计算机程序包括程序指令，当处理器执行程序指令时，能够执行前文图6所对应实施例中对视频解码方法，或者，图3所对应实施例中对视频编码方法的描述，因此，这里将不再进行赘述。
[0253]
另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本技术所涉及的计算机可读存储介质实施例中未披露的技术细节，请参照本技术方法实施例的描述。作为示例，程序指令可被部署在一个计算机设备上执行，或者在位于一个地点的多个计算机设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算机设备上执行，分布在多个地点且通过通信网络互连的多个计算机设备可以组成区块链系统。
[0254]
此外，需要说明的是：本技术实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或者计算机程序可以包括计算机指令，该计算机指令可以存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器可以执行该计算机指令，使得该计算机设备执行前文图6所对应实施例中对视频解码方法，或者，图3所对应实施例中对视频编码方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本技术所涉及的计算机程序产品或者计算机程序实施例中未披露的技术细节，请参照本技术方法实施例的描述。
[0255]
需要说明的是，对于前述的各个方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某一些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本技术所必须的。
[0256]
本技术实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
[0257]
本技术实施例装置中的模块可以根据实际需要进行合并、划分和删减。
[0258]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存储记忆体(random access memory，ram)等。
[0259]
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。