视频处理方法和视频处理装置与流程

1.本公开涉及视频处理领域，尤其涉及一种用于超分辨率的视频处理方法和视频处理装置。


背景技术：

2.实际需求中的视频数据主要分为单帧图像和视频序列。根据输入数据的不同，超分辨率(sr)可细分为单帧图像超分辨率(sisr)和视频超分辨率(vsr)两个方向。不同任务下的sr算法设计的侧重点也有所不同。sisr算法主要是基于单帧图像做超分辨率的方法，其目的是利用图像自身的自相似性信息和结构性信息来生成低分辨率图像到高分辨率图像所缺失的细节；而vsr算法是sisr算法在时间上的拓展方法，其需要同时考虑帧内的自相似性和帧间的时空互补信息来填充缺失细节。相较于sisr算法，vsr算法可利用时间上的互补信息来降低遮挡、光照、视差等外界因素对超分辨率效果的影响。因此，vsr技术被广泛地应用在画质增强的场景中，例如，将低分辨率视频重建为高分辨率视频，以为用户提供更佳视觉体验。
3.目前，当增强视频画质时，可使用神经网络(诸如循环卷积网络)来实现对视频帧的增强。例如，在使用循环卷积网络的情况下，循环卷积网络会复用历史的特征信息或者历史的输出结果来增强视频帧的信息。然而，当前特征与历史特征之间存在相关的信息和无关的信息，如果复用无关的信息，则会产生误差累积，导致增强后的视频画质劣化。


技术实现要素：

4.本公开提供一种用于超分辨率的视频处理方法和视频处理装置，以至少解决上述提及的问题。
5.根据本公开实施例的第一方面，提供一种视频处理方法，所述视频处理方法可包括：获取低分辨率视频的当前时刻的当前帧和与所述当前帧相邻的邻近帧；基于所述当前帧和所述邻近帧来获得针对所述当前帧的差分图像；根据所述差分图像来确定针对所述当前帧的时间注意力信息，其中，所述时间注意力信息表示所述当前帧相对于所述邻近帧所关注的图像特征信息；根据所述时间注意力信息和所述邻近帧来获得所述当前帧的超分辨率特征；并且基于所述超分辨率特征来生成所述当前帧的高分辨率图像。
6.可选地，基于所述当前帧和所述邻近帧来获得针对所述当前帧的差分图像，可包括：基于所述当前帧和所述当前帧的前一时刻的邻近帧来计算所述差分图像。
7.可选地，根据所述差分图像来确定针对所述当前帧的时间注意力信息，可包括：根据所述当前帧的前一时刻的邻近帧的超分辨率特征和所述差分图像来计算针对所述当前帧的时间注意力信息。
8.可选地，根据所述当前帧的前一时刻的邻近帧的超分辨率特征和所述差分图像来计算针对所述当前帧的时间注意力信息，可包括：基于所述差分图像来获得所述当前帧与所述前一时刻的邻近帧之间的非差别图像，其中，所述非差别图像指示所述当前帧与所述
前一时刻的邻近帧之间具有的相同特征区域；根据所述非差别图像和所述前一时刻的邻近帧的超分辨率特征来计算针对所述当前帧的时间注意力信息。
9.可选地，根据所述非差别图像和所述前一时刻的邻近帧的超分辨率特征来计算针对所述当前帧的时间注意力信息，可包括：对所述非差别图像进行下采样处理以得到下采样图像；对所述下采样图像中的像素进行加权处理以得到加权图像；对所述加权图像进行上采样处理以得到上采样图像；对所述上采样图像和所述前一时刻的邻近帧的超分辨率特征进行点乘运算来得到针对所述当前帧的时间注意力信息。
10.可选地，根据所述时间注意力信息和所述邻近帧来获得所述当前帧的超分辨率特征，可包括：对所述时间注意力信息、所述当前帧、所述当前帧的前一时刻的邻近帧和后一时刻的邻近帧进行拼接来得到针对所述当前帧的特征图；对所述特征图进行特征提取来获得所述当前帧的超分辨率特征。
11.可选地，对所述时间注意力信息、所述当前帧、所述当前帧的前一时刻的邻近帧和后一时刻的邻近帧进行拼接来得到针对所述当前帧的特征图，可包括：按照表示像素的通道将所述当前帧、所述前一时刻的邻近帧、所述后一时刻的邻近帧和时间注意力信息的相同位置处的像素的通道进行拼接，以得到由多通道表示的所述特征图。
12.可选地，基于所述超分辨率特征来生成所述当前帧的超分辨率图像，可包括：基于所述超分辨率特征使用神经网络来生成所述当前帧的高分辨率图像。
13.根据本公开实施例的第二方面，提供一种视频处理装置，所述视频处理装置可包括：获取模块，被配置为获取低分辨率视频的当前时刻的当前帧和与所述当前帧相邻的邻近帧；特征提取模块，被配置为：基于所述当前帧和所述邻近帧来获得针对所述当前帧的差分图像；根据所述差分图像来确定针对所述当前帧的时间注意力信息，其中，所述时间注意力信息表示所述当前帧相对于所述邻近帧所关注的图像特征信息；根据所述时间注意力信息和所述邻近帧来获得所述当前帧的超分辨率特征；以及生成模块，被配置为基于所述超分辨率特征来生成所述当前帧的高分辨率图像。
14.可选地，特征提取模块可被配置为：基于所述当前帧和所述当前帧的前一时刻的邻近帧来计算所述差分图像。
15.可选地，特征提取模块可被配置为：根据所述当前帧的前一时刻的邻近帧的超分辨率特征和所述差分图像来计算针对所述当前帧的时间注意力信息。
16.可选地，特征提取模块可被配置为：基于所述差分图像来获得所述当前帧与所述前一时刻的邻近帧之间的非差别图像，其中，所述非差别图像指示所述当前帧与所述前一时刻的邻近帧之间具有的相同特征区域；根据所述非差别图像和所述前一时刻的邻近帧的超分辨率特征来计算针对所述当前帧的时间注意力信息。
17.可选地，特征提取模块可被配置为：对所述非差别图像进行下采样处理以得到下采样图像；对所述下采样图像中的像素进行加权处理以得到加权图像；对所述加权图像进行上采样处理以得到上采样图像；对所述上采样图像和所述前一时刻的邻近帧的超分辨率特征进行点乘运算来得到针对所述当前帧的时间注意力信息。
18.可选地，特征提取模块可被配置为：对所述时间注意力信息、所述当前帧、所述当前帧的前一时刻的邻近帧和后一时刻的邻近帧进行拼接来得到针对所述当前帧的特征图；对所述特征图进行特征提取来获得所述当前帧的超分辨率特征。
19.可选地，特征提取模块可被配置为：按照表示像素的通道将所述当前帧、所述前一时刻的邻近帧、所述后一时刻的邻近帧和时间注意力信息的相同位置处的像素的通道进行拼接，以得到由多通道表示的所述特征图。
20.可选地，特征提取模块可被配置为：基于所述超分辨率特征使用神经网络来生成所述当前帧的高分辨率图像。
21.根据本公开实施例的第三方面，提供一种电子设备，所述电子设备可包括：至少一个处理器；至少一个存储计算机可执行指令的存储器，其中，所述计算机可执行指令在被所述至少一个处理器运行时，促使所述至少一个处理器执行如上所述的视频处理方法。
22.根据本公开实施例的第四方面，提供一种存储指令的计算机可读存储介质，当所述指令被至少一个处理器运行时，促使所述至少一个处理器执行如上所述的视频处理方法。
23.根据本公开实施例的第五方面，提供一种计算机程序产品，所述计算机程序产品中的指令被电子装置中的至少一个处理器运行以执行如上所述的视频处理方法。
24.本公开的实施例提供的技术方案至少带来以下有益效果：
25.利用时序差分的特性更加有效地提取与待超分辨率的视频帧相关的信息，消除在使用神经网络做超分辨率时出现的误差累积，同时提高了计算速度并且节省了计算资源。
26.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
27.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
28.图1是根据本公开的实施例的视频处理方法的流程图；
29.图2是根据本公开的实施例的视频处理方法的流程示意图；
30.图3是根据本公开的实施例的视频处理装置的框图；
31.图4是根据本公开的实施例的视频处理设备的结构示意图；
32.图5是根据本公开的实施例的电子设备的框图。
33.在整个附图中，应注意，相同的参考标号用于表示相同或相似的元件、特征和结构。
具体实施方式
34.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
35.提供参照附图的以下描述以帮助对由权利要求及其等同物限定的本公开的实施例的全面理解。包括各种特定细节以帮助理解，但这些细节仅被视为是示例性的。因此，本领域的普通技术人员将认识到在不脱离本公开的范围和精神的情况下，可对描述于此的实施例进行各种改变和修改。此外，为了清楚和简洁，省略对公知的功能和结构的描述。
36.以下描述和权利要求中使用的术语和词语不限于书面含义，而仅由发明人用来实现本公开的清楚且一致的理解。因此，本领域的技术人员应清楚，本公开的各种实施例的以
下描述仅被提供用于说明目的而不用于限制由权利要求及其等同物限定的本公开的目的。
37.以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
38.在相关技术中，当进行超分辨率时，突出与待超分辨率的视频帧有关的信息，抑制无关的信息，是增强算法的核心因素，也是消除误差累积的关键。一种增强算法采用动态卷积的方法作用在最后结果或者历史特征上，来捕捉历史特征中的有益信息。但这种方式会产生庞大的计算开销，甚至此处的计算量会超过增强算法本身。另一种增强算法采用动态卷积的方法作用在图像层面，使用神经网络学习隐性的运动补偿。例如，一种动态上采样滤波器duf使用3d卷积核隐性地提取时间和空间信息得到动态上采样卷积核和细节图，动态卷积核作用在低分辨图像上完成动态上采样得到包含时间信息的结构图像，结构图像加上预测的残差图像便是最后富有细节的高分辨率图像。利用多帧图像预测的残差和结构图包含了运动信息，使得超分辨率图像序列具备时间连续性。duf采用了密集连接构建了较深层的融合网络，通过深层框架下卷积的感受野扩大来隐性地捕获运动信息。因为duf采用了3d卷积核在时间和空间上同时滑动，导致在时间感受野受限的情况下，边缘帧与中间帧的融合非常盲目，随着网络的加深，边缘帧的信息才间接地与参考帧融合，因此这种方法并没有充分利用视频序列中边缘帧与参考帧的互补信息。
39.此外，对于循环卷积网络而言，第t时刻隐层存储了很多历史时刻的信息。对于视频超分辨率这个任务，隐层中的结构与细节信息将随着超分辨率的场景的变化而变化。现有的基于循环卷积网络的视频超分辨率方法会将前一时刻的隐层特征与相邻两帧直接拼接起来，并馈送到后续的多个卷积层提取特征。但是，前一时刻的隐层中累积了与当前待超分辨率的帧不相关的信息。因此，不能期望直接从历史时刻捕捉对当前超分辨率有用的互补信息。当前时刻的隐层存储了不同时刻的不同位置的变化。特别是当隐层存在大变形的视频场景，历史特征会对不同帧的不同位置有不同的贡献。为了最大化这些信息对当前帧超分的贡献并且抑制贡献度不高的信息，相关技术提出了一种隐层自适应模块(hsa)。hsa模块的设计动机是希望突出历史与当前帧在表征上的相似性信息，并抑制不相关的信息对当前帧的超分辨率的贡献。基于这个设计思路，hsa模块可自适应的捕捉历史中的有用信息，从而减轻了剧烈的外观变化时的带来的误差累积影响。因为卷积核的响应表达了卷积和图像邻域之间的相关性，因此可采用类似的方法来计算输入帧和历史特征之间的相关性。这里对于当前帧的每个点生成了空间动态变化且通道不变的特定卷积核。随后用这些卷积核计算当前帧与历史信息的相关性。然而，hsa会对输入的特征预估一个3x3的动态卷积，这个过程是非常缓慢的，并且要引入庞大的计算开销。此外，动态卷积会作用在原始图像的每个位置，这种操作涉及了一些操作算子，在实际场景比较受限。另外，这种操作容易引起内存泄漏。
40.基于此，本公开利用时序差分的性质，引入新的注意力机制，充分挖掘了隐层中历史特征与当前特征之间的有益信息，并抑制无关的信息，解决了诸如循环卷积网络中的误差累积问题。对于超分辨率而言，时间的互补信息会为重建后的结果带来更多的信息，获得美好的画质。此外，本公开还可以解决先前视频超分辨率算法中利用动态卷积消除差异带来的问题，诸如预估动态卷积核时带来的庞大计算开销、动态卷积作用在图像或者特征时
导致的内存泄漏等。
41.在下文中，根据本公开的各种实施例，将参照附图对本公开的方法、装置以及系统进行详细描述。
42.图1是根据本公开的实施例的视频处理方法的流程图。图1的方法可在任何具有视频/图像处理功能的电子设备中实现。电子设备可以是包括如下中的至少一个，例如，智能电话、平板个人计算机(pc)、移动电话、视频电话、电子书阅读器(e
‑
book reader)、桌上型pc、膝上型pc、上网本计算机、工作站、服务器、个人数字助理(pda)、便携式多媒体播放器(pmp)、运动图像专家组(mpeg
‑
1或mpeg
‑
2)音频层3(mp3)播放器、相机和可穿戴装置等。图1所示的方法可将低分辨率视频转换为高分辨率视频，下面以低分辨率视频中的一个视频帧为例来阐述本公开的视频处理方法。
43.参照图1，在步骤s101，获取低分辨率视频的当前时刻的当前帧和与当前帧相邻的邻近帧。这里，邻近帧可包括当前帧的前一时刻的先前帧和当前帧的后一时刻的后续帧。
44.在步骤s102，基于当前帧和邻近帧来获得针对当前帧的差分图像。作为示例，可基于当前帧和当前帧的前一时刻的邻近帧来计算得出差分图像。例如，可将当前帧和前一时刻的邻近帧的相同位置处的像素值相减来得到相应的差分图像。
45.在步骤s103，根据差分图像来确定针对当前帧的时间注意力信息。根据当前帧的前一时刻的邻近帧的超分辨率特征和差分图像来计算针对所述当前帧的时间注意力信息。时间注意力信息可表示当前帧相对于邻近帧所关注的图像特征信息。时间注意力信息可被表示为反映所关注的目标像素的特征图。
46.作为示例，可基于差分图像来获得当前帧与前一时刻的邻近帧之间的非差别图像。这里，非差别图像可指示当前帧与前一时刻的邻近帧之间具有的相同特征区域。然后根据非差别图像和前一时刻的邻近帧的超分辨率特征来计算针对当前帧的时间注意力信息。这里，超分辨率特征可用于生成高分辨率图像。例如，可对非差别图像进行下采样处理以得到下采样图像，对下采样图像中的像素进行加权处理以得到加权图像，对加权图像进行上采样处理以得到上采样图像，对上采样图像和前一时刻的邻近帧的超分辨率特征进行点乘运算来得到针对当前帧的时间注意力信息。
47.可使用下面示出的等式(1)来计算时间注意力信息：
[0048][0049]
其中，表示针对当前帧的时间注意力信息，h
t
‑1表示前一时刻的邻近帧的超分辨率特征，upsample表示上采样处理，downsample表示下采样处理，表示由当前帧与前一时刻的邻近帧计算出的差分图像。表示当前帧与前一时刻的邻近帧之间的非差别图像。应注意的是，当前帧是视频序列的第一帧时，可将h
t
‑1设置为零元素。
[0050]
在步骤s104，根据时间注意力信息和当前帧的邻近帧来获得当前帧的超分辨率特征。可对时间注意力信息、当前帧、当前帧的前一时刻的邻近帧和后一时刻的邻近帧进行拼接来得到针对所述当前帧的特征图，对特征图进行特征提取来获得当前帧的超分辨率特征。例如，可按照表示像素的通道将当前帧、前一时刻的邻近帧、后一时刻的邻近帧和时间注意力信息的相同位置处的像素的通道进行拼接，以得到由多通道表示的特征图。
[0051]
在步骤s105，基于当前帧的超分辨率特征来生成当前帧的高分辨率图像。可基于当前帧的超分辨率特征使用神经网络来生成当前帧的高分辨率图像。这里神经网络可包括诸如循环卷积网络(rnn)、长短期记忆(lstm)网路、门控循环单元(gru)网络，但不限于此。
[0052]
在本公开中，虽然使用当前帧与前一时刻的邻近帧计算差分图像并且基于前一时刻的邻近帧的超分辨率特征计算时间注意力信息，但是本公开不限于此，可按照类似的方式使用后一时刻的邻近帧或者前后时刻的邻近两帧来计算时间注意力信息。
[0053]
根据本公开的实施例，利用时序差分的性质，充分挖掘了神经网络的隐层中历史特征与当前特征之间的有益信息，并抑制无关的信息，解决了诸如循环卷积网络中的误差累积问题。对于超分辨率而言，时间的互补信息会为重建后的结果带来更多的信息，获得更佳画质。
[0054]
此外，本公开还可以解决现有的视频超分辨算法中利用动态卷积消除差异带来的问题，诸如预估动态卷积核时带来的庞大计算开销；动态卷积作用在图像或者特征时导致的内存泄漏问题等。
[0055]
图2是根据本公开的实施例的视频处理方法的流程示意图。
[0056]
在将低分辨率视频转换为高分辨率视频时，可利用图2所示的方法针对低分辨率视频中的每个视频帧来生成高分辨率视频帧，从而得到高分辨率视频。下面以一个视频帧为例进行阐述。
[0057]
参照图2，首先计算当前帧i
t
与当前帧i
t
的前一时刻的邻近帧之间的差分图像(未示出)，然后利用前一时刻的邻近帧的超分辨率特征h
t
‑1和差分图像来计算针对当前帧i
t
相对于前一时刻的邻近帧的时间注意力信息这里，超分辨率特征可用于生成高分辨率图像。
[0058]
具体地，可利用上述等式(1)来计算针对当前帧i
t
的时间注意力信息在当前帧i
t
是视频序列的第一帧时，可将h
t
‑1设置为零元素。计算时间注意力信息的过程可在图2中的误差消除器中实现。
[0059]
在获得时间注意力信息后，可将当前帧i
t
、当前帧i
t
的前一时刻的先前帧当前帧i
t
的后一时刻的后续帧和时间注意力信息进行拼接来得到针对当前帧的特征图f
t
，然后利用特征提取器从该特征图f
t
中提取当前帧的超分辨率特征h
t
。这里，特征提取器可由神经网络(诸如循环卷积网络)中的卷积层实现。
[0060]
作为示例，可按照表示图像的通道将当前帧i
t
、当前帧i
t
的前一时刻的先前帧当前帧i
t
的后一时刻的后续帧和时间注意力信息进行通道拼接，以得到由多通道表示的特征图f
t
。这里，对当前帧i
t
、当前帧i
t
的前一时刻的先前帧当前帧i
t
的后一时刻的后续帧和时间注意力信息的拼接可被理解为对表示同一位置处像素的多个通道的拼接。例如，将i
t
和的相同位置处的像素的通道拼接在一起。
[0061]
在获得当前帧的超分辨率特征h
t
后，可使用神经网络来生成高分辨率图像(未示
出)。神经网络可以是循环卷积网络、长短期记忆(lstm)网络或门控循环单元(gru)网络，但不限于此。图2所示的部分可作为神经网络的一部分。例如，图2所示的部分可以作为一个模块，任意插入现有的诸如循环卷积网络的神经网络中。
[0062]
可选地，使用现有的神经网络作为基础网络，在空间与时间注意力信息后的结果拼接在一起后，送入神经网络中得到用于超分辨率的特征，然后基于超分辨率特征利用神经网络来得到高分辨率图像。例如，将图2中获得特征图的部分(不包括图2的特征提取器)作为诸如循环卷积网络的神经网络的输入，将利用现有的神经网络使用特征图来生成高分辨率视频。
[0063]
本公开考虑到时序差分的性质，捕捉历史特征间的信息，突出当前特征与历史特征之间有益的部分，抑制无关的部分，解决了诸如循环卷积网络中的误差累积问题。
[0064]
图3是根据本公开的实施例的视频处理装置的框图。
[0065]
参照图3，视频处理装置300可包括获取模块301、特征提取模块302和生成模块303。视频处理装置300中的每个模块可由一个或多个模块来实现，并且对应模块的名称可根据模块的类型而变化。在各种实施例中，可省略视频处理装置300中的一些模块，或者还可包括另外的模块。此外，根据本公开的各种实施例的模块/元件可被组合以形成单个实体，并且因此可等效地执行相应模块/元件在组合之前的功能。
[0066]
获取模块301可获取低分辨率视频的当前时刻的当前帧和与当前帧相邻的邻近帧。邻近帧可包括当前帧的前一帧和后一帧。
[0067]
特征提取模块302可基于当前帧和邻近帧来获得针对当前帧的差分图像，根据差分图像来确定针对当前帧的时间注意力信息，根据时间注意力信息来获得当前帧的超分辨率特征。
[0068]
可选地，特征提取模块302可基于当前帧和当前帧的前一时刻的邻近帧来计算差分图像。
[0069]
可选地，特征提取模块302可根据当前帧的前一时刻的邻近帧的超分辨率特征和差分图像来计算针对当前帧的时间注意力信息。时间注意力信息可表示当前帧相对于前一时刻的邻近帧所关注的图像特征信息。
[0070]
可选地，特征提取模块302可基于差分图像来获得当前帧与前一时刻的邻近帧之间的非差别图像，其中，非差别图像可指示当前帧与前一时刻的邻近帧之间具有的相同特征区域，根据非差别图像和前一时刻的邻近帧的超分辨率特征来计算针对当前帧的时间注意力信息。
[0071]
可选地，特征提取模块302可对非差别图像进行下采样处理以得到下采样图像，对下采样图像中的像素进行加权处理以得到加权图像，对加权图像进行上采样处理以得到上采样图像，对上采样图像和前一时刻的邻近帧的超分辨率特征进行点乘运算来得到针对当前帧的时间注意力信息。
[0072]
可选地，特征提取模块302可对时间注意力信息、当前帧、当前帧的前一时刻的邻近帧和后一时刻的邻近帧进行拼接来得到针对当前帧的特征图，对特征图进行特征提取来获得当前帧的超分辨率特征。
[0073]
可选地，特征提取模块302可按照表示像素的通道将当前帧、前一时刻的邻近帧、后一时刻的邻近帧和时间注意力信息的相同位置处的像素的通道进行拼接，以得到由多通
道表示的特征图。
[0074]
生成模块303可基于当前帧的超分辨率特征来生成当前帧的高分辨率图像。可选地，生成模块303可基于当前帧的超分辨率特征使用神经网络来生成当前帧的高分辨率图像。
[0075]
根据本公开的实施例，通过利用时序差分的特性消除诸如循环卷积网络中的误差累积，大幅度优化了先前误差消除算法的计算效率，省去了动态卷积的估计过程。
[0076]
图4是本公开实施例的硬件运行环境的视频处理设备的结构示意图。
[0077]
如图4所示，视频处理设备400可包括：处理组件401、通信总线402、网络接口403、输入输出接口404、存储器405以及电源组件406。其中，通信总线402用于实现这些组件之间的连接通信。输入输出接口404可以包括视频显示器(诸如，液晶显示器)、麦克风和扬声器以及用户交互接口(诸如，键盘、鼠标、触摸输入装置等)，可选地，输入输出接口404还可包括标准的有线接口、无线接口。网络接口403可选的可包括标准的有线接口、无线接口(如无线保真接口)。存储器405可以是高速的随机存取存储器，也可以是稳定的非易失性存储器。存储器405可选的还可以是独立于前述处理组件401的存储装置。
[0078]
本领域技术人员可以理解，图4中示出的结构并不构成对视频处理设备400的限定，可包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0079]
如图4所示，作为一种存储介质的存储器405中可包括操作系统(诸如mac操作系统)、数据存储模块、网络通信模块、用户接口模块、视频处理程序以及数据库。
[0080]
在图4所示的视频处理设备400中，网络接口403主要用于与外部电子设备/终端进行数据通信；输入输出接口404主要用于与用户进行数据交互；视频处理设备400中的处理组件401、存储器405可被设置在视频处理设备400中，视频处理设备400通过处理组件401调用存储器405中存储的视频处理程序、素材以及由操作系统提供的各种api，执行本公开实施例提供的视频处理方法。
[0081]
处理组件401可以包括至少一个处理器，存储器405中存储有计算机可执行指令集合，当计算机可执行指令集合被至少一个处理器执行时，执行根据本公开实施例的视频处理方法。此外，处理组件401可执行编码操作和解码操作等。然而，上述示例仅是示例性的，本公开不限于此。
[0082]
例如，处理组件401可获取低分辨率视频的当前时刻的当前帧和与当前帧相邻的邻近帧，基于当前帧和邻近帧来获得针对当前帧的差分图像，根据差分图像来确定针对当前帧的时间注意力信息，根据时间注意力信息来获得当前帧的超分辨率特征，并且基于当前帧的超分辨率特征来生成当前帧的高分辨率图像。
[0083]
处理组件401可通过执行程序来实现对视频处理设备400所包括的组件的控制。输入输出接口404可输出增强后的高分辨率视频。
[0084]
视频处理设备400可经由输入输出接口404接收或输出视频和/或音频。例如，视频处理设备400可经由输入输出接口404输出增强后的高分辨率视频。
[0085]
作为示例，视频处理设备400可以是pc计算机、平板装置、个人数字助理、智能手机、或其他能够执行上述指令集合的装置。这里，视频处理设备400并非必须是单个的电子设备，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。视频处理设备400还可以是集成控制系统或系统管理器的一部分，或者可以被配置为与本地
或远程(例如，经由无线传输)以接口互联的便携式电子设备。
[0086]
在视频处理设备400中，处理组件401可包括中央处理器(cpu)、图形处理器(gpu)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，处理组件401还可以包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。
[0087]
处理组件401可运行存储在存储器中的指令或代码，其中，存储器405还可以存储数据。指令和数据还可以经由网络接口403而通过网络被发送和接收，其中，网络接口403可以采用任何已知的传输协议。
[0088]
存储器405可以与处理组件401集成为一体，例如，将ram或闪存布置在集成电路微处理器等之内。此外，存储器405可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可以使用的其他存储装置。存储器和处理组件401可以在操作上进行耦合，或者可以例如通过i/o端口、网络连接等互相通信，使得处理组件401能够读取存储在存储器405中的数据。
[0089]
根据本公开的实施例，可提供一种电子设备。图5是根据本公开实施例的电子设备的框图，该电子设备500可包括至少一个存储器502和至少一个处理器501，所述至少一个存储器502存储有计算机可执行指令集合，当计算机可执行指令集合被至少一个处理器501执行时，执行根据本公开实施例的视频处理方法。
[0090]
处理器501可包括中央处理器(cpu)、图形处理器(gpu)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，处理器501还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。
[0091]
作为一种存储介质的存储器502可包括操作系统、数据存储模块、网络通信模块、用户接口模块、视频处理程序以及数据库。
[0092]
存储器502可与处理器501集成为一体，例如，可将ram或闪存布置在集成电路微处理器等之内。此外，存储器502可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储器502和处理器501可在操作上进行耦合，或者可例如通过i/o端口、网络连接等互相通信，使得处理器501能够读取存储在存储器502中的文件。
[0093]
此外，电子设备500还可包括视频显示器(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。电子设备500的所有组件可经由总线和/或网络而彼此连接。
[0094]
本领域技术人员可理解，图5中示出的结构并不构成对的限定，可包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0095]
根据本公开的实施例，还可提供一种存储指令的计算机可读存储介质，其中，当指令被至少一个处理器运行时，促使至少一个处理器执行根据本公开的视频处理方法。这里的计算机可读存储介质的示例包括：只读存储器(rom)、随机存取可编程只读存储器(prom)、电可擦除可编程只读存储器(eeprom)、随机存取存储器(ram)、动态随机存取存储器(dram)、静态随机存取存储器(sram)、闪存、非易失性存储器、cd
‑
rom、cd
‑
r、cd+r、cd
‑
rw、cd+rw、dvd
‑
rom、dvd
‑
r、dvd+r、dvd
‑
rw、dvd+rw、dvd
‑
ram、bd
‑
rom、bd
‑
r、bd
‑
r lth、bd
‑
re、蓝光或光盘存储器、硬盘驱动器(hdd)、固态硬盘(ssd)、卡式存储器(诸如，多媒体卡、安全数字(sd)卡或极速数字(xd)卡)、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其他装置，所述任何其他装置被配置为以非暂时性方式存储计算机程序以及
任何相关联的数据、数据文件和数据结构并将所述计算机程序以及任何相关联的数据、数据文件和数据结构提供给处理器或计算机使得处理器或计算机能执行所述计算机程序。上述计算机可读存储介质中的计算机程序可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，此外，在一个示例中，计算机程序以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得计算机程序以及任何相关联的数据、数据文件和数据结构通过一个或多个处理器或计算机以分布式方式存储、访问和执行。
[0096]
根据本公开的实施例中，还可提供一种计算机程序产品，该计算机程序产品中的指令可由计算机设备的处理器执行以完成上述视频处理方法。
[0097]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
[0098]
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。