压缩视频帧增强的方法、增强设备、电子设备和介质与流程

1.本技术涉及视频技术领域，特别是涉及一种压缩视频帧增强的方法、增强设备、电子设备和介质。


背景技术：

2.通常，随着人们对产品设备使用的各种需求的提升，互联网的视频流越来越流行，其对高质量和高分辨率视频的期望和需求也日益增长，在使用产品设备进行播放视频时，用户往往希望能够既保持产品设备播放视频的及时性，又保持产品设备播放视频的质量。
3.一般，数字视频的数据量极大，对存储空间要求高，同时不便于在带宽有限的网络中传输。通常，视频数据之间存在很高的相关性，即冗余信息。为突破存储空间和传输带宽的限制，视频压缩技术被提出并得到快速发展。
4.目前，该技术的核心在于通过移除视频数据中的冗余信息，提炼出紧凑的视频数据表示来达到数据压缩的目的，从而减少比特率，便于高质量和高分辨率视频的存储和传输。然而视频在压缩过程中将不可避免地发生失真，如块效应、振铃效应和画质模糊等，严重影响用户的观看体验。


技术实现要素：

5.为解决上述技术问题，本技术第一方面采用的技术方案是提供一种压缩视频帧增强的方法，该方法包括：采用多层结构对压缩视频帧进行处理，至少得到前一层帧特征以及当前层的帧特征；获取前一层帧特征、当前层的帧特征、当前层的前向帧特征以及当前层的后向帧特征，得到联合输入；按照预设的并行双向网络，对联合输入进行多层处理，得到满足融合条件的多个筛选结果；基于残差块，将多个筛选结果进行融合，得当前层对应的增强特征。
6.为解决上述技术问题，本技术第二方面采用的技术方案是提供一种增强设备，该增强设备包括：处理模块，用于采用多层结构对压缩视频帧进行处理，至少得到前一层帧特征以及当前层的帧特征；获取模块，用于获取前一层帧特征、当前层的帧特征、当前层的前向帧特征以及当前层的后向帧特征，得到联合输入；处理模块，还用于按照预设的并行双向网络，对联合输入进行多层处理，得到满足融合条件的多个筛选结果；融合模块，用于基于残差块，将多个筛选结果进行融合，得当前层对应的增强特征。
7.为解决上述技术问题，本技术第三方面采用的技术方案是提供一种电子设备，该电子设备包括：处理器和存储器，存储器中存储有计算机程序，处理器用于执行计算机程序以实现如本技术第一方面的方法。
8.为解决上述技术问题，本技术第四方面采用的技术方案是提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，计算机程序能够被处理器执行时实现本技术第一方面的方法。
9.本技术的有益效果是：本技术为实现更好地视频帧增强，按照预设的并行双向网
络，对联合输入进行多层处理，使得能够通过视频帧间的互补信息可以为当前帧信息恢复提供更充分的依据，并且通过对满足融合条件的筛选结果进行融合，利用不同贡献度的不同来增强视频帧的细节和质量，促进了帧信息之间的有效利用，缓解了其他不利因素所带来的影响。
附图说明
10.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
11.图1是本技术压缩视频帧增强的方法实施例的流程示意图；
12.图2是本技术图1中步骤s12一具体实施例的流程示意图；
13.图3是本技术图1中步骤s13一具体实施例的流程示意图；
14.图4是本技术图1的一具体实施例的整体框架结构示意图；
15.图5是本技术图3中步骤s31一具体实施例的流程示意图；
16.图6是本技术图5中步骤s42一具体实施例的流程示意图；
17.图7是本技术图5中步骤s43一具体实施例的流程示意图；
18.图8是本技术图5中步骤s44一具体实施例的流程示意图；
19.图9是本技术双注意力融合策略一具体实施例的流程示意图；
20.图10是本技术图9中一具体实施例的流程示意图；
21.图11是本技术增强设备实施例的结构示意框图；
22.图12是本技术电子设备实施例的结构示意框图；
23.图13是本技术计算机可读存储介质实施例的电路示意框图。
具体实施方式
24.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本技术的描述。
25.应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
26.还应当理解，在此本技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本技术。如在本技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
27.还应当进一步理解，在本技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
28.如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
[0029]
下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0030]
为了说明本技术的技术方案，下面通过具体实施例来进行说明本技术提供一种压缩视频帧增强的方法，请参阅图1，图1是本技术压缩视频帧增强的方法实施例的流程示意图，该方法具体地包括以下步骤：
[0031]
s11：采用多层结构对压缩视频帧进行处理，至少得到前一层帧特征以及当前层的帧特征；
[0032]
通常，对于压缩视频的处理，往往会采用循环神经网络，而本技术的循环神经网络至少包括多层结构，所以可以采用多层结构对压缩视频帧进行初步的处理。
[0033]
一般来说压缩视频由视频帧组成，其视频帧序列可合成视频。为了充分地对视频帧之间的信息进行充分的利用，可以在采用多层结构对压缩视频帧进行处理的情况下，至少得到前一层帧特征以及当前层的帧特征。
[0034]
由于多层结构的每一层均分别对应各自的帧特征，若多层结构为n1层，且n1层结构依次连接，则通过对压缩视频帧进行处理后，n1层中存在第i层对应的帧特征及第i+1层对应的帧特征，若将第i+1层对应的帧特征作为当前层的帧特征，则第i层对应的帧特征则为前一层帧特征；其中，n1为不小于2的整数，i为大于0且不大于n1-1的整数；如上述n1为2时，通过对压缩视频帧进行处理后，至少存在第一层对应的帧特征以及第二层对应的帧特征，其中，若第二层对应的帧特征作为当前层的帧特征，则第一层对应的帧特征则作为前一层帧特征。
[0035]
s12：获取前一层帧特征、当前层的帧特征、当前层的前向帧特征以及当前层的后向帧特征，得到联合输入；
[0036]
对于当前层来说，可以获取的视频帧信息来源较多且不同，对于第一层，至少可以获取当前帧层的特征以及当前层的后向帧特征；对于最后一层，至少可以获取当前层的帧特征以及当前层的前向帧特征。
[0037]
此处对上述当前层的前向帧特征以及当前层的后向帧特征进行说明，上述多层结构包括n2层时，且n2层结构依次连接，则通过对压缩视频帧进行处理后，n2层中存在各个层对应的帧特征，若将第j+1层作为当前帧，则第j+1层对应的帧特征作为当前层的帧特征，则第j层对应的帧特征为第j+1层的前一层帧特征，n2层中第1层至第j层对应的帧特征为第j+1层的前向帧特征，第j+2层至第n层对应的帧特征可作为后向帧特征；其中，n2为不小于3的整数，i为大于1且不大于n2-1的整数。
[0038]
为便于理解，此处给出具体示例，若n2为4，则多层结构可以是依次相连的第一层、第二层、第三层以及第四层，则通过对压缩视频帧进行处理后，至少存在第一层对应的帧特征、第二层对应的帧特征、第三层对应的帧特征以及第四层对应的帧特征；若第三层对应的帧特征作为当前层的帧特征，则第二层对应的帧特征则可作为前一层帧特征，第一层对应的帧特征以及第二层对应的帧特征则可作为前向帧特征，第四层对应的帧特征则可作为后
向帧特征。
[0039]
为了更加的充分利用视频之间的信息资源，对于处于中间层的视频帧特征，具体地，则可以获取前一层帧特征、当前层的帧特征、当前层的前向帧特征以及当前层的后向帧特征，再将这些特征进行联合，从而形成联合输入。
[0040]
s13：按照预设的并行双向网络，对联合输入进行多层处理，得到满足融合条件的多个筛选结果；
[0041]
具体地，为了对联合输入进行处理，本技术还设计了预设的并行双向网络，该预设的并行双向网络拥有足够的处理层结构，其视频帧之间的参数也是共享的，所以按照预设的并行双向网络，对联合输入进行多层处理使得每个视频帧能够充分利用其余视频帧的信息流，达到增强帧细节和质量的目的。
[0042]
再者，对多层处理后得到的结果可以再进行筛选，选择不同位置信贡献度不同，如此可以促进信息的有效利用，综合预设的双向并行网络中所有阶段的特征，得到满足融合条件的多个筛选结果。
[0043]
s14：基于残差块，将多个筛选结果进行融合，得到当前层对应的增强特征。
[0044]
通常，添加的新网络层至少不会使效果比原来差，就可以较为稳定地通过加深层数来提高模型的应用效果，通常会设置残差块，使得有好的效果则保留，效果不好的则跳过，以维持新增网络层的有效梯度。
[0045]
具体地，基于残差块，将多个筛选结果进行融合，则可以得到当前层对应的增强特征。最后再将这些增强特诊进行帧重建，则可以得到一副清晰的图像，以此尽可能对原视频帧进行保真。
[0046]
因此，本技术为实现更好地视频帧增强，按照预设的并行双向网络，对联合输入进行多层处理，使得能够通过视频帧间的互补信息可以为当前帧信息恢复提供更充分的依据，并且通过对满足融合条件的筛选结果进行融合，利用不同贡献度的不同来增强视频帧的细节和质量，促进了帧信息之间的有效利用，缓解了其他不利因素所带来的影响。
[0047]
更进一步地，获取前一层帧特征、当前层的帧特征、当前层的前向帧特征以及当前层的后向帧特征，得到联合输入的步骤，请参阅图2，图2是本技术图1中步骤s12一具体实施例的流程示意图，具体包括以下步骤：
[0048]
s21：提取前一层帧特征、当前层的帧特征、当前层的前向帧特征以及当前层的后向帧特征；
[0049]
具体地，对于视频帧的提取，往往也可以采用残差快，比如本技术可以采用一系列带有步长卷积的残差块来实现特征提取，由于残差块能够实现在不同梯度上的特征信息提取，所以，得到的提取特征往往比较全面，其分类也较为合理。
[0050]
因此，可以通过一系列带有步长卷积的残差块，提取前一层帧特征、当前层的帧特征、当前层的前向帧特征以及当前层的后向帧特征，以实现对视频帧在不同通道维度上的细节和质量进行保留。
[0051]
s22：将前一层帧特征、当前层的帧特征、当前层的前向帧特征以及当前层的后向帧特征，按照各自对应的通道维度进行拼接，得到联合输入。
[0052]
其中，预设的并行双向网络至少包括四层结构，其中每层结构至少包括并行独立传播的前后向分支以及预设注意力策略，并行独立传播的前后向分支至少包括反向传播结
构以及后向传播结构。
[0053]
具体地，四层结构至少包括依次连接的四层循环网络，比如依次连接的第一层循环网络、第二层循环网络、第三层循环网络以及第四层循环网络。
[0054]
其中，对于第一层循环网络，将前后邻帧同时作为当前帧的参考帧来源；对于第二层循环网络，将前后方向的第二帧同时作为当前帧的参考帧来源；对于第三层循环网络，将前后方向的第三帧同时作为当前帧的参考帧来源；对于第四层循环网络，将前后方向的第四帧同时作为当前帧的参考帧来源。
[0055]
如此，四层循环网络中不同层循环网络结构的参考帧均为不同帧率的视频帧，也即，每一层循环网络的参考帧均为不同帧率的视频帧，且所述每一层循环网络前后向传播的所述参考帧分别为相反方向相同帧率的视频帧。其每一层循环网络具体的实施例将在后文进行详细描述。
[0056]
更进一步地，按照预设的并行双向网络，对联合输入进行多层处理，得到满足融合条件的多个筛选结果的步骤，请参阅图3，图3是本技术图1中步骤s13一具体实施例的流程示意图，具体包括以下步骤：
[0057]
s31：对联合输入按反向传播结构进行处理，得到第一结果；
[0058]
由于并行独立传播的前后向分支，包含两个关键点：一是前后向参考帧数量，假设前向参考帧数量为m，后向参考帧数量为n；二是参考帧来源，即邻帧或跨多帧参考，跨帧数量可不一样，设跨帧参考时，前向传播跨帧数量为r1，后向传播跨帧数量为r2，其中前向传播也称反向传播。
[0059]
比如有三个帧第一帧、第二帧以及第三帧而每个帧均对应有四层，基于第二帧在第二层的联合输入，先处理当前层的帧特征(也即第二帧的第二层帧特征)，再处理前一层的后向传播(也即第二帧的第一层帧特征)具体还可以如m个前向参考帧和基于跨帧参考的r1个前向传播跨帧，最后再处理第三层的帧特征以及第四层的帧特征。
[0060]
也即，按照反向传播结构，对联合输入进行类似按第二层、第一层、第三层以及第四层进行处理，从而得到第一结果，具体地，按照反向传播结构，基于跨帧参考的r1个前向传播跨帧，对m个前向参考帧进行前向处理，则可以得到第一结果。
[0061]
s32：对联合输入按后向传播结构进行处理，得到第二结果；
[0062]
也即按照正常处理模式，其后向传播是按第一层、第二层、第三层以及第四层进行依次处理，按照后向传播结构，对联合输入进行处理，可以得到第一结果，具体地，按照后向传播结构，基于跨帧参考的r2个前后向传播跨帧，对n个前向参考帧进行后向处理，则可以得到第二结果。
[0063]
s33：基于预设注意力策略，对第一结果和第二结果进行筛选，得到满足融合条件的多个筛选结果。
[0064]
每一层并行循环结构，主要针对视频序列的每一帧，分别进行前后向的特征传播，以利用来自其余视频的互补信息。为了对第一结果和第二结果进行筛选和融合，本技术还设计了预设的注意力策略，然后再将前后向传播结果进行融合，结果将传递至下一层结构，以便更为充分地利用信息。
[0065]
由于第一结果以及第二结果均可能包括多个帧特征，基于预设注意力策略，通过对第一结果和第二结果进行筛选，具体地比如通过满足预设梯度或者预设阈值范围的权重
的帧特征来挑选多个帧特征，可以得到满足融合条件的多个筛选结果，从而可促进信息的有效利用，缓解因处理过程中不够精确而导致的增强效果受到影响的问题。
[0066]
其中，请参阅图4，图4是本技术图1的一具体实施例的整体框架结构示意图。
[0067]
网络主要包含光流估计和采用循环结构实现的增强网络。其中，光流估计使用现存技术的spynet网络来实现。增强网络主要包含三部分：特征提取、基于注意力聚合策略的双向并行网络和帧重建。特征提取阶段采用一系列带有步长卷积的残差块实现，帧重建阶段会综合双向并行网络中所有阶段的特征重建出增强的视频帧。
[0068]
将当前待增强的视频帧记为xi，其前后向的参考帧分别记为xf和xb，空间大小均为h
×
w，通道数为c。由于前后邻帧和当前帧强相关，可将前后邻帧同时作为当前帧的参考帧来源，即m＝n＝1，r1＝r2＝0，也就是xf＝x
i-1
和xb＝x
i+1
。整体结构如图4所示，其中并行双向网络为本技术设计网络，包含四层结构。
[0069]
其中，每层结构可分为两部分：一是并行独立传播的前后向分支，如图中白色虚线模块b和深灰色虚线模块f以及与其连接的相应颜色箭头所示。二是采用注意力策略，将前后向传播结果进行融合，结果将传递至下一层结构。
[0070]
如图4所示，以第二层循环结构的反向传播结构为例，其具体结构见上图中右上角的反向传播模块所示，前向传播类似，只是参考帧不同。反向传播结构至少包括：预对齐阶段、变形对齐阶段和特征增强阶段。
[0071]
对于视频处理任务来说，帧间信息的利用非常重要，一方面视频帧间的互补信息可以为当前帧信息恢复提供更充分的依据，另一方面提高处理后视频的时域连贯性。因此，本技术采用循环结构来处理视频序列，使得每个视频帧能够充分利用整个视频帧的信息流，弥补自身信息不足的问题，进而增强视频帧的细节和质量。
[0072]
更进一步地，对联合输入按反向传播结构进行处理，得到第一结果的步骤，请参阅图5，图5是本技术图3中步骤s31一具体实施例的流程示意图，具体包括以下步骤：
[0073]
s41：获取当前层的帧特征和参考帧特征；
[0074]
s42：通过扭曲操作，将参考帧特征预对齐当前层的帧特征，得到预对齐结果；
[0075]
具体地，在预对齐阶段，通过扭曲操作，可以根据参考帧特征预对齐当前层的帧特征，将参考帧特征初步对齐到当前层的帧特征，得到预对齐结果。
[0076]
s43：联合预对齐结果和当前层的帧特征，对参考帧特征进行变形卷积，得到参考帧特征到当前层的帧特征的变形对齐结果；
[0077]
具体地，在变形对齐阶段，基于当前层的输入，联合预对齐结果和当前层的帧特征，对参考帧特征进行变形卷积，得到参考帧特征到当前层的帧特征的变形对齐结果。
[0078]
s44：基于预设残差块，将前一层的增强特征、当前层的帧特征以及变形对齐结果进行融合和增强，得到当前层在反向传播中的增强特征以作为第一结果。
[0079]
更进一步地，通过扭曲操作，将参考帧特征预对齐当前层的帧特征，得到预对齐结果的步骤，请参阅图6，图6是本技术图5中步骤s42一具体实施例的流程示意图，具体包括以下步骤：
[0080]
s51：获取当前层的帧和参考帧；
[0081]
为了获取参考帧特征预对齐当前层的帧特征，首先需要获取当前帧在当前层的帧以及参考帧，用于作为光流计算的参数，从而使得计算得到当前层的帧到参考帧之间的光
流信息，进而处理得到参考帧特征预对齐当前层的帧特征。
[0082]
s52：根据当前层的帧到参考帧的光流信息，通过扭曲操作将参考帧特征预对齐当前层的帧特征，得到预对齐结果。
[0083]
具体地，根据当前层的帧到参考帧的光流信息通过扭曲操作，将参考帧特征初步对齐到当前层的帧特征，得到预对齐结果。
[0084]
更进一步地，联合预对齐结果和当前帧特征，对参考帧特征进行变形卷积，得到参考帧特征到当前帧特征的变形对齐结果的步骤，请参阅图7，图7是本技术图5中步骤s43一具体实施例的流程示意图，具体包括以下步骤：
[0085]
s61：基于当前帧在当前层的输入，通过多个卷积层，联合预对齐结果和当前层的帧生成残差偏置和掩膜；
[0086]
具体地，变形对齐则是，联合预对齐结果和当前帧在当前层的输入通过多个卷积层生成残差偏置和掩膜。
[0087]
s62：将残差偏置以及光流信息进行相加，得到第一偏置；
[0088]
具体地，将残差偏置加上上述光流信息得到第一偏置，其中，上述光流信息至少包括当前层的帧到参考帧的光流信息。
[0089]
s63：以第一偏置和掩膜作为变形卷积的参数，对参考帧特征进行变形卷积，得到参考帧特征到当前层的帧特征的变形对齐结果。
[0090]
具体地，以该第一偏置和掩膜作为变形卷积的参数，对参考帧特征进行变形卷积，得到参考帧特征到当前帧的对齐结果。
[0091]
更进一步地，基于预设残差块，将前一层的增强特征、当前层的帧特征以及变形对齐结果进行融合和增强，得当当前层在反向传播中的增强特征以作为第一结果的步骤，请参阅图8，图8是本技术图5中步骤s44一具体实施例的流程示意图，具体包括以下步骤：
[0092]
s71：基于当前帧在当前层的输入，将前一层的增强特征、当前层的帧特征以及变形对齐结果输入预设残差块；
[0093]
具体地，在特征增强阶段，联合之前并行双向网络层中反向传播(前向传播相反)的增强结果、当前帧在当前层的输入以及参考帧特征的对齐结果，将前一层的增强特征、当前层的帧特征以及变形对齐结果输入预设残差块，其中，预设残差块可以是多个也可以是一系列。
[0094]
s72：通过预设残差块，对前一层的增强特征、当前层的帧特征以及变形对齐结果进行融合和增强，得到当前层在反向传播中的增强特征，并将当前层的增强特征传播至下一帧。
[0095]
具体地，通过预设残差块，对前一层的增强特征、当前层的帧特征以及变形对齐结果进行融合和增强，得到当前层在该方向的增强结果，并将传播至下一帧。
[0096]
此外，除了直接参考前后邻帧信息，其余帧的信息也可提供额外的补充信息，因此，可设置m＝n＝1,r值根据层数设定。将当前待增强的视频帧记为xi，其前后向的参考帧分别记为xf和xb，空间大小均为h
×
w，通道数为c。
[0097]
对于第一层循环网络，将前后邻帧同时作为当前帧的参考帧来源，r1＝r2＝0，即xf＝x
i-1
和xb＝x
i+1
。对于第二层循环网络，将前后方向的第二帧同时作为当前帧的参考帧来源，r1＝r2＝1，即xf＝x
i-2
和xb＝x
i+2
。对于第三层循环网络，将前后方向的第三帧同时作为
当前帧的参考帧来源，r1＝r2＝2，即xf＝x
i-3
和xb＝x
i+3
。对于第四层循环网络，将前后方向的第四帧同时作为当前帧的参考帧来源，r1＝r2＝3，即x
f＝
x
i-4
和xb＝x
i+5
。
[0098]
也就是说，每一层循环结构传播的参考帧都是不同帧率的视频帧。而对于每一层，前后向传播参考帧是相反方向相同帧率的视频帧。
[0099]
其中，对联合输入按后向传播结构进行处理，得到第二结果的步骤，具体可以包括：
[0100]
对前一层的增强特征进行后向处理，得到第二结果的其一；对当前层的帧特征进行后向处理，得到第二结果的另一；其中，第二结果至少包括第二结果的其一以及第二结果的另一。
[0101]
更进一步地，上述的每一层并行循环结构，主要针对视频序列的每一帧，分别进行前后向的特征传播，以利用来自其余视频的互补信息。为将这些信息充分融合到当前帧特征中，预设注意力策略至少包括通道注意力分支和空间注意力分支。
[0102]
其中，基于预设注意力策略，对第一结果和第二结果进行筛选，得到满足融合条件的多个筛选结果的步骤，请参阅图9和图10，图9是本技术双注意力融合策略一具体实施例的流程示意图，图10是本技术图9中一具体实施例的流程示意图，如图9所示，以特征提取阶段的浅层特征、后向传播特征和前向传播特征和之前并行循环结构层的增强结果为输入，先将所有输入按通道维度进行拼接，得到联合输入，具体包括以下步骤：
[0103]
s81：基于通道注意力分支，将联合输入进行平均池化操作，得到每个特征通道的平均值；采用两个卷积以及预设层对平均值进行训练学习，得到每个特征通道的权重；通过每个特征通道的权重进行扩维操作，得到与联合输入同维度的第一权重；
[0104]
具体地，对联合输入进行平均池化操作，得到每个特征通道的平均值；然后对此采用两个卷积层+sigmoid层进行学习，得到每个特征通道的权重；最后通过扩维操作，得到和联合输入同纬度的权重一。
[0105]
s82：基于空间注意力分支，采用分别采用1
×
1和3
×
3的卷积层对联合输入进行训练学习，得到联合输入每个空间位置的第二权重；
[0106]
s83：将第一权重和第二权重按通道维度进行拼接；调用卷积对第一权重和第二权重进行融合，得到与联合输入的维度一样的权重集；
[0107]
s84：按照权重集，对第一结果和第二结果按点对点乘联合输入的方式进行筛选，得到满足融合条件的多个筛选结果。
[0108]
此外，本技术还提供一种增强设备，请参阅图11，图11是本技术增强设备实施例的结构示意框图，该增强设备60包括：获取模块61、处理模块62以及融合模块63。
[0109]
处理模块62，用于采用多层结构对压缩视频帧进行处理，至少得到前一层帧特征以及当前层的帧特征；
[0110]
获取模块61，用于获取前一层帧特征、当前层的帧特征、当前层的前向帧特征以及当前层的后向帧特征，得到联合输入；
[0111]
处理模块62，还用于按照预设的并行双向网络，对联合输入进行多层处理，得到满足融合条件的多个筛选结果；
[0112]
融合模块63，用于基于残差块，将多个筛选结果进行融合，得当前层对应的增强特征。
[0113]
因此，本技术为实现更好地视频帧增强，按照预设的并行双向网络，对联合输入进行多层处理，使得能够通过视频帧间的互补信息可以为当前帧信息恢复提供更充分的依据，并且通过对满足融合条件的筛选结果进行融合，利用不同贡献度的不同来增强视频帧的细节和质量，促进了帧信息之间的有效利用，缓解了其他不利因素所带来的影响。
[0114]
为了说明本技术的技术方案，本技术还提供一种电子设备，该电子设备可以是电脑或移动手机等，具体不做限定，请参阅图12，图12是本技术电子设备实施例的结构示意框图，该电子设备7包括：处理器71和存储器72，存储器72中存储有计算机程序721，处理器71用于执行计算机程序721以实现如本技术实施例的方法，在此不再赘述。
[0115]
此外，本技术还提供一种计算机可读存储介质，请参阅图13，图13是本技术计算机可读存储介质实施例的电路示意框图，该计算机可读存储介质80存储有计算机程序81，计算机程序81能够被处理器执行时实现如本技术实施例的方法，在此不再赘述。
[0116]
如果以软件功能单元的形式实现并作为独立的产品销售或使用时，还可以存储在具有存储功能的装置中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储装置中，包括若干指令(程序数据)用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式方法的全部或部分步骤。而前述的存储装置包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种介质以及具有上述存储介质的电脑、手机、笔记本电脑、平板电脑、相机等电子设备。
[0117]
关于具有存储功能的装置中的程序数据的执行过程的阐述可以参照上述本技术的方法实施例中阐述，在此不再赘述。
[0118]
以上所述仅为本技术的实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。