一种视频质量增强方法、装置、设备及存储介质与流程

本发明涉及视频处理，尤其涉及一种视频质量增强方法、装置、设备及存储介质。

背景技术：

1、随着视频用户需求的多元化和高标准化，特别是对超高清视频资源的迫切需求，导致用户对视频质量的要求越来越高。

2、在视频相关业务中，视频传输、压缩、编解码等处理过程可能导致视频在播放时，出现伪影或失真等现象，视频质量较差。

3、为了满足用户对视频质量的要求，目前亟需一种视频质量增强方法。

技术实现思路

1、本发明提供一种视频质量增强方法、装置、设备及存储介质，以解决相关技术中的不足。

2、根据本发明实施例的第一方面，提供一种视频质量增强方法，包括：

3、针对待增强视频中的目标视频帧，将包含所述目标视频帧的连续n个视频帧输入到预先训练的视频质量增强模型中，并将所述视频质量增强模型输出的1个结果视频帧，确定为质量增强后的目标视频帧；

4、所述视频质量增强模型包括：时空提取层和恢复层；

5、所述视频质量增强模型用于：针对所述n个视频帧提取特征，得到第一特征；利用所述时空提取层针对所述第一特征进行时空提取处理，得到第二特征；所述时空提取处理包括：在时域上进行下采样和在空域上进行下采样；所述第二特征的分辨率和包含帧数小于所述第一特征；利用所述恢复层针对所述第二特征进行恢复处理，得到1个结果视频帧并输出；所述恢复处理包括：在空域上进行上采样；所输出的结果视频帧的分辨率大于或等于所述目标视频帧的分辨率。

6、可选地，所述视频质量增强模型的训练方法包括：

7、获取训练样本集合；所述训练样本集合中训练样本以同一视频的低质量版本中包含任一视频帧的连续n个视频帧为样本特征，以所述同一视频的高质量版本中的所述任一视频帧为样本标签；

8、循环执行以下步骤：

9、将所述训练样本集合中训练样本的样本特征输入当前的待训练视频质量增强模型，得到当前待训练视频质量增强模型输出的预测结果视频帧；

10、基于训练样本的样本标签和所输出的预测结果视频帧，确定当前待训练视频质量增强模型的损失；

11、根据所确定的损失，更新当前待训练视频质量增强模型的参数；

12、在满足预设训练停止条件的情况下，停止循环，将当前的待训练视频质量增强模型，确定为视频质量增强模型。

13、可选地，所述时空提取处理还包括：针对时域和/或空域上的下采样结果提取特征。

14、可选地，所述时空提取处理包括：至少一次在时域上进行下采样、至少一次在空域上进行下采样、以及至少一次针对预设下采样结果提取特征；所述预设下采样结果包括：时域和/或空域上的下采样结果。

15、可选地，所述时空提取层包括：多个串联的时空信息层或者一个时空信息层；

16、所述时空信息层用于执行以下任一操作：

17、针对输入特征在时域和/或空域上进行下采样，并输出下采样结果；

18、针对输入特征在时域和/或空域上进行下采样，针对下采样结果提取特征并输出；

19、其中，允许不同的时空信息层执行不同操作；串联的相邻时空信息层之间，下一时空信息层的输入包括上一时空信息层的输出。

20、可选地，所述时空提取层还包括：信息融合层；

21、所述信息融合层用于：针对所述时空提取层中最后一个时空信息层输出的特征，提取特征并作为所述第二特征输出。

22、可选地，所述在时域上进行下采样，包括：

23、利用第一卷积层，针对输入特征进一步提取特征；所提取特征包含的帧数少于所述输入特征包含的帧数。

24、可选地，所述在空域上进行下采样，包括：

25、针对输入特征执行pixel-unshuffle操作；或者

26、针对输入特征利用第二卷积层缩减通道数，再针对缩减通道数后的特征执行pixel-unshuffle操作；

27、执行操作后得到的特征分辨率小于所述输入特征的分辨率。

28、可选地，所述针对时域和/或空域上的下采样结果提取特征，包括：

29、针对时域和/或空域上的下采样结果，利用第三卷积层提取特征；

30、所提取的特征与所针对的下采样结果分辨率相同。

31、可选地，所述恢复处理还包括：针对空域上的上采样结果提取特征。

32、可选地，所述恢复处理包括：

33、至少一次在空域上进行上采样、以及至少一次针对空域上的上采样结果提取特征。

34、可选地，所述恢复层包括多个串联的上采样子层或者一个上采样子层；

35、所述上采样子层用于执行以下任一操作：

36、针对输入特征在空域上进行上采样，并输出上采样结果；

37、针对输入特征在空域上进行上采样，针对上采样结果提取特征并输出；

38、其中，允许不同的上采样子层执行不同操作；串联的相邻上采样子层之间，下一上采样子层的输入包括上一上采样子层的输出。

39、可选地，所述恢复层还包括第四卷积层，用于将所述恢复层中最后一个上采样子层输出的特征，转换为1个结果视频帧并输出。

40、可选地，所述在空域上进行上采样，包括：

41、针对输入特征执行pixel-shuffle操作；或者

42、针对输入特征利用第五卷积层增加通道数，再针对增加通道数后的特征执行pixel-shuffle操作；

43、执行操作后得到的特征分辨率大于所述输入特征的分辨率。

44、可选地，所述针对空域上的上采样结果提取特征，包括：

45、针对空域上的上采样结果，利用第六卷积层提取特征；

46、所提取的特征与所针对的上采样结果分辨率相同。

47、可选地，所述恢复层包括多个串联的上采样子层或者一个上采样子层；预先针对任一上采样子层，确定对应的时空信息层，其中，该上采样子层的输入特征分辨率与对应的时空信息层输出特征分辨率相同；

48、所述上采样子层用于执行以下任一操作：

49、针对输入特征在空域上进行上采样，并输出上采样结果；

50、针对输入特征在空域上进行上采样，针对上采样结果提取特征并输出；

51、针对输入特征与对应时空信息层的输出特征之间的和，利用第七卷积层提取特征，再针对特征提取结果在空域上进行上采样，并输出上采样结果；

52、针对输入特征与对应时空信息层的输出特征之间的和，利用第七卷积层提取特征，再针对特征提取结果在空域上进行上采样，针对上采样结果提取特征并输出；

53、其中，允许不同的上采样子层执行不同操作；串联的相邻上采样子层之间，下一上采样子层的输入包括上一上采样子层的输出。

54、可选地，所述恢复层还包括第八卷积层，用于将所述恢复层中最后一个上采样子层输出的结果，转换为1个参考视频帧，将所述参考视频帧与所述目标视频帧的和，确定为结果视频帧并输出。

55、可选地，得到所述质量增强后的目标视频帧后，所述方法还包括：

56、将所述质量增强后的目标视频帧输出至终端。

57、根据本发明实施例的第二方面，提供一种视频质量增强装置，包括：

58、输入单元，用于针对待增强视频中的目标视频帧，将包含所述目标视频帧的连续n个视频帧输入到预先训练的视频质量增强模型中；

59、确定单元，用于将所述视频质量增强模型输出的1个结果视频帧，确定为质量增强后的目标视频帧；

60、所述视频质量增强模型包括：时空提取层和恢复层；

61、所述视频质量增强模型用于：针对所述n个视频帧提取特征，得到第一特征；利用所述时空提取层针对所述第一特征进行时空提取处理，得到第二特征；所述时空提取处理包括：在时域上进行下采样和在空域上进行下采样；所述第二特征的分辨率和包含帧数小于所述第一特征；利用所述恢复层针对所述第二特征进行恢复处理，得到1个结果视频帧并输出；所述恢复处理包括：在空域上进行上采样；所输出的结果视频帧的分辨率大于或等于所述目标视频帧的分辨率。

62、可选地，所述视频质量增强模型的训练方法包括：

63、获取训练样本集合；所述训练样本集合中训练样本以同一视频的低质量版本中包含任一视频帧的连续n个视频帧为样本特征，以所述同一视频的高质量版本中的所述任一视频帧为样本标签；

64、循环执行以下步骤：

65、将所述训练样本集合中训练样本的样本特征输入当前的待训练视频质量增强模型，得到当前待训练视频质量增强模型输出的预测结果视频帧；

66、基于训练样本的样本标签和所输出的预测结果视频帧，确定当前待训练视频质量增强模型的损失；

67、根据所确定的损失，更新当前待训练视频质量增强模型的参数；

68、在满足预设训练停止条件的情况下，停止循环，将当前的待训练视频质量增强模型，确定为视频质量增强模型。

69、可选地，所述时空提取处理还包括：针对时域和/或空域上的下采样结果提取特征。

70、可选地，所述时空提取处理包括：至少一次在时域上进行下采样、至少一次在空域上进行下采样、以及至少一次针对预设下采样结果提取特征；所述预设下采样结果包括：时域和/或空域上的下采样结果。

71、可选地，所述时空提取层包括：多个串联的时空信息层或者一个时空信息层；

72、所述时空信息层用于执行以下任一操作：

73、针对输入特征在时域和/或空域上进行下采样，并输出下采样结果；

74、针对输入特征在时域和/或空域上进行下采样，针对下采样结果提取特征并输出；

75、其中，允许不同的时空信息层执行不同操作；串联的相邻时空信息层之间，下一时空信息层的输入包括上一时空信息层的输出。

76、可选地，所述时空提取层还包括：信息融合层；

77、所述信息融合层用于：针对所述时空提取层中最后一个时空信息层输出的特征，提取特征并作为所述第二特征输出。

78、可选地，所述在时域上进行下采样，包括：

79、利用第一卷积层，针对输入特征进一步提取特征；所提取特征包含的帧数少于所述输入特征包含的帧数。

80、可选地，所述在空域上进行下采样，包括：

81、针对输入特征执行pixel-unshuffle操作；或者

82、针对输入特征利用第二卷积层缩减通道数，再针对缩减通道数后的特征执行pixel-unshuffle操作；

83、执行操作后得到的特征分辨率小于所述输入特征的分辨率。

84、可选地，所述针对时域和/或空域上的下采样结果提取特征，包括：

85、针对时域和/或空域上的下采样结果，利用第三卷积层提取特征；

86、所提取的特征与所针对的下采样结果分辨率相同。

87、可选地，所述恢复处理还包括：针对空域上的上采样结果提取特征。

88、可选地，所述恢复处理包括：

89、至少一次在空域上进行上采样、以及至少一次针对空域上的上采样结果提取特征。

90、可选地，所述恢复层包括多个串联的上采样子层或者一个上采样子层；

91、所述上采样子层用于执行以下任一操作：

92、针对输入特征在空域上进行上采样，并输出上采样结果；

93、针对输入特征在空域上进行上采样，针对上采样结果提取特征并输出；

94、其中，允许不同的上采样子层执行不同操作；串联的相邻上采样子层之间，下一上采样子层的输入包括上一上采样子层的输出。

95、可选地，所述恢复层还包括第四卷积层，用于将所述恢复层中最后一个上采样子层输出的特征，转换为1个结果视频帧并输出。

96、可选地，所述在空域上进行上采样，包括：

97、针对输入特征执行pixel-shuffle操作；或者

98、针对输入特征利用第五卷积层增加通道数，再针对增加通道数后的特征执行pixel-shuffle操作；

99、执行操作后得到的特征分辨率大于所述输入特征的分辨率。

100、可选地，所述针对空域上的上采样结果提取特征，包括：

101、针对空域上的上采样结果，利用第六卷积层提取特征；

102、所提取的特征与所针对的上采样结果分辨率相同。

103、可选地，所述恢复层包括多个串联的上采样子层或者一个上采样子层；预先针对任一上采样子层，确定对应的时空信息层，其中，该上采样子层的输入特征分辨率与对应的时空信息层输出特征分辨率相同；

104、所述上采样子层用于执行以下任一操作：

105、针对输入特征在空域上进行上采样，并输出上采样结果；

106、针对输入特征在空域上进行上采样，针对上采样结果提取特征并输出；

107、针对输入特征与对应时空信息层的输出特征之间的和，利用第七卷积层提取特征，再针对特征提取结果在空域上进行上采样，并输出上采样结果；

108、针对输入特征与对应时空信息层的输出特征之间的和，利用第七卷积层提取特征，再针对特征提取结果在空域上进行上采样，针对上采样结果提取特征并输出；

109、其中，允许不同的上采样子层执行不同操作；串联的相邻上采样子层之间，下一上采样子层的输入包括上一上采样子层的输出。

110、可选地，所述恢复层还包括第八卷积层，用于将所述恢复层中最后一个上采样子层输出的结果，转换为1个参考视频帧，将所述参考视频帧与所述目标视频帧的和，确定为结果视频帧并输出。

111、可选地，得到所述质量增强后的目标视频帧后，所述确定单元还用于：

112、将所述质量增强后的目标视频帧输出至终端。

113、根据上述实施例可知，通过预先训练的视频质量增强模型，利用目标视频帧相邻的连续视频帧，针对目标视频帧进行质量增强，实现对视频的质量增强。

114、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。