滤波网络的训练方法、视频编码方法、装置及电子设备与流程

本公开涉及人工智能，尤其涉及一种滤波网络的训练方法、视频编码方法、装置及电子设备。

背景技术：

1、随着互联网的飞速发展，视频数据量呈指数级增长，为了适应该增长造成的存储和传输压力，选择对视频进行编码压缩。相关技术中，一般选择传统滤波器或神经网络进行编码前的滤波处理，但传统滤波器的算法能力有限，且需要人工调整，不能自行优化；基于神经网络的滤波虽然可以自主学习优化，但是现有方式的训练中需要标注大量标签(像素级标签)，并且图像过滤中没有考虑图像对于视频整体编码的影响，存在标注成本高以及过滤学习不够精准导致视频整体编码效果不佳的问题。

技术实现思路

1、本公开提供一种滤波网络的训练方法、视频编码方法、装置及电子设备，以至少解决相关技术中如何提升滤波网络的训练效率和精度的问题。本公开的技术方案如下：

2、根据本公开实施例的第一方面，提供一种滤波网络的训练方法，包括：

3、基于初始滤波网络对样本视频中在时域上相关的多个样本图像帧，进行滤波处理，得到至少一个所述样本图像帧各自对应的样本滤波图像；

4、将至少一个所述样本滤波图像输入可导编码器，进行图像编码和重建处理，得到所述多个样本图像帧各自对应的样本重建图像帧以及各自对应的样本码率；所述可导编码器是指用于编码和重建的各模块所使用的函数为可导的或者所述各模块为神经网络；

5、根据多个所述样本重建图像帧和所述多个样本图像帧，确定图像失真信息；

6、基于所述图像失真信息和多个所述样本码率，确定损失信息；

7、利用所述损失信息对所述初始滤波网络进行训练，直至满足损失条件，将所述满足损失条件时对应的初始滤波网络作为目标滤波网络。

8、在一种可能的实现方式中，所述多个样本图像帧包括样本参考图像帧和所述样本参考图像帧的相邻图像帧；所述样本滤波图像包括第一样本滤波图像；所述样本重建图像帧包括第一样本重建图像帧和第二样本重建图像帧；所述样本码率包括第一样本码率和第二样本码率；

9、所述基于初始滤波网络对样本视频中在时域上相关的多个样本图像帧，进行滤波处理，得到至少一个所述样本图像帧各自对应的样本滤波图像，包括：

10、将所述样本参考图像帧以及所述样本参考图像帧的相邻图像帧，输入所述初始滤波网络，对所述样本参考图像帧进行滤波处理，得到所述样本参考图像对应的第一样本滤波图像；

11、所述将至少一个所述样本滤波图像输入可导编码器，进行图像编码和重建处理，得到所述多个样本图像帧各自对应的样本重建图像帧以及各自对应的样本码率，包括：

12、将所述第一样本滤波图像输入所述可导编码器，对所述第一样本滤波图像进行编码和重建处理，得到第一样本重建图像帧以及第一样本码率；

13、将所述第一样本重建图像帧和所述相邻图像帧输入所述可导编码器，对所述相邻图像帧进行编码和重建处理，得到所述相邻图像帧各自对应的第二样本重建图像帧和第二样本码率。

14、在一种可能的实现方式中，所述可导编码器包括可导的运动估计网络、运动补偿网络、变换网络、量化网络、反量化网络、反变换网络、环路滤波网络以及熵编码网络；

15、所述将所述第一样本滤波图像输入所述可导编码器，对所述第一样本滤波图像进行编码和重建处理，得到第一样本重建图像帧以及第一样本码率，包括：

16、基于所述运动估计网络、所述运动补偿网络、所述变换网络和所述量化网络依次对所述第一样本滤波图像进行运动估计、运动补偿、变化编码和量化处理，得到图像量化数据；

17、将所述图像量化数据以及所述运动估计网络输出的运动矢量输入所述熵编码网络进行编码处理，得到所述第一样本码率；

18、利用所述反量化网络、所述反变换网络、所述运动补偿网络以及所述环路滤波网络对所述图像量化数据进行图像重建处理，得到所述第一样本重建图像帧。

19、在一种可能的实现方式中，所述将所述样本参考图像帧以及所述样本参考图像帧的相邻图像帧，输入所述初始滤波网络，对所述样本参考图像帧进行滤波处理，得到所述样本参考图像对应的第一样本滤波图像，包括：

20、对所述相邻图像帧进行运动补偿处理，得到目标相邻图像帧；

21、将所述样本参考图像帧以及所述目标相邻图像帧，输入所述初始滤波网络，对所述样本参考图像帧进行滤波处理，得到所述样本参考图像对应的第一样本滤波图像。

22、在一种可能的实现方式中，所述样本滤波图像包括第二样本滤波图像；所述基于初始滤波网络对样本视频中在时域上相关的多个样本图像帧，进行滤波处理，得到至少一个所述样本图像帧各自对应的样本滤波图像，包括：

23、将所述多个样本图像帧输入所述初始滤波网络，对所述多个样本图像帧进行滤波处理，得到所述多个样本图像帧各自对应的第二样本滤波图像；

24、所述将至少一个所述样本滤波图像输入可导编码器，进行图像编码和重建处理，得到所述多个样本图像帧各自对应的样本重建图像帧以及各自对应的样本码率，包括：

25、将多个所述第二样本滤波图像输入所述可导编码器，对多个所述第二样本滤波图像进行编码和重建处理，得到所述多个样本重建图像帧和所述多个样本码率。

26、在一种可能的实现方式中，所述基于初始滤波网络对样本视频中在时域上相关的多个样本图像帧，进行滤波处理，得到至少一个所述样本图像帧各自对应的样本滤波图像，包括：

27、基于初始滤波网络对样本视频中在时域上相关的多个样本图像帧，进行各自滤波权重的预测处理，得到所述至少一个所述样本图像帧各自对应的样本滤波权重；

28、根据所述样本滤波权重对所述至少一个所述样本图像帧进行加权处理，得到所述至少一个所述样本图像帧各自对应的样本滤波图像。

29、在一种可能的实现方式中，所述根据多个所述样本重建图像帧和所述多个样本图像帧，确定图像失真信息，包括：

30、确定各样本图像帧与对应的样本重建图像帧之间的图像失真子信息；

31、基于所述多个样本图像帧各自对应的失真权重对多个所述图像失真子信息进行加权处理，得到所述图像失真信息。

32、在一种可能的实现方式中，所述基于所述图像失真信息和多个所述样本码率，确定损失信息，包括：

33、基于所述多个样本图像帧各自对应的码率权重对所述多个样本码率进行加权处理，得到样本联合码率；

34、对所述图像失真信息和所述样本联合码率进行加和处理，得到所述损失信息。

35、在一种可能的实现方式中，所述方法还包括：

36、获取多个样本图像；

37、将所述多个样本图像输入初始可导编码器进行图像编码和重建处理，得到多个样本重建图像和多个预测码率；

38、根据所述多个样本重建图像、所述多个样本图像以及所述多个预测码率，确定编码损失信息；

39、利用所述编码损失信息对所述初始可导编码器进行训练，直至满足损失条件，将所述满足损失条件时对应的初始可导编码器作为所述可导编码器。

40、在一种可能的实现方式中，所述样本滤波图像的分辨率低于所述样本图像帧的分辨率；所述根据多个所述样本重建图像帧和所述多个样本图像帧，确定图像失真信息之前，所述方法还包括：

41、对多个所述样本重建图像帧进行上采样处理，得到多个上采样图像；

42、所述根据多个所述样本重建图像帧和所述多个样本图像帧，确定图像失真信息，包括：

43、根据所述多个上采样图像和所述多个样本图像帧，确定所述图像失真信息。

44、在一种可能的实现方式中，所述对多个所述样本重建图像帧进行上采样处理，得到多个上采样图像，包括：

45、将多个所述样本重建图像帧输入预设上采样网络进行上采样处理，得到所述多个上采样图像；

46、所述方法还包括：利用所述损失信息对所述预设上采样网络进行训练，直至满足损失条件，将所述满足损失条件时对应的预设上采样网络作为目标上采样网络。

47、根据本公开实施例的第二方面，提供一种视频编码方法，包括：

48、基于目标滤波网络对待编码视频的多个待编码图像帧进行滤波处理，得到至少一个所述待编码图像帧各自对应的目标滤波图像；

49、将所述目标滤波图像输入目标编码器进行图像编码处理，得到所述多个待编码图像帧各自对应的编码图像数据；

50、其中，所述目标滤波网络为根据所述权利要求1-9任一项所述方法训练得到的。

51、在一种可能的实现方式中，所述多个待编码图像帧包括目标参考图像帧和所述目标参考图像帧在时域上相邻的相邻图像帧；所述基于目标滤波网络对待编码视频的多个待编码图像帧进行滤波处理，得到至少一个所述待编码图像帧各自对应的目标滤波图像，包括：

52、将所述目标参考图像帧和所述目标参考图像帧在时域上相邻的相邻图像帧，输入所述目标滤波网络，对所述目标参考图像帧进行滤波处理，得到所述目标参考图像帧对应的第一滤波图像；

53、相应地，所述将所述目标滤波图像输入目标编码器进行图像编码处理，得到所述多个待编码图像帧各自对应的编码图像数据，包括：

54、将所述第一滤波图像和所述目标参考图像帧在时域上相邻的相邻图像帧输入所述目标编码器，进行图像编码处理，得到所述多个待编码图像帧各自对应的编码图像数据。

55、在一种可能的实现方式中，在所述基于目标滤波网络对待编码视频的多个待编码图像帧进行滤波处理，得到至少一个所述待编码图像帧各自对应的目标滤波图像步骤之前，所述方法还包括：

56、获取所述待编码视频中多个待编码的初始图像帧；

57、将所述初始图像帧输入滤波器进行滤波处理，得到所述多个待编码图像帧。

58、在一种可能的实现方式中，在所述基于目标滤波网络对待编码视频的多个待编码图像帧进行滤波处理，得到至少一个所述待编码图像帧各自对应的目标滤波图像步骤之后，所述方法还包括：

59、将所述目标滤波图像输入滤波器进行滤波处理，得到二次滤波图像；

60、所述将所述目标滤波图像输入目标编码器进行图像编码处理，得到所述多个待编码图像帧各自对应的编码图像数据，包括：

61、将所述二次滤波图像输入所述目标编码器进行图像编码处理，得到所述多个待编码图像帧各自对应的编码图像数据。

62、在一种可能的实现方式中，所述目标滤波图像的分辨率低于所述待编码图像帧的分辨率；所述方法还包括：

63、将所述编码图像数据输入目标上采样网络进行上采样处理，得到目标编码数据；所述目标上采样网络为根据所述权利要求11所述方法训练得到的。

64、根据本公开实施例的第三方面，提供一种滤波网络的训练装置，包括：

65、第一滤波模块，被配置为执行基于初始滤波网络对样本视频中在时域上相关的多个样本图像帧，进行滤波处理，得到至少一个所述样本图像帧各自对应的样本滤波图像；

66、编码重建模块，被配置为执行将至少一个所述样本滤波图像输入可导编码器，进行图像编码和重建处理，得到所述多个样本图像帧各自对应的样本重建图像帧以及各自对应的样本码率；所述可导编码器是指用于编码和重建的各模块所使用的函数为可导的或者所述各模块为神经网络；

67、图像失真信息确定模块，被配置为执行根据多个所述样本重建图像帧和所述多个样本图像帧，确定图像失真信息；

68、损失确定模块，被配置为执行基于所述图像失真信息和多个所述样本码率，确定损失信息；

69、训练模块，被配置为执行利用所述损失信息对所述初始滤波网络进行训练，直至满足损失条件，将所述满足损失条件时对应的初始滤波网络作为目标滤波网络。

70、在一种可能的实现方式中，所述多个样本图像帧包括样本参考图像帧和所述样本参考图像帧的相邻图像帧；所述样本滤波图像包括第一样本滤波图像；所述样本重建图像帧包括第一样本重建图像帧和第二样本重建图像帧；所述样本码率包括第一样本码率和第二样本码率；

71、所述第一滤波模块包括：

72、第一滤波单元，被配置为执行将所述样本参考图像帧以及所述样本参考图像帧的相邻图像帧，输入所述初始滤波网络，对所述样本参考图像帧进行滤波处理，得到所述样本参考图像对应的第一样本滤波图像；

73、相应地，所述编码重建模块包括：

74、参考帧编码重建单元，被配置为执行将所述第一样本滤波图像输入所述可导编码器，对所述第一样本滤波图像进行编码和重建处理，得到第一样本重建图像帧以及第一样本码率；

75、相邻帧编码重建单元，被配置为执行将所述第一样本重建图像帧和所述相邻图像帧输入所述可导编码器，对所述相邻图像帧进行编码和重建处理，得到所述相邻图像帧各自对应的第二样本重建图像帧和第二样本码率。

76、在一种可能的实现方式中，所述可导编码器包括可导的运动估计网络、运动补偿网络、变换网络、量化网络、反量化网络、反变换网络、环路滤波网络以及熵编码网络；

77、所述参考帧编码重建单元包括：

78、图像量化数据获取子单元，被配置为执行基于所述运动估计网络、所述运动补偿网络、所述变换网络和所述量化网络依次对所述第一样本滤波图像进行运动估计、运动补偿、变化编码和量化处理，得到图像量化数据；

79、第一样本码率获取子单元，被配置为执行将所述图像量化数据以及所述运动估计网络输出的运动矢量输入所述熵编码网络进行编码处理，得到所述第一样本码率；

80、第一样本重建图像帧获取子单元，被配置为执行利用所述反量化网络、所述反变换网络、所述运动补偿网络以及所述环路滤波网络对所述图像量化数据进行图像重建处理，得到所述第一样本重建图像帧。

81、在一种可能的实现方式中，所述第一滤波单元包括：

82、运动补偿子单元，被配置为执行对所述相邻图像帧进行运动补偿处理，得到目标相邻图像帧；

83、滤波处理子单元，被配置为执行将所述样本参考图像帧以及所述目标相邻图像帧，输入所述初始滤波网络，对所述样本参考图像帧进行滤波处理，得到所述样本参考图像对应的第一样本滤波图像。

84、在一种可能的实现方式中，所述第一滤波模块包括：

85、第二滤波单元，被配置为执行将所述多个样本图像帧输入所述初始滤波网络，对所述多个样本图像帧进行滤波处理，得到所述多个样本图像帧各自对应的第二样本滤波图像；

86、相应地，所述编码重建模块包括：

87、编码重建单元，被配置为执行将多个所述第二样本滤波图像输入所述可导编码器，对多个所述第二样本滤波图像进行编码和重建处理，得到所述多个样本重建图像帧和所述多个样本码率。

88、在一种可能的实现方式中，所述第一滤波模块包括：

89、滤波权重预测单元，被配置为执行基于初始滤波网络对样本视频中在时域上相关的多个样本图像帧，进行各自滤波权重的预测处理，得到所述至少一个所述样本图像帧各自对应的样本滤波权重；

90、滤波单元，被配置为执行根据所述样本滤波权重对所述至少一个所述样本图像帧进行加权处理，得到所述至少一个所述样本图像帧各自对应的样本滤波图像。

91、在一种可能的实现方式中，所述图像失真信息确定模块包括：

92、图像失真子信息确定单元，被配置为执行确定各样本图像帧与对应的样本重建图像帧之间的图像失真子信息；

93、图像失真加权单元，被配置为执行基于所述多个样本图像帧各自对应的失真权重对多个所述图像失真子信息进行加权处理，得到所述图像失真信息。

94、在一种可能的实现方式中，所述损失确定模块包括：

95、样本联合码率获取单元，被配置为执行基于所述多个样本图像帧各自对应的码率权重对所述多个样本码率进行加权处理，得到样本联合码率；

96、损失信息获取单元，被配置为执行对所述图像失真信息和所述样本联合码率进行加和处理，得到所述损失信息。

97、在一种可能的实现方式中，所述装置还包括：

98、样本图像获取模块，被配置为执行获取多个样本图像；

99、编码预测模块，被配置为执行将所述多个样本图像输入初始可导编码器进行图像编码和重建处理，得到多个样本重建图像和多个预测码率；

100、编码损失信息确定模块，被配置为执行根据所述多个样本重建图像、所述多个样本图像以及所述多个预测码率，确定编码损失信息；

101、可导编码器的迭代训练模块，被配置为执行利用所述编码损失信息对所述初始可导编码器进行训练，直至满足损失条件，将所述满足损失条件时对应的初始可导编码器作为所述可导编码器。

102、在一种可能的实现方式中，所述样本滤波图像的分辨率低于所述样本图像帧的分辨率；所述装置还包括：

103、第一上采样模块，被配置为执行对多个所述样本重建图像帧进行上采样处理，得到多个上采样图像；

104、所述图像失真信息确定模块，还被配置为执行根据所述多个上采样图像和所述多个样本图像帧，确定所述图像失真信息。

105、在一种可能的实现方式中，所述第一上采样模块包括：

106、上采样单元，被配置为执行将多个所述样本重建图像帧输入预设上采样网络进行上采样处理，得到所述多个上采样图像；

107、所述装置还包括：

108、上采样网络训练模块，被配置为执行利用所述损失信息对所述预设上采样网络进行训练，直至满足损失条件，将所述满足损失条件时对应的预设上采样网络作为目标上采样网络。

109、根据本公开实施例的第四方面，提供一种视频编码装置，包括：

110、第二滤波模块，被配置为执行基于目标滤波网络对待编码视频的多个待编码图像帧进行滤波处理，得到至少一个所述待编码图像帧各自对应的目标滤波图像；

111、编码模块，被配置为执行将所述目标滤波图像输入目标编码器进行图像编码处理，得到所述多个待编码图像帧各自对应的编码图像数据；

112、其中，所述目标滤波网络为根据上述第一方面所述的方法训练得到的。

113、在一种可能的实现方式中，所述多个待编码图像帧包括目标参考图像帧和所述目标参考图像帧在时域上相邻的相邻图像帧；所述第二滤波模块包括：

114、第一滤波图像获取单元，被配置为执行将所述目标参考图像帧和所述目标参考图像帧在时域上相邻的相邻图像帧，输入所述目标滤波网络，对所述目标参考图像帧进行滤波处理，得到所述目标参考图像帧对应的第一滤波图像；

115、相应地，所述编码模块包括：

116、第一编码单元，被配置为执行将所述第一滤波图像和所述目标参考图像帧在时域上相邻的相邻图像帧输入所述目标编码器，进行图像编码处理，得到所述多个待编码图像帧各自对应的编码图像数据。

117、在一种可能的实现方式中，所述装置还包括：

118、初始图像帧获取模块，被配置为执行获取所述待编码视频中多个待编码的初始图像帧；

119、待编码图像帧获取模块，被配置为执行将所述初始图像帧输入滤波器进行滤波处理，得到所述多个待编码图像帧。

120、在一种可能的实现方式中，所述装置还包括：

121、二次滤波模块，被配置为执行将所述目标滤波图像输入滤波器进行滤波处理，得到二次滤波图像；

122、所述编码模块包括：

123、第二编码单元，被配置为执行将所述二次滤波图像输入所述目标编码器进行图像编码处理，得到所述多个待编码图像帧各自对应的编码图像数据。

124、在一种可能的实现方式中，所述目标滤波图像的分辨率低于所述待编码图像帧的分辨率；所述装置还包括：

125、第二上采样模块，被配置为执行上采样将所述编码图像数据输入目标上采样网络进行上采样处理，得到目标编码数据；所述目标上采样网络为上述第三方面中训练得到的目标上采样网络。

126、根据本公开实施例的第五方面，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如上述第一方面中任一项所述的方法。

127、根据本公开实施例的第六方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行本公开实施例的第一方面中任一所述的方法。

128、根据本公开实施例的第七方面，提供一种计算机程序产品，包括计算机指令，所述计算机指令被处理器执行时，使得计算机执行本公开实施例的第一方面中任一项所述的方法。

129、本公开的实施例提供的技术方案至少带来以下有益效果：

130、通过设置初始滤波网络的输入为时域上相关的多个样本图像帧，并且结合可导编码器对滤波后图像进行编码和重建处理，得到多个样本图像帧各自对应的样本重建图像帧以及各自对应的样本码率，从而利用多帧的图像失真信息和多个样本码率得到损失信息，使得损失信息能够有效表征初始滤波网络的滤波能力在后续编码重建中的表现，进而可以更好地指导初始滤波网络的学习，使得训练得到的目标滤波网络能够更加高效精准的进行滤波，从而可以提升视频的整体编码效率和质量；另外，这种使用可导编码器训练初始滤波网络的方式，可以实现无监督、端到端地对初始滤波网络进行优化，不需要标注滤波过程中的像素级标签，节省资源，也进一步提升了训练效率。

131、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。