图像压缩系统、图像处理方法和编解码方法及电子设备与流程

文档序号:38258495发布日期:2024-06-12 23:07阅读:40来源:国知局
图像压缩系统、图像处理方法和编解码方法及电子设备与流程

本技术实施例涉及图像处理领域,尤其涉及一种图像压缩系统、图像处理方法、编解码方法及电子设备。


背景技术:

1、随着神经网络在图像压缩领域的发展,以及超越传统压缩方法的表现,基于深度学习的人工智能(artificial intelligence,ai)图像压缩算法逐渐被广泛应用;其中,ai图像压缩算法包括多种,例如基于变分自编码器(variational autoencoder,vae)框架的ai图像压缩算法等。

2、很多场景(如软件编辑)需要对图像进行多次编解码,这会造成极大的率失真性能的下降,无法保证图像在多次编解码后的质量,影响着端到端图像压缩方案的应用。


技术实现思路

1、为了解决上述技术问题,本技术提供一种图像压缩系统、图像处理方法、编解码方法及电子设备。该编解码方法和图像处理方法基于该图像压缩系统实现,能够降低图像在多次编解码后的损失幅度比(其中,最后一次编解码的率失真损失减去第一次编解码的率失真损失,得到损失差值;损失差值与第一次编解码的率失真损失的比值,即为损失幅度比)。

2、需要说明的是,本技术可以应用于ai压缩场景,本技术的图像压缩系统可以是指ai压缩系统,基于图像压缩系统所实现的编解码方法和图像处理方法可以是指ai压缩算法;本技术的图像压缩系统可以用于多次编解码。

3、示例性的,本技术的一种应用场景可以是:图像/视频在多个电子设备之间转发以及显示的场景;其中,图像/视频在多个电子设备之间转发以及显示的场景中,进行了多次编解码。

4、示例性的,本技术的一种应用场景可以是:图像/视频多次编辑的场景;其中,在图像/视频多次编辑的场景中,进行了多次编解码。

5、第一方面,本技术实施例提供一种图像压缩系统,该图像压缩系统可以包括:第一选择模块、熵编码模块、熵解码模块、量化模块、n个编码网络和1个解码网络,n个编码网络的编码损失不同,n为大于1的整数,其中:

6、第一选择模块,用于基于待编码图像的已编码次数,从n个编码网络中选取目标编码网络,其中,待编码图像为未经过编码的图像或重建图像;

7、目标编码网络,用于对待编码图像进行特征变换,以得到第一特征图;

8、量化模块,用于对第一特征图进行量化,以得到第二特征图;

9、熵编码模块,用于对第二特征图进行熵编码,以得到码流;

10、熵解码模块,用于对码流进行熵解码,以得到第三特征图;

11、解码网络,用于基于第三特征图进行特征变换,以得到重建图像。

12、应该理解的是,n个编码网络均为训练后的编码网络,解码网络为训练后的解码网络;其中,n个编码网络和1个解码网络是联合训练得到的,n个编码网络对应的损失权重系数不同,不同损失权重系数用于训练出编码损失不同的编码网络;进而,训练后,n个编码网络的编码损失不同;具体的训练过程在后续说明。其中,对n个编码网络和解码网络联合训练后,对于n个编码网络中的每一个编码网络,基于该编码网络对图像进行编码并基于解码网络对编码结果进行解码后,图像的率失真损失小于预设率失真损失(预设率失真损失可以按照需求设置);因此,训练后,解码网络就能够很好的兼容编码损失不同的n个编码网络。进而相对于现有技术对应单编码网络的解码网络而言,本技术的解码网络重建能力更高。从而在多次编解码过程中,每次基于其中一个编码网络进行编码以及基于该解码网络进行解码,能够有效降低图像在多次编解码后的损失幅度比。

13、需要说明的是,熵编码模块的数量可以是y(y为正整数)。示例性的,y可以等于1,这样,n个编码网络对应一个熵编码模块。示例性的,y可以等于n,这样,n个编码网络与n个熵编码网络分别对应。示例性的,y可以大于1且小于n,这样,n个编码网络中的一个或多个编码网络对应一个熵编码模块。

14、需要说明的是,熵解码模块的数量可以是y(y为正整数);也就是说,熵解码模块的数量和熵编码模块的数量相同,y个熵解码模块与y个熵编码模块一一对应。本技术以y等于1为例进行说明。

15、示例性的,第一特征图可以是指图2a中的特征图1;第二特征图可以是指图2a中的特征图2,第三特征图可以是指图2a中的特征图3。

16、示例性的,待编码图像可以是指图2a中的图像1;重建图像可以是指图2a中的图像2。

17、应该理解的是,图像压缩系统还可以包括其他模块,例如熵估计模块等等,本技术对此不作限制。示例性的,熵估计模块,可以用于熵估计,输出熵估计信息,熵估计信息可以用于熵编码模块的熵编码过程,以及用于熵解码模块的熵解码过程。

18、示例性的,编码网络可以是卷积神经网络。

19、示例性的,解码网络可以是卷积神经网络。

20、示例性的,当图像进行了一次编码和一次解码后,其已编码次数为1。

21、示例性的,解码网络也可以是多个,一个解码网络可以对应n个编码网络中的多个编码网络。这样,在选取目标编码网络后,可以从多个解码网络中,选取与目标编码网络对应的一个解码网络对第三特征图进行特征变换,以得到重建图像。

22、示例性的,第二特征图与第三特征图可以相同,也可以不同,本技术对此不作限制。

23、根据第一方面,n个编码网络的网络结构相同,但网络参数不同;或者,n个编码网络的网络结构不同。

24、示例性的,n个编码网络中的每个编码网络均可使用现有的任意神经网络来实现,本技术对此不作限制。例如,当n个编码网络的网络结构相同时,每个编码网络均可以由四个卷积层与三个激活层穿插级联构成。其中,当n个编码网络的网络结构相同时,能够节省设计编码网络的成本。

25、示例性的,n个编码网络中每个编码网络可以对应一组网络参数;进而,可以得到n组网络参数。其中,对于n个编码网络的网络结构相同,但网络参数不同的情况,图像压缩系统包括n个编码网络还可以理解为:仅包括与n个编码网络中任一编码网络结构相同的1个编码网络,该编码网络对应n组网络参数。这种情况下,从n个编码网络中选取目标编码网络,还可以理解成,从n组网络参数中选取目标网络参数;将该编码网络的网络参数配置为目标网络参数,进而可以得到目标编码网络。

26、示例性的,编码网络的网络结构可以是指编码网络包括的网络层和网络层之间的连接关系。其中,编码网络可以包括多种类型(例如,卷积、激活等)的网络层,每种类型的网络层可以是一个或多个。

27、示例性的,编码网络的网络参数可以是指编码网络包括的多个网络层对应的权重矩阵和偏置矩阵;其中,权重矩阵由多个网络层的权重向量组成,偏置矩阵由多个网络层的偏置向量组成。其中,每个网络层可以由一个或多个神经元构成,该网络层的权重向量中的一个值表示该网络层中一个神经元的权重值,该网络层的偏置向量中的一个值表示该网络层中一个神经元的偏置值。

28、根据第一方面,或者以上第一方面的任意一种实现方式,n个编码网络共用第一编码网络;n个编码网络中每个编码网络均由第一编码网络和第一增益向量构成,n个编码网络中每个编码网络的第一增益向量不同;

29、目标编码网络,具体用于调用第一编码网络对待编码图像进行特征变换,以得到第四特征图;以及基于目标编码网络的第一增益向量对第四特征图进行缩放,以得到第一特征图。

30、这样,能够节省设计编码网络的成本。且相对于n个编码网络相互独立的情况,可以节省编码网络的存储内存。

31、示例性的,第一编码网络可使用现有的任意神经网络来实现,本技术对此不作限制。例如第一编码网络可以由四个卷积层与三个激活层穿插级联构成。

32、示例性的,第一增益向量(gainvector)的维度数与第一编码网络的输出通道数相同。

33、示例性的,第四特征图可以如图4b中的特征图4,第一特征图可以如图4b中的特征图1。

34、根据第一方面,或者以上第一方面的任意一种实现方式,图像压缩系统还包括第二选择模块和n个第二增益向量,n个第二增益向量与n个第一增益向量一一对应;

35、第二选择模块,用于基于已编码次数,从n个第二增益向量中选取目标增益向量;以及基于目标增益向量对第三特征图进行缩放,以得到第五特征图;解码网络,具体用于对第五特征图进行特征变换,以得到重建图像。这样,能够恢复在编码过程中基于第一增益向量缩放后的特征图。

36、示例性的,第二增益向量的维度数与第一增益向量的维度数相同。一种可能的方式中,当基于第一增益向量对特征图进行放大时,基于第二增益向量对特征图进行缩小;当基于第一增益向量对特征图进行缩小时,基于第二增益向量对特征图进行放大。

37、一种可能的方式中,第二增益向量中每个维度的元素,是对应第一增益向量中对应维度的元素的倒数。应该理解的是,第二增益向量中每个维度的元素,可以不是对应第一增益向量中对应维度的元素的倒数;本技术对第二增益向量中每个维度的元素,与对应第一增益向量中对应维度的元素的数值关系不作限定。

38、这样,通过第一增益向量和第二增益向量对特征图的放缩,能够降低相邻两次编解码过程中,经过量化模块量化得到的量化值之间的差异;进而能够降低图像在相邻两次编解码后的损失幅度比;从而能够降低图像在多次编解码后的损失幅度比。

39、示例性的,第三特征图可以如图4b中的特征图3,第五特征图可以如图4b中的特征图5。

40、根据第一方面,或者以上第一方面的任意一种实现方式,当n等于2时,n个编码网络包括第二编码网络和第三编码网络,第二编码网络为非可逆神经网络,第三编码网络为按照第一预设方向映射的可逆神经网络,解码网络为按照第二预设方向映射的可逆神经网络。

41、示例性的,可逆神经网络可以是指既可以用于编码,又可以用于解码的网络。非可逆神经网络可以是指仅可以用于编码或解码的网络;其中,第二编码网络是仅可以用于编码的非可逆神经网络。

42、示例性的,第一预设方向可以是指以待编码图像为输入,以特征图为输出的方向;第二预测方式可以是指以特征图为输入,以重建图像为输出的方向。或者可以说,可逆神经网络可以包括r(r为大于1的整数)个网络层,第一预设方向可以是指以第1个网络层为输入层,以第r个网络层为输出层的方向;第二预设方向可以是指以第r个网络层为输入层,以第1个网络层为输出层的方向。

43、后续,可以选用第二编码网络进行首次编解码,以及选用第三编码网络进行后续的多次编码。

44、由于可逆神经网络中编码与解码共享网络参数,会使得可逆神经网络约束较多,导致可逆神经网络的表达能力低于非可逆神经网络;因此在同等图像质量的前提下,基于可逆神经网络编码产生的码流的码率,大于基于非可逆神经网络编码产生的码流的码率;也就是说,基于可逆神经网络进行编解码的率失真损失,大于基于非可逆神经网络以及解码网络进行编解码的率失真损失。因此选用第二编码网络进行首次编解码,可以减少首次编解码的率失真损失,而首次编解码的率失真损失决定该图像在后续编解码中的率失真性能(其中,率失真损失越大,率失真性能越差)上限,进而可以提高图像在后续多次编解码后的率失真性能。

45、此外,可逆神经网络是可逆的,非可逆神经网络是不可逆的,相对于使用非可逆神经网络进行多次编解码而言,使用可逆神经网络进行多次编解码,图像的率失真性能下降的较慢,因此使用第三编码网络进行后续多次编解码,能够减缓图像在多次编解码后的率失真性能的下降速度,从而能够有效降低图像在多次编解码后的损失幅度比。

46、示例性的,率失真损失是指图像经过编码过程和解码过程之后的损失,包括码率损失和图像失真损失。编码损失是指图像经过编码网络的特征变换之后的损失。编码网络的编码损失,影响着图像的率失真损失;其中,可以采用率失真损失来衡量编码损失。

47、示例性的,第二编码网络可使用现有的任意神经网络来实现,本技术对此不作限制。例如,第二编码网络可以由四个卷积层与三个激活层穿插级联构成。

48、示例性的,可逆神经网络可以包括4个块(block)、平均(average)层和复制(repeat)层。示例性的,每个block可以包括3个层:像素置换层(pixelshuffling层,用于将空间信息转移到通道上)、可逆卷积层(invertibleconv层,用于卷积)和耦合层(couplinglayers层,用于元素的重新排列)。示例性的,average层,用于通道平均;repeat层,用于通道复制。其中,block1的pixelshuffling层,可以是指可逆神经网络的第1个网络层;average层和repeat层是可以是指可逆神经网络的第r个网络层。

49、需要说明的是,当可逆神经网络按照第一预设方向映射时,即block1的pixelshuffling层为输入层,average层为输出层时,可逆神经网络为第三编码网络;当可逆神经网络按照第二预设方向映射时,即block1的pixelshuffling层为输出层,repeat层为输入层时,可逆神经网络为解码网络。

50、根据第一方面,或者以上第一方面的任意一种实现方式,解码网络与n个编码网络是联合训练得到的,联合训练包括对n个编码网络和1个解码网络进行m个批次;其中,一个批次训练是基于第i个编码网络对应的损失权重系数,对第i个编码网络和解码网络进行的训练,n个编码网络中每个编码网络对应的损失权重系数不同,不同损失权重系数用于训练出编码损失不同的编码网络,m为大于n的正整数,i为1~n之间的整数。这样,基于不同的损失权重系数,对n个编码网络进行训练,可以得到编码损失不同的n个编码网络。

51、第二方面,本技术实施例提供一种编码方法,该方法包括:首先,获取待编码图像,其中,待编码图像为未经过编码的图像或重建图像;以及获取待编码图像的已编码次数;接着,基于待编码图像的已编码次数,从n个编码网络中选取目标编码网络,n为大于1的整数;随后,将待编码图像输入至目标编码网络,以得到目标编码网络输出的第一特征图;之后,对第一特征图进行量化,以得到第二特征图;以及对第二特征图进行熵编码,以得到码流。之后,可以由解码端基于解码网络对码流进行解码。其中,解码网络与n个编码网络是联合训练得到的,n个编码网络对应的损失权重系数不同,不同损失权重系数用于训练出编码损失不同的编码网络;训练后,解码网络就能够很好的兼容编码损失不同的n个编码网络,相对于现有技术对应单编码网络的解码网络而言,本技术的解码网络重建能力更高。这样,在对待编码图像进行一次编码时,基于n个编码网络中的一个编码网络对待编码图像编码后,再基于重建能力比现有技术的解码网络的重建能力高的解码网络解码,能够降低待编码图像在本次编解码后与上一次编解码后的损失幅度比;进而,能够有效降低图像在多次编解码后的损失幅度比。

52、示例性的,当图像进行了一次编码和一次解码后,其已编码次数为1。

53、根据第二方面,基于待编码图像的已编码次数,从n个编码网络中选取目标编码网络,包括:获取预设网络选取条件;基于待编码图像的已编码次数和预设网络选取条件,从n个编码网络中选取目标编码网络。

54、示例性的,预设网络选取条件可以按照需求设置,具体可以根据n个编码网络的网络结构设置,本技术对此不作限制。

55、示例性的,可以从n个编码网络中选取一个编码网络,作为目标编码网络。

56、根据第二方面,或者以上第二方面的任意一种实现方式,预设网络选取条件包括:当已编码次数为0时,选取压缩码率与目标压缩码率的差值最小的编码网络;其中,压缩码率与编码损失相关。

57、示例性的,针对任意一个编码网络,该编码网络的压缩码率与该编码网络的编码损失负相关,即该编码网络的编码损失越大时,该编码网络的压缩码率越小;该编码网络的编码损失越小时,该编码网络的压缩码率越大。

58、也就是说,本技术对待编码图像进行首次编码时,基于压缩码率与目标压缩码率最接近的编码网络进行编码;后续基于重建能力比现有技术解码网络高的解码网络进行解码,能够保证在同等码率(现有技术单编码网络的场景中,单编码网络的压缩码率就是目标压缩码率;也就是说本技术首次编码对应的压缩码率与现有技术首次编码对应的压缩码率相近或相同)的前提下,图像失真小(此时,图像的率失真损失也小)。而首次编解码的率失真损失决定该图像在后续编解码中的率失真性能上限,进而还可以进一步提高后续图像在多次编解码的率失真性能。

59、根据第二方面,或者以上第二方面的任意一种实现方式,预设网络选取条件包括:当已编码次数不为0时,选取编码损失小于历史编码损失的编码网络,历史编码损失是指待编码图像上一次编码所选取的编码网络的编码损失。也就是说,在后续多次压缩过程中,每次都选择比上一次编码损失小的编码网络,这样,能够有效降低图像在多次编解码后的损失幅度比。

60、根据第二方面,或者以上第二方面的任意一种实现方式,n个编码网络共用第一编码网络;n个编码网络中每个编码网络均由第一编码网络和第一增益向量构成,n个编码网络中每个编码网络的第一增益向量不同;将待编码图像输入至目标编码网络,以得到目标编码网络输出的第一特征图,包括:将待编码图像输入至第一编码网络,以得到第四特征图;基于目标编码网络的第一增益向量对第四特征图进行缩放,以得到第一特征图。

61、根据第二方面,或者以上第二方面的任意一种实现方式,当n等于2时,n个编码网络包括第二编码网络和第三编码网络,第二编码网络为非可逆神经网络,第三编码网络为按照第一预设方向映射的可逆神经网络;预设网络选取条件包括:当已编码次数为0时,选取第二编码网络;当已编码次数不为0时,选取第三编码网络。

62、由于可逆神经网络中编码与解码共享网络参数,会使得可逆神经网络约束较多,导致可逆神经网络的表达能力低于非可逆神经网络;因此在同等图像质量的前提下,基于可逆神经网络编码产生的码流的码率,大于基于非可逆神经网络编码产生的码流的码率;也就是说,基于可逆神经网络进行编解码的率失真损失,大于基于非可逆神经网络以及解码网络进行编解码的率失真损失。因此选用第二编码网络进行首次编解码,可以减少首次编解码的率失真损失,而首次编解码的率失真损失决定该图像在后续编解码中的率失真性能上限,进而可以提高图像在后续多次编解码后的率失真性能。

63、此外,可逆神经网络是可逆的,非可逆神经网络是不可逆的,相对于使用非可逆神经网络进行多次编解码而言,使用可逆神经网络进行多次编解码,图像的率失真性能下降的较慢,因此使用第三编码网络进行后续多次编解码,能够减缓图像在多次编解码后的率失真性能的下降速度,从而能够有效降低图像在多次编解码后的损失幅度比。

64、根据第二方面,或者以上第二方面的任意一种实现方式,该方法还包括:将已编码次数封装至码流中。

65、示例性的,在码流中,可以采用已有的语法元素来表示已编码次数,也可以采用新的语法元素来表示已编码次数,本技术对此不作限制。

66、第二方面以及第二方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第二方面以及第二方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。

67、第三方面,本技术实施例提供一种解码方法,该方法包括:首先,获取码流,码流由编码端基于n个编码网络中的目标编码网络对待编码图像进行编码得到的,n为大于1的整数;接着,对码流进行熵解码,以得到第三特征图;之后,将第三特征图输入至解码网络,以得到解码网络输出的重建图像。其中,解码网络与n个编码网络是联合训练得到的,n个编码网络对应的损失权重系数不同,不同损失权重系数用于训练出编码损失不同的编码网络;训练后,解码网络就能够很好的兼容编码损失不同的n个编码网络,相对于现有技术对应单编码网络的解码网络而言,本技术的解码网络重建能力更高。从而基于该解码网络进行解码,能够有效降低图像在多次编解码后的损失幅度比。

68、根据第三方面,在得到解码网络输出的重建图像之后,该方法还包括:更新熵解码所得到的已编码次数。这样,在下一次编码过程中,能够选取匹配的编码网络。

69、示例性的,更新熵解码所得到的已编码次数,可以是指将熵解码所得到的已编码次数加1。

70、根据第三方面,或者以上第三方面的任意一种实现方式,该方法还包括:根据熵解码所得到的已编码次数,从n个第二增益向量中选取目标增益向量;基于目标增益向量对第三特征图进行缩放,以得到第五特征图;将第三特征图输入至解码网络,以得到解码网络输出的重建图像,包括:将第五特征图输入至解码网络,以得到解码网络输出的重建图像。这样,能够选取出与编码侧的第一增益向量对应的第二增益向量,来对编码过程中缩放后的特征图进行恢复。

71、这样,通过第一增益向量和第二增益向量对特征图的放缩,能够降低相邻两次编解码过程中,经过量化模块量化得到的量化值之间的差异;进而能够降低图像在相邻两次编解码后损失幅度比;从而能够降低图像在多次编解码后的损失幅度比。

72、第四方面,本技术实施例提供一种预设网络训练,该预设网络包括n个编码网络和1个解码网络,n为大于1的整数,该方法包括:首先,获取训练图像;接着,基于训练图像对预设网络进行m个批次训练,m为大于n的整数;其中,针对预设网络的进行一个批次训练包括:基于训练图像、重建图像和第i个编码网络对应的损失权重系数,确定率失真损失;其中,重建图像是基于第i个编码网络对训练图像进行编码后再基于解码网络对编码结果进行解码得到的;基于率失真损失,对第i个编码网络和解码网络进行训练。其中,n个编码网络中每个编码网络对应的损失权重系数不同,不同损失权重系数可以用于训练出编码损失不同的编码网络;因此完成对预设网络的m个批次训练后,n个编码网络的的编码损失也不同。

73、需要说明的是,n个编码网络是共用同一个解码网络的,在对预设网络进行一个批次训练的过程中,前向计算的过程(也就是基于训练图像得到重建图像的过程),解码网络的网络参数是经过在先h-1个批次训练所得到的网络参数(其中,h为1~m之间的整数(h的取值包括1和m);当前进行的是第h个批次训练);以及反向传播的过程中,调整的解码网络的网络参数,也是经过在先h-1个批次训练所得到的网络参数。对预设网络进行m个批次训练后,对于n个编码网络中的每一个编码网络,基于该编码网络对图像进行编码并基于解码网络对编码结果进行解码后,图像的率失真损失小于预设率失真损失。这样,训练后的解码网络就能够很好的兼容多种不同编码损失的编码网络,其重建能力相较于现有技术对应单编码网络的解码网络的重建能力高;进而后续基于包含该预设网络的图像压缩系统进行多次编解码,能够有效降低图像在多次编解码后的损失幅度比。

74、需要说明的是,每对预设网络进行一个批次训练过程中,可以从n个编码网络中,选取一个用于训练的编码网络,然后基于一个批次的训练图像,对选取出的编码网络和解码网络进行训练。为了便于说明,可以将从n个编码网络中选取出的用于训练的编码网络,称为第i个编码网络。i为1~n之间的整数(包括1和n)。

75、根据第四方面,基于训练图像、重建图像和第i个编码网络对应的损失权重系数,确定率失真损失,包括:获取基于第i个编码网络对训练图像进行编码对应的码率损失;基于训练图像和重建图像,确定图像失真损失;基于第i个编码网络对应的损失权重系数,对码率损失和图像失真损失进行加权计算,以得到率失真损失。这样,能够准确的计算出图像经过编解码后的率失真损失,进而可以提高预设网络的训练效率。

76、示例性的,每个编码网络对应的损失权重系数可以包括第一权重系数和第二权重系数,其中,第一权重系数与码率损失对应,第二权重系数与图像失真损失对应。

77、一种可能的方式中,n个编码网络对应的第一权重系数不同,且第二权重系数不同。

78、一种可能的方式中,n个编码网络对应的第一权重系数相同,且第二权重系数不同。

79、一种可能的方式中,n个编码网络对应的第一权重系数不同,且第二权重系数相同。例如,n个编码网络对应的第一权重系数均为数值不同的拉格朗日系数β,第二权重系数均为1。

80、第五方面,本技术实施例提供一种电子设备,包括:存储器和处理器,存储器与处理器耦合;存储器存储有程序指令,当程序指令由处理器执行时,使得电子设备执行第二方面或第二方面的任意可能的实现方式中的编码方法。

81、第五方面以及第五方面的任意一种实现方式分别与第二方面以及第二方面的任意一种实现方式相对应。第五方面以及第五方面的任意一种实现方式所对应的技术效果可参见上述第二方面以及第二方面的任意一种实现方式所对应的技术效果,此处不再赘述。

82、第六方面,本技术实施例提供一种电子设备,包括:存储器和处理器,存储器与处理器耦合;存储器存储有程序指令,当程序指令由处理器执行时,使得电子设备执行第三方面或第三方面的任意可能的实现方式中的解码方法。

83、第六方面以及第六方面的任意一种实现方式分别与第三方面以及第三方面的任意一种实现方式相对应。第六方面以及第六方面的任意一种实现方式所对应的技术效果可参见上述第三方面以及第三方面的任意一种实现方式所对应的技术效果,此处不再赘述。

84、第七方面,本技术实施例提供一种电子设备,包括:存储器和处理器,存储器与处理器耦合;存储器存储有程序指令,当程序指令由处理器执行时,使得电子设备执行第四方面或第四方面的任意可能的实现方式中的预设网络训练方法。

85、第七方面以及第七方面的任意一种实现方式分别与第四方面以及第四方面的任意一种实现方式相对应。第七方面以及第七方面的任意一种实现方式所对应的技术效果可参见上述第四方面以及第四方面的任意一种实现方式所对应的技术效果,此处不再赘述。

86、第八方面,本技术实施例提供一种图像处理装置,包括一个或多个接口电路和一个或多个处理器;接口电路用于从电子设备的存储器接收信号,并向处理器发送信号,信号包括存储器中存储的计算机指令;当处理器执行计算机指令时,使得电子设备执行第二方面或第二方面的任意可能的实现方式中的编码方法。

87、第八方面以及第八方面的任意一种实现方式分别与第二方面以及第二方面的任意一种实现方式相对应。第八方面以及第八方面的任意一种实现方式所对应的技术效果可参见上述第二方面以及第二方面的任意一种实现方式所对应的技术效果,此处不再赘述。

88、第九方面,本技术实施例提供一种图像处理装置,包括一个或多个接口电路和一个或多个处理器;接口电路用于从电子设备的存储器接收信号,并向处理器发送信号,信号包括存储器中存储的计算机指令;当处理器执行计算机指令时,使得电子设备执行第三方面或第三方面的任意可能的实现方式中的解码方法。

89、第九方面以及第九方面的任意一种实现方式分别与第三方面以及第三方面的任意一种实现方式相对应。第九方面以及第九方面的任意一种实现方式所对应的技术效果可参见上述第三方面以及第三方面的任意一种实现方式所对应的技术效果,此处不再赘述。

90、第十方面,本技术实施例提供一种图像处理装置,包括一个或多个接口电路和一个或多个处理器;接口电路用于从电子设备的存储器接收信号,并向处理器发送信号,信号包括存储器中存储的计算机指令;当处理器执行计算机指令时,使得电子设备执行第四方面或第四方面的任意可能的实现方式中的预设网络训练方法。

91、第十方面以及第十方面的任意一种实现方式分别与第四方面以及第四方面的任意一种实现方式相对应。第十方面以及第十方面的任意一种实现方式所对应的技术效果可参见上述第四方面以及第四方面的任意一种实现方式所对应的技术效果,此处不再赘述。

92、第十一方面,本技术实施例提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,当计算机程序运行在计算机或处理器上时,使得计算机或处理器执行第二方面或第二方面的任意可能的实现方式中的编码方法。

93、第十一方面以及第十一方面的任意一种实现方式分别与第二方面以及第二方面的任意一种实现方式相对应。第十一方面以及第十一方面的任意一种实现方式所对应的技术效果可参见上述第二方面以及第二方面的任意一种实现方式所对应的技术效果,此处不再赘述。

94、第十二方面,本技术实施例提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,当计算机程序运行在计算机或处理器上时,使得计算机或处理器执行第三方面或第三方面的任意可能的实现方式中的解码方法。

95、第十二方面以及第十二方面的任意一种实现方式分别与第三方面以及第三方面的任意一种实现方式相对应。第十二方面以及第十二方面的任意一种实现方式所对应的技术效果可参见上述第三方面以及第三方面的任意一种实现方式所对应的技术效果,此处不再赘述。

96、第十三方面,本技术实施例提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,当计算机程序运行在计算机或处理器上时,使得计算机或处理器执行第四方面或第四方面的任意可能的实现方式中的预设网络训练方法。

97、第十三方面以及第十三方面的任意一种实现方式分别与第四方面以及第四方面的任意一种实现方式相对应。第十三方面以及第十三方面的任意一种实现方式所对应的技术效果可参见上述第四方面以及第四方面的任意一种实现方式所对应的技术效果,此处不再赘述。

98、第十四方面,本技术实施例提供一种计算机程序产品,计算机程序产品包括软件程序,当软件程序被计算机或处理器执行时,使得计算机或处理器执行第二方面或第二方面的任意可能的实现方式中的编码方法。

99、第十四方面以及第十四方面的任意一种实现方式分别与第二方面以及第二方面的任意一种实现方式相对应。第十四方面以及第十四方面的任意一种实现方式所对应的技术效果可参见上述第二方面以及第二方面的任意一种实现方式所对应的技术效果,此处不再赘述。

100、第十五方面,本技术实施例提供一种计算机程序产品,计算机程序产品包括软件程序,当软件程序被计算机或处理器执行时,使得计算机或处理器执行第三方面或第三方面的任意可能的实现方式中的解码方法。

101、第十五方面以及第十五方面的任意一种实现方式分别与第三方面以及第三方面的任意一种实现方式相对应。第十五方面以及第十五方面的任意一种实现方式所对应的技术效果可参见上述第三方面以及第三方面的任意一种实现方式所对应的技术效果,此处不再赘述。

102、第十六方面,本技术实施例提供一种计算机程序产品,计算机程序产品包括软件程序,当软件程序被计算机或处理器执行时,使得计算机或处理器执行第四方面或第四方面的任意可能的实现方式中的预设网络训练方法。

103、第十六方面以及第十六方面的任意一种实现方式分别与第四方面以及第四方面的任意一种实现方式相对应。第十六方面以及第十六方面的任意一种实现方式所对应的技术效果可参见上述第四方面以及第四方面的任意一种实现方式所对应的技术效果,此处不再赘述。

104、第十七方面,本技术实施例提供一种存储码流的装置,该装置包括:接收器和至少一个存储介质,接收器用于接收码流;至少一个存储介质用于存储码流;码流是根据第二方面以及第二方面的任意一种实现方式生成的。

105、第十七方面以及第十七方面的任意一种实现方式分别与第二方面以及第二方面的任意一种实现方式相对应。第十七方面以及第十七方面的任意一种实现方式所对应的技术效果可参见上述第二方面以及第二方面的任意一种实现方式所对应的技术效果,此处不再赘述。

106、第十八方面,本技术实施例提供一种传输码流的装置,该装置包括:发送器和至少一个存储介质,至少一个存储介质用于存储码流,码流是根据第二方面以及第二方面的任意一种实现方式生成的;发送器用于从存储介质中获取码流并将码流通过传输介质发送给端侧设备。

107、第十八方面以及第十八方面的任意一种实现方式分别与第二方面以及第二方面的任意一种实现方式相对应。第十八方面以及第十八方面的任意一种实现方式所对应的技术效果可参见上述第二方面以及第二方面的任意一种实现方式所对应的技术效果,此处不再赘述。

108、第十九方面,本技术实施例提供一种分发码流的系统,该系统包括:至少一个存储介质,用于存储至少一个码流,至少一个码流是根据第二方面以及第二方面的任意一种实现方式生成的,流媒体设备,用于从至少一个存储介质中获取目标码流,并将目标码流发送给端侧设备,其中,流媒体设备包括内容服务器或内容分发服务器。

109、第十九方面以及第十九方面的任意一种实现方式分别与第二方面以及第二方面的任意一种实现方式相对应。第十九方面以及第十九方面的任意一种实现方式所对应的技术效果可参见上述第二方面以及第二方面的任意一种实现方式所对应的技术效果,此处不再赘述。

110、第二十方面,本技术实施例提供一种图像处理方法,该方法包括:首先,获取待编码图像和待编码图像的已编码次数,其中,待编码图像为未经过编码的图像或重建图像;以及基于待编码图像的已编码次数,从n个编码网络中选取目标编码网络,n个编码网络的编码损失不同,n为大于1的整数;接着,将待编码图像输入至目标编码网络,以得到目标编码网络输出的第一特征图;之后,对第一特征图进行量化,以得到第二特征图;以及对第二特征图进行熵编码,以得到码流;然后,对码流进行熵解码,以得到第三特征图;随后,将第三特征图输入至解码网络,以得到解码网络输出的重建图像。

111、根据第二十方面,基于待编码图像的已编码次数,从n个编码网络中选取目标编码网络,包括:获取预设网络选取条件;基于待编码图像的已编码次数和预设网络选取条件,从n个编码网络中选取目标编码网络。

112、根据第二十方面,或者以上第二十方面的任意一种实现方式,预设网络选取条件包括:当已编码次数为0时,选取压缩码率与目标压缩码率的差值最小的编码网络;其中,压缩码率与编码损失相关。

113、根据第二十方面,或者以上第二十方面的任意一种实现方式,预设网络选取条件包括:当已编码次数不为0时,选取编码损失小于历史编码损失的编码网络,历史编码损失是指待编码图像上一次编码所选取的编码网络的编码损失。

114、根据第二十方面,或者以上第二十方面的任意一种实现方式,n个编码网络共用第一编码网络;n个编码网络中每个编码网络均由第一编码网络和第一增益向量构成,n个编码网络中每个编码网络的第一增益向量不同;将待编码图像输入至目标编码网络,以得到目标编码网络输出的第一特征图,包括:将待编码图像输入至第一编码网络,以得到第四特征图;基于目标编码网络的第一增益向量对第四特征图进行缩放,以得到第一特征图。

115、根据第二十方面,或者以上第二十方面的任意一种实现方式,当n等于2时,n个编码网络包括第二编码网络和第三编码网络,第二编码网络为非可逆神经网络,第三编码网络为按照第一预设方向映射的可逆神经网络,解码网络为按照第二预设方向映射的可逆神经网络;预设网络选取条件包括:当已编码次数为0时,选取第二编码网络;当已编码次数不为0时,选取第三编码网络。

116、根据第二十方面,或者以上第二十方面的任意一种实现方式,该方法还包括:将已编码次数封装至码流中。

117、根据第二十方面,或者以上第二十方面的任意一种实现方式,在得到解码网络输出的重建图像之后,该方法还包括:更新熵解码所得到的已编码次数。

118、根据第二十方面,或者以上第二十方面的任意一种实现方式,该方法还包括:根据熵解码所得到的已编码次数,从n个第二增益向量中选取目标增益向量,n个第二增益向量与n个第一增益向量一一对应;基于目标增益向量对第三特征图进行缩放,以得到第五特征图;将第三特征图输入至解码网络,以得到解码网络输出的重建图像,包括:将第五特征图输入至解码网络,以得到解码网络输出的重建图像。

119、根据第二十方面,或者以上第二十方面的任意一种实现方式,解码网络与n个编码网络是联合训练得到的,联合训练包括对n个编码网络和解码网络进行m个批次训练;其中,一个批次训练是基于第i个编码网络对应的损失权重系数,对第i个编码网络和解码网络进行的训练,n个编码网络中每个编码网络对应的损失权重系数不同,不同损失权重系数用于训练出编码损失不同的编码网络,m为大于n的正整数,i为1~n之间的整数。

120、第二十方面以及第二十方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应,或者分别与第二方面以及第二方面的任意一种实现方式相对应,或者分别与第三方面以及第三方面的任意一种实现方式相对应。第二十方面以及第二十方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,或者,可参见上述第二方面以及第二方面的任意一种实现方式所对应的技术效果,或者,可参见上述第三方面以及第三方面的任意一种实现方式所对应的技术效果,此处不再赘述。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1