一种图像传输方法、系统、装置、电子设备及存储介质与流程

本技术实施例涉及图像处理，具体而言，涉及一种图像传输方法、系统、装置、电子设备及存储介质。

背景技术：

1、由于移动通信技术的飞速发展，传统的媒体交互方式(如短信、邮件等)已经渐渐不能满足用户交互需求。现在的终端设备之间更多的是以视频、图像等强媒体形式实现用户的互动，从而提升用户的信息交互体验和产品的粘性。针对视频和图像的网络传输依赖于图像编码实现传输。

2、然而，一方面，当前针对视频和图像的编码传输方法，其编码格式(如jpeg、png等)都会使得图像存在大量细节，从而大大提高对网络传输的带宽要求；另一方面，在需要实时性交互的应用场景下，终端设备要求进行图像传输时对于编码内容的解码效率更高，以实现后续下游任务的高时效性。因此，如何同时提升图像传输的实时性和低带宽性，成为本领域亟待解决的问题。

技术实现思路

1、本技术实施例在于提供一种图像传输方法、系统、装置、电子设备及存储介质，旨在解决如何同时提升图像传输的实时性和低带宽性的问题。

2、本技术实施例第一方面提供一种图像传输方法，应用于第一终端，所述方法包括：

3、获取待传输图像；

4、对所述待传输图像进行差分处理，以对所述待传输图像中的目标区域进行数据优化，得到差分图像，所述差分图像至少包括第一图像和第二前景概率图像，所述第一图像为包含差分信息的图像，所述第二前景概率图像表征所述第一图像对应的前景概率；

5、对所述差分图像进行编码处理，获取编码数据，所述编码数据至少包括图像编码以及所述图像编码对应的概率分布编码，所述概率分布编码用于对所述图像编码的解码处理过程进行数据校正；

6、将所述编码数据发送至第二终端。

7、在一种可选的实施方式中，对所述待传输图像进行差分处理，以对所述待传输图像中的目标区域进行数据优化，得到差分图像，包括：

8、基于所述待传输图像，获取基准图像；

9、基于第一缩放因子，对所述待传输图像以及所述基准图像进行降采样处理，分别得到第一采样图像以及第二采样图像；

10、将所述第一采样图像和所述第二采样图像输入第一差分模型，获取第一差分图像，所述第一差分图像包括以下至少一项：第一前景概率图像、第一前景残差图像、误差预测图像以及隐藏特征图像；

11、将所述第一差分图像输入第二差分模型，以对所述目标区域进行数据优化，获取所述第一图像以及所述第二前景概率图像，所述目标区域为满足预设条件的所述误差预测图像。

12、在一种可选的实施方式中，将所述第一差分图像输入第二差分模型，以对所述目标区域进行数据优化，获取所述第一图像以及所述第二前景概率图像，包括：

13、基于第二缩放因子，对所述误差预测图像进行重采样，得到第三采样图像；

14、基于所述待传输图像、所述基准图像以及所述隐藏特征图像，在满足所述预设条件的所述第三采样图像对应的所述目标区域中，对所述第一前景概率图像以及所述第一前景残差图像进行数据优化，得到所述第二前景概率图像以及第二前景残差图像；

15、对所述第二前景概率图像以及所述第二前景残差图像进行组合，获取所述第一图像。

16、在一种可选的实施方式中，对所述差分图像进行编码处理，获取编码数据，包括：

17、对所述差分图像进行编码处理，以使所述差分图像中的像素转换为三进制位平面中的三进制取值，得到所述图像编码；

18、基于所述图像编码，获取所述差分图像中每个像素对应的三进制取值为预设值的概率值，作为概率张量；

19、对所述概率张量进行编码处理，得到所述概率分布编码。

20、本技术实施例第二方面提供一种图像传输方法，应用于第二终端，所述方法包括：

21、获取编码数据以及基准图像，所述编码数据至少包括图像编码以及所述图像编码对应的概率分布编码；

22、对所述编码数据进行解码处理，得到所述图像编码对应的第一张量以及所述概率分布编码对应的概率分布信息；

23、基于所述概率分布信息对所述第一张量进行数据校正，得到第二张量；

24、将所述第二张量输入解码器，获取重建图像，所述重建图像至少包括第二图像以及前景概率重建图像；

25、以所述前景概率重建图像作为权重，对所述第二图像以及所述基准图像进行组合，获取目标图像。

26、在一种可选的实施方式中，基于所述概率分布信息对所述第一张量进行数据校正，得到第二张量，包括：

27、对所述概率分布信息以及所述第一张量进行回归处理，得到所述概率分布信息与所述第一张量之间的回归残差；

28、将所述回归残差与所述第一张量进行组合，以对所述第一张量进行数据校正，得到所述第二张量。

29、本技术实施例第三方面提供一种图像传输系统，所述系统包括第一终端以及第二终端；

30、所述第一终端，用于获取待传输图像；对所述待传输图像进行差分处理，以对所述待传输图像中的目标区域进行数据优化，得到差分图像，所述差分图像至少包括第一图像和第二前景概率图像，所述第一图像为包含差分信息的图像，所述第二前景概率图像表征所述第一图像对应的前景概率；对所述差分图像进行编码处理，获取编码数据，所述编码数据至少包括图像编码以及所述图像编码对应的概率分布编码；将所述编码数据发送至所述第二终端；

31、所述第二终端，用于获取所述编码数据以及基准图像；对所述编码数据进行解码处理，得到所述图像编码对应的第一张量以及所述概率分布信息；基于所述概率分布信息对所述第一张量进行数据校正，得到第二张量；将所述第二张量输入解码器，获取重建图像，所述重建图像至少包括第二图像以及前景概率重建图像；以所述前景概率重建图像作为权重，对所述第二图像以及所述基准图像进行组合，获取目标图像。

32、本技术实施例第四方面提供一种图像传输装置，应用于第一终端，所述装置包括：

33、第一获取模块，用于获取待传输图像；

34、差分处理模块，用于对所述待传输图像进行差分处理，以对所述待传输图像中的目标区域进行数据优化，得到差分图像，所述差分图像至少包括第一图像和第二前景概率图像，所述第一图像为包含差分信息的图像，所述第二前景概率图像表征所述第一图像对应的前景概率；

35、编码处理模块，用于对所述差分图像进行编码处理，获取编码数据，所述编码数据至少包括图像编码以及所述图像编码对应的概率分布编码，所述概率分布编码用于对所述图像编码的解码处理过程进行数据校正；

36、发送模块，用于将所述编码数据发送至第二终端。

37、在一种可选的实施方式中，所述差分处理模块，包括：

38、基准图像子模块，用于基于所述待传输图像，获取基准图像；

39、降采样子模块，用于基于第一缩放因子，对所述待传输图像以及所述基准图像进行降采样处理，分别得到第一采样图像以及第二采样图像；

40、第一差分子模块，用于将所述第一采样图像和所述第二采样图像输入第一差分模型，获取第一差分图像，所述第一差分图像包括以下至少一项：第一前景概率图像、第一前景残差图像、误差预测图像以及隐藏特征图像；

41、第二差分子模块，用于将所述第一差分图像输入第二差分模型，以对所述目标区域进行数据优化，获取所述第一图像以及所述第二前景概率图像，所述目标区域为满足预设条件的所述误差预测图像。

42、在一种可选的实施方式中，所述第二差分子模块，包括：

43、重采样单元，用于基于第二缩放因子，对所述误差预测图像进行重采样，得到第三采样图像；

44、数据优化单元，用于基于所述待传输图像、所述基准图像以及所述隐藏特征图像，在满足所述预设条件的所述第三采样图像对应的所述目标区域中，对所述第一前景概率图像以及所述第一前景残差图像进行数据优化，得到所述第二前景概率图像以及第二前景残差图像；

45、第一图像单元，用于对所述第二前景概率图像以及所述第二前景残差图像进行组合，获取所述第一图像。

46、在一种可选的实施方式中，所述编码处理模块，包括：

47、图像编码子模块，用于对所述差分图像进行编码处理，以使所述差分图像中的像素转换为三进制位平面中的三进制取值，得到所述图像编码；

48、预设概率子模块，用于基于所述图像编码，获取所述差分图像中每个像素对应的三进制取值为预设值的概率值，作为概率张量；

49、概率编码子模块，用于对所述概率张量进行编码处理，得到所述概率分布编码。

50、本技术实施例第五方面提供一种图像传输装置，应用于第二终端，所述装置包括：

51、第二获取模块，用于获取编码数据以及基准图像，所述编码数据至少包括图像编码以及所述图像编码对应的概率分布编码；

52、解码处理模块，用于对所述编码数据进行解码处理，得到所述图像编码对应的第一张量以及所述概率分布编码对应的概率分布信息；

53、数据校正模块，用于基于所述概率分布信息对所述第一张量进行数据校正，得到第二张量；

54、重建模块，用于将所述第二张量输入解码器，获取重建图像，所述重建图像至少包括第二图像以及前景概率重建图像；

55、组合模块，用于以所述前景概率重建图像作为权重，对所述第二图像以及所述基准图像进行组合，获取目标图像。

56、在一种可选的实施方式中，所述数据校正模块，包括：

57、回归子模块，用于对所述概率分布信息以及所述第一张量进行回归处理，得到所述概率分布信息与所述第一张量之间的回归残差；

58、数据校正子模块，用于将所述回归残差与所述第一张量进行组合，以对所述第一张量进行数据校正，得到所述第二张量。

59、本技术实施例第六方面提供一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现第一方面中任一项所述的图像传输方法中的步骤，或，所述处理器执行所述计算机程序以实现第二方面中任一项所述的图像传输方法中的步骤。

60、本技术实施例第七方面提供一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现第一方面中任一项所述的图像传输方法中的步骤，或，该计算机程序/指令被处理器执行时实现第二方面中任一项所述的图像传输方法中的步骤。

61、有益效果：

62、本技术提供一种图像传输方法、系统、装置、电子设备及存储介质，应用于第一终端，所述方法包括：获取待传输图像；对所述待传输图像进行差分处理，以对所述待传输图像中的目标区域进行数据优化，得到差分图像，所述差分图像至少包括第一图像和第二前景概率图像，所述第一图像为包含差分信息的图像，所述第二前景概率图像表征所述第一图像对应的前景概率；对所述差分图像进行编码处理，获取编码数据，所述编码数据至少包括图像编码以及所述图像编码对应的概率分布编码，所述概率分布编码用于对所述图像编码的解码处理过程进行数据校正；将所述编码数据发送至第二终端。

63、本技术通过获取待传输图像的差分信息，并基于包含该差分信息的图像进行编码，从而降低用于传输的图像编码中的冗余信息，有效提升了在基于该包含差分信息的图像进行图像传输的实时性，降低了传输所需的带宽。