视频编码方法、视频解码方法、装置和通信设备与流程

本申请涉及人工智能，特别是涉及一种视频编码方法、视频解码方法、装置和通信设备。

背景技术：

1、随着深度学习的普及，越来越多的视频图像面向机器视觉任务，因此在学术、产业、及标准界，针对机器视觉任务的编解码算法成为新的热潮。

2、然而，传统的编解码算法是针对视频数据直接进行编码，当将该编解码算法应用于机器视觉任务网络时，需要对特征提取网络输出的特征进行编码，此种场景下，然而传统的编解码算法存在编码效率低下的问题。

技术实现思路

1、本申请实施例提供一种视频编码方法、视频解码方法、装置和通信设备，可以针对视频帧对应的多数量和/或多尺度的视频特征进行编解码，可以提高视频数据的编解码效率，进而可以提高视频数据的传输速率。

2、第一方面，一种视频编码方法，所述方法应用于发送设备，所述方法包括：

3、对视频帧对应的多个视频特征进行融合以及编码，得到编码后的编码特征；

4、将所述编码特征发送至接收端。

5、第二方面，一种视频解码方法，所述方法应用于接收设备，所述方法包括：

6、接收发送设备发送的编码特征；所述编码特征为所述发送设备对视频帧对应的多个视频特征进行融合以及编码后得到的；

7、对所述编码特征进行解码以及还原，得到所述视频帧对应的多个第一还原视频特征。

8、第三方面，一种视频编码装置，所述装置包括：

9、融合编码模块，用于对视频帧对应的多个视频特征进行融合以及编码，得到编码特征；

10、发送模块，用于将所述编码特征发送至接收设备。

11、第四方面，一种视频编码装置，所述装置包括：

12、接收模块，用于接收发送设备发送的编码特征；所述编码特征为所述发送设备对视频帧对应的多个视频特征进行融合以及编码后得到的；

13、解码还原模块，用于对所述编码特征进行解码以及还原，得到所述视频帧对应的多个第一还原视频特征。

14、第五方面，一种通信设备，所述通信设备包括发送器和处理器；

15、所述处理器，用于对视频帧对应的多个视频特征进行融合以及编码，得到编码特征；

16、所述发送器，用于将所述编码特征发送至接收设备。

17、第六方面，一种通信设备，所述通信设备包括接收器和处理器；

18、所述接收器，用于接收发送设备发送的编码特征；所述编码特征为所述发送设备对视频帧对应的多个视频特征进行融合以及编码后得到的；

19、所述处理器，用于对所述编码特征进行解码以及还原，得到所述视频帧对应的多个第一还原视频特征。

20、第七方面，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法的步骤。

21、第八方面，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第二方面所述的方法的步骤。

22、第九方面，一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述第一方面所述的方法的步骤。

23、第十方面，一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述第二方面所述的方法的步骤。

24、上述视频编码方法、视频解码方法、装置和存储介质，通过对视频帧对应的多个视频特征进行融合以及编码，得到编码特征，再将编码特征发送至接收设备。该方法通过融合不同视频特征后进行编码，具备了针对多数量和/或多尺度的视频特征进行编码的能力，在一定程度上提高的视频数据的编码效率，进而当需要对大量的视频特征进行编码后传输时，可以在一定程度上提高视频数据传输的速率。另外，由于对不同视频特征进行了融合处理，可以去除多个视频特征中存在的语义冗余的特征，可以在一定程度上提高编码效果，进而可以提高后期基于编码特征进行解码和还原后的特征的还原度。

技术特征：

1.一种视频编码方法，其特征在于，所述方法应用于发送设备，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述对视频帧对应的多个视频特征进行融合以及编码，得到编码特征，包括：

3.根据权利要求2所述的方法，其特征在于，所述将所述多个视频特征输入至与所述视频帧的类型对应的编解码网络进行融合以及编码，得到所述编码特征，包括：

4.根据权利要求3所述的方法，其特征在于，所述第一编解码网络包括第一编码子网络和第一编码器；所述将所述多个视频特征输入至第一编解码网络进行融合以及编码，得到所述编码特征，包括：

5.根据权利要求4所述的方法，其特征在于，所述第一编码子网络包括多个第一卷积模块和第一拼接模块，各所述第一卷积模块的输出端均连接所述第一拼接模块的输入端；

6.根据权利要求5所述的方法，其特征在于，所述第一卷积模块包括多个第一线性卷积层，所述多个第一线性卷积层级联连接。

7.根据权利要求4-6任一项所述的方法，其特征在于，所述第一编解码网络还包括第一解码器和解码子网络，所述方法还包括：

8.根据权利要求7所述的方法，其特征在于，所述解码子网络，包括：第一拆分模块和多个第一反卷积模块；所述第一拆分模块的输出端分别与各所述第一反卷积模块的输入端连接；

9.根据权利要求8所述的方法，其特征在于，所述第一反卷积模块包括多个第一线性反卷积层，所述多个第一线性反卷积层级联连接。

10.根据权利要求2所述的方法，其特征在于，所述将所述多个视频特征输入至与所述视频帧的类型对应的编解码网络进行融合以及编码，得到所述编码特征，包括：

11.根据权利要求10所述的方法，其特征在于，所述第二编解码网络包括预测网络和残差编解码网络；

12.根据权利要求11所述的方法，其特征在于，所述预测网络包括运动编解码网络和帧间预测网络，所述将上一视频帧对应的多个第二还原视频特征和所述多个视频特征输入至所述预测网络进行预测，得到多个预测特征，包括：

13.根据权利要求12所述的方法，其特征在于，所述运动编解码网络包括运动编码网络、编解码器和运动解码网络；

14.根据权利要求13所述的方法，其特征在于，所述运动编码网络包括：多个拼接层、多个第二卷积模块和第二拼接模块；各所述拼接层与对应的第二卷积模块的输入端连接，各所述第二卷积模块的输出端连接所述第二拼接模块；

15.根据权利要求14所述的方法，其特征在于，所述第二卷积模块包括多个第二线性卷积层，所述多个第二线性卷积层级联连接。

16.根据权利要求13所述的方法，其特征在于，所述运动解码网络包括：第二拆分模块和多个第二反卷积模块；所述第二拆分模块的输出端分别与各所述第二反卷积模块的输入端连接；

17.根据权利要求16所述的方法，其特征在于，所述第二反卷积模块包括多个第二线性反卷积层，所述多个第二线性反卷积层级联连接。

18.根据权利要求13所述的方法，其特征在于，所述编解码器包括：第二编码器和第二解码器；

19.根据权利要求12所述的方法，其特征在于，所述帧间预测网络包括高斯卷积生成器和卷积映射模块；所述高斯卷积生成器的输出端与所述卷积映射模块的输入端连接；

20.根据权利要求19所述的方法，其特征在于，所述帧间预测网络还包括特征分割模块；所述特征分割模块的输入端与所述运动编解码网络的输出端连接；所述特征分割模块的输出端与所述卷积映射模块的输入端连接；

21.根据权利要求13-19任一项所述的方法，其特征在于，所述方法还包括：

22.根据权利要求11所述的方法，其特征在于，所述残差编解码网络包括残差编码网络和第三编码器；

23.根据权利要求22所述的方法，其特征在于，所述残差编码网络包括：多个第三卷积模块和第三拼接模块；各所述第三卷积模块的输出端连接所述第三拼接模块；

24.根据权利要求23所述的方法，其特征在于，所述第三卷积模块包括多个第三线性卷积层，所述多个第三线性卷积层级联连接。

25.根据权利要求22所述的方法，其特征在于，所述残差编解码网络还包括第三解码器和残差解码网络，所述第二编解码网络还包括加法器，所述方法还包括：

26.根据权利要求25所述的方法，其特征在于，所述残差解码网络包括：第四拼接模块、第三拆分模块和多个第三反卷积模块；所述第四拼接模块的输出端与所述第三拆分模块的输入端连接，所述第三拆分模块的输出端分别与各所述第三反卷积模块的输入端连接；

27.根据权利要求26所述的方法，其特征在于，所述第三反卷积模块包括多个第三线性反卷积层，所述多个第三线性反卷积层级联连接。

28.根据权利要求1所述的方法，其特征在于，所述方法还包括：

29.一种视频解码方法，其特征在于，所述方法应用于接收设备，所述方法包括：

30.根据权利要求29所述的方法，其特征在于，所述对所述编码特征进行解码以及还原，得到所述视频帧对应的多个第一还原视频特征，包括：

31.根据权利要求30所述的方法，其特征在于，所述将所述编码特征输入至与所述视频帧的类型对应的解码网络进行解码以及还原，得到所述多个第一还原视频特征，包括：

32.根据权利要求31所述的方法，其特征在于，所述第一解码网络包括第一解码器和解码子网络，所述将所述编码特征输入至第一解码网络进行解码以及还原，得到所述多个第一还原视频特征，包括：

33.根据权利要求32所述的方法，其特征在于，所述解码子网络，包括：第一拆分模块和多个第一反卷积模块；所述第一拆分模块的输出端分别与各所述第一反卷积模块的输入端连接；

34.根据权利要求33所述的方法，其特征在于，所述第一反卷积模块包括多个第一线性反卷积层，所述多个第一线性反卷积层级联连接。

35.根据权利要求30所述的方法，其特征在于，所述将所述编码特征输入至与所述视频帧的类型对应的解码网络进行解码以及还原，得到所述多个第一还原视频特征，包括：

36.根据权利要求35所述的方法，其特征在于，所述第二解码网络包括第四解码器和接收解码子网络；所述将所述编码特征输入至第一解码网络进行解码以及还原，得到所述多个第一还原视频特征，包括：

37.根据权利要求36所述的方法，其特征在于，所述接收解码子网络，包括：第四拆分模块和多个第四反卷积模块；所述第四拆分模块的输出端分别与各所述第四反卷积模块的输入端连接；

38.根据权利要求36所述的方法，其特征在于，所述第二解码网络还包括：第五拼接模块和加法器；

39.根据权利要求29-38任一项所述的方法，其特征在于，所述方法还包括：

40.一种视频编码装置，其特征在于，所述装置包括：

41.一种视频解码装置，其特征在于，所述装置包括：

42.一种通信设备，其特征在于，所述通信设备包括发送器和处理器；

43.一种通信设备，其特征在于，所述通信设备包括接收器和处理器；

44.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至39中任一项所述的方法的步骤。

45.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至39中任一项所述的方法的步骤。

技术总结
本申请涉及一种视频编码方法、视频解码方法、装置和通信设备。所述方法通过对视频帧对应的多个视频特征进行融合以及编码，得到编码特征，再将编码特征发送至接收设备。该方法通过融合不同视频特征后进行编码，具备了针对多数量和/或多尺度的视频特征进行编码的能力，在一定程度上提高的视频数据的编码效率，进而当需要对大量的视频特征进行编码后传输时，可以在一定程度上提高视频数据传输的速率。另外，由于对不同视频特征进行了融合处理，可以去除多个视频特征中存在的语义冗余的特征，可以在一定程度上提高编码效果，进而可以提高后期基于编码特征进行解码和还原后的特征的还原度。

技术研发人员：王翰铭,吴子君,韩韬,张园,杨明川
受保护的技术使用者：中国电信股份有限公司技术创新中心
技术研发日：
技术公布日：2025/1/9