一种跨模态数据压缩方法、装置、设备及介质

本发明涉及图像处理，具体涉及一种跨模态数据压缩方法、装置、设备及介质。

背景技术：

1、近年来，利用来自不同传感器的跨模态数据的互补特性完成已经在各种领域得到了广泛应用。特别是在自动驾驶等计算机视觉任务中，激光雷达和相机数据的融合被广泛使用。相机能够提供稠密的二维纹理和形状信息，而激光雷达扫描周围环境以提供稀疏的三维几何和反射强度，生成具有几何属性信息的点云。然而在计算机视觉任务中使用多模态数据会增加存储和传输成本。

2、由于多模态数据得到了广泛的应用，针对多模态数据组合设计压缩方案已成为一种趋势。在图像压缩领域，一些方法利用2d图像间的跨模态相关性，如颜色-深度图像组合或颜色/红外图像组合间的相关性以增强图像压缩性能。这些方法集中于利用二维图像数据间的跨模态冗余，而无法用于消除二维图像与三维点云属性间的跨模态冗余信息。现有的点云属性压缩方案无法利用多模态数据中的跨模态冗余，造成了跨模态数据存储与传输中的浪费。

技术实现思路

1、为了解决上述问题，本发明提出一种跨模态数据压缩方法、装置、设备及介质，能够消除二维图像与三维点云属性间的跨模态冗余信息，提高点云属性的压缩性能，减少跨模态数据存储与传输中的浪费。

2、本发明实施例提供一种跨模态数据压缩方法，所述方法包括：

3、分别从图像和点云几何中提取多层次的特征，在每个层次上将图像特征融合进点云特征中，得到原始点云属性，并使用融合后的点云特征预测点云属性，得到估计点云属性；

4、使用区域自适应分层变换分别对所述原始点云属性以及所述估计点云属性进行变换，得到所述原始点云属性的多层次表示以及所述估计点云属性的多层次表示；

5、采用预建的跨模态深度熵编码模型对齐原始点云属性与估计点云属性的多层次表示，提取得到邻居上下文、祖先上下文与跨模态上下文，通过融合并估计层次特征的概率分布；

6、使用算术编码器编码点云属性的多层次表示得到编码结果码流。

7、优选地，所述分别从图像和点云几何中提取多层次的特征，在每个层次上将图像特征融合进点云特征中，得到原始点云属性，并使用融合后的点云特征预测点云属性，得到估计点云属性，具体包括：

8、使用u形卷积神经网络提取所述图像中的图像特征；

9、使用u形稀疏卷积神经网络从所述点云几何中提取点云特征；

10、使用预建的跨模态深度融合模型将所述图像特征融合进所述点云特征中，得到所述原始点云属性；

11、使用全连接神经网络对融合特征进行预测，得到所述估计点云属性。

12、作为一种优选方案，所述采用预建的跨模态深度熵编码模型对齐原始点云属性与估计点云属性的多层次表示，提取得到邻居上下文、祖先上下文与跨模态上下文，通过融合并估计层次特征的概率分布，具体包括；

13、采用所述跨模态深度熵编码模型分别从所述原始点云属性的多层次表示中除第1层外的每一层的邻居上下文以及祖先上下文；

14、采用所述跨模态深度熵编码模型分别从所述估计点云属性的多层次表示中除第1层外的每一层的跨模态上下文；

15、获取所述原始点云属性的多层次表示中除第1层外的每一层的融合上下文；

16、基于得到的每一层的融合上下文对所述原始点云属性的该层进行概率预测。

17、进一步地，所述使用算术编码器编码点云属性的多层次表示得到编码结果码流，具体包括；

18、将所述原始点云属性的多层次表示中除第1层外的每一层的高频部分编码为码流；

19、将所述原始点云属性的多层次表示中的第1层通过无损压缩写入码流，得到所述编码结果码流。

20、作为上述方案的改进，所述方法还包括：

21、从所述编码结果码流中获取待解压点云属性的多层次表示的第1层；

22、基于第1层的高频部分和低频部分通过区域自适应分层变换得到第2层的低频部分；

23、采用所述跨模态深度熵编码模型分别从所述原始点云属性的多层次表示中除第1层外的每一层的邻居上下文以及祖先上下文；

24、采用所述跨模态深度熵编码模型分别从所述估计点云属性的多层次表示中除第1层外的每一层的跨模态上下文；

25、获取所述原始点云属性的多层次表示中除第1层外的每一层的融合上下文；

26、基于得到的每一层的融合上下文对所述原始点云属性的该层进行概率预测；

27、将所述原始点云属性的多层次表示中除第1层外的每一层的高频部分分别从所述编码结果码流中解码；

28、基于所述原始点云属性的多层次表示中某一层的高频部分与低频部分通过区域自适应分层变换得到后一层的低频部分；

29、根据得到的每一层的低频部分获取解码结果。

30、优选地，所述跨模态深度熵编码模型具体为：；

31、其中，高频信息序列，是分层高频信息分布的概率估计，是提取的跨模态上下文，是提取的祖先上下文，是提取的邻居上下文，，和分别为对所述估计点云属性的分层高频信息使用区域自适应分层变换得到的低频系数和高频系数，，和对所述原始点云属性的分层高频信息使用区域自适应分层变换得到的低频系数和高频系数，，分别为所述原始点云属性的分层高频信息的低频系数、权重和深度，为所述原始点云属性的概率分布， hi为多层次表示中第i层的所有高频因子， hij为多层次表示中第i层的第j个高频因子，为编码第i层因子所使用的熵模型的参数。

32、作为一种优选方案，所述跨模态深度熵编码模型使用交叉熵损失训练得到；

33、所述跨模态深度融合模型使用均方误差损失训练得到；

34、所述跨模态深度融合模型的损失函数为：；

35、所述跨模态深度熵编码模型的损失函数为：；

36、其中，是真实的点云属性，是预测的点云属性，为所述跨模态深度融合模型的损失值，为所述跨模态深度熵编码模型的损失值，为所述原始点云属性的近似概率分布，是提取的跨模态上下文，是提取的祖先上下文，是提取的邻居上下文，是所述原始点云属性的真实概率估计，所述原始点云属性的分层高频信息， i为点云属性的多层次表示的层数， j为点云属性的多层次表示某层中第j个高频因子，为编码第i层因子所使用的熵模型的参数。

37、本发明实施例还提供一种跨模态数据压缩装置，所述装置包括：

38、点云属性预测模块，用于分别从图像和点云几何中提取多层次的特征，在每个层次上将图像特征融合进点云特征中，得到原始点云属性，并使用融合后的点云特征预测点云属性，得到估计点云属性；

39、变换模块，用于使用区域自适应分层变换分别对所述原始点云属性以及所述估计点云属性进行变换，得到所述原始点云属性的多层次表示以及所述估计点云属性的多层次表示；

40、概率计算模块，用于采用预建的跨模态深度熵编码模型对齐原始点云属性与估计点云属性的多层次表示，提取得到邻居上下文、祖先上下文与跨模态上下文，通过融合并估计层次特征的概率分布；

41、编码模块，用于使用算术编码器编码点云属性的多层次表示得到编码结果码流。

42、优选地，所述点云属性预测模块具体用于：

43、使用u形卷积神经网络提取所述图像中的图像特征；

44、使用u形稀疏卷积神经网络从所述点云几何中提取点云特征；

45、使用预建的跨模态深度融合模型将所述图像特征融合进所述点云特征中，得到所述原始点云属性；

46、使用全连接神经网络对融合特征进行预测，得到所述估计点云属性。

47、优选地，所述概率计算模块具体用于：

48、采用所述跨模态深度熵编码模型分别从所述原始点云属性的多层次表示中除第1层外的每一层的邻居上下文以及祖先上下文；

49、采用所述跨模态深度熵编码模型分别从所述估计点云属性的多层次表示中除第1层外的每一层的跨模态上下文；

50、获取所述原始点云属性的多层次表示中除第1层外的每一层的融合上下文；

51、基于得到的每一层的融合上下文对所述原始点云属性的该层进行概率预测。

52、作为上述方案的改进，所述编码模块具体用于；

53、将所述原始点云属性的多层次表示中除第1层外的每一层的高频部分编码为码流；

54、将所述原始点云属性的多层次表示中的第1层通过无损压缩写入码流，得到所述编码结果码流。

55、优选地，所述方法还包括解码模块，用于：

56、从所述编码结果码流中获取待解压点云属性的多层次表示的第1层；

57、基于第1层的高频部分和低频部分通过区域自适应分层变换得到第2层的低频部分；

58、采用所述跨模态深度熵编码模型分别从所述原始点云属性的多层次表示中除第1层外的每一层的邻居上下文以及祖先上下文；

59、采用所述跨模态深度熵编码模型分别从所述估计点云属性的多层次表示中除第1层外的每一层的跨模态上下文；

60、获取所述原始点云属性的多层次表示中除第1层外的每一层的融合上下文；

61、基于得到的每一层的融合上下文对所述原始点云属性的该层进行概率预测；

62、将所述原始点云属性的多层次表示中除第1层外的每一层的高频部分分别从所述编码结果码流中解码；

63、基于所述原始点云属性的多层次表示中某一层的高频部分与低频部分通过区域自适应分层变换得到后一层的低频部分；

64、根据得到的每一层的低频部分获取解码结果。

65、优选地，所述跨模态深度熵编码模型具体为：；

66、其中，高频信息序列，是分层高频信息分布的概率估计，是提取的跨模态上下文，是提取的祖先上下文，是提取的邻居上下文，，和分别为对所述估计点云属性的分层高频信息使用区域自适应分层变换得到的低频系数和高频系数，，和对所述原始点云属性的分层高频信息使用区域自适应分层变换得到的低频系数和高频系数，，分别为所述原始点云属性的分层高频信息的低频系数、权重和深度，为所述原始点云属性的概率分布， hi为多层次表示中第i层的所有高频因子， hij为多层次表示中第i层的第j个高频因子，为编码第i层因子所使用的熵模型的参数。

67、作为一种优选方案，所述跨模态深度熵编码模型使用交叉熵损失训练得到；

68、所述跨模态深度融合模型使用均方误差损失训练得到；

69、所述跨模态深度融合模型的损失函数为：；

70、所述跨模态深度熵编码模型的损失函数为：；

71、其中，是真实的点云属性，是预测的点云属性，为所述跨模态深度融合模型的损失值，为所述跨模态深度熵编码模型的损失值，为所述原始点云属性的近似概率分布，是提取的跨模态上下文，是提取的祖先上下文，是提取的邻居上下文，是所述原始点云属性的真实概率估计，所述原始点云属性的分层高频信息， i为点云属性的多层次表示的层数， j为点云属性的多层次表示某层中第j个高频因子，为编码第i层因子所使用的熵模型的参数。

72、本发明实施例还提供一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一项实施例所述的一种跨模态数据压缩方法。

73、本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述任一项实施例所述的一种跨模态数据压缩方法。

74、本发明提供一种跨模态数据压缩方法、装置、设备及介质，分别从图像和点云几何中提取多层次的特征，在每个层次上将图像特征融合进点云特征中，得到原始点云属性，并使用融合后的点云特征预测点云属性，得到估计点云属性；使用区域自适应分层变换分别对所述原始点云属性以及所述估计点云属性进行变换，得到所述原始点云属性的多层次表示以及所述估计点云属性的多层次表示；采用预建的跨模态深度熵编码模型对齐原始点云属性与估计点云属性的多层次表示，提取得到邻居上下文、祖先上下文与跨模态上下文，通过融合并估计层次特征的概率分布；使用算术编码器编码点云属性的多层次表示得到编码结果码流。本技术能够消除二维图像与三维点云属性间的跨模态冗余信息，提高点云属性的压缩性能，减少跨模态数据存储与传输中的浪费。