基于高通量卫星物联网的数据压缩方法和装置

本发明涉及卫星物联网，尤其涉及一种基于高通量卫星物联网的数据压缩方法和装置。

背景技术：

1、卫星物联网是一种新兴的技术，它将物理设备与互联网连接起来，以实现设备之间的数据交换。根据gsma发布的《the mobile economy 2020》报告显示，2019年全球物联网总连接数达到120亿，预计到2025年，全球物联网总连接数将达到246亿，年复合增长率高达13％。目前，卫星物联网已得到广泛应用，包括但不限于野生动物保护、自然灾害防治、环境监测、物流追踪、农业监测等，随着技术的发展和需求场景的扩大，卫星物联网的应用将会越来越广泛。与此同时，卫星的带宽资源成为卫星物联网发展的重要制约因素之一，尽管全球主要卫星运营商都在大力发展hts通信卫星，带宽资源在可预见的未来仍将长期处于供不应求的状态。因此，更高效的无损数据压缩技术将成为解决带宽供需矛盾的主要技术途径之一。

2、然而，传统的无损数据压缩算法都是基于规则的，存在如下问题：①压缩速度慢，算法需要对数据进行多次扫描和分析，以便找到重复的数据和最优的编码方式，尤其是在处理大型数据时，压缩耗时会呈指数增长；②压缩率不够高，算法通常采用huffman变长编码来表示不同的数据元素，一般还存在优化空间；③不适用于物联网采集的时序数据，传统压缩算法需要对整个数据块进行分析和处理，因此不适用于流式数据的压缩。

技术实现思路

1、本发明所要解决的技术问题在于，提供一种基于高通量卫星物联网的数据压缩方法和装置，提高压缩效率，减少计算复杂度，实现物理网采集的时序数据的高效无损压缩。

2、为了解决上述技术问题，本发明实施例第一方面，公开了一种基于高通量卫星物联网的数据压缩方法,包括:

3、s1,获取高通量卫星物理网的采集数据和训练数据；

4、s2，利用所述训练数据，构建得到数据压缩模型；

5、s3，利用所述数据压缩模型，对所述采集数据进行处理，得到压缩数据。

6、所述利用所述训练数据，构建得到数据压缩模型，包括：

7、s21,初始化数据压缩模型；

8、s22，对所述训练数据进行预处理，得到压缩训练数据集合；

9、s23，利用所述压缩训练数据集合，对所述数据压缩模型进行训练处理，得到训练完毕的数据压缩模型；

10、s24，确定所述训练完毕的数据压缩模型，为构建得到的数据压缩模型。

11、所述数据压缩模型，包括编码网络、量化网络和解码网络；

12、所述编码网络，与量化网络相连接，包括第一处理模块、第二处理模块、第三处理模块和第四处理模块，用于对输入数据进行编码处理，得到特征图像数据；

13、所述第一处理模块，包括输入模块、第一二维卷积模块、第一激活模块、第一残差模块、第一归一化模块；所述第一处理模块的第一端口，为所述输入模块的输入端；所述第一处理模块的第二端口，为所述第一归一化模块的输出端；所述第一处理模块的第一端口，作为所述编码网络的输入端，用于接收得到输入数据；所述第一处理模块的第二端口，与所述第二处理模块的第一端口连接；在所述第一处理模块中，所述输入模块、第一二维卷积模块、第一激活模块、第一残差模块、第一归一化模块依次连接；

14、所述第二处理模块，包括第二二维卷积模块、第二激活模块、第二归一化模块；所述第二处理模块的第一端口，为所述第二二维卷积模块的输入端；所述第二处理模块的第二端口，为所述第二归一化模块的输出端；所述第二处理模块的第二端口，与所述第三处理模块的第一端口连接；在所述第二处理模块中，所述第二二维卷积模块、第二激活模块、第二归一化模块依次连接；

15、所述第三处理模块，包括第三二维卷积模块、第三激活模块、第三残差模块；所述第三处理模块的第一端口，为所述第三二维卷积模块的输入端；所述第三处理模块的第二端口，为所述第三残差模块的输出端；所述第三处理模块的第二端口，与所述第四处理模块的第一端口连接；在所述第三处理模块中，所述第三二维卷积模块、第三激活模块、第三残差模块依次连接；

16、所述第四处理模块，包括第四二维卷积模块、第四激活模块、第四残差模块；所述第四处理模块的第一端口，为所述第四二维卷积模块的输入端；所述第四处理模块的第二端口，为所述第四残差模块的输出端；所述第四处理模块的第二端口，作为所述编码网络的输出端，用于输出特征图像数据；在所述第四处理模块中，所述第四二维卷积模块、第四激活模块、第四残差模块依次连接；

17、所述量化网络，与编码网络和解码网络相连接，用于对所述特征图像数据进行量化处理，得到压缩数据；所述量化网络，包括第九二维卷积模块、第九激活模块和量化模块；在所述量化网络，所述第九二维卷积模块、第九激活模块和量化模块依次连接；

18、所述解码网络，与量化网络相连接，包括第五处理模块、第二处理模块、第三处理模块和第四处理模块，用于对所述压缩数据进行解码处理，得到还原的输入数据；

19、所述第五处理模块，包括输入模块、随机排列模块、第五二维卷积模块、第五激活模块、第五残差模块；所述第五处理模块的第一端口，为所述输入模块的输入端，用于接收得到压缩数据；所述第五处理模块的第二端口，为所述第五残差模块的输出端，与所述第六处理模块的第一端口连接；在所述第五处理模块中，所述输入模块、随机排列模块、第五二维卷积模块、第五激活模块、第五残差模块依次连接；

20、所述第六处理模块，包括第六二维卷积模块、第六激活模块、第六残差模块；所述第六处理模块的第一端口，为所述第六二维卷积模块的输入端；所述第六处理模块的第二端口，为所述第六残差模块的输出端；所述第六处理模块的第二端口，与所述第七处理模块的第一端口连接；在所述第六处理模块中，所述第六二维卷积模块、第六激活模块、第六残差模块依次连接；

21、所述第七处理模块，包括第七二维卷积模块、第七激活模块、第七归一化模块；所述第七处理模块的第一端口，为所述第七二维卷积模块的输入端；所述第七处理模块的第二端口，为所述第七归一化模块的输出端；所述第七处理模块的第二端口，与所述第八处理模块的第一端口连接；在所述第七处理模块中，所述第七二维卷积模块、第七激活模块、第七归一化模块依次连接；

22、所述第八处理模块，包括第八二维卷积模块、第八激活模块、第八残差模块、第八归一化模块；所述第八处理模块的第一端口，为所述第八二维卷积模块的输入端；所述第八处理模块的第二端口，为所述第八归一化模块的输出端；所述第八处理模块的第二端口，是所述解码网络的输出端，用于输出计算得到的还原的输入数据；在所述第八处理模块中，所述第八二维卷积模块、第八激活模块、第八残差模块、第八归一化模块依次连接。

23、所述对所述训练数据进行预处理，得到压缩训练数据集合，包括：

24、s221,对所述训练数据的维度进行判别，得到数据维度信息；当所述数据维度信息为一维时，执行s222；当所述数据维度信息为二维时，执行s225；

25、s222，对所述一维的训练数据进行数据清理处理，得到清洗训练数据；

26、s223，对所述清洗训练数据进行数据范围限定处理，得到限定训练数据；

27、s224，对所述限定训练数据进行归一化处理，得到预处理后的一维训练数据，执行s228；

28、s225，对所述二维的训练数据进行线性量化处理，得到量化训练数据；

29、s226，对所述量化训练数据的灰度值信息进行灰度拉伸处理，得到灰度训练数据信息；

30、s227，对所述灰度训练数据信息进行归一化处理，得到预处理后的二维训练数据；

31、s228，对所述预处理后的一维训练数据和预处理后的二维训练数据进行合并处理，得到压缩训练数据集合。

32、所述利用所述压缩训练数据集合，对所述数据压缩模型进行训练处理，得到训练完毕的数据压缩模型，包括：

33、s231，初始化训练迭代次数值；

34、s232，将所述压缩训练数据集合中的每个数据作为输入数据，输入数据压缩模型，得到还原的输入数据；

35、s233，对所述输入数据值和还原的输入数据值进行差异计算处理，得到差异值；

36、s234，判断所述差异值是否满足收敛条件，得到第一判断结果；

37、当所述第一判断结果为否时，判断所述训练迭代次数值是否等于训练次数阈值，得到第二判断结果；

38、当所述第二判断结果为否时，确定模型训练状态为不满足终止训练条件；

39、当所述第二判断结果为是时，确定所述模型训练状态为满足终止训练条件；

40、当所述第一判断结果为是时，确定所述模型训练状态为满足终止训练条件；

41、当所述模型训练状态为不满足终止训练条件时，利用参数更新模型对所述编码模块和解码模块进行参数更新，训练迭代次数值增加1，执行s232；

42、当所述模型训练状态为满足终止训练条件时，完成对所述数据压缩模型的训练处理过程，得到训练完毕的数据压缩模型。

43、所述参数更新模型为：

44、

45、θ←θ+v；

46、式中，x(i)为所述压缩训练数据集合中的第i个数据，为损失函数，v为参数更新值，θ为所述编码模块和解码模块的参数，η为初始参数学习率，α为动量角度参数，0≤α≤1，表示针对变量θ求偏导数，f(x(i)；θ)表示数据压缩模型对所述压缩训练数据集合的第i个数据计算得到的还原的输入数据，f(.)为数据压缩模型对应的计算函数。

47、本发明实施例第二方面，公开了一种基于高通量卫星物联网的数据压缩装置，包括：低轨卫星星座、信关站及用户终端；

48、所述低轨卫星星座包括若干个低轨卫星；所述低轨卫星星座，用于对所述信关站及用户终端的信号进行接收和转发处理；

49、所述信关站，用于接收得到低轨卫星和用户终端的数据，对接收的低轨卫星和用户终端的数据进行转发处理，对用户终端进行接入管理；

50、所述用户终端，用于采集得到环境数据信息集，利用所述基于高通量卫星物联网的数据压缩方法，对所述环境数据信息集进行压缩处理，得到压缩数据集，将所述压缩数据集发送至所述低轨卫星星座。

51、本发明实施例第三方面，公开了一种基于高通量卫星物联网的数据压缩装置，所述装置包括：

52、存储有可执行程序代码的存储器；

53、与所述存储器耦合的处理器；

54、所述处理器调用所述存储器中存储的所述可执行程序代码，执行所述的基于高通量卫星物联网的数据压缩方法。

55、本发明实施例第四方面，公开了一种计算机可存储介质，所述计算机可存储介质存储有计算机指令，所述计算机指令被调用时，用于执行所述的基于高通量卫星物联网的数据压缩方法。

56、本发明实施例第五方面，公开了一种信息数据处理终端，所述信息数据处理终端用于实现所述的基于高通量卫星物联网的数据压缩方法。

57、本发明的有益效果为：

58、1、本发明方通过对训练数据进行预处理,使得本发明中的模型可以对二维和一维数据同时进行处理,并且通过设置包含三个网络的压缩模型,通过编码网络的编码后可以提取数据特征,将数据进行压缩,进一步地,通过量化网络的量化的作用,可以将浮点型数据变为整型数据,减少数据占用的比特数,从而可以进一步提升压缩效果。解决了现有技术中无法实现对时序数据的压缩或者压缩效果较差的技术问题。

59、2、本发明通过实现的基于深度学习的数据无损压缩组件，并在高通量卫星通信系统物联网低速数据与语音数据传输中进行应用，进一步节省了卫星数据传输带宽，并且具有较好的泛化性，可以支持普通的ip数据、语音数据、时序数据等物联网常用数据类型，并且算法规模可支持普通性能cpu上运行，适应卫星物联网终端低处理性能、低功耗、低带宽资源受限使用场景，具有较好的市场应用推广潜力。

60、3、本发明解决了传统压缩方法存在的压缩速度慢、压缩率不够高，及不适用于物联网采集的时序数据的问题。