一种gps数据存储方法及装置与流程

本发明涉及数据存储，特别涉及一种gps数据存储方法及装置。

背景技术：

1、随着物联网技术的发展，移动设备非常广泛和普遍。大部分的移动设备，都需要实时的监控其所在位置，例如共享单车，汽车，充电宝，手机等。这部分应用场景，有以下特点:

2、设备在线量比较多，同时可能有几十万是设备在线，且同时上传gps数据。

3、数据量大，按照十秒一帧gps数据来上报的话，一天的数据量就已经是亿级别。

4、系统的性能，可用性要非常高，不能再高并发的情况下，出现故障，否则可能会丢失数据。

5、这些问题，对gps的数据采集，存储，查询有比较高的要求，传统的采集存储方式，已经不满足海量设备的场景。

技术实现思路

1、针对上述问题，本发明提供一种gps数据存储方法及装置，用于解决面对gps数据海量设备的场景问题，可以支持高并发，横向扩展，且查询，入库效率极高，基本上不会存在消息堵塞。

2、第一方面，本发明提供了一种gps数据存储方法，所述方法包括：

3、通过收集终端获取原始gps数据，并传输给数据接入层；

4、数据接入层将原始gps数据处理、二进制压缩加密和拼接后得到加密gps数据；

5、将加密gps数据存储到时序数据库。

6、进一步的，将原始gps数据处理、二进制压缩加密和拼接后得到加密gps数据，包括：

7、对来源坐标进行清洗，并对原始gps数据精度进行统一规范；

8、经度和纬度的取值范围分别为[-180,180]和[-90,90]，将经纬度，在取值范围内，用二分法，对经纬度进行二分形成二进制编码；

9、将二进制编码交错合并成一个，其中经度占偶数位，纬度占奇数位，得到二进制压缩加密编码。

10、进一步的，对原始gps数据精度进行统一规范，包括：将原始gps数据统一保留至小数点后设定位数。

11、进一步的，对经纬度进行二分形成二进制编码，包括：对经纬度进行二分形成二进制编码，统一限定编码为设定位数。

12、进一步的，将原始gps数据处理、二进制压缩加密和拼接后得到加密gps数据，还包括：

13、将设备唯一标识、上报时间，以及二进制压缩加密编码的坐标数据，依次拼接得到加密gps数据。

14、进一步的，通过收集终端获取原始gps数据，并传输给数据接入层，包括：

15、对于小型物联网设备采用mqtt协议传输给数据接入层，汽车的t_box终端采用tcp报文传输给数据接入层，智能终端采用https或http协议报文传输给数据接入层。

16、第二方面，本发明提供了一种gps数据存储装置，包括：数据收集单元、数据处理单元和数据存储单元；

17、数据收集单元，用于通过收集终端获取原始gps数据，并传输给数据接入层；

18、数据处理单元，用于数据接入层将原始gps数据处理、二进制压缩加密和拼接后得到加密gps数据；

19、数据存储单元，用于将加密gps数据存储到时序数据库。

20、进一步的，数据接入层用于对原始gps数据进行统一处理，采用微服务集群，包括：

21、emq服务端，用于接收小型物联网设备的数据；

22、lvs+netty网络端，用于接收t_box终端的数据；

23、微服务集群端，用于接收智能终端的数据，以及作为消息队列接收emq服务端和lvs+netty网络端的数据，并把接收到的数据发送至kafka，进行二次解耦和数据处理。

24、第三方面，本发明提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；

25、存储器，存储有计算机程序；

26、处理器，用于执行存储器上所存储的计算机程序时，实现上述的gps数据存储方法。

27、第四方面，本发明提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的gps数据存储方法。

28、本发明至少具备以下有益效果：

29、本发明进行二进制转换，用于脱敏和减少内存占用。

30、本发明采用微服务集群，满足不同设备的接入需求，采用kafka消息队列进行解耦后，入时序数据库。

31、本发明支持高并发，横向扩展，且查询，入库效率极高，基本上不会存在消息堵塞。

32、本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书以及附图中所指出的结构来实现和获得。

技术特征：

1.一种gps数据存储方法，其特征在于，所述方法包括：

2.根据权利要求1所述的gps数据存储方法，其特征在于，

3.根据权利要求2所述的gps数据存储方法，其特征在于，

4.根据权利要求2所述的gps数据存储方法，其特征在于，

5.根据权利要求1或2所述的gps数据存储方法，其特征在于，

6.根据权利要求1所述的gps数据存储方法，其特征在于，

7.一种gps数据存储装置，其特征在于，包括：数据收集单元、数据处理单元和数据存储单元；

8.根据权利要求7所述的gps数据存储装置，其特征在于，

9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；

10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-6中任一项所述的gps数据存储方法。

技术总结
本发明涉及数据存储技术领域，特别涉及一种gps数据存储方法及装置。本发明采用微服务集群，满足不同设备的接入需求，采用kafka消息队列进行解耦后，入时序数据库。本发明进行二进制转换，用于脱敏和减少内存占用。本发明支持高并发，横向扩展，且查询，入库效率极高，基本上不会存在消息堵塞。

技术研发人员：潘楠,金飞,王明伟,杨强强,周天,陈旭,朱胡亮
受保护的技术使用者：奇瑞新能源汽车股份有限公司
技术研发日：
技术公布日：2024/1/15