一种数据存储方法、装置、设备和存储介质与流程

本申请涉及计算机，具体而言，涉及一种数据存储方法、装置、设备和存储介质。

背景技术：

1、企业的数据通常存储在企业数据库中，企业在日常生产过程中，会产生很多非结构化数据，数据的种类包括：邮件和其它形式的电子通讯记录、网站上的资料(包括点击量和社交媒体相关的内容)、数字视频和音频、设备产生的数据以及物联网数据，这些数据不仅类型多，而且数量大，往往会到几百t，甚至pb级别的数据量，如何对这些数据进行合理存储是目前亟需解决的问题。

技术实现思路

1、有鉴于此，本申请实施例提供了一种数据存储方法、装置、设备和存储介质，以对pb级别的数据量进行合理存储。

2、第一方面，本申请实施例提供了一种数据存储方法，所述方法包括：

3、在获取到待存储数据后，判断所述待存储数据的数据类型；

4、当所述数据类型为数据值定长时，以第一数据页格式对所述待存储数据进行存储，得到包含所述待存储数据的数据页，其中，第一数据页格式包括：标签点id、数据页中存储的数据的大小、数据页中存储的数据的条数、第n条数据的长度、数据的时间块；

5、当所述数据类型为数据值变长时，以第二数据页格式对所述待存储数据进行存储，得到包含所述待存储数据的数据页，其中，第二数据页格式包括：标签点id、数据页中存储的数据的大小、数据值、数据的时间块；

6、其中，数据的时间块包括：utc时间、第n个数据的毫秒时间和第n个数据的质量。

7、可选地，所述第一数据页格式和所述第二数据页格式均包括校验码。

8、可选地，所述数据页的大小和从存储区域读取的数据量成正比。

9、可选地，所述待存储数据是按照预设存档周期进行周期存档的。

10、第二方面，本申请实施例提供了一种数据存储装置，所述装置包括：

11、判断单元，用于在获取到待存储数据后，判断所述待存储数据的数据类型；

12、存储单元，用于当所述数据类型为数据值定长时，以第一数据页格式对所述待存储数据进行存储，得到包含所述待存储数据的数据页，其中，第一数据页格式包括：标签点id、数据页中存储的数据的大小、数据页中存储的数据的条数、第n条数据的长度、数据的时间块；当所述数据类型为数据值变长时，以第二数据页格式对所述待存储数据进行存储，得到包含所述待存储数据的数据页，其中，第二数据页格式包括：标签点id、数据页中存储的数据的大小、数据值、数据的时间块；

13、其中，数据的时间块包括：utc时间、第n个数据的毫秒时间和第n个数据的质量。

14、可选地，所述第一数据页格式和所述第二数据页格式均包括校验码。

15、可选地，所述数据页的大小和从存储区域读取的数据量成正比。

16、可选地，所述待存储数据是按照预设存档周期进行周期存档的。

17、第三方面，本申请实施例提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行第一方面中任一项所述的数据存储方法。

18、第四方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行第一方面中任一项所述的数据存储方法。

19、本申请的实施例提供的技术方案可以包括以下有益效果：

20、在本申请中，在得到待存储数据后，先判断待存储数据的类型，然后按照数据类型将待存储数据存储为对应的数据页，由于将待存储数据以数据页的格式存储后可以使待存储数据形成结构化的数据，因此便于后续管理员对数据进行精准抓取，进而通过本申请可以对大级别的数据量进行合理存储。

21、为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

技术特征：

1.一种数据存储方法，其特征在于，所述方法包括：

2.如权利要求1所述的方法，其特征在于，所述第一数据页格式和所述第二数据页格式均包括校验码。

3.如权利要求1所述的方法，其特征在于，所述数据页的大小和从存储区域读取的数据量成正比。

4.如权利要求1所述的方法，其特征在于，所述待存储数据是按照预设存档周期进行周期存档的。

5.一种数据存储装置，其特征在于，所述装置包括：

6.如权利要求5所述的装置，其特征在于，所述第一数据页格式和所述第二数据页格式均包括校验码。

7.如权利要求5所述的装置，其特征在于，所述数据页的大小和从存储区域读取的数据量成正比。

8.如权利要求5所述的装置，其特征在于，所述待存储数据是按照预设存档周期进行周期存档的。

9.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行权利要求1-4中所述的数据存储方法。

10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行权利要求1-4中所述的数据存储方法。

技术总结
本申请提供了一种数据存储方法、装置、设备和存储介质，在本申请中，在得到待存储数据后，先判断待存储数据的类型，然后按照数据类型将待存储数据存储为对应的数据页，由于将待存储数据以数据页的格式存储后可以使待存储数据形成结构化的数据，因此便于后续管理员对数据进行精准抓取，进而通过本申请可以对大级别的数据量进行合理存储。

技术研发人员：黄长波,柴旭东,徐汕,金鑫
受保护的技术使用者：航天云网科技发展有限责任公司
技术研发日：
技术公布日：2024/3/31