数据存储方法、装置及存储介质与流程

本技术涉及计算机，尤其涉及一种数据存储方法、装置及存储介质。

背景技术：

1、随着计算机技术的发展，计算机软件被应用于各个领域中，在计算机软件开发过程中，往往会产生大量的数据。

2、为了实现对这些数据的查询，通常可以采用将这些数据收集并存储起来的方法。然而，由于这些数据的数量较大，容易增加查询时需要处理的数据量，导致查询效率较低。

技术实现思路

1、本技术提供一种数据存储方法、装置及存储介质，用于改善通用技术中数据查询时需要处理的数据量较大的问题，提高数据查询效率。

2、为达到上述目的，本技术采用如下技术方案：

3、第一方面，提供一种数据存储方法，包括：获取多个待存储数据后，对每个待存储数据进行提取处理得到多个特征属性字段，并根据多个特征属性字段和预设权重集合，确定每个待存储数据的冗余因子之后，将冗余因子小于预设阈值的待存储数据存储至预设位置。其中，待存储数据包括多个属性字段，特征属性字段与归属于同一待存储数据的其他特征属性字段之间的互信息小于第一预设阈值、且熵权值大于第二预设阈值，预设权重集合包括与多个属性字段一一对应的多个权重，冗余因子用于表示待存储数据与其他待存储数据的相似度。

4、可选的，该数据存储方法还包括，多个特征属性字段、预设权重集合、待存储数据和冗余因子满足第一公式；所述第一公式为：

5、

6、其中，firf(t)为多个待存储数据中第t个待存储数据的冗余因子，support(x)为第t个待存储数据的特征属性字段x的支持度，ω(x)为特征属性字段x对应的权重，fiss(d，selected)为多个特征属性字段。

7、可选的，对每个待存储数据进行提取处理得到多个特征属性字段，具体包括：对每个待存储数据执行第一操作，得到多个特征属性字段；第一操作包括：确定多个属性字段中每两个属性字段的互信息，并删除互信息大于或等于第一预设阈值的两个属性字段中的任意一个属性字段，得到多个候选属性字段；确定每个候选属性字段的熵权值，并将熵权值大于第二预设阈值的候选属性字段，确定为特征属性字段。

8、可选的，获取多个待存储数据的方法，具体包括：获取多个初始数据；对每个初始数据执行数据规范化操作，得到多个待存储数据；数据规范化操作包括：对初始数据进行分隔处理，得到符合预设数据结构的第一数据；对第一数据中的空值进行填充处理，得到第二数据；对第二数据进行去噪处理，得到待存储数据。

9、可选的，将冗余因子小于预设阈值的待存储数据存储至预设位置的方法，具体包括：按照预设规则对冗余因子小于预设阈值的待存储数据进行分类处理，得到至少一个分类结果；预设规则包括：按照产生时间进行分类的规则，或按照产生设备进行分类的规则；按照至少一个分类结果，将冗余因子小于预设阈值的待存储数据分类存储在预设位置。

10、第二方面，提供一种数据存储装置，包括：获取单元、确定单元、存储单元；获取单元，用于获取多个待存储数据；待存储数据包括多个属性字段；确定单元，用于对每个待存储数据进行提取处理得到多个特征属性字段，并根据多个特征属性字段和预设权重集合，确定每个待存储数据的冗余因子；特征属性字段与归属于同一待存储数据的其他特征属性字段之间的互信息小于第一预设阈值、且熵权值大于第二预设阈值；预设权重集合包括与多个属性字段一一对应的多个权重；冗余因子用于表示待存储数据与其他待存储数据的相似度。

11、可选的，该数据存储装置，多个特征属性字段、预设权重集合、待存储数据和冗余因子满足第一公式；第一公式为：

12、

13、其中，firf(t)为多个待存储数据中第t个待存储数据的冗余因子，support(x)为第t个待存储数据的特征属性字段x的支持度，ω(x)为特征属性字段x对应的权重，fiss(d，selected)为多个特征属性字段。

14、可选的，确定单元，具体用于：对每个待存储数据执行第一操作，得到多个特征属性字段；第一操作包括：确定多个属性字段中每两个属性字段的互信息，并删除互信息大于或等于第一预设阈值的两个属性字段中的任意一个属性字段，得到多个候选属性字段；确定每个候选属性字段的熵权值，并将熵权值大于第二预设阈值的候选属性字段，确定为特征属性字段。

15、可选的，获取单元，具体用于：对每个初始数据执行数据规范化操作，得到多个待存储数据；数据规范化操作包括：对初始数据进行分隔处理，得到符合预设数据结构的第一数据；对第一数据中的空值进行填充处理，得到第二数据；对第二数据进行去噪处理，得到待存储数据。

16、可选的，存储单元，具体用于：按照预设规则对冗余因子小于预设阈值的待存储数据进行分类处理，得到至少一个分类结果；预设规则包括：按照产生时间进行分类的规则，或按照产生设备进行分类的规则；按照至少一个分类结果，将冗余因子小于预设阈值的待存储数据分类存储在预设位置。

17、第三方面，提供一种数据存储装置，包括存储器和处理器；存储器用于存储计算机执行指令，处理器与存储器通过总线连接；当数据存储装置运行时，处理器执行存储器存储的计算机执行指令，以使数据存储装置执行第一方面所述的数据存储方法。

18、该数据存储装置可以是网络设备，也可以是网络设备中的一部分装置，例如网络设备中的芯片系统。该芯片系统用于支持网络设备实现第一方面及其任意一种可能的实现方式中所涉及的功能，例如，获取、确定、发送上述数据存储方法中所涉及的数据和/或信息。该芯片系统包括芯片，也可以包括其他分立器件或电路结构。

19、第四方面，提供一种计算机可读存储介质，计算机可读存储介质包括计算机执行指令，当计算机执行指令在计算机上运行时，使得该计算机执行第一方面所述的数据存储价值评估方法。

20、第五方面，还提供一种计算机程序产品，该计算机程序产品包括计算机指令，当计算机指令在数据存储装置上运行时，使得数据存储执行如上述第一方面所述的数据存储。

21、需要说明的是，上述计算机指令可以全部或者部分存储在第一计算机可读存储介质上。其中，第一计算机可读存储介质可以与数据存储装置的处理器封装在一起的，也可以与数据存储装置的处理器单独封装，本技术对此不作限定。

22、本技术中第二方面、第三方面、第四方面以及第五方面的描述，可以参考第一方面的详细描述；并且，第二方面、第三方面、第四方面以及第五方面的有益效果，可以参考第一方面的有益效果分析，此处不再赘述。

23、在本技术中，上述数据存储装置的名字对设备或功能模块本身不构成限定，在实际实现中，这些设备或功能模块可以以其他名称出现。只要各个设备或功能模块的功能和本技术类似，属于本技术权利要求及其等同技术的范围之内。

24、本技术的这些方面或其他方面在以下的描述中会更加简明易懂。

25、本技术提供的技术方案至少带来以下有益效果：

26、基于上述任一方面，本技术提供了一种数据存储方法，获取多个待存储数据后，对每个待存储数据进行提取处理得到多个特征属性字段，然后根据多个特征属性字段和预设权重集合，确定每个待存储数据的冗余因子，并将冗余因子小于预设阈值的待存储数据存储至预设位置。其中，待存储数据包括多个属性字段，特征属性字段与归属于同一待存储数据的其他特征属性字段之间的互信息小于第一预设阈值、且熵权值大于第二预设阈值，预设权重集合包括与多个属性字段一一对应的多个权重，冗余因子用于表示待存储数据与其他待存储数据的相似度。

27、基于此，本技术可以通过多个待存储数据中与归属于同一待存储数据的其他特征属性字段之间的互信息小于第一预设阈值、且熵权值大于第二预设阈值的特征属性字段，即承载有效信息的属性字段，准确地确定待存储数据的冗余因子，以将冗余因子小于预设阈值的待存储数据存储至预设位置，从而达到删减多个待存储数据中冗余数据的效果。相比于直接将待存储数据收集并存储起来的方式，本技术可以对待存储数据进行处理，避免存储过多冗余数据，有效地减少查询时需要处理的数据量。因此，本技术可以用于改善通用技术中数据查询时需要处理的数据量较大的问题，提高了数据查询效率。