数据的处理方法、装置及电子设备与流程

本发明涉及数据处理，尤其是涉及一种数据的处理方法、装置及电子设备。

背景技术：

1、储能系统在运行时，会生成巨量的日志数据，技术工程师可通过对日志数据进行解析，了解储能系统的运行状况。出于安全考虑，储能系统中的设备普遍都不会接入外网，所以日志数据一般由技术工程师定期处理后发回远端进行分析统计，日志数据都处于批量离线的状态。

2、针对日志数据的解析，目前主要的解析方案包括：技术工程师选取预设的候选范式化模板，然后将储能系统的日志数据与该候选范式化模板进行格式匹配，以对日志数据进行解析。然而，在此过程中，如果候选范式化模板与日志数据不匹配，则需要人工对候选范式化模板进行更正或更新处理，最终人工标定出与日志数据匹配的日志模板，进而通过日志模板解析日志数据。而当日志数据每次更新时，都需要人工来重新标定日志模板，导致数据处理过程效率低，无法实现自动化处理，不够智能。并且，解析后的数据未做进一步优化处理，导致数据中存在过多的冗余信息，浪费存储空间，也不利于数据传输。

技术实现思路

1、本发明旨在至少解决现有技术中存在的技术问题之一。

2、为此，本发明的一个目的在于提出一种数据的处理方法，该方法针对巨量日志数据进行大数据分析，并自动匹配合适的目标日志模板文件，无需人工参与和更改日志模板，提高了处理过程的智能性，并且根据数据特性，对日志数据进行过滤、去冗余处理和压缩，使得到的压缩日志文件里不存在过多的冗余信息，利于节省存储空间，提高数据传输效率。

3、为此，本发明的第二个目的在于提出一种数据的处理装置。

4、为此，本发明的第三个目的在于提出一种电子设备。

5、为此，本发明的第四个目的在于提出一种计算机可读存储介质。

6、为了实现上述目的，本发明第一方面实施例提出了一种数据的处理方法，包括以下步骤：根据目标日志模板文件对日志数据进行过滤，得到动态数据部分，对所述动态数据部分创建变量对象；分析所述变量对象是否发生变化；若是，则记录发生变化的变量对象对应的动态数据，否则，记录所述变量对象的基础信息；将记录的动态数据和/或基础信息进行压缩，得到压缩日志文件。

7、根据本发明实施例的数据的处理方法，根据目标日志模板文件对日志数据进行过滤，得到动态数据部分，对动态数据部分创建变量对象，分析变量对象是否发生变化，若是，则记录发生变化的变量对象对应的动态数据，否则，记录变量对象的基础信息，最后将记录的动态数据和/或基础信息进行压缩，得到压缩日志文件。由此，本发明可针对巨量日志数据进行大数据分析，并自动匹配合适的目标日志模板文件，无需人工参与和更改日志模板，提高了处理过程的智能性，并且根据数据特性，对日志数据进行过滤、去冗余处理和压缩，使得到的压缩日志文件里不存在过多的冗余信息，从而利于节省存储空间，同时提高数据传输效率。

8、另外，本发明上述实施例的数据的处理方法，还可以具有如下附加的技术特征：

9、在一些实施例中，在根据目标日志模板文件对日志数据进行过滤之前，还包括：接收所述日志数据，根据所述日志数据的类型选取所述目标日志模板文件。

10、在一些实施例中，根据所述日志数据的类型选取日志模板文件，包括：判断是否存在与所述日志数据的类型匹配的日志模板文件；若是，则将匹配的所述日志模板文件作为所述目标日志模板文件；否则，构建新的日志模板文件，以作为所述目标日志模板文件。

11、在一些实施例中，构建新的日志模板文件，包括：获取所述日志数据中的多个单位数据；对多个所述单位数据进行解析处理，生成规则集；根据所述规则集生成所述新的日志模板文件。

12、在一些实施例中，对多个所述单位数据进行解析处理，包括：对每个所述单位数据进行离散处理，得到数字内容部分和非数字内容部分；分别对所述数字内容部分和非数字内容部分进行统计分析；根据统计分析结果生成对应的规则，所述规则具有唯一标识；根据得到的多个所述单位数据对应的规则生成所述规则集。

13、在一些实施例中，对每个所述单位数据进行离散处理，包括：识别所述单位数据中的数字内容和非数字内容；将所述数字内容和非数字内容进行隔离。

14、在一些实施例中，在将所述数字内容和非数字内容进行隔离之后，还包括：根据预设关键词对隔离后的非数字内容进行词频统计，根据统计结果对所述非数字内容进行排序。

15、在一些实施例中，对所述非数字内容部分进行统计分析，包括：识别所述非数字内容部分中动态变化的内容和不变的内容；将所述所述非数字内容部分中动态变化的内容进行汇总，生成第一宏定义集，并对所述第一宏定义集进行标识；将所述非数字内容部分中不变的内容添加至预设的初始日志模板文件中。

16、在一些实施例中，对所述数字内容部分进行统计分析，包括：识别所述数字内容部分中动态变化的内容和不变的内容；将所述所述数字内容部分中动态变化的内容进行汇总，生成第二宏定义集，并对所述第二宏定义集进行标识；将所述数字内容部分中不变的内容添加至预设的初始日志模板文件中。

17、在一些实施例中，根据所述规则集生成所述新的日志模板文件，包括：将所述规则集转换成预设格式的模板文件，得到所述新的日志模板文件。

18、在一些实施例中，所述单位数据包括所述日志数据中的至少一行数据。

19、在一些实施例中，在判断存在与所述日志数据的类型匹配的日志模板文件之后，还包括：根据所述日志模板文件对所述日志数据进行解析；若日志数据中存在不能解析的数据部分，则根据所述不能解析的数据部分生成新的规则集；根据所述新的规则集对所述日志模板文件进行更新，并将更新后的日志模板文件作为所述目标日志模板文件。

20、在一些实施例中，所述日志数据的类型与所述目标日志模板文件之间具有对应关系，所述对应关系为预先标定得到。

21、在一些实施例中，对所述动态数据部分创建变量对象，包括：对所述动态数据部分的数据分别创建变量对象，并将各数据与变量对象进行一一对应映射。

22、在一些实施例中，对所述动态数据部分的数据分别创建变量对象，包括：将所述动态数据部分的数据对应的内容作为对应的所述变量对象。

23、在一些实施例中，目标日志模板文件还包括多个时间区间，所述方法还包括：记录每条规则生成的时间。

24、在一些实施例中，所述基础信息包括：所述变量对象对应的数据所在规则的标识和生成时间。

25、在一些实施例中，通过哈夫曼算法对记录的动态数据和/或基础信息进行压缩，得到所述压缩日志文件。

26、在一些实施例中，在得到压缩日志文件数据之后，还包括：存储所述压缩日志文件并标识所述压缩日志文件中的目标日志模板文件。

27、在一些实施例中，在得到压缩日志文件数据之后，还包括：将所述压缩日志文件传输至数据还原装置；所述数据还原装置根据所述目标日志模板文件对所述压缩日志文件进行解压和还原处理，输出所述日志数据。

28、在一些实施例中，在所述数据还原装置根据所述目标日志模板文件对所述压缩日志文件进行解压和还原处理之前，还包括：将选取的所述目标日志模板文件同步发送至数据还原装置。

29、在一些实施例中，在输出所述日志数据之后，还包括：根据设定筛选条件从所述日志数据中查找目标数据。

30、在一些实施例中，所述设定筛选条件包括：设定内容、设定标识、设定关键词、设定时间段、设定时间点、设定宏定义信息中的至少一个。

31、为了实现上述目的，本发明第二方面实施例提出了一种数据的处理装置，包括：过滤模块，用于根据所述目标日志模板文件对所述日志数据进行过滤，得到动态数据部分，对所述动态数据部分创建变量对象；分析模块，用于分析所述变量对象是否发生变化；记录模块，用于当所述变量对象发生变化时，记录发生变化的变量对象对应的动态数据，以及当所述变量对象是未发生变化时，记录所述变量对象的基础信息；压缩模块，用于将记录的动态数据和/或基础信息进行压缩，得到压缩日志文件。

32、根据本发明实施例的数据的处理装置，根据目标日志模板文件对日志数据进行过滤，得到动态数据部分，对动态数据部分创建变量对象，分析变量对象是否发生变化，若是，则记录发生变化的变量对象对应的动态数据，否则，记录变量对象的基础信息，最后将记录的动态数据和/或基础信息进行压缩，得到压缩日志文件。由此，本发明可针对巨量日志数据进行大数据分析，并自动匹配合适的目标日志模板文件，无需人工参与和更改日志模板，提高了处理过程的智能性，并且根据数据特性，对日志数据进行过滤、去冗余处理和压缩，使得到的压缩日志文件里不存在过多的冗余信息，从而利于节省存储空间，同时提高数据传输效率。

33、为了实现上述目的，本发明第三方面实施例提出了一种电子设备，该电子设备包括如本发明上述第二方面实施例所述的数据的处理装置；或者，该电子设备包括：处理器、存储器、存储在所述存储器上并可在所述处理器上运行的数据的处理程序，所述数据的处理程序被所述处理器执行时实现如本发明上述第一方面实施例所述的数据的处理方法。

34、根据本发明实施例的电子设备，根据目标日志模板文件对日志数据进行过滤，得到动态数据部分，对动态数据部分创建变量对象，分析变量对象是否发生变化，若是，则记录发生变化的变量对象对应的动态数据，否则，记录变量对象的基础信息，最后将记录的动态数据和/或基础信息进行压缩，得到压缩日志文件。由此，本发明可针对巨量日志数据进行大数据分析，并自动匹配合适的目标日志模板文件，无需人工参与和更改日志模板，提高了处理过程的智能性，并且根据数据特性，对日志数据进行过滤、去冗余处理和压缩，使得到的压缩日志文件里不存在过多的冗余信息，从而利于节省存储空间，同时提高数据传输效率。

35、为了实现上述目的，本发明第四方面实施例提出了一种计算机可读存储介质，所述计算机可读存储介质上存储有数据的处理程序，所述数据的处理程序被处理器执行时实现如本发明上述第一方面实施例所述数据的处理方法。

36、根据本发明实施例的计算机可读存储介质，其上存储的数据的处理程序被处理器执行时，可根据目标日志模板文件对日志数据进行过滤，得到动态数据部分，对动态数据部分创建变量对象，分析变量对象是否发生变化，若是，则记录发生变化的变量对象对应的动态数据，否则，记录变量对象的基础信息，最后将记录的动态数据和/或基础信息进行汇总并压缩，得到压缩日志文件。由此，本发明可针对巨量日志数据进行大数据分析，并自动匹配合适的目标日志模板文件，无需人工参与和更改日志模板，提高了处理过程的智能性，并且根据数据特性，对日志数据进行过滤、去冗余处理和压缩，使得到的压缩日志文件里不存在过多的冗余信息，从而利于节省存储空间，同时提高数据传输效率。

37、本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。