日志数据处理方法及装置与流程

1.本技术涉及数据处理领域，也可用于金融领域，具体涉及一种日志数据处理方法及装置。


背景技术：

2.在软件系统开发及测试过程中，需要对系统性能及功能进行测试。针对不同场景、不同协议类型的应用服务器，当功能发生变化时，需要人工编写大量测试脚本或压力测试脚本，人力耗费较大且难以全面覆盖实际运行过程中所涉及的场景，在运行效率、可靠性、可扩展性等方面存在不足。
3.具体来说，人工编写的脚本，存在对系统现有功能分支判断不足的风险，对覆盖范围及的覆盖的准确性会造成一定程度的缺失。每个开发或测试人员自行编写的脚本，无法在企业层面对资产进行统一的管理，在资产复用上存在不足。当投入实际生产运行时，由于和开发、测试环境的差异，无法确保模拟的报文能够最大程度的模拟生产实际运行的情况。


技术实现要素：

4.针对现有技术中的问题，本技术提供一种日志数据处理方法及装置，能够准确、便捷得对日志数据进行分类并发送至待测系统进行系统测试，提高了测试效率和准确率。
5.为了解决上述问题中的至少一个，本技术提供以下技术方案：
6.第一方面，本技术提供一种日志数据处理方法，包括：
7.从设定数据湖中获取日志数据，对所述日志数据进行数据解析和数据清洗，得到经过数据解析和数据清洗后的日志数据，其中，所述数据湖中存储有被测系统生产运行时的日志数据；
8.根据所述日志数据的字符串相似度对所述日志数据进行分类，根据所述日志数据的不同类别确定对应的数据传输方式并发送至待测系统进行系统测试。
9.进一步地，所述从设定数据湖中获取日志数据，包括：
10.按照设定时间周期分批次从设定数据湖中获取日志数据并持久化存储至本地内存中，其中，所述数据湖通过分布式文件系统存储被测系统生产运行时的日志数据。
11.进一步地，所述对所述日志数据进行数据解析和数据清洗，得到经过数据解析和数据清洗后的日志数据，包括：
12.按照设定数据解析格式对所述日志数据进行解析，得到标准格式的日志数据；
13.分批获取标准格式的日志数据至数据清洗队列，按照设定数据清洗规则对所述数据清洗队列中的日志数据进行清洗过滤，得到经过数据解析和数据清洗后的日志数据。
14.进一步地，所述根据所述日志数据的字符串相似度对所述日志数据进行分类，包括：
15.根据两日志数据中设定长度字符串的字符长度、相同字符数、重叠字符数、重叠率以及匹配率，确定两日志数据之间的字符串相似度；
16.将字符串相似度大于阈值的日志数据归于同一类别。
17.进一步地，在所述根据两日志数据中设定长度字符串的字符长度、相同字符数、重叠字符数、重叠率以及匹配率，确定两日志数据之间的字符串相似度之前，包括：
18.根据两日志数据中设定长度字符串的字符长度和重叠字符数，确定重叠率；
19.根据两日志数据中设定长度字符串的字符长度和相同字符数，确定匹配率。
20.进一步地，所述根据所述日志数据的不同类别确定对应的数据传输方式并发送至待测系统进行系统测试，包括：
21.据所述日志数据的不同类别确定对应的传输协议、传输服务器以及线程发送方式；
22.根据所述传输协议、传输服务器以及线程发送方式将所述日志数据分发至待测系统进行系统测试。
23.第二方面，本技术提供一种日志数据处理装置，包括：
24.日志预处理模块，用于从设定数据湖中获取日志数据，对所述日志数据进行数据解析和数据清洗，得到经过数据解析和数据清洗后的日志数据，其中，所述数据湖中存储有被测系统生产运行时的日志数据；
25.日志分类分发模块，用于根据所述日志数据的字符串相似度对所述日志数据进行分类，根据所述日志数据的不同类别确定对应的数据传输方式并发送至待测系统进行系统测试。
26.进一步地，所述日志预处理模块包括：
27.持久化存储单元，用于按照设定时间周期分批次从设定数据湖中获取日志数据并持久化存储至本地内存中，其中，所述数据湖通过分布式文件系统存储被测系统生产运行时的日志数据。
28.进一步地，所述日志预处理模块还包括：
29.日志解析单元，用于按照设定数据解析格式对所述日志数据进行解析，得到标准格式的日志数据；
30.日志清洗单元，用于分批获取标准格式的日志数据至数据清洗队列，按照设定数据清洗规则对所述数据清洗队列中的日志数据进行清洗过滤，得到经过数据解析和数据清洗后的日志数据。
31.进一步地，所述日志分类分发模块包括：
32.相似度计算单元，用于根据两日志数据中设定长度字符串的字符长度、相同字符数、重叠字符数、重叠率以及匹配率，确定两日志数据之间的字符串相似度；
33.日志分类单元，用于将字符串相似度大于阈值的日志数据归于同一类别。
34.进一步地，所述日志分类分发模块还包括：
35.重叠率确定单元，用于根据两日志数据中设定长度字符串的字符长度和重叠字符数，确定重叠率；
36.匹配率确定单元，用于根据两日志数据中设定长度字符串的字符长度和相同字符数，确定匹配率。
37.进一步地，所述日志分类分发模块还包括：
38.传输确定单元，用于根据所述日志数据的不同类别确定对应的传输协议、传输服
务器以及线程发送方式；
39.日志分发单元，用于根据所述传输协议、传输服务器以及线程发送方式将所述日志数据分发至待测系统进行系统测试。
40.第三方面，本技术提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的日志数据处理方法的步骤。
41.第四方面，本技术提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的日志数据处理方法的步骤。
42.第五方面，本技术提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现所述的日志数据处理方法的步骤。
43.由上述技术方案可知，本技术提供一种日志数据处理方法及装置，通过从设定数据湖中获取日志数据，对所述日志数据进行数据解析和数据清洗，然后根据所述日志数据的字符串相似度对所述日志数据进行分类，根据所述日志数据的不同类别确定对应的数据传输方式并发送至待测系统进行系统测试，由此能够准确、便捷得对日志数据进行分类并发送至待测系统进行系统测试，提高了测试效率和准确率。
附图说明
44.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
45.图1为本技术实施例中的日志数据处理方法的流程示意图之一；
46.图2为本技术实施例中的日志数据处理方法的流程示意图之二；
47.图3为本技术实施例中的日志数据处理方法的流程示意图之三；
48.图4为本技术实施例中的日志数据处理方法的流程示意图之四；
49.图5为本技术实施例中的日志数据处理方法的流程示意图之五；
50.图6为本技术实施例中的日志数据处理装置的结构图之一；
51.图7为本技术实施例中的日志数据处理装置的结构图之二；
52.图8为本技术实施例中的日志数据处理装置的结构图之三；
53.图9为本技术实施例中的日志数据处理装置的结构图之四；
54.图10为本技术实施例中的日志数据处理装置的结构图之五；
55.图11为本技术实施例中的日志数据处理装置的结构图之六；
56.图12为本技术一具体实施例中的日志数据处理流程的示意图；
57.图13为本技术实施例中的电子设备的结构示意图。
具体实施方式
58.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员
在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
59.本技术技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
60.考虑到现有技术中人工编写的脚本存在对系统现有功能分支判断不足的风险，对覆盖范围及的覆盖的准确性会造成一定程度的缺失。每个开发或测试人员自行编写的脚本，无法在企业层面对资产进行统一的管理，在资产复用上存在不足的问题，本技术提供一种日志数据处理方法及装置，通过从设定数据湖中获取日志数据，对所述日志数据进行数据解析和数据清洗，然后根据所述日志数据的字符串相似度对所述日志数据进行分类，根据所述日志数据的不同类别确定对应的数据传输方式并发送至待测系统进行系统测试，由此能够准确、便捷得对日志数据进行分类并发送至待测系统进行系统测试，提高了测试效率和准确率。
61.为了能够准确、便捷得对日志数据进行分类并发送至待测系统进行系统测试，提高了测试效率和准确率，本技术提供一种日志数据处理方法的实施例，参见图1，所述日志数据处理方法具体包含有如下内容：
62.步骤s101：从设定数据湖中获取日志数据，对所述日志数据进行数据解析和数据清洗，得到经过数据解析和数据清洗后的日志数据，其中，所述数据湖中存储有被测系统生产运行时的日志数据。
63.可选的，本技术可以按照设定时间周期分批次从设定数据湖中获取日志数据并持久化存储至本地内存中，其中，所述数据湖通过分布式文件系统存储被测系统生产运行时的日志数据，将日志数据持久化存储至本地内存中可以加速日志访问的时效。
64.可选的，本技术从大数据湖中读取日志数据后可以按一定的格式进行解析、清洗操作。
65.可选的，本技术可以通过客户端与大数据湖连接，分批从数据湖拉取日志文件，将拉取的日志持久化存储在解析装置内，以内存形式读写，便于后续分析以及快速访问，然后采用json解析的方式，将日志中的报文头、报文体，按标准格式进行解析。
66.可选的，本技术还可以将解析好的结构化日志数据进行一定规则的清洗过滤，例如从数据持久化单元中分批读取结构化的日志数据并加入清洗队列中，通过预设日志格式对日志进行解析，按用户预设的解析规则，将不符合规则正则表达式的日志进行过滤，保留有效日志信息。
67.步骤s102：根据所述日志数据的字符串相似度对所述日志数据进行分类，根据所述日志数据的不同类别确定对应的数据传输方式并发送至待测系统进行系统测试。
68.可选的，本技术可以通过对具体日志的字符串的相似度进行归类，例如：
69.设置类别数组，以类别-日志内容-日志出现的所有时间维度进行存储，并初始化字符串相似度阈值，相似度超过阈值的字符串即为一类。为避免频繁异常日志对我们训练产生的影响，本技术引入归类的时间间隔参数，即在一个时间间隔内的相似日志仅仅记录一次时间。
70.对于某一种类别，对于每一行的具体日志本技术去和该类别的最终类别数组的每一行的具体日志做相似度比较：如果和最终类别里的某行具体日志的字符串的相似度超过了阈值，则这两个字符串即归为一类，仅仅把这个要分析的具体日志的时间点存入该类别，
停止该行日志的分析。如果和最终类别里的任何一行具体日志的字符串的相似度都低于阈值。则发现了一个新的类别。在最终类别里加入一行记录。并把该日志的时间间隔对应的点作为该类别的时间数组的第一条时间记录。
71.可选的，在判断字符串相似度时，本技术可以采用矩阵相似度的对比方法，即给定两个长度相等的字符串，在移动的过程中比较，例如下表1：
72.表1字符对比表
73.abcddacbcb
ꢀꢀꢀꢀ
aadaccbddc
74.n：字符串的长度，此时为10；
75.m：相同的字符，此时为3，包括d、a、c；
76.r：两个字符串重叠部分，此时为8；
77.本技术定义重复率、匹配率的具体公式如下：
78.重叠率：l＝r/n。
79.匹配率：m＝m/n。
80.相似度：q＝m^2
×
l＝(m^2/n^2)
×
(r/n)。
81.然后，在将海量日志按相似度归集之后纳入不同的归类中。
82.从上述描述可知，本技术实施例提供的日志数据处理方法，能够通过从设定数据湖中获取日志数据，对所述日志数据进行数据解析和数据清洗，然后根据所述日志数据的字符串相似度对所述日志数据进行分类，根据所述日志数据的不同类别确定对应的数据传输方式并发送至待测系统进行系统测试，由此能够准确、便捷得对日志数据进行分类并发送至待测系统进行系统测试，提高了测试效率和准确率。
83.为了能够可靠存储日志数据并高效获取，在本技术的日志数据处理方法的一实施例中，上述步骤s101还可以具体包含如下内容：
84.按照设定时间周期分批次从设定数据湖中获取日志数据并持久化存储至本地内存中，其中，所述数据湖通过分布式文件系统存储被测系统生产运行时的日志数据。
85.可选的，本技术可以按照设定时间周期分批次从设定数据湖中获取日志数据并持久化存储至本地内存中，其中，所述数据湖通过分布式文件系统存储被测系统生产运行时的日志数据，将日志数据持久化存储至本地内存中可以加速日志访问的时效。
86.为了能够对获取到的日志数据进行预先处理，在本技术的日志数据处理方法的一实施例中，参见图2，上述步骤s101还可以具体包含如下内容：
87.步骤s201：按照设定数据解析格式对所述日志数据进行解析，得到标准格式的日志数据。
88.步骤s202：分批获取标准格式的日志数据至数据清洗队列，按照设定数据清洗规则对所述数据清洗队列中的日志数据进行清洗过滤，得到经过数据解析和数据清洗后的日志数据。
89.可选的，本技术可以通过客户端与大数据湖连接，分批从数据湖拉取日志文件，将拉取的日志持久化存储在解析装置内，以内存形式读写，便于后续分析以及快速访问，然后采用json解析的方式，将日志中的报文头、报文体，按标准格式进行解析。
90.可选的，本技术还可以将解析好的结构化日志数据进行一定规则的清洗过滤，例
如从数据持久化单元中分批读取结构化的日志数据并加入清洗队列中，通过预设日志格式对日志进行解析，按用户预设的解析规则，将不符合规则正则表达式的日志进行过滤，保留有效日志信息。
91.为了能够准确对日志数据进行分类，在本技术的日志数据处理方法的一实施例中，参见图3，上述步骤s102还可以具体包含如下内容：
92.步骤s301：根据两日志数据中设定长度字符串的字符长度、相同字符数、重叠字符数、重叠率以及匹配率，确定两日志数据之间的字符串相似度。
93.步骤s302：将字符串相似度大于阈值的日志数据归于同一类别。
94.为了能够准确计算重叠率和匹配率，在本技术的日志数据处理方法的一实施例中，参见图4，还可以具体包含如下内容：
95.步骤s401：根据两日志数据中设定长度字符串的字符长度和重叠字符数，确定重叠率。
96.步骤s402：根据两日志数据中设定长度字符串的字符长度和相同字符数，确定匹配率。
97.可选的，在判断字符串相似度时，本技术可以采用矩阵相似度的对比方法，即给定两个长度相等的字符串，在移动的过程中比较，例如下表1：
98.表1字符对比表
99.abcddacbcb
ꢀꢀꢀꢀ
aadaccbddc
100.n：字符串的长度，此时为10；
101.m：相同的字符，此时为3，包括d、a、c；
102.r：两个字符串重叠部分，此时为8；
103.本技术定义重复率、匹配率的具体公式如下：
104.重叠率：l＝r/n。
105.匹配率：m＝m/n。
106.相似度：q＝m^2
×
l＝(m^2/n^2)
×
(r/n)。
107.然后，在将海量日志按相似度归集之后纳入不同的归类中。
108.为了能够准确对日志数据进行分发，在本技术的日志数据处理方法的一实施例中，参见图5，上述步骤s102还可以具体包含如下内容：
109.步骤s501：根据所述日志数据的不同类别确定对应的传输协议、传输服务器以及线程发送方式。
110.步骤s502：根据所述传输协议、传输服务器以及线程发送方式将所述日志数据分发至待测系统进行系统测试。
111.可选的，本技术可以将归类的日志通过多个服务器、多个并发对日志进行分发，例如，首先将归类好的日志进行接收，并纳入分发队列，通过用户维护的日志模板，对日志和对应协议之间进行关联匹配，匹配后的日志将分发到指定的日志分发节点，然后，采用线程并发的方式，模拟真实的访问请求，向目标待测系统发送。
112.为了能够准确、便捷得对日志数据进行分类并发送至待测系统进行系统测试，提高了测试效率和准确率，本技术提供一种用于实现所述日志数据处理方法的全部或部分内
容的日志数据处理装置的实施例，参见图6，所述日志数据处理装置具体包含有如下内容：
113.日志预处理模块10，用于从设定数据湖中获取日志数据，对所述日志数据进行数据解析和数据清洗，得到经过数据解析和数据清洗后的日志数据，其中，所述数据湖中存储有被测系统生产运行时的日志数据。
114.日志分类分发模块20，用于根据所述日志数据的字符串相似度对所述日志数据进行分类，根据所述日志数据的不同类别确定对应的数据传输方式并发送至待测系统进行系统测试。
115.从上述描述可知，本技术实施例提供的日志数据处理装置，能够通过从设定数据湖中获取日志数据，对所述日志数据进行数据解析和数据清洗，然后根据所述日志数据的字符串相似度对所述日志数据进行分类，根据所述日志数据的不同类别确定对应的数据传输方式并发送至待测系统进行系统测试，由此能够准确、便捷得对日志数据进行分类并发送至待测系统进行系统测试，提高了测试效率和准确率。
116.为了能够可靠存储日志数据并高效获取，在本技术的日志数据处理装置的一实施例中，参见图7，所述日志预处理模块10包括：
117.持久化存储单元11，用于按照设定时间周期分批次从设定数据湖中获取日志数据并持久化存储至本地内存中，其中，所述数据湖通过分布式文件系统存储被测系统生产运行时的日志数据。
118.为了能够对获取到的日志数据进行预先处理，在本技术的日志数据处理装置的一实施例中，参见图8，所述日志预处理模块10还包括：
119.日志解析单元12，用于按照设定数据解析格式对所述日志数据进行解析，得到标准格式的日志数据。
120.日志清洗单元13，用于分批获取标准格式的日志数据至数据清洗队列，按照设定数据清洗规则对所述数据清洗队列中的日志数据进行清洗过滤，得到经过数据解析和数据清洗后的日志数据。
121.为了能够准确对日志数据进行分类，在本技术的日志数据处理装置的一实施例中，参见图9，所述日志分类分发模块20包括：
122.相似度计算单元21，用于根据两日志数据中设定长度字符串的字符长度、相同字符数、重叠字符数、重叠率以及匹配率，确定两日志数据之间的字符串相似度。
123.日志分类单元22，用于将字符串相似度大于阈值的日志数据归于同一类别。
124.为了能够准确计算重叠率和匹配率，在本技术的日志数据处理装置的一实施例中，参见图10，所述日志分类分发模块20还包括：
125.重叠率确定单元23，用于根据两日志数据中设定长度字符串的字符长度和重叠字符数，确定重叠率。
126.匹配率确定单元24，用于根据两日志数据中设定长度字符串的字符长度和相同字符数，确定匹配率。
127.为了能够准确对日志数据进行分发，在本技术的日志数据处理装置的一实施例中，参见图11，所述日志分类分发模块20还包括：
128.传输确定单元25，用于根据所述日志数据的不同类别确定对应的传输协议、传输服务器以及线程发送方式。
129.日志分发单元26，用于根据所述传输协议、传输服务器以及线程发送方式将所述日志数据分发至待测系统进行系统测试。
130.为了更进一步说明本方案，本技术还提供一种应用上述日志数据处理装置实现日志数据处理方法的具体应用实例，参见图12，具体包含有如下内容：
131.大数据存储装置1用于存储生产上实际运行发生的结构化日志信息，数据存储单元以hdfs文件形式存储海量日志，并通过元数据管理单元对日志存储情况进行统计并缓存，用以加速日志访问的时效，数据缓存单元将常用的检索信息缓存，为本装置日志访问时提供高效的访问效率。
132.数据解析装置2用途为从大数据湖中读取数据，并按一定的格式进行解析、清洗。其中数据拉取单元部署在解析装置内，通过客户端与大数据湖连接，分批从数据湖拉取日志文件，数据持久化单元将拉取的日志持久化存储在解析装置内，以内存形式读写，便于后续分析以及快速访问，格式解析单元采用json解析的方式，将日志中的报文头、报文体，按标准格式进行解析。
133.日志清洗装置3用于将解析好的结构化日志，进行一定规则的清洗过滤，其中日志读取单元负责从数据持久化单元中分批读取结构化的日志数据，并加入清洗队列中，解析规则管理单元负责管理日志解析的规则，用户可通过预设日志格式对日志进行解析，清洗执行单元负责按用户预设的解析规则，将不符合规则正则表达式的日志进行过滤，保留有效日志信息。
134.日志分类单元4负责对于从大数据存储装置中读取出的每一行日志，我们通过对具体日志的字符串的相似度进行归类，文本提取单元负责将清洗后的日志进行读取，并传输给相似度匹配单元，算法如下：
135.设置类别数组，以类别-日志内容-日志出现的所有时间维度进行存储，并初始化字符串相似度阈值，相似度超过阈值的字符串即为一类。为避免频繁异常日志对我们训练产生的影响，我们引入归类的时间间隔参数，即在一个时间间隔内的相似日志仅仅记录一次时间。
136.对于某一种类别，对于每一行的具体日志我们去和该类别的最终类别数组的每一行的具体日志做相似度比较：如果和最终类别里的某行具体日志的字符串的相似度超过了阈值，则这两个字符串即归为一类，仅仅把这个要分析的具体日志的时间点存入该类别，停止该行日志的分析。如果和最终类别里的任何一行具体日志的字符串的相似度都低于阈值。则我们发现了一个新的类别。在最终类别里加入一行记录。并把该日志的时间间隔对应的点作为该类别的时间数组的第一条时间记录。
137.在判断相似度时，我们采用矩阵相似度的对比方法，即给定两个长度相等的字符串，在移动的过程中比较：
138.n：字符串的长度，此时为10；
139.m：相同的字符，此时为3，包括d、a、c；
140.r：两个字符串重叠部分，此时为8；
141.我们定义重复率、匹配率等如下：
142.重叠率：l＝r/n。
143.匹配率：m＝m/n。
144.相似度：q＝m^2
×
l＝(m^2/n^2)
×
(r/n)。
145.日志分类单元4负责在将海量日志按相似度归集之后，纳入不同的归类中。
146.自动分发装置5和自动分发装置6负责将归类的日志，通过多个服务器、多个并发对日志进行分发，日志接收单元将归类好的日志进行接收，并纳入分发队列，协议拼接单元则通过用户维护的日志模板，对日志和对应协议之间进行关联匹配，匹配后的日志将分发到指定的日志分发节点，模拟请求单元则采用线程并发的方式，模拟真实的访问请求，向目标系统发送。
147.由上述内容可知，本技术不需要人工对数据进行分类标注，帮助系统对海量日志信息进行回放测试，覆盖面全且仿真程度高。本技术还可在系统开发测试过程中使用，由机器人自动完成日志分拣及回放，极大程度的保障了软件安全，减少异常交易带来的潜在损失。
148.从硬件层面来说，为了能够准确、便捷得对日志数据进行分类并发送至待测系统进行系统测试，提高了测试效率和准确率，本技术提供一种用于实现所述日志数据处理方法中的全部或部分内容的电子设备的实施例，所述电子设备具体包含有如下内容：
149.处理器(processor)、存储器(memory)、通信接口(communications interface)和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述通信接口用于实现日志数据处理装置与核心业务系统、用户终端以及相关数据库等相关设备之间的信息传输；该逻辑控制器可以是台式计算机、平板电脑及移动终端等，本实施例不限于此。在本实施例中，该逻辑控制器可以参照实施例中的日志数据处理方法的实施例，以及日志数据处理装置的实施例进行实施，其内容被合并于此，重复之处不再赘述。
150.可以理解的是，所述用户终端可以包括智能手机、平板电子设备、网络机顶盒、便携式计算机、台式电脑、个人数字助理(pda)、车载设备、智能穿戴设备等。其中，所述智能穿戴设备可以包括智能眼镜、智能手表、智能手环等。
151.在实际应用中，日志数据处理方法的部分可以在如上述内容所述的电子设备侧执行，也可以所有的操作都在所述客户端设备中完成。具体可以根据所述客户端设备的处理能力，以及用户使用场景的限制等进行选择。本技术对此不作限定。若所有的操作都在所述客户端设备中完成，所述客户端设备还可以包括处理器。
152.上述的客户端设备可以具有通信模块(即通信单元)，可以与远程的服务器进行通信连接，实现与所述服务器的数据传输。所述服务器可以包括任务调度中心一侧的服务器，其他的实施场景中也可以包括中间平台的服务器，例如与任务调度中心服务器有通信链接的第三方服务器平台的服务器。所述的服务器可以包括单台计算机设备，也可以包括多个服务器组成的服务器集群，或者分布式装置的服务器结构。
153.图13为本技术实施例的电子设备9600的系统构成的示意框图。如图13所示，该电子设备9600可以包括中央处理器9100和存储器9140；存储器9140耦合到中央处理器9100。值得注意的是，该图13是示例性的；还可以使用其他类型的结构，来补充或代替该结构，以实现电信功能或其他功能。
154.一实施例中，日志数据处理方法功能可以被集成到中央处理器9100中。其中，中央处理器9100可以被配置为进行如下控制：
155.步骤s101：从设定数据湖中获取日志数据，对所述日志数据进行数据解析和数据
清洗，得到经过数据解析和数据清洗后的日志数据，其中，所述数据湖中存储有被测系统生产运行时的日志数据。
156.步骤s102：根据所述日志数据的字符串相似度对所述日志数据进行分类，根据所述日志数据的不同类别确定对应的数据传输方式并发送至待测系统进行系统测试。
157.从上述描述可知，本技术实施例提供的电子设备，通过从设定数据湖中获取日志数据，对所述日志数据进行数据解析和数据清洗，然后根据所述日志数据的字符串相似度对所述日志数据进行分类，根据所述日志数据的不同类别确定对应的数据传输方式并发送至待测系统进行系统测试，由此能够准确、便捷得对日志数据进行分类并发送至待测系统进行系统测试，提高了测试效率和准确率。
158.在另一个实施方式中，日志数据处理装置可以与中央处理器9100分开配置，例如可以将日志数据处理装置配置为与中央处理器9100连接的芯片，通过中央处理器的控制来实现日志数据处理方法功能。
159.如图13所示，该电子设备9600还可以包括：通信模块9110、输入单元9120、音频处理器9130、显示器9160、电源9170。值得注意的是，电子设备9600也并不是必须要包括图13中所示的所有部件；此外，电子设备9600还可以包括图13中没有示出的部件，可以参考现有技术。
160.如图13所示，中央处理器9100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器9100接收输入并控制电子设备9600的各个部件的操作。
161.其中，存储器9140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器9100可执行该存储器9140存储的该程序，以实现信息存储或处理等。
162.输入单元9120向中央处理器9100提供输入。该输入单元9120例如为按键或触摸输入装置。电源9170用于向电子设备9600提供电力。显示器9160用于进行图像和文字等显示对象的显示。该显示器例如可为lcd显示器，但并不限于此。
163.该存储器9140可以是固态存储器，例如，只读存储器(rom)、随机存取存储器(ram)、sim卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为eprom等。存储器9140还可以是某种其它类型的装置。存储器9140包括缓冲存储器9141(有时被称为缓冲器)。存储器9140可以包括应用/功能存储部9142，该应用/功能存储部9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备9600的操作的流程。
164.存储器9140还可以包括数据存储部9143，该数据存储部9143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器9140的驱动程序存储部9144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
165.通信模块9110即为经由天线9111发送和接收信号的发送机/接收机9110。通信模块(发送机/接收机)9110耦合到中央处理器9100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。
166.基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块9110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)9110还经由音频处理器9130耦合到扬声器9131和麦克风9132，以经由扬声器9131提供音频输出，并接收来自麦克风9132的音频输入，从而实现通常的电信功能。音频处理器9130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器9130还耦合到中央处理器9100，从而使得可以通过麦克风9132能够在本机上录音，且使得可以通过扬声器9131来播放本机上存储的声音。
167.本技术的实施例还提供能够实现上述实施例中的执行主体为服务器或客户端的日志数据处理方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的执行主体为服务器或客户端的日志数据处理方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：
168.步骤s101：从设定数据湖中获取日志数据，对所述日志数据进行数据解析和数据清洗，得到经过数据解析和数据清洗后的日志数据，其中，所述数据湖中存储有被测系统生产运行时的日志数据。
169.步骤s102：根据所述日志数据的字符串相似度对所述日志数据进行分类，根据所述日志数据的不同类别确定对应的数据传输方式并发送至待测系统进行系统测试。
170.从上述描述可知，本技术实施例提供的计算机可读存储介质，通过从设定数据湖中获取日志数据，对所述日志数据进行数据解析和数据清洗，然后根据所述日志数据的字符串相似度对所述日志数据进行分类，根据所述日志数据的不同类别确定对应的数据传输方式并发送至待测系统进行系统测试，由此能够准确、便捷得对日志数据进行分类并发送至待测系统进行系统测试，提高了测试效率和准确率。
171.本技术的实施例还提供能够实现上述实施例中的执行主体为服务器或客户端的日志数据处理方法中全部步骤的一种计算机程序产品，该计算机程序/指令被处理器执行时实现所述的日志数据处理方法的步骤，例如，所述计算机程序/指令实现下述步骤：
172.步骤s101：从设定数据湖中获取日志数据，对所述日志数据进行数据解析和数据清洗，得到经过数据解析和数据清洗后的日志数据，其中，所述数据湖中存储有被测系统生产运行时的日志数据。
173.步骤s102：根据所述日志数据的字符串相似度对所述日志数据进行分类，根据所述日志数据的不同类别确定对应的数据传输方式并发送至待测系统进行系统测试。
174.从上述描述可知，本技术实施例提供的计算机程序产品，通过从设定数据湖中获取日志数据，对所述日志数据进行数据解析和数据清洗，然后根据所述日志数据的字符串相似度对所述日志数据进行分类，根据所述日志数据的不同类别确定对应的数据传输方式并发送至待测系统进行系统测试，由此能够准确、便捷得对日志数据进行分类并发送至待测系统进行系统测试，提高了测试效率和准确率。
175.本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产
品的形式。
176.本发明是参照根据本发明实施例的方法、设备(装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
177.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
178.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
179.本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。