一种多台探针节点上XDR数据质量统计系统的制作方法

本发明涉及数据质量分析领域，具体涉及一种多台探针节点上xdr数据质量统计系统。

背景技术：

1、探针节点xdr是一个涉及网络安全领域的概念，它结合了多个安全技术和组件，以实现对网络威胁的快速检测、关联分析和响应；

2、在xdr架构中，探针节点扮演着至关重要的角色。它们通常部署在网络的关键位置，用于捕获和收集网络流量、系统日志、应用数据等关键信息。这些信息随后被传输到xdr平台进行分析和关联，以识别潜在的网络威胁；

3、在进行探针节点上xdr数据质量统计分析过程中，即会使用到数据质量统计系统；

4、现有的数据质量统计系统，实际使用过程中，多只进行了数据质量统计分析，没有考虑探针节点的异常对数据质量统计分析的影响，给数据质量统计系统的使用带来了一定的影响，因此，提出一种多台探针节点上xdr数据质量统计系统。

技术实现思路

1、本发明所要解决的技术问题在于：如何解决现有的数据质量统计系统，实际使用过程中，多只进行了数据质量统计分析，没有考虑探针节点的异常对数据质量统计分析的影响，给数据质量统计系统的使用带来了一定的影响的问题，提供了一种多台探针节点上xdr数据质量统计系统。

2、本发明是通过以下技术方案解决上述技术问题的，本发明包括探针节点数据采集模块、探针节点状态采集模块、探针节点评测模块、数据处理模块与信息发送模块；

3、所述探针节点数据采集模块用于采集探针节点监测获取到的数据信息；

4、所述探针节点状态采集模块用于采集探针节点状态；

5、所述探针节点评测模块用于采集对设置探针节点后，进行探针节点的评测，获取到探针节点评测信息；

6、所述数据处理模块用于对探针节点监测获取到的数据信息进行处理，获取到数据质量评估信息；

7、对探针节点状态进行处理，获取到探针节点设置管控信息；

8、对探针节点评测信息进行处理，获取探针节点管控信息；

9、所述信息发送模块用于将数据质量评估信息、探针节点设置管控信息与探针节点管控信息发送到预设接收终端。

10、进一步在于，所述数据质量评估信息包括第一质量评估、第二质量评估与第三质量评估，所述数据质量评估信息的获取过程如下：

11、提取出采集到的探针节点监测获取到的数据信息，对探针节点监测获取到的数据信息进行预处理，获取到预处理后的探针节点采集的数据；

12、对预处理后的探针节点采集的数据进行质量分析，获取到第一评分、第二评分与第三评分；

13、对第一评分、第二评分与第三评分进行处理获取到综合评估，当综合评分大于预设值a1，即生成第一质量评估，当综合评分在预设值a1到a2之间时，即生成第二质量评估，综合评分小于预设值a1，即生成第三质量评估。

14、进一步在于，所述对探针节点监测获取到的数据信息进行预处理具体内容如下：

15、进行数据清洗，对采集到的原始数据进行清洗，去除重复、无效或异常的数据，检查数据的完整性和一致性，之后进行数据格式统一，将来自不同探针节点的数据格式进行统一。

16、进一步在于，所述第一评分、第二评分与第三评分的具体获取过程如下：

17、提取出预处理后的探针节点采集的数据，对其进行完整性评估，检查数据是否完整，包括检查关键字段是否缺失与数据是否按照预期的时间间隔采集；

18、记录下关键字段缺失数量与数据未按照预期的时间间隔采集的次数；

19、计算出关键字段缺失数量与关键字段总数的比值，获取到第一评估参数，计算出关键字段缺失数量与采集总次数的比值，获取到第二评估参数；

20、对第一评估参数与第二评估参数进行分析，获取到第一评分，当第一评估参数与第二评估参数均小于预设值，第一评分为预设值b1；

21、当第一评估参数与第二评估参数中任意一个大于等于预设值，第一评分为预设值b2；

22、当第一评估参数与第二评估参数中任意均大于等于预设值，第一评分为预设值b3；

23、b1＞b2＞b3；

24、提取出预处理后的探针节点采集的数据，对其进行准确性评估，验证数据的准确性，包括检查数据中的错误、异常值或不一致之处，验证获取到数据准确率，对数据准确率进行分析获取到第二评分，当数据准确率大于预设值f1，第二评分为预设值e1，当数据准确率在预设值f1到f2之间，第二评分为预设值e1，当数据准确率小于预设值f2，第二评分为预设值e3；

25、f1＞f2，e1＞e2＞e3；

26、提取出预处理后的探针节点采集的数据，对其进行规范性评估：检查数据是否符合预定的规范或标准，提取出不符合预定的规范或标准的数据数量，计算出不符合预定的规范或标准的数据数量与总数据量的比值，获取到评估比；

27、对评估比进行分析获取到第三评分，当评估比大于预设y1时，第三评分为预设值c1，当评估比在预设y1到y2之间时，第三评分为预设值c2，当评估比小于预设y2时第三评分为预设值c3；

28、c1＞c2＞c3，y1＞y2。

29、进一步在于，所述综合评分的获取过程如下：提取出第一评分、第二评分与第三评分；

30、将第一评分、第二评分与第三评分标记为g1、g2和g3；

31、赋予第一评分g1一个修正值t1、第二评分g2一个修正值t2、第三评分g3一个修正值t3，t1+t2+t3＝1,t1＝t2＜t3；

32、通过公式g1*t1+g2*t2+g3*t3＝gg，即获取到综合评分。

33、进一步在于，所述探针节点设置管控信息的具体获取过程如下：提取出采集到的探针节点状态；

34、探针节点状态包括探针节点的设置数量，单个探针节点的带宽占用、单个探针节点截断覆盖到的监控的网络区域大小与单个探针节点覆盖到的监控的流量路径数量；

35、之后采集当前的所需监控的网络区域大小、监控的流量路径数量的数量、当前带宽信息；

36、将探针节点的设置数量标记为h，将单个探针节点的带宽占用标记为u1，将当前带宽信息标记为u2；

37、通过公式u2-h*u1*α＝uu，获取到带宽评估参数uu，α为修正值，1.1≤α≤1.2；

38、当带宽评估参数uu小于预设值时，即生成探针节点设置管控信息；

39、当带宽评估参数uu大于等于预设值时，再将当前的所需监控的网络区域大小标记为x1，将单个探针节点截断覆盖到的监控的网络区域大小标记为x2；

40、将监控的流量路径数量的数量标记为p1，单个探针节点覆盖到的监控的流量路径数量标记为即为p2；

41、通过公式h1*p1-p2＝pp，获取到路径评估参数pp，路径评估参数pp小于预设值即生成探针节点设置管控信息；

42、通过公式h1*x1-x2＝xx，获取覆盖评估参数xx，覆盖评估参数xx小于预设值即生成探针节点设置管控信息。

43、进一步在于，所述探针节点管控信息的具体处理过程如下：提取出采集到的探针节点评测信息，探针节点评测信息为对探针节点进行接入测试，记录下预设时长内的探针节点断连次数信息与预设时长对探针节点的漏洞扫描获取到的漏洞数量信息；

44、当预设时长内的探针节点断连次数信息大于预设次数或者预设时长对探针节点的漏洞扫描获取到的漏洞数量信息大于预设值时，即生成探针节点管控信息。

45、本发明相比现有技术具有以下优点：该多台探针节点上xdr数据质量统计系统，通过生成的数据质量评估信息，能够直观的了解到探针节点上xdr数据质量好坏，进而更具实际数据质量状况进行对应探针节点的相关设备在调整，通过设置的探针节点设置管控信息，进行了探针节点的相关信息统计采集，进而及时的发现设置的验证节点是否满足实际需求，并评估其是否会占用过量的带宽影响监测系统的正常使用，发现异常生成管控信息进行探针节点类型更换提示，进而保证在更好的实现数据监测的同时，降低探针节点设置对被监测系统的影响，通过生成的探针节点管控信息对探针节点进行了相关测试，了解到的探针阶段的稳定行，进行了保证更加稳定的数据质量统计，让该系统更加值得推广使用。