日志监控方法、装置、电子设备和存储介质与流程

本公开涉及计算机，尤其涉及一种日志监控方法、装置、电子设备和存储介质。

背景技术：

1、内容分发网络(content delivery network，简称cdn)业务场景下，大量的网民访问和cdn平台本身会产生海量日志，这些日志涉及客户计费、统计分析、质量监控等多个方面，且需要依赖大数据技术从全国各个cdn边缘节点采集并传输到大数据中心，以便进一步计算分析存储，在采集和传输的过程中，需要对日志进行监控。通过对日志的监控，可以及时发现系统中的异常情况和错误；可以捕获潜在的安全威胁、入侵行为或非法访问等，通过对日志进行实时监控和分析，可以及时采取行动，增强系统的安全性，保护敏感数据和用户隐私；可以提供有关系统的性能信息，包括响应时间、吞吐量、资源利用率等，通过分析这些日志数据，可以发现性能瓶颈并进行优化；通过分析数据传输、存储需求等日志信息，可以预测未来的容量需求，进行合理的容量规划，确保系统资源充足，避免因容量不足而导致的系统崩溃或性能下降；通过对日志中的数据进行聚合、分析和可视化，可以获取关键指标、趋势信息和用户行为等数据，为业务决策、运营优化等提供支持。因此，对日志进行监控具有重要意义。

2、目前，在对日志进行监控的过程中，通常采用对日志边缘采集程序进行监控，但该方法无法发现日志本身的传输状态，导致对日志的监控的准确性较低。因此，亟需一种具有较高监控准确性的日志监控方法、装置、电子设备和存储介质。

技术实现思路

1、本公开提供了一种日志监控方法、装置、电子设备和存储介质。

2、根据本公开的第一方面，提供了一种日志监控方法。该方法包括：

3、按照预设监控指标对目标组件的日志进行采集，得到监控数据；所述目标组件包括日志数据源、日志采集器、日志传输器和日志接收器；

4、根据所述监控数据对所述目标组件的日志传输状态进行判定，得到对应判定结果；

5、若所述判定结果为异常，则进行告警。

6、进一步地，所述预设监控指标至少包括下列中的至少一个：

7、采集时间、采集时长、采集间隔、采集的主机名称、采集的主机ip、采集的日志类型、采集实例、采集的阶段、采集的日志大小、采集的日志类型和采集的日志行数。

8、进一步地，所述方法还包括：

9、在根据所述监控数据对所述目标组件的日志传输状态进行判定之前，将所述监控数据通过https post方式上报至监控存储中心。

10、进一步地，所述根据所述监控数据对所述目标组件的日志传输状态进行判定，包括：

11、获取所述日志数据源的监控数据中的第一日志行数、所述日志采集器的监控数据中的第二日志行数和所述日志接收器的监控数据中的第三日志行数；

12、根据所述第一日志行数、第二日志行数和第三日志行数的关系，判定所述日志数据源、日志采集器和日志接收器的日志传输状态。

13、进一步地，所述根据所述第一日志行数、第二日志行数和第三日志行数的关系，判定所述日志数据源、日志采集器和日志接收器的日志传输状态，包括：

14、若所述第一日志行数＞第二日志行数＝第三日志行数，则判定所述日志采集器的日志传输状态为异常；

15、若所述第一日志行数＝第二日志行数＞第三日志行数，则判定所述日志接收器的日志传输状态为异常。

16、进一步地，所述方法还包括：

17、在判定所述日志数据源的日志传输状态为异常后，获取所述日志数据源的监控数据中的各采集的主机名称；

18、对与所述采集的主机名称对应的主机进行检测，得到检测结果。

19、进一步地，所述根据所述监控数据对所述目标组件的日志传输状态进行判定，得到对应判定结果，包括：

20、获取所述日志传感器的监控数据中的采集时长；

21、若所述采集时长大于预设时长，则对所述日志传感器的日志传输状态进行判定的判定结果为异常。

22、根据本公开的第二方面，提供了一种日志监控装置。该装置包括：

23、采集模块，用于按照预设监控指标对目标组件的日志进行采集，得到监控数据；所述目标组件包括日志数据源、日志采集器、日志传输器和日志接收器；

24、判定模块，用于根据所述监控数据对所述目标组件的日志传输状态进行判定，得到对应判定结果；

25、告警模块，用于若所述判定结果为异常，则进行告警。

26、根据本公开的第三方面，提供了一种电子设备。该电子设备包括：存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现所述方法。

27、根据本公开的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现所述方法。

28、本公开通过按照预设监控指标对目标组件的日志进行采集，得到监控数据；所述目标组件包括日志数据源、日志采集器、日志传输器和日志接收器；根据所述监控数据对所述目标组件的日志传输状态进行判定，得到对应判定结果；若所述判定结果为异常，则进行告警，实现对日志传输过程中的全链路进行全方位的监控，提高了对日志的监控的准确性。

29、应当理解，
技术实现要素：
部分中所描述的内容并非旨在限定本公开实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。

技术特征：

1.一种日志监控方法，其特征在于，包括：

2.根据权利要求1所述的日志监控方法，其特征在于，所述预设监控指标至少包括下列中的至少一个：

3.根据权利要求1所述的日志监控方法，其特征在于，所述方法还包括：

4.根据权利要求2所述的日志监控方法，其特征在于，所述根据所述监控数据对所述目标组件的日志传输状态进行判定，包括：

5.根据权利要求4所述的日志监控方法，其特征在于，所述根据所述第一日志行数、第二日志行数和第三日志行数的关系，判定所述日志数据源、日志采集器和日志接收器的日志传输状态，包括：

6.根据权利要求5所述的日志监控方法，其特征在于，所述方法还包括：

7.根据权利要求1所述的日志监控方法，其特征在于，所述根据所述监控数据对所述目标组件的日志传输状态进行判定，得到对应判定结果，包括：

8.一种日志监控装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括：

10.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行根据权利要求1-7中任一权利要求所述的方法。

技术总结
本申请提供了一种日志监控方法、装置、电子设备和存储介质，应用于计算机技术领域。所述方法包括按照预设监控指标对目标组件的日志进行采集，得到监控数据；所述目标组件包括日志数据源、日志采集器、日志传输器和日志接收器；根据所述监控数据对所述目标组件的日志传输状态进行判定，得到对应判定结果；若所述判定结果为异常，则进行告警。以此方式，可以提高对日志的监控的准确性。

技术研发人员：杨田,韩丰景,韩勇,蒋晓艺,郑朴汉
受保护的技术使用者：联通在线信息科技有限公司
技术研发日：
技术公布日：2024/2/8