数据采集管理方法、装置、设备、计算机程序产品及介质与流程

本发明涉及安全，特别是指一种数据采集管理方法、装置、设备、计算机程序产品及介质。

背景技术：

1、随着企业网络规模迅速扩张，网络攻击层出不穷，各种网络安全事件频发。主机安全信息及资产指纹能够记录机器的各种行为轨迹，是机器异常现象分析、系统账号后门排查、异常端口及网络连接排查、可疑进程排查、登录流水分析、暴力破解分析等的重要数据来源。

2、然而，面对多资源池、集群化部署的数万台机器，现有的数据采集管理方法在安全信息采集、分析等方面难以满足安全需求，存在部分采集项因采集速率与传输速率不匹配而导致偶发数据传输丢失的问题。

技术实现思路

1、本发明的目的是提供一种数据采集管理方法、装置、设备、计算机程序产品及介质，解决了因采集速率与传输速率不匹配而导致偶发数据传输丢失的问题。

2、为达到上述目的，本发明的实施例提供一种数据采集管理方法，包括：

3、在数据采集过程中，获取缓冲队列的队列信息，所述缓冲队列用于存储采集的数据，所述队列信息包括队列长度和队列长度变化值，所述队列长度变化值用于表征所述缓冲队列的队列长度相对上一个采集周期所发生的变化；

4、根据所述队列长度和所述队列长度变化值，对所述缓冲队列发生拥塞的可能性进行预测，获得预测结果；

5、根据所述预测结果，对所述缓冲队列进行控制。

6、为达到上述目的，本发明的实施例提供一种数据采集管理装置，包括：

7、获取模块，用于在数据采集过程中，获取缓冲队列的队列信息，所述缓冲队列用于存储采集的数据，所述队列信息包括队列长度和队列长度变化值，所述队列长度变化值用于表征所述缓冲队列的队列长度相对上一个采集周期所发生的变化；

8、预测模块，用于根据所述队列长度和所述队列长度变化值，对所述缓冲队列发生拥塞的可能性进行预测，获得预测结果；

9、控制模块，用于根据所述预测结果，对所述缓冲队列进行控制。

10、为达到上述目的，本发明的实施例提供一种设备，包括处理器和收发机，其中，所述处理器用于：

11、在数据采集过程中，获取缓冲队列的队列信息，所述缓冲队列用于存储采集的数据，所述队列信息包括队列长度和队列长度变化值，所述队列长度变化值用于表征所述缓冲队列的队列长度相对上一个采集周期所发生的变化；

12、根据所述队列长度和所述队列长度变化值，对所述缓冲队列发生拥塞的可能性进行预测，获得预测结果；

13、根据所述预测结果，对所述缓冲队列进行控制。

14、为达到上述目的，本发明的实施例提供一种设备，包括收发机、处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令；所述处理器执行程序或指令时实现如上的数据采集管理方法。

15、为达到上述目的，提供一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现如上的数据采集管理方法的步骤。

16、为达到上述目的，本发明的实施例提供一种可读存储介质，其上存储有程序或指令，所述程序或指令被处理器执行时实现如上的数据采集管理方法中的步骤。

17、本发明的上述技术方案的有益效果如下：

18、本发明实施例的方法，在数据采集过程中，根据缓冲队列的队列长度和队列长度变化值，对缓冲队列发生拥塞的可能性进行预测，获得预测结果。这样，能够在缓冲队列可能发生拥塞时提前预测到该情况，从而提前对缓冲队列进行控制，以避免缓冲队列发生拥塞。

技术特征：

1.一种数据采集管理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述队列长度和所述队列长度变化值，对所述缓冲队列发生拥塞的可能性进行预测，获得预测结果，包括：

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

4.根据权利要求3所述的方法，其特征在于，所述确定所述初始预测模型的损失函数，包括：

5.根据权利要求1所述的方法，其特征在于，所述根据所述预测结果，对所述缓冲队列进行控制，包括以下至少一项：

6.一种数据采集管理装置，其特征在于，包括：

7.一种设备，其特征在于，包括：收发机和处理器；所述处理器用于：

8.一种设备，包括：收发机、处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令；其特征在于，所述处理器执行所述程序或指令时实现如权利要求1-5任一项所述的数据采集管理方法。

9.一种计算机程序产品，其特征在于，包括计算机指令，所述计算机指令被处理器执行时实现如权利要求1-5中任一项所述的数据采集管理方法的步骤。

10.一种可读存储介质，其上存储有程序或指令，其特征在于，所述程序或指令被处理器执行时实现如权利要求1-5任一项所述的数据采集管理方法中的步骤。

技术总结
本发明提供一种数据采集管理方法、装置、设备、计算机程序产品及介质，涉及安全技术领域。该方法包括：在数据采集过程中，获取缓冲队列的队列信息，所述缓冲队列用于存储采集的数据，所述队列信息包括队列长度和队列长度变化值，所述队列长度变化值用于表征所述缓冲队列的队列长度相对上一个采集周期所发生的变化；根据所述队列长度和所述队列长度变化值，对所述缓冲队列发生拥塞的可能性进行预测，获得预测结果；根据所述预测结果，对所述缓冲队列进行控制。本发明的方案，解决了因采集速率与传输速率不匹配而导致偶发数据传输丢失的问题。

技术研发人员：蒋苏蕊,秦尔楠
受保护的技术使用者：中移（苏州）软件技术有限公司
技术研发日：
技术公布日：2024/8/26