数据采集流程的控制方法、装置、设备、系统和存储介质与流程

本申请涉及数据采集，尤其涉及一种数据采集流程的控制方法、装置、设备、系统和存储介质。

背景技术：

1、现有技术中，通过网页的链接地址，能够寻找网页并读取网页中公开的感兴趣数据，实现数据采集的目的。但是，目前在数据采集的过程中，往往需要人工检查数据采集流程的健康状况，针对异常情况做人工干预，智能化程度低。

技术实现思路

1、有鉴于此，本申请提出一种数据采集流程的控制方法、装置、设备、系统和存储介质，以解决目前在数据采集的过程中，往往需要人工检查数据采集流程的健康状况，针对异常情况做人工干预，智能化程度低的问题。

2、本申请提出的技术方案具体如下：

3、第一方面，本申请提供了一种数据采集流程的控制方法，包括：

4、监控数据采集流程；所述数据采集流程为从设定网页采集数据的流程；

5、若检测到所述数据采集流程中存在异常情况，则根据所述异常情况调整所述数据采集流程的采集周期；所述异常情况包括所述数据采集流程与设定的标准数据采集流程不符的情况。

6、第二方面，本申请提供了一种一种数据采集流程的控制装置，包括：

7、监控模块，用于监控数据采集流程；所述数据采集流程为从设定网页采集数据的流程；

8、调整模块，用于若检测到所述数据采集流程中存在异常情况，则根据所述异常情况调整所述数据采集流程的采集周期；所述异常情况包括所述数据采集流程与设定的标准数据采集流程不符的情况。

9、第三方面，本申请提供了一种电子设备，包括：

10、存储器和处理器；

11、其中，所述存储器用于存储程序；

12、所述处理器，用于通过运行所述存储器中的程序，实现以上任意一项所述的方法。

13、第四方面，本申请提供了一种数据采集系统，包括：

14、数据采集模组和智能监控模组；

15、所述数据采集模组，用于从设定网页采集数据；

16、所述智能监控模组，用于按照以上任一项所述的方法，对所述数据采集模组进行监控。

17、第五方面，本申请提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现以上任意一项所述的方法。

18、本申请提出的数据采集流程的控制方法，通过对数据采集流程进行监控，在检测到数据采集流程中存在数据采集流程与设定的标准数据采集流程不符的异常情况时，能够根据异常情况调整数据采集流程的采集周期，实现自动对异常情况进行干预的目的，智能化程度高。

技术特征：

1.一种数据采集流程的控制方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，若检测到所述数据采集流程中存在异常情况，则根据所述异常情况调整所述数据采集流程的采集周期，包括：

3.根据权利要求2所述的方法，其特征在于，所述数据采集流程的数据采集效率落后于所述标准数据采集流程中规定的标准数据采集效率包括所述数据采集流程请求网页时的网络延迟次数，大于所述标准数据采集流程中规定的第一次数；

4.根据权利要求2所述的方法，其特征在于，所述数据采集流程的数据采集效率落后于所述标准数据采集流程中规定的标准数据采集效率包括所述数据采集流程对采集到的数据进行清洗的清洗时长，大于所述标准数据采集流程中的规定时长；

5.根据权利要求2所述的方法，其特征在于，所述数据采集流程的数据采集效率落后于所述标准数据采集流程中规定的标准数据采集效率包括所述数据采集流程中的重复请求次数大于所述标准数据采集流程中规定的第二次数；所述重复请求次数为采集到的数据的重复率大于设定重复率阈值的请求次数；

6.一种数据采集流程的控制装置，其特征在于，包括：

7.一种电子设备，其特征在于，包括：

8.一种数据采集系统，其特征在于，包括：

9.根据权利要求8所述的系统，其特征在于，所述数据采集模组包括页面解析模组、数据清洗模组、数据结构化模组和数据持久化模组；

10.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现如权利要求1至5中任意一项所述的方法。

技术总结
本申请提出一种数据采集流程的控制方法、装置、设备、系统和存储介质，该方法通过对数据采集流程进行监控，在检测到数据采集流程中存在数据采集流程与设定的标准数据采集流程不符的异常情况时，能够根据异常情况调整数据采集流程的采集周期，实现自动对异常情况进行干预的目的，智能化程度高。

技术研发人员：方俊杰,李锦程,崔荣涛
受保护的技术使用者：讯飞医疗科技股份有限公司
技术研发日：
技术公布日：2024/1/15