1.一种页面数据处理方法,其特征在于,包括:
当接收到终端发送的选取指令时,从etl平台部署的数据处理算子中选取爬虫算子;其中,所述爬虫算子为实现爬虫功能的算子;
根据所述终端的爬虫配置页面中触发的配置指令,获取爬虫配置信息;
根据所述爬虫配置信息配置所述爬虫算子;
通过爬虫应用运行配置完毕的爬虫算子,并指示所述爬虫应用将爬取到的页面数据存储在redis中;
将所述redis中的所述页面数据添加到所述etl平台的etl数据流中;
对所述etl数据流进行etl处理,得到库存数据。
2.根据权利要求1所述的页面数据处理方法,其特征在于,所述当接收到终端发送的选取指令时,从etl平台部署的数据处理算子中选取爬虫算子包括:
当接收到终端发送的选取指令时,读取etl平台的状态标识;
当通过所述状态标识确定所述etl平台未处于数据输出状态时,从所述etl平台部署的数据处理算子中选取爬虫算子,并通过所述终端展示所述爬虫算子的爬虫配置页面。
3.根据权利要求2所述的页面数据处理方法,其特征在于,所述根据所述终端的爬虫配置页面中触发的配置指令,获取爬虫配置信息包括:
通过所述终端获取所述爬虫配置页面中的确认选项及文本框文本;
接收所述终端根据获取到的确认选项及文本框文本触发的配置指令;
根据所述配置指令获取爬虫配置信息。
4.根据权利要求1所述的页面数据处理方法,其特征在于,所述根据所述终端的爬虫配置页面中触发的配置指令,获取爬虫配置信息包括:
当接收到终端发送的流展示指令时,通过所述终端的爬虫配置页面展示所述etl平台中的etl数据流;
接收在展示的etl数据流中选中待爬取字段触发的配置指令;
将所述配置指令中的待爬取字段添加为爬虫配置信息。
5.根据权利要求1所述的页面数据处理方法,其特征在于,所述根据所述终端的爬虫配置页面中触发的配置指令,获取爬虫配置信息,还包括:
获取所述终端的爬虫配置页面中触发的配置指令中所包含的url;
将所述url添加为爬虫配置信息;
或者,
当所述终端的爬虫配置页面中触发的配置指令中包含流获取指令时,从所述etl平台的etl数据流中查询url标识;
读取所述url标识所对应的etl数据流作为爬虫配置信息。
6.根据权利要求1所述的页面数据处理方法,其特征在于,所述将所述redis中的所述页面数据添加到所述etl平台的etl数据流中包括:
监测所述redis与所述爬虫算子中的关键字;
当监测到所述redis与所述爬虫算子中存在相同的关键字时,将所述redis中所述关键字对应的页面数据添加到所述etl平台的etl数据流中。
7.根据权利要求1所述的页面数据处理方法,其特征在于,所述对所述etl数据流进行etl处理,得到库存数据包括:
从所述终端获取etl设置信息;
根据所述etl设置信息选取处理引擎对所述etl数据流进行etl处理;
将etl处理后的etl数据流进行存储,得到库存数据。
8.一种页面数据处理装置,其特征在于,包括:
算子选取模块,用于当接收到终端发送的选取指令时,从etl平台部署的数据处理算子中选取爬虫算子;其中,所述爬虫算子为实现爬虫功能的算子;
信息获取模块,用于根据所述终端的爬虫配置页面中触发的配置指令,获取爬虫配置信息;
算子配置模块,用于根据所述爬虫配置信息配置所述爬虫算子;
算子运行模块,用于通过爬虫应用运行配置完毕的爬虫算子,并指示所述爬虫应用将爬取到的页面数据存储在redis中;
数据添加模块,用于将所述redis中的所述页面数据添加到所述etl平台的etl数据流中;
数据处理模块,用于对所述etl数据流进行etl处理,得到库存数据。
9.一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的页面数据处理方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机可读指令,所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的页面数据处理方法。