页面数据处理方法、装置、计算机设备及存储介质与流程

文档序号:22577901发布日期:2020-10-20 16:50阅读:来源:国知局

技术特征:

1.一种页面数据处理方法,其特征在于,包括:

当接收到终端发送的选取指令时,从etl平台部署的数据处理算子中选取爬虫算子;其中,所述爬虫算子为实现爬虫功能的算子;

根据所述终端的爬虫配置页面中触发的配置指令,获取爬虫配置信息;

根据所述爬虫配置信息配置所述爬虫算子;

通过爬虫应用运行配置完毕的爬虫算子,并指示所述爬虫应用将爬取到的页面数据存储在redis中;

将所述redis中的所述页面数据添加到所述etl平台的etl数据流中;

对所述etl数据流进行etl处理,得到库存数据。

2.根据权利要求1所述的页面数据处理方法,其特征在于,所述当接收到终端发送的选取指令时,从etl平台部署的数据处理算子中选取爬虫算子包括:

当接收到终端发送的选取指令时,读取etl平台的状态标识;

当通过所述状态标识确定所述etl平台未处于数据输出状态时,从所述etl平台部署的数据处理算子中选取爬虫算子,并通过所述终端展示所述爬虫算子的爬虫配置页面。

3.根据权利要求2所述的页面数据处理方法,其特征在于,所述根据所述终端的爬虫配置页面中触发的配置指令,获取爬虫配置信息包括:

通过所述终端获取所述爬虫配置页面中的确认选项及文本框文本;

接收所述终端根据获取到的确认选项及文本框文本触发的配置指令;

根据所述配置指令获取爬虫配置信息。

4.根据权利要求1所述的页面数据处理方法,其特征在于,所述根据所述终端的爬虫配置页面中触发的配置指令,获取爬虫配置信息包括:

当接收到终端发送的流展示指令时,通过所述终端的爬虫配置页面展示所述etl平台中的etl数据流;

接收在展示的etl数据流中选中待爬取字段触发的配置指令;

将所述配置指令中的待爬取字段添加为爬虫配置信息。

5.根据权利要求1所述的页面数据处理方法,其特征在于,所述根据所述终端的爬虫配置页面中触发的配置指令,获取爬虫配置信息,还包括:

获取所述终端的爬虫配置页面中触发的配置指令中所包含的url;

将所述url添加为爬虫配置信息;

或者,

当所述终端的爬虫配置页面中触发的配置指令中包含流获取指令时,从所述etl平台的etl数据流中查询url标识;

读取所述url标识所对应的etl数据流作为爬虫配置信息。

6.根据权利要求1所述的页面数据处理方法,其特征在于,所述将所述redis中的所述页面数据添加到所述etl平台的etl数据流中包括:

监测所述redis与所述爬虫算子中的关键字;

当监测到所述redis与所述爬虫算子中存在相同的关键字时,将所述redis中所述关键字对应的页面数据添加到所述etl平台的etl数据流中。

7.根据权利要求1所述的页面数据处理方法,其特征在于,所述对所述etl数据流进行etl处理,得到库存数据包括:

从所述终端获取etl设置信息;

根据所述etl设置信息选取处理引擎对所述etl数据流进行etl处理;

将etl处理后的etl数据流进行存储,得到库存数据。

8.一种页面数据处理装置,其特征在于,包括:

算子选取模块,用于当接收到终端发送的选取指令时,从etl平台部署的数据处理算子中选取爬虫算子;其中,所述爬虫算子为实现爬虫功能的算子;

信息获取模块,用于根据所述终端的爬虫配置页面中触发的配置指令,获取爬虫配置信息;

算子配置模块,用于根据所述爬虫配置信息配置所述爬虫算子;

算子运行模块,用于通过爬虫应用运行配置完毕的爬虫算子,并指示所述爬虫应用将爬取到的页面数据存储在redis中;

数据添加模块,用于将所述redis中的所述页面数据添加到所述etl平台的etl数据流中;

数据处理模块,用于对所述etl数据流进行etl处理,得到库存数据。

9.一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的页面数据处理方法。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机可读指令,所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的页面数据处理方法。


技术总结
本申请实施例属于大数据领域,应用于智慧城市领域中,涉及一种页面数据处理方法,包括:当接收到终端发送的选取指令时,从ETL平台部署的数据处理算子中选取爬虫算子;根据所述终端的爬虫配置页面中触发的配置指令,获取爬虫配置信息;根据所述爬虫配置信息配置所述爬虫算子;通过爬虫应用运行配置完毕的爬虫算子,并指示所述爬虫应用将爬取到的页面数据存储在Redis中;将所述Redis中的所述页面数据添加到所述ETL平台的ETL数据流中;对所述ETL数据流进行ETL处理,得到库存数据。本申请还提供一种页面数据处理装置、计算机设备及存储介质。此外,本申请还涉及区块链技术,库存数据可存储于区块链中。本申请提高了对页面数据的处理效率。

技术研发人员:贾波涛
受保护的技术使用者:平安国际智慧城市科技股份有限公司
技术研发日:2020.09.09
技术公布日:2020.10.20
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1