一种用于数据链路的获取方法和系统与流程

文档序号:23395844发布日期:2020-12-22 14:03阅读:来源:国知局

技术特征:

1.一种用于数据链路的获取方法,其特征在于,包括以下步骤:

s1:配置数据接入层到数据服务层上部署的组件,统一所述组件中的日志标准以及日志输出格式,其中,日志信息中的关键信息被赋予追溯标识;

s2:响应于源数据通过所述组件,获取所述组件上的所述日志信息;

s3:清洗所述日志信息,提取所述日志信息中的所述关键信息存储至数据库中;以及

s4:利用所述数据库中的所述关键信息,获取数据在所述组件中的流向生成数据链路。

2.根据权利要求1述的用于数据链路的获取方法,其特征在于,所述日志标准为log4j标准。

3.根据权利要求1或2所述的用于数据链路的获取方法,其特征在于,所述日志信息包括所述组件的配置信息、时间、日志级别、会话标识、功能标识、数据处理和内容参数,所述关键信息包括所述组件的配置信息、功能标识和数据处理,所述组件的配置信息包括所述组件的ip地址和端口信息。

4.根据权利要求1所述的用于数据链路的获取方法,其特征在于,所述数据接入层到所述数据服务层上部署的所述组件包括:所述数据接入层上的sqoop、flume、logstash或爬虫组件,数据计算层上的mr、spark、sparkingstreaming或tensorflow组件,数据分析层上的实时sql、机器学习、nlp分析或深度学习组件。

5.根据权利要求1所述的用于数据链路的获取方法,其特征在于,所述步骤s3中提取所述日志信息中的所述关键信息具体为:利用正则或字符串匹配的方式提取所述关键信息。

6.根据权利要求1所述的用于数据链路的获取方法,其特征在于,还包括:利用所述数据在所述组件中的流向,动态配置所述组件的端口信息控制所述数据的流向。

7.根据权利要求1所述的用于数据链路的获取方法,其特征在于,还包括:利用web端接入所述数据库并显示所述数据的流向以及所述数据在所述组件中的数据处理信息。

8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被计算机处理器执行时实施权利要求1至7中任一项所述的方法。

9.一种用于数据链路的获取系统,其特征在于,包括:

组件配置单元:配置用于配置数据接入层到数据服务层上部署的组件,统一所述组件中的日志标准以及日志输出格式,其中,日志信息中的关键信息被赋予追溯标识;

日志信息获取单元:配置用于响应于源数据通过所述组件,获取所述组件上的所述日志信息;

数据库维护单元:配置用于清洗所述日志信息,提取所述日志信息中的所述关键信息存储至数据库中;以及

数据流向获取单元:配置用于利用所述数据库中的所述关键信息,获取数据在所述组件中的流向。

10.根据权利要求9所述的一种用于数据链路的获取系统,其特征在于,还包括:

动态配置单元:配置用于利用所述数据在所述组件中的流向,动态配置所述组件的端口信息控制所述数据的流向;

可视化单元:配置用于利用web端接入所述数据库并显示所述数据在所述组件中的流向以及所述数据在所述组件中的数据处理信息。


技术总结
本发明给出了一种用于数据链路的获取方法和系统,包括配置数据接入层到数据服务层上部署的组件,统一组件中的日志标准以及日志输出格式,其中,日志信息中的关键信息被赋予追溯标识;响应于源数据通过组件,获取组件上的日志信息;清洗日志信息,提取日志信息中的关键信息存储至数据库中;以及利用数据库中的关键信息,获取数据在组件中的流向生成数据链路。利用该方法或系统可以有效管理组件,查看数据流动方向,流动过程和完整数据链路,完整数据链路在web端可视化展示。

技术研发人员:王剑锋;廖宁;林炳生;宋琦;陈德振;王磊
受保护的技术使用者:厦门安胜网络科技有限公司
技术研发日:2020.09.02
技术公布日:2020.12.22
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1