基于智能标签的业务分析系统及方法与流程

文档序号:24131080发布日期:2021-03-02 17:57阅读:来源:国知局

技术特征:
1.一种基于智能标签的业务分析系统,其特征在于,包括:模块m1:从外部数据库、大数据平台或数据服务获取原始文本数据,并对原始文本数据进行预处理,获得预处理后的原始文本数据;模块m2:对预处理后的原始文本数据进行etl处理,得到etl处理后的数据,并将etl处理后的数据存储至hadoop分布式文件系统;模块m3:将etl处理后的数据通过领域知识库查询所需的实体和字段信息;模块m4:使用领域知识库中所查询的实体信息,根据预设标签,判断是否符合预设匹配规则,当匹配时,则对etl处理后的数据进行标签;模块m5:使用混合后端和分表方案存储标签数据,通过标签元数据和查询引擎对外提供查询功能。2.根据权利要求1所述的基于智能标签的业务分析系统,其特征在于,所述模块m1包括:模块m1.1:通过消息队列、socket、http请求、sql查询和/或rpc请求的形式从外部数据库、大数据平台和/或数据服务获取原始文本数据;模块m1.2:对获取的原始文本数据进行包括清洗、过滤和/或转换预处理,获得预处理后的原始文本数据。3.根据权利要求2所述的基于智能标签的业务分析系统,其特征在于,所述模块m1.2包括对获取的原始文本数据中时间、记录id和用户id进行预处理;除时间、记录id和用户id外的原始文本数据,根据需要选择原始文本数据进行预处理。4.根据权利要求1所述的基于智能标签的业务分析系统,其特征在于,所述模块m3包括:根据etl处理后的数据通过领域知识库进行查询,并将查询后的结果和领域知识库中的相关信息进行关联,得到所需的实体和字段信息。5.根据权利要求1所述的基于智能标签的业务分析系统,其特征在于,所述模块m5包括:使用混合后端和分表方案存储标签数据,通过分表的方式存储标签,相同类型的标签分配在同一个表中,通过标签元数据和查询引擎对外提供相应查询。6.一种基于智能标签的业务分析方法,其特征在于,包括:步骤m1:从外部数据库、大数据平台或数据服务获取原始文本数据,并对原始文本数据进行预处理,获得预处理后的原始文本数据;步骤m2:对预处理后的原始文本数据进行etl处理,得到etl处理后的数据,并将etl处理后的数据存储至hadoop分布式文件系统;步骤m3:将etl处理后的数据通过领域知识库查询所需的实体和字段信息;步骤m4:使用领域知识库中所查询的实体信息,根据预设标签,判断是否符合预设匹配规则,当匹配时,则对etl处理后的数据进行标签;步骤m5:使用混合后端和分表方案存储标签数据,通过标签元数据和查询引擎对外提供查询功能。7.根据权利要求6所述的基于智能标签的业务分析方法,其特征在于,所述步骤m1包括:步骤m1.1:通过消息队列、socket、http请求、sql查询和/或rpc请求的形式从外部数据库、大数据平台和/或数据服务获取原始文本数据;
步骤m1.2:对获取的原始文本数据进行包括清洗、过滤和/或转换预处理,获得预处理后的原始文本数据。8.根据权利要求7所述的基于智能标签的业务分析方法,其特征在于,所述步骤m1.2包括对获取的原始文本数据中时间、记录id和用户id进行预处理;除时间、记录id和用户id外的原始文本数据,根据需要选择原始文本数据进行预处理。9.根据权利要求6所述的基于智能标签的业务分析方法,其特征在于,所述步骤m3包括:根据etl处理后的数据通过领域知识库进行查询,并将查询后的结果和领域知识库中的相关信息进行关联,得到所需的实体和字段信息。10.根据权利要求6所述的基于智能标签的业务分析方法,其特征在于,所述步骤m5包括:使用混合后端和分表方案存储标签数据,通过分表的方式存储标签,相同类型的标签分配在同一个表中,通过标签元数据和查询引擎对外提供相应查询。
当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1