数据处理方法、装置、分发服务器、系统及存储介质与流程

文档序号:29957672发布日期:2022-05-11 08:21阅读:来源:国知局

技术特征:
1.一种数据处理方法,其特征在于,包括:获取实体设备的上报数据,并确定与所述上报数据关联的规则;按照设定分发策略将所述上报数据以及所述规则以组合的形式分发至主题分区,其中,每个所述组合包括一个实体设备的上报数据与所关联的单个规则,每个所述主题分区对应一个执行服务器,所述执行服务器用于处理对应所述主题分区中的上报数据以及规则。2.根据权利要求1所述的方法,其特征在于,所述按照设定分发策略将所述上报数据以及所述规则以组合的形式分发至主题分区,包括:根据所述组合对应的实体设备的实体号和所述组合对应的规则的编号确定关键字,基于哈希运算将所述关键字转换为对应的哈希值;根据所述哈希值的绝对值对主题分区的数量进行取模运算,得到所述组合对应的模值;根据所述模值将所述组合分发至对应的主题分区。3.根据权利要求2所述的方法,其特征在于,根据所述模值将所述组合分发至对应的主题分区,包括:确定与所述组合对应的模值相匹配的配置范围,将所述组合分发至所匹配的配置范围对应的主题分区;其中,所述配置范围根据主题分区设置,所述配置范围包括配置值或配置区间。4.根据权利要求1所述的方法,其特征在于,所述按照设定分发策略将所述上报数据以及所述规则以组合的形式分发至主题分区,包括:根据各所述执行服务器的处理能力确定各所述执行服务器的权值;根据各所述执行服务器的权值,将各所述组合轮流分发至各所述执行服务器的主题分区。5.根据权利要求4所述的方法,其特征在于,根据各所述执行服务器的权值,将各所述组合轮流分发至各所述执行服务器的主题分区,包括:轮流将每个执行服务器作为目标服务器,并将与所述目标服务器的权值相符的数量的组合分发至所述目标服务器的主题分区,直至各所述组合均分发至相应的主题分区。6.根据权利要求1所述的方法,其特征在于,在按照设定分发策略将所述上报数据以及所述规则以组合的形式分发至主题分区之前,还包括:根据以下至少一项对所述上报数据以及所述规则进行过滤:所述设定分发策略的开关状态;过滤名单;设定实体号;设定数据类型。7.根据权利要求1所述的方法,其特征在于,所述获取实体设备的上报数据,包括:基于实体设备划分主题分区,其中,每个主题分区用于存储一个实体设备的上报数据;从各所述主题分区中读取所述上报数据。8.根据权利要求1所述的方法,其特征在于,还包括:按照设定数据结构记录所述上报数据和所述规则的处理信息;其中,所述处理信息包括以下至少一项:链路追踪标识;上报事件标识;实体号;设备类型标识;数据名称;数据结构;上报数据点;规则处理时间;设备上报时间;规则分发时间;处理器类型;数据属性。
9.一种数据处理装置,其特征在于,包括:获取模块,设置为获取实体设备的上报数据,并确定与所述上报数据关联的规则;分发模块,设置为按照设定分发策略将所述上报数据以及所述规则以组合的形式分发至主题分区,其中,每个所述组合包括一个实体设备的上报数据与所关联的单个规则,每个所述主题分区对应一个执行服务器,所述执行服务器用于处理对应所述主题分区中的上报数据以及规则。10.一种分发服务器,其特征在于,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1-8中任一所述的数据处理方法。11.一种数据处理系统,其特征在于,包括:实体设备、执行服务器以及如权利要求10所述的分发服务器;其中,所述实体设备用于向所述分发服务器发送上报数据;所述执行服务器用于处理分发至相应的主题分区的上报数据以及规则。12.根据权利要求11所述的系统,其特征在于,所述执行服务器具体用于:将分发至所述主题分区的上报数据转换为标准格式,并从标准格式的上报数据中提取元数据信息;根据所述元数据信息确定业务数据;将所述业务数据以及分发至所述主题分区的规则加入规则池;触发执行器执行所述规则池中的规则。13.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,其特征在于,所述计算机指令用于使处理器执行时实现权利要求1-8中任一所述的数据处理方法。

技术总结
本发明实施例公开了一种数据处理方法、装置、分发服务器、系统及存储介质。该方法包括:获取实体设备的上报数据,并确定与所述上报数据关联的规则;按照设定分发策略将所述上报数据以及所述规则以组合的形式分发至主题分区,其中,每个所述组合包括一个实体设备的上报数据与所关联的单个规则,每个所述主题分区对应一个执行服务器,所述执行服务器用于处理对应所述主题分区中的上报数据以及规则。上述技术方案通过将上报数据按照实体设备和规则两个维度分发至不同的主题分区,将规则的处理压力分给各执行服务器,解决了数据倾斜、单个服务器的负载压力过大带来的业务不稳定问题。器的负载压力过大带来的业务不稳定问题。器的负载压力过大带来的业务不稳定问题。


技术研发人员:陈志伟
受保护的技术使用者:杭州涂鸦信息技术有限公司
技术研发日:2022.04.13
技术公布日:2022/5/10
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1