一种基于电力行业营销系统实时数据的监控方法与流程

1.本发明涉及电力行业营销监控领域，具体涉及一种基于电力行业营销系统实时数据的监控方法。


背景技术：

2.针对现有电力行业营销系统内，抄核收业务的各功能点控制分散且操作复杂，对业务人员而言，监控各项数据存在错误操作的风险，往往需要借助高级专业人员才能正确操作，人员成本较高，且容易错过最佳的调控时间，故需对抄核收工作不断优化，加强抄核收管控，才能避免用户利益受损，保障系统的稳定。


技术实现要素：

3.本发明的目的在于提供一种基于电力行业营销系统实时数据的监控方法，在不影响原有营销系统服务器性能的情况下，通过旁路设备对数据进行清洗后将业务人员关注的各项指标展示到图形化界面，以解决上述背景技术中提出的问题。
4.为实现上述目的，本发明采用了如下技术方案：
5.一种基于电力行业营销系统实时数据的监控方法，其特征在于，包括数据存储模块、数据分析模块、api接入模块、消费者管理模块以及监控模块；所述数据存储模块通过源数据同步及源服务器旁路流量监控，将所需监控数据保留到监控服务器上；所述数据分析模块对所获取到的各种数据，根据抄核收业务上的不同业务场景，设置不同的监控指标，如自动抄表率、电费回收率、账单推送率等，随时随地了解业务情况，对业务进行实时监控预警；所述api接入模块用于实时对异常情况实现短信、邮件等渠道方式，通知到对应人员，及时采取相应措施；所述消费者管理模块包括kafka组件；所述监控模块通过数据迁移监控，维护迁移任务和脚本，监控数据迁移的过程，保证每个数据库的迁移任务可视，出现异常能得到及时的处理。
6.所述数据分析模块包括数据库分析比对工具，是保证数据同步结果的工具，需连接多个数据库，并配置每个数据同步通道的源端与目标端，建立同步链路；并对两数据源的差异进行分析，为后续异构库表数据同步提供处理规则基础；由于营销系统是由多数据源组成，人工数据跨库核对需要开通不同的网络策略，进行多次导入导出等操作进行比对。通过建立数据库比对工具，定期校核源端与目标端数据一致性，并对有差异的数据生成处理脚本，则能对数据同步的过程进行闭环的处理，进一步保证数据同步的准确性。
7.所述消费者管理模块是对kafka(开源流处理平台)组件的进一步应用；单靠简单配置使用kafka组件，无法保证数据同步的高性能执行；为保证消费的信息及时有效，增加心跳检测机制，并把心跳信息存储到redis(remote dictionary server)，即远程字典服务，避免存储到数据库，影响数据库的io；此外，为建立稳定的可控的信息消费过程，增加启停、明细查询、监控等功能，保证全过程可视可控；具体包括如下步骤：
8.1)消费者注册：为了对所有的消费者都进行监控，当每个消费者启动后，都会把自
己注册到redis中；
9.2)心跳注册：为了redis中的当前消费者信息能及时有效，增加心跳检测机制，消费者30s发送心跳信息给redis证明自己依然在线；
10.3)消费者剔除：轮询redis中的所有消费者，剔除90s未发送心跳的消费者节点；
11.4)消费者启动和暂停消费：可以手动启动和暂停消费者消费；
12.5)消费者监控：以图表形式展示每个消费者当前的运行状态是否正常；对于停止的节点展示错误原因，处理完错误，点击继续消费；
13.6)消费者消费明细：展示消费者正在消费的分区的消费数据量和待消费数据量；
14.7)消费者消费性能：以折线图形式，展示消费者的消费性能(每分钟消费的数据量)；
15.8)消费者消费总明细：展示消费者消费的主题共有几个分区，以及每个分区已经消费的数据数量和待消费数量；
16.消费者消费总性能：以折线图形式，展示每个消费者的消费性能(每分钟消费的数据量)。
17.所述数据迁移是在开展数据同步前，为减少历史数据而开展的一项工作，包括以下功能；
18.1)数据库配置：配置需要的数据库，包括用户名，密码，ip地址，端口等信息，并将信息保存；配置是为连接提供基础信息；
19.连接要执行数据库脚本文件的数据库，可同时部署连接多个数据库，在数据库脚本文件执行时可同时作用于已经连接的数据库；
20.2)数据迁移任务维护：维护数据迁移定时任务名称，任务规则等信息，同时支持上传或编辑数据库迁移脚本、处理程序等；
21.3)引擎信息维护：维护引擎信息，如名称，ip等信息；
22.4)日志查询：记录数据迁移任务执行日志，并可根据任务名称，任务信息查询任务执行日志信息；
23.5)任务监控：记录数据迁移任务执行日志，监控任务执行结果，提供查询展示功能。
24.所述监控模块还包括监控看板，具体包括以下功能。
25.1)监控数据库连接情况：监控数据库连接情况，展示连接统计数据库已连接或失败情况，展示已连接或连接失败的数据库信息；
26.2)监控kafka连接情况：kafka展示信息，如生产、消费端的ip、端口等信息。
27.3)发布信息监控：查询获取的发布计划，展示待发布计划信息、待发布程序包信息、已发布版本信息等发布计划信息。
28.4)替换文件监控：统计程序文件替换次数，可以按程序版本或年度查询，统计相关配置文件替换次数，如：实体文件替换次数、协议文件替换次数等；
29.5)脚本执行监控：统计脚本执行数量、脚本执行成功数、脚本执行失败数等数据。
30.与现有技术相比，本发明的有益效果在于：
31.本发明提供一种实时数据的监控方法，在不影响原有营销系统服务器性能的情况下，通过旁路设备对数据进行清洗后将业务人员关注的各项指标展示到图形化界面，帮助
业务人员及时发现问题情况，大幅度提高查询数据的效率，缩短工作周期，减少人工值守时间。一旦出现数据问题，可通过短信、邮件等渠道进行通知，随时随地了解电力营销抄核收全过程。
附图说明
32.图1为本发明基于电力行业营销系统实时数据的监控方法框架示意图。
具体实施方式
33.下面将结合本发明的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
34.如图1所示，一种基于电力行业营销系统实时数据的监控方法，其特征在于，包括数据存储模块、数据分析模块、api接入模块、消费者管理模块以及监控模块；所述数据存储模块通过源数据同步及源服务器旁路流量监控，将所需监控数据保留到监控服务器上；所述数据分析模块对所获取到的各种数据，根据抄核收业务上的不同业务场景，设置不同的监控指标，如自动抄表率、电费回收率、账单推送率等，随时随地了解业务情况，对业务进行实时监控预警；所述api接入模块用于实时对异常情况实现短信、邮件等渠道方式，通知到对应人员，及时采取相应措施；所述消费者管理模块包括kafka组件；所述监控模块通过数据迁移监控，维护迁移任务和脚本，监控数据迁移的过程，保证每个数据库的迁移任务可视，出现异常能得到及时的处理。
35.所述数据分析模块包括数据库分析比对工具，是保证数据同步结果的工具，需连接多个数据库，并配置每个数据同步通道的源端与目标端，建立同步链路；并对两数据源的差异进行分析，为后续异构库表数据同步提供处理规则基础；由于营销系统是由多数据源组成，人工数据跨库核对需要开通不同的网络策略，进行多次导入导出等操作进行比对。通过建立数据库比对工具，定期校核源端与目标端数据一致性，并对有差异的数据生成处理脚本，则能对数据同步的过程进行闭环的处理，进一步保证数据同步的准确性。
36.所述消费者管理模块是对kafka(开源流处理平台)组件的进一步应用；单靠简单配置使用kafka组件，无法保证数据同步的高性能执行；为保证消费的信息及时有效，增加心跳检测机制，并把心跳信息存储到redis(remote dictionary server)，即远程字典服务，避免存储到数据库，影响数据库的io；此外，为建立稳定的可控的信息消费过程，增加启停、明细查询、监控等功能，保证全过程可视可控；具体包括如下步骤：
37.1)消费者注册：为了对所有的消费者都进行监控，当每个消费者启动后，都会把自己注册到redis中；
38.2)心跳注册：为了redis中的当前消费者信息能及时有效，增加心跳检测机制，消费者30s发送心跳信息给redis证明自己依然在线；
39.3)消费者剔除：轮询redis中的所有消费者，剔除90s未发送心跳的消费者节点；
40.4)消费者启动和暂停消费：可以手动启动和暂停消费者消费；
41.5)消费者监控：以图表形式展示每个消费者当前的运行状态是否正常；对于停止
的节点展示错误原因，处理完错误，点击继续消费；
42.6)消费者消费明细：展示消费者正在消费的分区的消费数据量和待消费数据量；
43.7)消费者消费性能：以折线图形式，展示消费者的消费性能(每分钟消费的数据量)；
44.8)消费者消费总明细：展示消费者消费的主题共有几个分区，以及每个分区已经消费的数据数量和待消费数量；
45.消费者消费总性能：以折线图形式，展示每个消费者的消费性能(每分钟消费的数据量)。
46.所述数据迁移是在开展数据同步前，为减少历史数据而开展的一项工作，包括以下功能；
47.1)数据库配置：配置需要的数据库，包括用户名，密码，ip地址，端口等信息，并将信息保存；配置是为连接提供基础信息；
48.连接要执行数据库脚本文件的数据库，可同时部署连接多个数据库，在数据库脚本文件执行时可同时作用于已经连接的数据库；
49.2)数据迁移任务维护：维护数据迁移定时任务名称，任务规则等信息，同时支持上传或编辑数据库迁移脚本、处理程序等；
50.3)引擎信息维护：维护引擎信息，如名称，ip等信息；
51.4)日志查询：记录数据迁移任务执行日志，并可根据任务名称，任务信息查询任务执行日志信息；
52.5)任务监控：记录数据迁移任务执行日志，监控任务执行结果，提供查询展示功能。
53.所述监控模块还包括监控看板，具体包括以下功能。
54.1)监控数据库连接情况：监控数据库连接情况，展示连接统计数据库已连接或失败情况，展示已连接或连接失败的数据库信息；
55.2)监控kafka连接情况：kafka展示信息，如生产、消费端的ip、端口等信息。
56.3)发布信息监控：查询获取的发布计划，展示待发布计划信息、待发布程序包信息、已发布版本信息等发布计划信息。
57.4)替换文件监控：统计程序文件替换次数，可以按程序版本或年度查询，统计相关配置文件替换次数，如：实体文件替换次数、协议文件替换次数等；
58.5)脚本执行监控：统计脚本执行数量、脚本执行成功数、脚本执行失败数等数据。
59.本实施例提供一种实时数据的监控方法，在不影响原有营销系统服务器性能的情况下，通过旁路设备对数据进行清洗后将业务人员关注的各项指标展示到图形化界面，帮助业务人员及时发现问题情况，大幅度提高查询数据的效率，缩短工作周期，减少人工值守时间。比如在电力行业营销系统上，根据业务的重要性可筛选出业务关注的监控指标，比如对翻月抄表开放、抄表、电费计算等重要流程的部分指标进行监控，并在前期设定监控指标的阈值，一旦出现数据问题，可通过短信、邮件等渠道进行通知，随时随地了解抄核收全过程。
60.以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为发明的
优选例，并不用来限制本发明，在不脱离本发明新型精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。