基于DAC定时任务发送日报的方法及系统与流程

基于dac定时任务发送日报的方法及系统
技术领域
1.本发明涉及数据分析技术领域，具体地说是一种基于dac定时任务发送日报的方法及系统。


背景技术：

2.科学技术的发展及网络技术的提高使得人们能够提取的数据信息越来越多，元数据治理与挖掘越来越成为人们关注的焦点和对象，如何从这些大量的元数据中挖掘出对社会有用的信息成为了急需要解决的问题。现如今，数据挖掘、仓库技术及java软件开发技术的综合应用为各个难题提供了有效的解决办法，也因此数据仓库技术、数据挖掘技术和java软件开发技术也越来越成为各个领域争先研究的方向。
3.元数据的挖掘和治理是数据挖掘的重要组成部分，它被应用于发现数据库中的不同数据之间关联关系的重要工具，发现的这些数据可成为商业决策的一种依据，因为这些规则反应的是顾客购物的行为数据集；也正因为这一大因素，使得元数据治理与挖掘成为数据挖掘中最重要的、成熟的研究内容,而元数据治理的挖掘同时又是元数据挖掘的核心步骤，所以元数据的挖掘与治理被赋予了重要的意义。
4.故如何解决数据挖掘处理中对于数据难以采集和提炼的难题是目前亟待解决的技术问题。


技术实现要素：

5.本发明的技术任务是提供一种基于dac定时任务发送日报的方法及系统，来解决数据挖掘治理中对于数据难以采集和提炼的问题。
6.本发明的技术任务是按以下方式实现的，一种基于dac定时任务发送日报的方法，该方法是利用java开发技术，通过quartz定时任务组件定时获取元数据中的有用数据，组合数据形成报告，同时利用接口技术向微信上给指定的员工每天定时发送日报；具体如下：
7.元数据采集、数据清洗及关联分析；
8.quartz定时抽取；
9.发送微信日报；
10.分析执行计划并优化调整。
11.作为优选，元数据采集、数据清洗及关联分析具体如下：
12.分析dac后台数据库中记录执行计划运行时间的数据表，并通过java程序定时采集表中的数据；
13.分析不同的数据表找出关联关系，进行数据表关联；
14.对关联后的数据表进行加工处理，汇总得到关于java程序执行时间，得到成功失败的结果表数据。
15.作为优选，quartz定时抽取具体如下：
16.利用已搭建好的java开发环境，整合quartz定时任务组件；
17.根据quartz定时任务配置使用的规则，配置定时任务；
18.在每天dac执行完毕后，运维人员上班前，抽取汇总好的元数据结果表数据。
19.作为优选，发送微信日报具体如下：
20.基于java开发环境，开发向微信个人客户端发送数据的接口；
21.利用java程序调整日报发送的格式及展示样式，将日报定时推送至运维人员的微信客户端。
22.更优地，分析执行计划并优化调整具体如下：
23.运维人员拿到dac执行计划的运行情况后，分析每一个执行计划的执行时长；
24.将该执行时长与之前的执行时长对比，有针对性的对执行时间过长的执行计划进行优化调整，合理安排执行计划的执行时间。
25.一种基于dac定时任务发送日报的系统，该系统包括，
26.预处理单元，用于通过采集dac工具后台元数据仓库中存储的数据，并进行关联分析，再次加工汇总得到结果数据；
27.抽取单元，用于通过quartz定时组件定时抽取数据；
28.发送单元，用于利用已经开发好的消息推送接口，定时通过一卡通号发送至接收人的微信端，并形成日报；
29.分析及优化单元，用于运营维护人员通过分析每个执行计划的执行时间长短，成功失败情况，合理调整执行计划，优化执行时间过长的程序。
30.作为优选，所述预处理单元包括，
31.元数据采集模块，用于分析dac后台数据库中记录执行计划运行时间的数据表，并通过java程序定时采集表中的数据；
32.关联分析模块，用于分析不同的数据表找出关联关系，进行数据表关联；
33.数据清洗模块，用于对关联后的数据表进行加工处理，汇总得到关于java程序执行时间，得到成功失败的结果表数据。
34.作为优选，所述抽取单元包括，
35.整合模块，用于利用已搭建好的java开发环境，整合quartz定时任务组件；
36.配置模块，用于根据quartz定时任务配置使用的规则，配置定时任务；
37.抽取模块，用于在每天dac执行完毕后，运维人员上班前，抽取汇总好的元数据结果表数据。
38.更优地，所述发送单元包括，
39.接口开发模块，用于基于java开发环境，开发向微信个人客户端发送数据的接口；
40.推送模块，用于利用java程序调整日报发送的格式及展示样式，将日报定时推送至运维人员的微信客户端。
41.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序可被处理器执行以实现如上述的基于dac定时任务发送日报的方法。
42.本发明的基于dac定时任务发送日报的方法及系统具有以下优点：
43.(一)本发明充分挖掘了dac数据库中的元数据，对数据进行了有效的挖掘，提炼出最有用最核心的数据，形成日报发送到微信端，摆脱了对查看调度工具的直接依赖，更加直
观方便；
44.(二)本发明综合利用元数据治理与挖掘以及java开发技术，充分挖掘了元数据的价值，实现了数据价值的最大化，拿到的日报形式的数据更加人性化，更加友好；
45.其中，元数据治理：包括业务词汇表的发展，数据元素和实体的定义，业务规则和算法以及数据特征；最基础的管理是管理业务元数据的收集、组织和维持。对技术型元数据的应用，对主数据管理和数据治理项目的成功至关重要；
46.元数据挖掘：常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统(依靠过去的经验法则)和模式识别等诸多方法来实现上述目标；
47.(三)本发明有效的解决数据挖掘治理中对于数据难以采集和提炼的难题，充分利用并提高了元数据的价值；
48.(四)本发明基于java开发的接口和对元数据的有效提炼，摆脱了原始的查看调度工具的依赖，更加直观方便的查看日报数据；
49.(五)本发明通过对日报数据的有效分析，更有利于加强对调度工具的合理使用和安排。
附图说明
50.下面结合附图对本发明进一步说明。
51.附图1为基于dac定时任务发送日报的方法的流程框图。
具体实施方式
52.参照说明书附图和具体实施例对本发明的基于dac定时任务发送日报的方法及系统作以下详细地说明。
53.实施例1：
54.如附图1所示，本发明的基于dac定时任务发送日报的方法，该方法是利用java开发技术，通过quartz定时任务组件定时获取元数据中的有用数据，组合数据形成报告，同时利用接口技术向微信上给指定的员工每天定时发送日报；具体如下：
55.s1、元数据采集、数据清洗及关联分析；
56.s2、quartz定时抽取；
57.s3、发送微信日报；
58.s4、分析执行计划并优化调整。
59.其中，定时任务(quartz)：quartz是opensymphony开源组织在job scheduling领域又一个开源项目，完全由java开发，可以用来执行定时任务，类似于java.util.timer。但是相较于timer，quartz增加了很多功能：持久性作业
‑
就是保持调度定时的状态；作业管理
‑
对调度作业进行有效的管理。
60.接口：是java语言中一种引用类型，是方法的集合，如果说类的内部封装了成员变量、构造方法和成员方法，那么接口的内部主要就是封装了方法，包含抽象方法(jdk 7及以前)，默认方法和静态方法(jdk 8)，私有方法(jdk 9)。
61.本实施例中步骤s1中的元数据采集、数据清洗及关联分析具体如下：
62.s101、分析dac后台数据库中记录执行计划运行时间的数据表，并通过java程序定
时采集表中的数据；
63.s102、分析不同的数据表找出关联关系，进行数据表关联；
64.s103、对关联后的数据表进行加工处理，汇总得到关于java程序执行时间，得到成功失败的结果表数据。
65.本实施例中步骤s2中的quartz定时抽取具体如下：
66.s201、利用已搭建好的java开发环境，整合quartz定时任务组件；
67.s202、根据quartz定时任务配置使用的规则，配置定时任务；
68.s203、在每天dac执行完毕后，运维人员上班前，抽取汇总好的元数据结果表数据。
69.本实施例中步骤s3中的发送微信日报具体如下：
70.s301、基于java开发环境，开发向微信个人客户端发送数据的接口；
71.s302、利用java程序调整日报发送的格式及展示样式，将日报定时推送至运维人员的微信客户端。
72.本实施例中步骤s4中的分析执行计划并优化调整具体如下：
73.s401、运维人员拿到dac执行计划的运行情况后，分析每一个执行计划的执行时长；
74.s402、将该执行时长与之前的执行时长对比，有针对性的对执行时间过长的执行计划进行优化调整，合理安排执行计划的执行时间。
75.实施例2：
76.本发明的基于dac定时任务发送日报的系统，该系统包括，
77.预处理单元，用于通过采集dac工具后台元数据仓库中存储的数据，并进行关联分析，再次加工汇总得到结果数据；
78.抽取单元，用于通过quartz定时组件定时抽取数据；
79.发送单元，用于利用已经开发好的消息推送接口，定时通过一卡通号发送至接收人的微信端，并形成日报；
80.分析及优化单元，用于运营维护人员通过分析每个执行计划的执行时间长短，成功失败情况，合理调整执行计划，优化执行时间过长的程序。
81.本实施例中的预处理单元包括，
82.元数据采集模块，用于分析dac后台数据库中记录执行计划运行时间的数据表，并通过java程序定时采集表中的数据；
83.关联分析模块，用于分析不同的数据表找出关联关系，进行数据表关联；
84.数据清洗模块，用于对关联后的数据表进行加工处理，汇总得到关于java程序执行时间，得到成功失败的结果表数据。
85.本实施例中的抽取单元包括，
86.整合模块，用于利用已搭建好的java开发环境，整合quartz定时任务组件；
87.配置模块，用于根据quartz定时任务配置使用的规则，配置定时任务；
88.抽取模块，用于在每天dac执行完毕后，运维人员上班前，抽取汇总好的元数据结果表数据。
89.本实施例中的发送单元包括，
90.接口开发模块，用于基于java开发环境，开发向微信个人客户端发送数据的接口；
91.推送模块，用于利用java程序调整日报发送的格式及展示样式，将日报定时推送至运维人员的微信客户端。
92.实施例3：
93.本发明实施例还提供了一种计算机可读存储介质，其中存储有多条指令，指令由处理器加载，使处理器执行本发明任一实施例中的基于dac定时任务发送日报的方法。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或cpu或mpu)读出并执行存储在存储介质中的程序代码。
94.在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
95.用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如cd
‑
rom、cd
‑
r、cd
‑
rw、dvd
‑
rom、dvd
‑
rym、dvd
‑
rw、dvd+rw)、磁带、非易失性存储卡和rom。可选择地，可以由通信网络从服务器计算机上下载程序代码。
96.此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。
97.此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的cpu等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。
98.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。