一种数字民政内部数据汇聚共享方法与流程

1.本发明涉及民政信息化领域，具体提供一种数字民政内部数据汇聚共享方法。


背景技术：

2.依据行业标准，建立汇集各区县、地市等民政部门业务数据的数据交换与共享平台，并提供技术支持和数据处理服务，同步建立相关管理制度和技术规范等。数据汇聚是指建立一整套数据标准模板，支持历史数据上传，增量数据上传及实时上传。各节点通过数据采集等多种形式上报。采集上来的数据，在完整性、准确性及一致性等方面保证质量

技术实现要素：
，按各节点民政数据资源规模，并充分考虑逐年递增等发展趋势，统一规划业务数据资源存储，满足数据分析和挖掘未来业务发展需要。
3.为规范内部数据汇聚共享的需要，需要建立完善一套数据汇聚(抽取、转换、标准化)的完整流程。建立各项分析指标，用来辅助管理层进行决策和相关政策制定。
发明内容
4.本发明是针对上述现有技术的不足，提供一种实用性强数字民政内部数据汇聚共享方法。
5.本发明解决其技术问题所采用的技术方案是：
6.一种数字民政内部数据汇聚共享方法，具体以下步骤：
7.s1、数据源进入ods源数据区；
8.s2、对源数据区的数据进行转换；
9.s3、脏数据写入ods源数据区；
10.s4、标准编码和数据生成和维护；
11.s5、整合加工数据；
12.s6、将ods源数据存放到源数据历史区。
13.作为优选,在步骤s1中，数据源数据经过datax抽取进入ods的源数据区。
14.进一步的,所述数据源指存储于系统中的数据，包括社会救助、养老服务、残疾人两项补贴、儿童福利、基层政权、婚姻登记、殡葬管理、区划地名和社会工作。
15.进一步的,所述ods源数据区用于获取和提供全局一致的综合信息。
16.进一步的,在步骤s2中，基于标准编码及编码对照对ods源数据区的数据进行转换。
17.进一步的,在步骤s3中，步骤s2中生成的脏数据存储于脏数据区，并通过外部接口区对脏数据进行处理，处理后脏数据写入ods的源数据区。
18.进一步的,在步骤s4中，标准编码以及编码对照区数据通过外部接口区生成和维护。
19.进一步的,在步骤s5中，整合加工后的数据通过数据质量审核外部应用进行数据监控、检查、管理和评价，对不符合业务要求的问题数据通过业务系统调整或通过外部应用
程序进行调整。
20.本发明的一种数字民政内部数据汇聚共享方法和现有技术相比，具有以下突出的有益效果：
21.本发明可以建立完善的一套数据汇聚(抽取、转换、标准化)的完整流程，建立各项分析指标，可以辅助管理层进行决策和相关政策制定。
附图说明
22.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
23.附图1是一种数字民政内部数据汇聚共享方法的流程示意图；
24.附图2是一种数字民政内部数据汇聚共享方法中etl开发流程图。
具体实施方式
25.为了使本技术领域的人员更好的理解本发明的方案，下面结合具体的实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例都属于本发明保护的范围。
26.下面给出一个最佳实施例：
27.如图1所示，etl的开发过程和质量保证作为数据整合的核心指导原则，在开发过程中，评审始终贯穿整个开发过程和质量保证过程。包括了etl规则评审、etl概要设计评审、etl详细设计评审、数据质量评审等关键阶段。
28.数据的质量也是影响数据中心实施的一个关键因素。没有良好的数据基础，对数据中心项目建设会造成严重的障碍，尤其是对决策支持系统的支撑建设。所以，对数据质量的评估也是实施数据整合的关键策略。
29.数据质量问题具体表现：
30.数据是否正确体现在现实或可证实的来源；数据之间的参照完整性是否存在或一致；数据是否被一致的定义或理解；所有需要的数据是否都存在；数据是否在企业定义的可接收的范围之内；数据在需要的时间是否有效；数据是否易于获取、易于理解和易于使用。
31.影响数据质量问题的原因有很多，由系统集成和历史数据造成的原因主要有：
32.业务系统不同时期系统之间数据模型不一致；业务系统不同时期业务过程有变化；旧系统模块在各个系统中相关信息的不一致性；源系统缺少输入验证过程，不能阻止非法格式的数据进入系统；可以验证但不能改正数据，验证程序不能发现格式正确但内容不正确的错误；源系统不受控制的更改，而这种更改不能及时的传播到受影响的系统；数据有多个交叉的访问界面，难以统一管理数据质量问题；缺少参照完整性检查；低劣的源系统设计；数据转换错误，比如etl过程错误或数据迁移过程的错误。
33.所以定制完善的数据质量评估策略能让我们正确评估数据质量对系统建设的影响程度大小，以及尽可能采用相应的技术策略来确保数据的完整性、可靠性、一致性。
34.数据源：数据源指存储于各级各业务系统中的数据，包括社会救助、养老服务、残疾人两项补贴、儿童福利、基层政权、婚姻登记、殡葬管理、区划地名、社会工作等。资源整合来自于这些系统的数据，形成统一的、一致的基础数据集，并提供给不同的应用形成数据基础。
35.操作数据存储：ods(operational data store，操作数据存储)，设立ods存储区，对于数据从数据源到数据中心是十分必要的，ods两大应用特点是，以获取和提供全局一致的综合信息为目标，但并不需要考虑太多的历史数据，并且要求有较快的响应速度，所以，此类应用如果放到原有的业务系统完成，将很难满足对全局一致信息的要求，并影响业务系统的系统响应速度和效率；如果放在包含大量历史数据的数据中心中完成，由于涉及大量不必要的数据检索，响应速度将受到较大影响。因此，设立ods是十分必要的。
36.数据的处理流程为：
37.s1、数据源进入ods源数据区：
38.数据源数据经过datax抽取进入ods的源数据区。
39.s2、对源数据区的数据进行转换：
40.基于标准编码及编码对照对源数据区的数据进行转换。
41.s3、脏数据写入ods源数据区：
42.步骤2生成的脏数据存储于脏数据区，并通过外部接口区对脏数据进行处理，处理后脏数据写入ods的源数据区；
43.s4、标准编码和数据生成和维护：
44.标准编码以及编码对照区数据通过外部接口区生成和维护。
45.s5、整合加工数据：
46.整合加工后的数据通过数据质量审核外部应用进行数据监控、检查、管理、评价，对不符合业务要求的问题数据通过业务系统调整或通过外部应用程序进行调整。
47.s6、将ods源数据存放到源数据历史区。
48.存储和管理来ods系统处理加工后的数据，主要分为基础标准库、服务库、配置库并为访问用户提供数据服务。数据中心的主题库数据按照数据模型分主题进行组织和存放，包括当期的和较长时间的历史数据。
49.上述具体的实施方式仅是本发明具体的个案，本发明的专利保护范围包括但不限于上述具体的实施方式，任何符合本发明的一种数字民政内部数据汇聚共享方法权利要求书的且任何所述技术领域普通技术人员对其做出的适当变化或者替换，皆应落入本发明的专利保护范围。
50.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。