针对社保信息的大数据整合系统的制作方法

本发明属于大数据整合技术领域，涉及一种针对社保信息的大数据整合系统。

背景技术：

我国社会保险管理信息系统作为金保工程的两大核心系统之一，为养老保险、失业保险、医疗保险、工伤保险和生育保险等五大险种提供了信息化管理。

由于劳动保障信息化建设进程前后不一，导致各信息系统的分块建设，从而形成了信息孤岛的现状，即：五大保险的数据不能共享，造成了无法满足大城市管理和服务参保大众的需要。

为了提升劳动保障服务能力，加强五险系统之间的数据共享，整合发行量超过200万张的劳动保障ic卡，对五险数据进行清洗整合，建立公共数据仓库势在必行，而建立一个合理有效的数据清洗整合系统是数据清洗整合的关键。

技术实现要素：

本发明目的在于提供一种针对社保信息的大数据整合系统，为了克服由于信息化建设进程的前后不一致导致五大业务子系统之间数据的不一致，以至于五大保险的数据不能共享的问题，利用基于oracle数据库的数据整合工具，针对社保领域的数据质量问题，采用分层模型，有效地解决了各信息孤岛多源异构数据的清洗与整合，实现了五险公共数据仓库的建立。

为解决上述技术问题，本发明采用如下的技术方案：一种针对社保信息的大数据整合系统，该系统包括：业务交易数据库层、同步数据层、数据清洗与整合层、公共数据库层以及报表展现层；其中，所述业务交易数据库层由五大保险的业务交易数据库组成；所述同步数据层从所述业务交易数据库层建立五险的同步数据；所述数据清洗与整合层对所述同步数据层的数据进行处理；所述公共数据库层由五险通用公共数据库与专用数据库组成；所述报表展现层用于实现基本信息查询及趋势预测等应用，为领导决策提供有力的支持。

进一步地，所述业务交易数据库层包含了目前已创建的五大保险的业务交易数据库，主要进行业务的办理。

进一步地，所述同步数据层用于建立五险的同步数据，将需要进行抽取和整合的数据指标同步到本层中，以减少由于抽取和整合计算导致的业务交易数据库性能下降。

进一步地，所述数据清洗与整合层主要完成对所述同步数据层中的数据进行抽取、转换，并将数据加载到所述公共数据库层。

进一步地，所述公共数据库层包括五险通用的公共数据库以及五大保险专用的数据库，达到通用属性的统一和各险种特色数据的存储。

本发明与现有技术相比具有以下的有益效果：

本发明方案针对由于信息化建设进程的前后不一致导致五大业务子系统之间数据的不一致，以至于五大保险的数据不能共享的问题，利用基于oracle数据库的数据整合工具，针对社保领域的数据质量问题，采用分层模型，解决了各信息孤岛多源异构数据的清洗与整合，实现了五险公共数据仓库的建立，加强了五险子系统之间的数据共享。

附图说明

图1是针对社保信息的大数据整合系统的整体框架图。

图2是针对社保信息的大数据整合系统中zc01表的数据整合模型图。

具体实施方式

下面结合附图及具体实施例对本发明进行更加详细与完整的说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。

参照图1，本发明的一种针对社保信息的大数据整合系统，该系统包括：业务交易数据库层、同步数据层、数据清洗与整合层、公共数据库层以及报表展现层。

其中，所述业务交易数据库层包含了目前已创建的五大保险的业务交易数据库，主要功能是进行业务的办理；所述同步数据层用于建立五险的同步数据，将需要进行抽取和整合的数据指标同步到本层中，以减少由于抽取和整合计算导致的业务交易数据库性能下降；同时本层的数据也可提供对外服务。本层的同步数据由oracle的数据同步工具odi完成，并通过此工具来确保数据同步的高效性和准确性。

所述数据清洗与整合层主要完成对所述同步数据层中的数据进行抽取、转换，并将数据加载到所述公共数据库层；所述公共数据库层包括五险通用的公共数据库以及五大保险专用的数据库，达到通用属性的统一和各险种特色数据的存储；所述报表展现层用于实现基本信息查询及趋势预测等应用，为领导决策提供有力的支持。

本发明以pc服务器作为硬件平台，采用oracle10g作为公共数据库的数据管理平台，基于oracle的etl工具odi(oracledataintegrator)作为社保数据清洗和整合的平台。

oracledataintegrator属于oracle融合中间件产品系列，它能够实现异构程度日益增加的环境中的数据集成。它是一个基于java的应用程序，可以使用数据库来执行基于集合的数据集成任务，也可以将该功能扩展到多种数据库平台以及oracle数据库。

1、同步数据层的实现

同步数据层的功能是把需要进行抽取和整合的五险数据指标同步到同步库中，通过odi的数据同步机制cdc(changeddatacapture)来捕获变化的数据，并协助应用程序处理变化的数据。cdc包括以下技术：

触发器(trigger)，在odi中创建触发器，通过触发器跟踪数据的变化；日志(logs)，odi可以从数据库日志中获得数据的变化；时间戳(timestamp)，在数据表中加入时间戳，odi在加载数据时通过比对记录和时间戳过滤有问题的记录；序列号(sequencenumber)，如果数据集中的记录是按序列号有序排列的，那么odi可以过滤加载过程中的有质量问题的记录。

2、数据清洗整合层的实现

数据清洗整合层的功能是将同步数据库中的数据进行抽取、转换，加载到公共数据库。数据整合是由oracle的数据集成工具odi实现的，将数据的清洗与整合相结合，使用检查知识模块(ckm)中的流控制技术(flowcontrol)进行动态数据检查(dynamicdatacheck)确保数据的一致性，把动态检查过程中发现的问题数据存放到error表中，待处理后通过odi接口(interface)回收(recycle)到公共库中。

1)数据清洗

数据清洗包括三个阶段，第一阶段是在数据应用层(数据源层)进行数据清洗，第二阶段是在数据转换层(etl层)进行数据清洗，第三阶段是在目标层(公共数据仓库层)进行数据清洗。在数据源层，采用检查知识模块(ckm)对数据进行静态控制(staticcontrol)，检查的内容包括：键(keys)，参照完整性(references)，条件(conditions)；在etl层，采用动态流控制(flowcontrol)在接口中对数据进行控制，动态流控制的作用是检查脏数据，并将其存放到errors表中，待业务人员更正后将其同步到目标数据表；目标数据层采用静态控制(staticcontrol)，通过接口和包对数据质量进行控制，并通过odi的检查知识模块(ckm)对五险系统进行数据一致性检查，对存在的脏数据，如拼写错误，缩写错误，空值，缺省值，内嵌值，重复记录等采用静态数据检查(staticdatacheck)方式，通过设置业务规则和约束控制数据的一致性。

(1)设置去除重复记录的约束(deduplicationrules)

设置主键(primarykeys)：通过设置主键来检查是否存在重复记录，并检查出重复记录的数量，若有重复记录则删除，目的是阻止重复记录。

设置变更键(alternatekeys)；

设置索引(uniqueindexes)。

(2)设置参照规则(referencerules)

单一约束simple：columna＝columnb；

复杂约束columna＝function(columnb,columnc)。

(3)设置有效性规则

通过设置条件(conditions)来同步数据，若该列的数据不满足所设置的条件则抽取被拒绝，而错误的记录将被放置到error表中，这些错误记录由设计人员和业务人员检查改正后被抽取到同步数据层中。只有满足条件的数据才能进入同步层，对于满足条件的记录则直接通过odi同步到同步数据层中。

2)数据整合

通过odi将各业务系统中的数据整合到公共数据仓库中，即实现数据的etl(抽取，转换，加载)过程；参照图2，以公共数据仓库的个人五险映射表(zc01)为例介绍数据整合过程；zc01表的数据整合过程如下：

第一步：通过对医保数据库的个人基本信息表(ac01)，个人参保信息表(ac02)，医疗保险参保人员基本信息表(kc01)三张表中的个人编码字段(aac001)相连接后就可以提取出参加医疗保险的个人编码。其中，ac01中的公民身份证字段(aac002)不允许为空值，ac02中的险种类别字段(aae140)指定了参加的保险的类别，医保的编号为3，故该字段值为3。同样的道理，可以利用ac01，ac02，kc01三张表提取出参加其他保险的个人编码。

第二步：将提取出来的各个险种编码插入到zc01中的相应的字段，对zc01中的个人内码字段(zac001)则可以采用序列解决。

第三步：在odi(oracledesignerintegrator)工具中，创建一个接口(zc01)，通过执行该接口进行数据整合，将各数据源的个人基本信息表的数据整合到公共数据库中的表zc01中。

3、公共数据库层的实现

当业务数据整合到公共数据库后，仍然存在一部分的脏数据，这是正常的，因此公共数据库中的数据的清洗也十分重要，通过odi的静态控制机制(staticcontrol)进行静态数据检查(staticdatacheck)发现问题数据并放置到error表中，待处理后再返回到公共数据库中。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。