一种利用q复制技术实现数据集成和访问控制的方法
【专利摘要】本发明公开了一种利用Q复制技术实现数据集成和访问控制的方法，该方法通过Q复制技术实时将数据从源系统复制到统一数据平台，再复制到应用系统，该过程可以完成数据筛选、转化、整合等功能，因而统一数据平台实现了基本的数据集成；Q复制实时进行，使得应用系统能够及时获得源系统的数据；Q复制技术只对增量数据进行复制，减轻了网络的压力；应用系统将数据录入本地，减轻了源系统的访问压力；通过统一的数据平台，简化了应用系统和数据源之间的关系网络；此外，统一数据平台到应用系统实现了一对多Q复制，可有效地减少统一数据平台的内存资源要求。
【专利说明】一种利用Q复制技术实现数据集成和访问控制的方法
【技术领域】
[0001] 本发明涉及数据交互【技术领域】，尤其涉及一种利用Q复制技术实现数据集成和访 问控制的方法。
【背景技术】
[0002] 现有的多系统企业应用环境中，系统间进行数据交互的方法主要如下： 1、通过联邦等技术，数据应用系统（T)直接访问数据源系统（S)。该方法将S的表映射 到T当中。T访问该表时，实际将命令发送到S，由S执行命令并返回结果数据给T。该方法 主要缺陷在于每个T需要和所有相关的S之间建立访问关系，导致数据访问网络混乱、权限 控制困难，同时容易引起S以及网路的压力过大。
[0003] 2、通过SQL复制等技术，数据应用系统（T)将数据源系统（S)的数据复制到本地。 该方法通过SQL复制等实时技术，将S中的增量数据复制到T中，T可以直接使用。该方法 的主要缺陷与联邦技术类似：数据缺乏集成、访问网络复杂等。虽然该方法可以有效减轻S 和网络的压力，但实现方法较联邦技术复杂。
[0004] 3、通过建立数据仓库（DW)，将多个数据源系统（S)的数据整合后提供给数据应用 系统（T)。该方法按照一定的周期将各S的数据通过ETL (抽取、转化、加载)的方式录入到 DW当中，然后再通过ETL方式录入到各个T当中。该方法简化了访问网络，强化了权限控 制，能很好的进行数据整合，但ETL过程占用大量系统资源且用时较长，且DW中的数据不是 实时数据，这都影响了 T的任务完成时点。
【发明内容】
[0005] 本发明的目的在于针对现有技术的不足，提供一种利用Q复制技术实现数据集成 和访问控制的方法，该方法实时集成多个数据源系统的重要数据，再单独分发给数据应用 系统，从而简化了数据交互网络、加强了访问权限控制、减轻源系统和网络的压力。
[0006] 本发明的目的是通过以下技术方案来实现的：一种利用Q复制技术实现数据集成 和访问控制的方法，包括以下步骤： (1) 新建一个DB2数据库作为统一数据平台，统一数据平台与备份系统间配置成双机 集群系统； (2) 统一数据平台、备份系统、多个源系统和多个应用系统分别安装MQ应用程序； (3) 创建源系统到统一数据平台的Q复制，该步骤包括以下子步骤： (3. 1)在源系统创建Capture队列管理器，在Capture队列管理器中创建传输队列、重 启队列和管理队列； (3. 2)在统一数据平台创建Apply队列管理器，在Apply队列管理器中创建传输队列、 接收队列； (3. 3)创建远程队列：Apply队列管理器的接收队列通过消息通道映射到Capture队列 管理器，作为发送队列；Capture队列管理器的管理队列通过消息通道映射到Apply队列管 理器，作为管理队列； (3. 4)在源系统和统一数据平台的数据库里分别创建Q复制控制表的表空间，用来存 放Q复制控制表； (3. 5)在统一数据平台中生成密码文件，用于Q复制程序自动连接数据库，并对Q复制 控制表进行操作； (3. 6)在源系统和统一数据平台的数据库里分别创建Q复制控制表； (3. 7)在源系统与统一数据平台之间创建Q复制队列映射； (3. 8)在源系统与统一数据平台之间创建Q复制预订；Q复制预订分为全部复制和部分 复制，对部分复制进行数据筛选； (3. 9)在源系统与统一数据平台分别启动Q复制； (4)创建统一数据平台到应用系统的Q复制，该步骤包括以下子步骤： (4. 1)在统一数据平台创建Capture队列管理器，在Capture队列管理器中创建传输队 列、重启队列和管理队列； (4. 2)在应用系统创建Apply队列管理器，在Apply队列管理器中创建传输队列、接收 队列； (4. 3)创建远程队列：Apply队列管理器的接收队列通过消息通道映射到Capture队列 管理器，作为发送队列；Capture队列管理器的管理队列通过消息通道映射到Apply队列管 理器，作为管理队列； (4. 4)统一数据平台到应用系统的Q复制，复制过程包括两种：一种为复统一数据平台 到应用系统的存储过程复制，运用存储过程的逻辑对数据进行整理后存入应用系统数据库 中；另一种为统一数据平台到接收队列的事件发布，通过事件发布的方式，将数据发送到接 收队列后，可以被应用程序直接读取并使用。
[0007] 进一步地，所述步骤（3. 8)中所述对部分复制进行数据筛选，具体为：通过指定预 订命令中的TRGCOLS INCLUDE参数，对源系统中待复制的字段进行筛选。
[0008] 进一步地，所述步骤（3. 8)中所述对部分复制进行数据筛选，具体为：通过指定预 订命令中的SEARCH CONDITION参数，对源系统中待复制的内容进行筛选。
[0009] 进一步地，所述步骤（4. 4)中所述统一数据平台到应用系统的存储过程复制，具体 包括以下步骤： (a) 在统一数据平台和应用系统的数据库里分别创建Q复制控制表的表空间； (b) 在应用系统中生成密码文件； (c) 在统一数据平台和应用系统的数据库里分别创建Q复制控制表； (d) 在统一数据平台和应用系统之间创建Q复制队列映射； (e) 在统一数据平台和应用系统之间创建Q复制预订；通过指定预订命令中的TYPE 参数为ST0REDPR0C，将内容复制到存储过程；存储过程中，XParml传递主键字段的原值， Parml传递主键字段的当前值，Parm2传递非主键字段的当前值； (f) 在统一数据平台和应用系统分别启动Q复制； 进一步地，所述步骤（4. 4)中所述统一数据平台到接收队列的事件发布，具体包括以下 步骤： (a)在统一数据平台和应用系统之间创建Q复制队列映射； (b)在统一数据平台和应用系统之间创建事件发布预订； (C)使用应用程序直接访问统一数据平台发送的数据消息；应用程序通过实现 接口 com. ibm. db2. tools, repl. publication. PublicationMsgListene 并实现方法 publicationMsg(MsgpubMsg)，即可获得事件发布的数据消息； (d)启动应用程序读取事件发布的数据消息。
[0010] 本发明的有益效果：通过Q复制技术，实时将数据从源系统复制到统一数据平台， 再复制到应用系统，该过程可以完成数据筛选、转化、整合等功能，因而统一数据平台实现 了基本的数据集成；Q复制实时进行，使得应用系统能够及时获得源系统的数据；Q复制技 术只对增量数据进行复制，减轻了网络的压力；应用系统将数据录入本地，减轻了源系统的 访问压力；通过统一的数据平台，简化了应用系统和数据源之间的关系网络；此外，统一数 据平台到应用系统实现了一对多Q复制，可有效地减少统一数据平台的内存资源要求。
【专利附图】
【附图说明】
[0011] 图1本发明数据交互网络结构图； 图2为本发明一对多Q复制原理框图。
【具体实施方式】
[0012] 下面结合附图对本发明作进一步详细说明。
[0013] 如图1、2所示，一种利用Q复制技术实现数据集成和访问控制的方法，该方法在数 据交互网络上实现，所述数据交互网络包括统一数据平台、备份系统、多个源系统和多个应 用系统，所述多个源系统、多个应用系统和备份系统均与统一数据平台连接，多个源系统、 多个应用系统和备份系统与统一数据平台之间通过MQ消息通道实现数据传输。
[0014] 一种利用Q复制技术实现数据集成和访问控制的方法，该方法包括以下步骤： (1) 新建一个DB2数据库作为统一数据平台，统一数据平台与备份系统间配置成双机 集群系统（HA); (2) 统一数据平台、备份系统、多个源系统和多个应用系统分别安装MQ应用程序； (3) 创建源系统到统一数据平台的Q复制，该步骤包括以下子步骤： (3. 1)在源系统创建Capture队列管理器，在Capture队列管理器中创建传输队列、重 启队列和管理队列； (3. 2)在统一数据平台创建Apply队列管理器，在Apply队列管理器中创建传输队列、 接收队列； (3. 3)创建远程队列：Apply队列管理器的接收队列通过消息通道映射到Capture队列 管理器，作为发送队列；Capture队列管理器的管理队列通过消息通道映射到Apply队列管 理器，作为管理队列； (3. 4)在源系统和统一数据平台的数据库里分别创建Q复制控制表的表空间，用来存 放Q复制控制表，确保Q复制数据独立； (3. 5)在统一数据平台中生成密码文件，用于Q复制程序自动连接数据库，并对Q复制 控制表进行操作； (3. 6)在源系统和统一数据平台的数据库里分别创建Q复制控制表； (3. 7)在源系统与统一数据平台之间创建Q复制队列映射； (3. 8)在源系统与统一数据平台之间创建Q复制预订；Q复制预订分为全部复制和部分 复制，其中对部分复制进行数据筛选，包括两种方法： 方法1 :通过指定预订命令中的TRGCOLS INCLUDE参数，对源系统中待复制的字段进 行筛选：例如TRGCOLS INCLUDE (SCI TC1，SC2 TC2)表示源表中的SCI字段复制到目标表 的TC1字段中，SC2类似，未提及的字段不复制； 方法2 :通过指定预订命令中的SEARCH CONDITION参数，对源系统中待复制的内容进 行筛选：例如SEARCH CONDITION "WHERE :SC1=' Y' 〃表示源表中的SCI字段为' Y'的数据 记录，才会被复制到目标表中，其他记录不复制； (3. 9)在源系统与统一数据平台分别启动Q复制； (4)创建统一数据平台到应用系统的Q复制，该步骤包括以下子步骤： (4. 1)在统一数据平台创建Capture队列管理器，在Capture队列管理器中创建传输队 列、重启队列和管理队列；统一数据平台的队列管理器需要创建多个发送队列，其中一个用 于到存储过程的Q复制，一个用于事件发布； (4. 2)在应用系统创建Apply队列管理器，在Apply队列管理器中创建传输队列、接收 队列； (4. 3)创建远程队列：Apply队列管理器的接收队列通过消息通道映射到Capture队列 管理器，作为发送队列；Capture队列管理器的管理队列通过消息通道映射到Apply队列管 理器，作为管理队列； (4. 4)统一数据平台到应用系统的Q复制，复制过程包括两种方法：其中一种方法复制 数据到存储过程，运用存储过程的逻辑对数据进行整理后存入应用系统数据库中；另一方 法通过事件发布的方式，将数据发送到接收队列后，可以被应用程序直接读取并使用，具体 为： 一、 统一数据平台到应用系统的存储过程复制，包括以下子步骤： 1) 在统一数据平台和应用系统的数据库里分别创建Q复制控制表的表空间； 2) 在应用系统中生成密码文件； 3) 在统一数据平台和应用系统的数据库里分别创建Q复制控制表； 4) 在统一数据平台和应用系统之间创建Q复制队列映射； 5) 在统一数据平台和应用系统之间创建Q复制预订；通过指定预订命令中的TYPE参数 为ST0REDPR0C，将内容复制到存储过程。存储过程中，XParml传递主键字段的原值，Parml 传递主键字段的当前值，Parm2传递非主键字段的当前值； 6) 在统一数据平台和应用系统分别启动Q复制； 二、 统一数据平台到接收队列的事件发布，包括以下子步骤： 1) 在统一数据平台和应用系统之间创建Q复制队列映射； 2) 在统一数据平台和应用系统之间创建事件发布预订； 3) 使用应用程序直接访问统一数据平台发送的数据消息；应用程序通过实现 接口 com. ibm. db2. tools, repl. publication. PublicationMsgListene 并实现方法 publicationMsg(MsgpubMsg)，即可获得事件发布的数据消息； 4) 启动应用程序读取事件发布的数据消息。
【权利要求】
1. 一种利用Q复制技术实现数据集成和访问控制的方法，其特征在于，该方法包括以 下步骤： (1) 新建一个DB2数据库作为统一数据平台，统一数据平台与备份系统间配置成双机 集群系统； (2) 统一数据平台、备份系统、多个源系统和多个应用系统分别安装MQ应用程序； (3) 创建源系统到统一数据平台的Q复制，该步骤包括以下子步骤： (3. 1)在源系统创建Capture队列管理器，在Capture队列管理器中创建传输队列、重 启队列和管理队列； (3. 2)在统一数据平台创建Apply队列管理器，在Apply队列管理器中创建传输队列、 接收队列； (3. 3)创建远程队列：Apply队列管理器的接收队列通过消息通道映射到Capture队列 管理器，作为发送队列；Capture队列管理器的管理队列通过消息通道映射到Apply队列管 理器，作为管理队列； (3. 4)在源系统和统一数据平台的数据库里分别创建Q复制控制表的表空间，用来存 放Q复制控制表； (3. 5)在统一数据平台中生成密码文件，用于Q复制程序自动连接数据库，并对Q复制 控制表进行操作； (3. 6)在源系统和统一数据平台的数据库里分别创建Q复制控制表； (3. 7)在源系统与统一数据平台之间创建Q复制队列映射； (3. 8)在源系统与统一数据平台之间创建Q复制预订；Q复制预订分为全部复制和部分 复制，对部分复制进行数据筛选； (3. 9)在源系统与统一数据平台分别启动Q复制； (4) 创建统一数据平台到应用系统的Q复制，该步骤包括以下子步骤： (4. 1)在统一数据平台创建Capture队列管理器，在Capture队列管理器中创建传输队 列、重启队列和管理队列； (4. 2)在应用系统创建Apply队列管理器，在Apply队列管理器中创建传输队列、接收 队列； (4. 3)创建远程队列：Apply队列管理器的接收队列通过消息通道映射到Capture队列 管理器，作为发送队列；Capture队列管理器的管理队列通过消息通道映射到Apply队列管 理器，作为管理队列； (4. 4)统一数据平台到应用系统的Q复制，复制过程包括两种：一种为复统一数据平台 到应用系统的存储过程复制，运用存储过程的逻辑对数据进行整理后存入应用系统数据库 中；另一种为统一数据平台到接收队列的事件发布，通过事件发布的方式，将数据发送到接 收队列后，可以被应用程序直接读取并使用。
2. 根据权利要求1所述利用Q复制技术实现数据集成和访问控制的方法，其特征 在于，所述步骤（3.8)中所述对部分复制进行数据筛选，具体为：通过指定预订命令中的 TRGCOLS INCLUDE参数，对源系统中待复制的字段进行筛选。
3. 根据权利要求1所述利用Q复制技术实现数据集成和访问控制的方法，其特征 在于，所述步骤（3.8)中所述对部分复制进行数据筛选，具体为：通过指定预订命令中的 SEARCH CONDITION参数，对源系统中待复制的内容进行筛选。
4. 根据权利要求1所述利用Q复制技术实现数据集成和访问控制的方法，其特征在 于，所述步骤（4. 4)中所述统一数据平台到应用系统的存储过程复制，具体包括以下步骤： (a) 在统一数据平台和应用系统的数据库里分别创建Q复制控制表的表空间； (b) 在应用系统中生成密码文件； (c) 在统一数据平台和应用系统的数据库里分别创建Q复制控制表； (d) 在统一数据平台和应用系统之间创建Q复制队列映射； (e) 在统一数据平台和应用系统之间创建Q复制预订；通过指定预订命令中的TYPE 参数为ST0REDPR0C，将内容复制到存储过程；存储过程中，XParml传递主键字段的原值， Parml传递主键字段的当前值，Parm2传递非主键字段的当前值； (f) 在统一数据平台和应用系统分别启动Q复制。
5. 根据权利要求1所述利用Q复制技术实现数据集成和访问控制的方法，其特征在 于，所述步骤（4. 4)中所述统一数据平台到接收队列的事件发布，具体包括以下步骤： (a) 在统一数据平台和应用系统之间创建Q复制队列映射； (b) 在统一数据平台和应用系统之间创建事件发布预订； (c) 使用应用程序直接访问统一数据平台发送的数据消息；应用程序通过实现 接口 com. ibm. db2. tools, repl. publication. PublicationMsgListene 并实现方法 publicationMsg(MsgpubMsg)，即可获得事件发布的数据消息； (d) 启动应用程序读取事件发布的数据消息。
【文档编号】G06F17/30GK104112001SQ201410330030
【公开日】2014年10月22日 申请日期:2014年7月12日 优先权日:2014年7月12日
【发明者】姚京京, 胡旭峰 申请人:浙商银行股份有限公司