核电站海量数据处理方法、装置及系统的制作方法
【专利摘要】本发明公开了一种核电站海量数据处理方法，该方法包括：建立源数据表的影子表，在所述影子表上增加hash值字段；根据所述hash值字段建立可扩展标记语言xml格式的变更过程记录表；将所述xml格式的变更过程记录表中的变更过程数据文件通过网站进行发布。在核电站建设过程中，实现海量数据的传输可用性和可靠性。此外，本发明还公开了一种核电站海量数据处理装置和系统。
【专利说明】核电站海量数据处理方法、装置及系统
【技术领域】
[0001] 本发明属于核电【技术领域】，具体涉及一种核电站海量数据处理方法、装置及系统。
【背景技术】
[0002] 核电站设计过程中，将产生海量关系型数据，保存在大型数据库中。其中单个专项 的关系型数据，其数据项就可能在数十万条以上，数据字段达到30项以上，而这些数据及 其更新，需要定期传输给下游采购、施工、调试、运营等各环节利用。而参与核电各方使用的 信息系统，由于建设于不同时期，且由不同部门各自进行设计，导致系统平台出现异构性； 同时，因工作分工及信息安全等因素约束，不能将设计数据库开放给各方直接读取共享，所 以，通过数据控制及传输机制，将同一数据对象的多个副本按需放置在不同数据库节点，并 自动维护其一致性的方法，是核电站建设过程中保证数据可用性和可靠性的一项重要技 术。
[0003] 为解决数据一致性，常规方式是通过将远程数据库中的数据复制到本地，可使得 应用系统能够就近访问数据，避免了远程读取数据，从而降低网络传输负载，提高效率；当 源数据库中的数据发生更改时，通过网络传输到目标数据库。但这种方式只能用于同构数 据库，同时，在网络节点和通信链路发生故障时，数据同步易出现问题，无法保障下游应用 系统正确使用数据。
[0004] 为此，目前提出一种基于影子表法，进行异构数据库复制。具体是数据提供方忽略 变更数据捕获环节，将源数据表映射为影子表，定期同步两类表数据，数据提供方发布影子 表查询接口，数据接收方通过接口查询数据，然后通过数据转换，将查询结果组织为目标数 据；数据接收方定期查询影子表数据，对比其与现有目标数据的区别，进行数据修正。该方 案能实现数据更新及时和准确，但过分依赖数据接收方的配置，以及外部网络环境等，不适 用于大数据量或更新频繁的情况，并且，数据更新检查，对网络的要求比较高。
[0005] 另一种方案是基于触发器法，进行异构数据库复制。即数据提供方在源数据库中 创建增删改的操作触发器，当对复制数据项进行修改、插入和删除操作时，触发器将变化的 数据序列提取出来，数据提供方将数据更新序列通过接口发布，数据接收方通过接口查询 变更数据，然后通过数据转换将更新数据合并到目标数据中，而数据接收方不必考虑数据 修正问题，数据接收方定期查询影子表数据，对比与目标数据的区别，实现进行数据修正。 通过触发器实时捕捉数据源的变化数据，效率很高。但是使用触发器捕捉变更数据时，占用 的系统资源较多，对复杂的复制任务需要非常复杂的配置和实施，管理很不方便，并且只能 在有触发器机制的数据库系统中使用。
【发明内容】
[0006] 本发明的目的在于：在核电站的海量数据处理中，提供一种可以实现准确、快捷的 数据传输处理技术。
[0007] 为了实现上述发明目的，本发明提供了一种核电站海量数据处理方法，所述方法 包括：
[0008] 建立源数据表的影子表，在所述影子表上增加hash值字段；
[0009] 根据所述hash值字段建立可扩展标记语言xml格式的变更过程记录表中的变更 过程数据文件；
[0010] 将所述xml格式的变更过程记录表中的变更过程数据文件通过网站进行发布。
[0011] 作为本发明核电站海量数据处理方法的一种改进，所述hash值字段根据监控的 变更数据字段进行初始化计算所得。
[0012] 作为本发明核电站海量数据处理方法的一种改进，所述变更过程数据文件至少包 括变更时间、变更方式、变更字段以及变更值中的一项。
[0013] 作为本发明核电站海量数据处理方法的一种改进，所述方法还包括：
[0014] 根据数据接收方的请求创建变更xml格式数据文件。
[0015] 作为本发明核电站海量数据处理方法的一种改进，所述方法还包括：
[0016] 判断影子表中的数据项与源数据表中的数据项相比是否存在更新。
[0017] 作为本发明核电站海量数据处理方法的一种改进，所述判断影子表中的数据项与 源数据表中的数据项相比是否存在更新，包括：
[0018] 将源数据表中主关键字与影子表中主关键字进行比较，筛选得到新增数据项和/ 或删除数据项。
[0019] 作为本发明核电站海量数据处理方法的一种改进，所述判断影子表中的数据项与 源数据表中的数据项相比是否存在更新，还包括：
[0020] 若影子表中数据项hash值与源数据表中数据项hash值不一致，则源数据表中的 数据项有修改。
[0021] 作为本发明核电站海量数据处理方法的一种改进，所述方法还包括：
[0022] 根据所述筛选得到的新增数据项和/或删除数据项，在所述影子表中执行相应的 新增和/或删除数据项的操作。
[0023] 作为本发明核电站海量数据处理方法的一种改进，所述方法还包括：
[0024] 根据所述源数据表中有修改的数据项修改所述影子表中相应的数据项及其hash 值。
[0025] 作为本发明核电站海量数据处理方法的一种改进，所述方法还包括：
[0026] 将所述更新的操作写入所述xml格式的变更过程记录表中的变更过程数据文件 中，得到更新后的xml格式的变更过程数据文件。
[0027] 作为本发明核电站海量数据处理方法的一种改进，所述方法还包括：
[0028] 将更新后的xml格式的变更过程数据文件按照设定的时间进行发布。
[0029] 为了实现上述发明目的，本发明还提供了一种核电站海量数据处理方法，包括：
[0030] 定时获取网站发布的xml格式的变更过程记录表中的变更过程数据文件，所述 xml格式的变更过程记录表中的变更过程数据文件是根据源数据表对应影子表中的hash 值字段建立的；
[0031] 将所述xml格式的变更过程记录表中的变更过程数据文件进行解析获得相应的 数据项信息；
[0032] 将所述数据项信息写入目标数据库。
[0033] 作为本发明核电站海量数据处理方法的一种改进，所述hash值字段根据监控的 变更数据字段进行初始化计算所得。
[0034] 作为本发明核电站海量数据处理方法的一种改进，所述变更过程数据文件至少包 括变更时间、变更方式、变更字段以及变更值中的一项。
[0035] 作为本发明核电站海量数据处理方法的一种改进，所述方法还包括：判断影子表 中的数据项与源数据表中的数据项相比是否存在更新。
[0036] 作为本发明核电站海量数据处理方法的一种改进，所述方法还包括：将所述更新 的操作写入所述xml格式的变更过程记录表中的变更过程数据文件中，得到更新后的xml 格式的变更过程数据文件。
[0037] 作为本发明核电站海量数据处理方法的一种改进，所述方法还包括：向数据发送 方发送请求，以使数据发送方根据所述请求创建变更xml格式数据文件。
[0038] 作为本发明核电站海量数据处理方法的一种改进，所述方法还包括：根据所述变 更xml格式数据文件修改目标数据库。
[0039] 为了实现上述发明目的，本发明还提供了一种核电站海量数据处理装置，该装置 包括：
[0040] 第一建立模块，用于建立源数据表的影子表，在所述影子表上增加hash值字段；
[0041] 第二建立模块，用于根据所述hash值字段建立可扩展标记语言xml格式的变更过 程记录表中的变更过程数据文件；
[0042] 发布模块，用于将所述xml格式的变更过程记录表中的变更过程数据文件通过网 站进行发布。
[0043] 作为本发明核电站海量数据处理装置的一种改进，所述装置还包括：创建模块，用 于根据数据接收方的请求创建变更xml格式数据文件。
[0044] 作为本发明核电站海量数据处理装置的一种改进，所述装置还包括：判断模块，用 于判断影子表中的数据项与源数据表中的数据项相比是否存在更新。
[0045] 作为本发明核电站海量数据处理装置的一种改进，所述判断模块判断影子表中的 数据项与源数据表中的数据项相比是否存在更新，包括：
[0046] 将源数据表中主关键字与影子表中主关键字进行比较，筛选得到新增数据项和/ 或删除数据项。
[0047] 作为本发明核电站海量数据处理装置的一种改进，所述判断模块判断影子表中的 数据项与源数据表中的数据项相比是否存在更新，包括：
[0048] 若影子表中数据项hash值与源数据表中数据项hash值不一致，则源数据表中的 数据项有修改。
[0049] 作为本发明核电站海量数据处理装置的一种改进，所述装置还包括：
[0050] 第一执行模块，用于根据所述筛选得到的新增数据项和/或删除数据项，在所述 影子表中执行相应的新增和/或删除数据项的操作。
[0051] 作为本发明核电站海量数据处理装置的一种改进，所述装置还包括：
[0052] 第二执行模块，用于根据所述源数据表中有修改的数据项修改所述影子表中相应 的数据项及其hash值。
[0053] 作为本发明核电站海量数据处理装置的一种改进，所述装置还包括：
[0054] 更新模块，用于将所述更新的操作写入所述xml格式的变更过程记录表中的变更 过程数据文件中，得到更新后的xml格式的变更过程数据文件。
[0055] 作为本发明核电站海量数据处理装置的一种改进，所述发布模块还用于：
[0056] 将更新后的xml格式的变更过程数据文件按照设定的时间进行发布。
[0057] 为了实现上述发明目的，本发明还提供了一种核电站海量数据处理设备，该设备 包括：
[0058] 获取模块，用于定时获取网站发布的xml格式的变更过程记录表中的变更过程数 据文件，所述xml格式的变更过程记录表中的变更过程数据文件是根据源数据表对应影子 表中的hash值字段建立的；
[0059] 解析模块，用于将所述xml格式的变更过程记录表中的变更过程数据文件进行解 析获得相应的数据项信息；
[0060] 存储模块，用于将所述数据项信息写入目标数据库。
[0061] 作为本发明核电站海量数据处理设备的一种改进，所述设备还包括：
[0062] 发送模块，用于向数据发送方发送请求，以使数据发送方根据所述请求创建变更 xml格式数据文件。
[0063] 作为本发明核电站海量数据处理设备的一种改进，所述存储模块还用于：
[0064] 根据所述变更xml格式数据文件修改目标数据库。
[0065] 为了实现上述发明目的，本发明还提供了一种核电站海量数据处理系统，系统包 括：
[0066] 数据发送方，用于建立源数据表的影子表，在所述影子表上增加hash值字段，根 据所述hash值字段建立可扩展标记语言xml格式的变更过程记录表中的变更过程数据文 件，将所述xml格式的变更过程记录表中的变更过程数据文件通过网站进行发布；
[0067] 数据接收方，用于定时获取所述网站发布的xml格式的变更过程记录表中的变更 过程数据文件，所述xml格式的变更过程记录表中的变更过程数据文件进行解析获得相应 的数据项信息，将所述数据项信息写入目标数据库。
[0068] 作为本发明核电站海量数据处理系统的一种改进，所述数据发送方还用于：
[0069] 根据所述数据接收方的请求创建变更xml格式数据文件。
[0070] 作为本发明核电站海量数据处理系统的一种改进，所述数据发送方还用于：
[0071] 判断影子表中的数据项与源数据表中的数据项相比是否存在更新。
[0072] 作为本发明核电站海量数据处理系统的一种改进，所述数据发送方判断影子表中 的数据项与源数据表中的数据项相比是否存在更新，包括：
[0073] 将源数据表中主关键字与影子表中主关键字进行比较，筛选得到新增数据项和/ 或删除数据项。
[0074] 作为本发明核电站海量数据处理系统的一种改进，所述数据发送方判断影子表中 的数据项与源数据表中的数据项相比是否存在更新，包括：
[0075] 若影子表中数据项hash值与源数据表中数据项hash值不一致，则判断源数据表 中的数据项有修改。
[0076] 作为本发明核电站海量数据处理系统的一种改进，所述数据发送方还用于：
[0077] 根据所述筛选得到的新增数据项和/或删除数据项，在所述影子表中执行相应的 新增和/或删除数据项的操作。
[0078] 作为本发明核电站海量数据处理系统的一种改进，所述数据发送方还用于：
[0079] 根据所述源数据表中有修改的数据项修改所述影子表中相应的数据项及其hash 值。
[0080] 作为本发明核电站海量数据处理系统的一种改进，所述数据发送方还用于：
[0081] 将所述更新的操作写入所述xml格式的变更过程记录表中的变更过程数据文件 中，得到更新后的xml格式的变更过程数据文件。
[0082] 作为本发明核电站海量数据处理系统的一种改进，所述数据发送方还用于：
[0083] 将更新后的xml格式的变更过程数据文件按照设定的时间进行发布。
[0084] 作为本发明核电站海量数据处理系统的一种改进，所述数据接收方还用于：
[0085] 根据所述变更xml格式数据文件修改目标数据库。
[0086] 与现有技术相比，本发明核电站海量数据处理方法、装置及系统具有以下有益技 术效果：数据发送方通过源数据表和影子表中hash值建立的xml格式的变更过程记录表中 的变更过程数据文件，并通过网站进行发布。实现了数据传输中的数据库快速复制和一致 性校验。一方面，由于数据发送方通过源数据表和影子表的字段变化，替换为比较hash值 的变化，从而可有效提高识别有变化的数据项；另一方面，由于数据接收方可以通过网站的 web服务以自动化的方式获取变更数据XML文件，可以实现快速、准确的监控数据传输的正 确性。此外，本发明实现方法简单易行，取得很好的技术效果。
【专利附图】
【附图说明】
[0087] 下面结合附图和【具体实施方式】，对本发明核电站海量数据处理方法、装置及系统 进行详细说明，其中：
[0088] 图1提供了一种核电站海量数据处理方法的一个实例流程图。
[0089] 图2提供了一种核电站海量数据处理方法的一个实例流程图。
[0090] 图3提供了一种核电站海量数据处理装置的一个实例示意图。
[0091] 图4提供了一种核电站海量数据处理装置的又一个实例示意图。
[0092] 图5提供了一种核电站海量数据处理设备的一个实例示意图。
[0093] 图6提供了一种核电站海量数据处理系统的一个实例示意图。
【具体实施方式】
[0094] 为了使本发明的发明目的、技术方案及其有益技术效果更加清晰，以下结合附图 和【具体实施方式】，对本发明进行进一步详细说明。应当强调的是，本说明书中描述的具体实 施方式仅仅是为了解释本发明，并非为了限定本发明的使用场合。
[0095] 请结合参看图1，图1提供了一种核电站海量数据处理方法。
[0096] hash值，即哈希值，就是把任意长度的输入（又叫做预映射，pre-image)，通过散 列算法，变换成固定长度的输出，该输出就是散列值。
[0097] 数据提供方承担获取数据变更的任务，对影子表法进行改良，通过变更数据以可 扩展标记语言（Extensible Markup Language, xml)文件形式提供，发布到网站，以web服 务方式或网页下载方式提供给数据接收方，可以适应不同数据接收方不同形式的数据库。 具体的，
[0098] 步骤101，建立源数据表的影子表，在所述影子表上增加hash值字段。
[0099] 可选的，hash值字段根据监控的变更数据字段进行初始化计算所得。
[0100] 步骤103,根据所述hash值字段建立可扩展标记语言xml格式的变更过程记录表 中的变更过程数据文件。
[0101] 进一步的，该变更过程数据文件至少包括变更时间、变更方式、变更字段以及变更 值中的一项。
[0102] 进一步的，数据发送方判断影子表中的数据项与源数据表中的数据项相比是否存 在更新。
[0103] 具体的，数据发送方将源数据表中主关键字与影子表中主关键字进行比较，筛选 得到新增数据项和/或删除数据项；进一步的，数据发送方根据所述筛选得到的新增数据 项和/或删除数据项，在所述影子表中执行相应的新增和/或删除数据项的操作。
[0104] 或者，若影子表中数据项hash值与源数据表中数据项hash值不一致，则数据发送 方判断源数据表中的数据项有修改；进一步的，数据发送方根据所述源数据表中有修改的 数据项修改所述影子表中相应的数据项及其hash值。
[0105] 如前所述，数据发送方将上述更新的操作，如删除操作、增加操作以及修改操作写 入所述xml格式的变更过程记录表中的变更过程数据文件中，得到更新后的xml格式的变 更过程数据文件。
[0106] 步骤105,将所述xml格式的变更过程记录表中的变更过程数据文件通过网站进 行发布。
[0107] 进一步的，数据发送方将更新后的xml格式的变更过程数据文件按照设定的时间 进行发布。
[0108] 本发明实施例通过数据发送方通过源数据表和影子表中hash值建立的xml格式 的变更过程记录表中的变更过程数据文件，并通过网站进行发布。实现了数据传输中的数 据库快速复制和一致性校验；同时，由于数据发送方通过源数据表和影子表的字段变化，替 换为比较hash值的变化，从而可有效提高识别有变化的数据项。
[0109] 请结合图2,图2提供了一种核电站海量数据处理方法的一个实施例。该方法包 括：
[0110] 步骤201，定时获取网站发布的xml格式的变更过程记录表中的变更过程数据文 件，所述xml格式的变更过程记录表中的变更过程数据文件是根据源数据表对应影子表中 的hash值字段建立的。
[0111] 如前所述，所述hash值字段根据监控的变更数据字段进行初始化计算所得。
[0112] 步骤203,将所述xml格式的变更过程记录表中的变更过程数据文件进行解析获 得相应的数据项信息。
[0113] 有前述可知，变更过程数据文件至少包括变更时间、变更方式、变更字段以及变更 值中的一项。
[0114] 进一步的，向数据发送方发送请求，以使数据发送方根据所述请求创建变更xml 格式数据文件。
[0115] 进一步的，数据发送方判断影子表中的数据项与源数据表中的数据项相比是否存 在更新。
[0116] 具体的，数据发送方将源数据表中主关键字与影子表中主关键字进行比较，筛选 得到新增数据项和/或删除数据项；进一步的，数据发送方根据所述筛选得到的新增数据 项和/或删除数据项，在所述影子表中执行相应的新增和/或删除数据项的操作。
[0117] 或者，若影子表中数据项hash值与源数据表中数据项hash值不一致，则数据发送 方判断源数据表中的数据项有修改；进一步的，数据发送方根据所述源数据表中有修改的 数据项修改所述影子表中相应的数据项及其hash值。
[0118] 数据发送方将上述更新的操作，如删除操作、增加操作以及修改操作写入所述xml 格式的变更过程记录表中的变更过程数据文件中，得到更新后的xml格式的变更过程数据 文件。
[0119] 步骤205，将所述数据项信息写入目标数据库。
[0120] 可选的，数据接收方根据所述变更xml格式数据文件修改目标数据库。
[0121] 本发明实施例由于通过数据接收方可以通过网站的web服务获取变更数据XML文 件，可以实现快速、准确的监控数据传输的正确性。同时，由于定时获取变更的数据项，可实 现数据更新的及时性，又减少了资源占用。本发明实现方法简单易行，取得很好的技术效 果。
[0122] 请结合图3,图3提供了一种核电站海量数据处理装置的一个实施例。该装置包 括：第一建立模块301、第二建立模块303以及发布模块305。具体的，
[0123] 第一建立模块301，用于建立源数据表的影子表，在所述影子表上增加hash值字 段；
[0124] 第二建立模块303,用于根据所述hash值字段建立可扩展标记语言xml格式的变 更过程记录表中的变更过程数据文件；
[0125] 发布模块305,用于将所述xml格式的变更过程记录表中的变更过程数据文件通 过网站进行发布。
[0126] 本发明实施例数据发送方通过源数据表和影子表中hash值建立的xml格式的变 更过程记录表中的变更过程数据文件，并通过网站进行发布。实现了数据传输中的数据库 快速复制和一致性校验。
[0127] 请结合图4,图4提供了一种核电站海量数据处理装置的一个实施例。具体包括： 第一建立模块401、第二建立模块403、发布模块405、判断模块407、第一执行模块409、第二 执行模块411以及更新模块413。其中，
[0128] 第一建立模块401，用于建立源数据表的影子表，在所述影子表上增加hash值字 段。
[0129] 第二建立模块403,用于根据所述hash值字段建立可扩展标记语言xml格式的变 更过程记录表中的变更过程数据文件。
[0130] 发布模块405,用于将所述xml格式的变更过程记录表中的变更过程数据文件通 过网站进行发布。
[0131] 判断模块407,用于判断影子表中的数据项与源数据表中的数据项相比是否存在 更新。
[0132] 具体的，判断模块407将源数据表中主关键字与影子表中主关键字进行比较，筛 选得到新增数据项和/或删除数据项；或者，若影子表中数据项hash值与源数据表中数据 项hash值不一致，则判断模块407判断源数据表中的数据项有修改。
[0133] 第一执行模块409,用于根据所述筛选得到的新增数据项和/或删除数据项，在所 述影子表中执行相应的新增和/或删除数据项的操作。
[0134] 第二执行模块411，用于根据所述源数据表中有修改的数据项修改所述影子表中 相应的数据项及其hash值。
[0135] 更新模块413,用于将所述更新的操作写入所述xml格式的变更过程记录表中的 变更过程数据文件中，得到更新后的xml格式的变更过程数据文件。
[0136] 可选的，发布模块405还用于将更新后的xml格式的变更过程数据文件按照设定 的时间进行发布。
[0137] 可选的，该装置还可以包括创建模块，用于根据数据接收方的请求创建变更xml 格式数据文件。
[0138] 本发明实施例通过数据发送方通过源数据表和影子表中hash值建立的xml格式 的变更过程记录表中的变更过程数据文件，并通过网站进行发布。实现了数据传输中的数 据库快速复制和一致性校验；同时，由于数据发送方通过源数据表和影子表的字段变化，替 换为比较hash值的变化，从而可有效提高识别有变化的数据项。
[0139] 请结合参看图5,图5提供了一种核电站海量数据处理设备的一个实施例的示意 图。包括：获取模块501、解析模块503以及存储模块505。其中，
[0140] 获取模块501，用于定时获取网站发布的xml格式的变更过程记录表中的变更过 程数据文件，所述xml格式的变更过程记录表中的变更过程数据文件是根据源数据表对应 影子表中的hash值字段建立的；
[0141] 解析模块503,用于将所述xml格式的变更过程记录表中的变更过程数据文件进 行解析获得相应的数据项信息；
[0142] 存储模块505,用于将所述数据项信息写入目标数据库。
[0143] 可选的，该设备还可以包括发送模块，用于向数据发送方发送请求，以使数据发送 方根据所述请求创建变更xml格式数据文件。
[0144] 进一步的，存储模块505还用于根据所述变更xml格式数据文件修改目标数据库。
[0145] 本发明实施例由于通过数据接收方可以通过网站的web服务获取变更数据XML文 件，可以实现快速、准确的监控数据传输的正确性。同时，由于定时获取变更的数据项，可实 现数据更新的及时性，又减少了资源占用。
[0146] 请结合参看图6,图6提供了一种核电站海量数据处理系统的一个实施例的示意 图。包括：数据发送方601和数据接收方603。其中，
[0147] 数据发送方601，用于建立源数据表的影子表，在所述影子表上增加hash值字段， 根据所述hash值字段建立可扩展标记语言xml格式的变更过程记录表中的变更过程数据 文件，将所述xml格式的变更过程记录表中的变更过程数据文件通过网站进行发布；
[0148] 数据接收方603,用于定时获取所述网站发布的xml格式的变更过程记录表中的 变更过程数据文件，所述xml格式的变更过程记录表中的变更过程数据文件进行解析获得 相应的数据项信息，将所述数据项信息写入目标数据库。
[0149] 进一步的，数据发送方601还用于根据所述数据接收方的请求创建变更xml格式 数据文件。
[0150] 进一步的，数据发送方601还用于判断影子表中的数据项与源数据表中的数据项 相比是否存在更新。具体是数据发送方601将源数据表中主关键字与影子表中主关键字进 行比较，筛选得到新增数据项和/或删除数据项；或者，若影子表中数据项hash值与源数据 表中数据项hash值不一致，数据发送方601则判断源数据表中的数据项有修改。
[0151] 对应的，数据发送方601根据所述筛选得到的新增数据项和/或删除数据项，在所 述影子表中执行相应的新增和/或删除数据项的操作；或者，数据发送方601根据所述源数 据表中有修改的数据项修改所述影子表中相应的数据项及其hash值。
[0152] 进一步的，数据发送方601将所述更新的操作写入所述xml格式的变更过程记录 表中的变更过程数据文件中，得到更新后的xml格式的变更过程数据文件。数据发送方601 将更新后的xml格式的变更过程数据文件按照设定的时间进行发布。
[0153] 相应的，数据接收方603则根据所述变更xml格式数据文件修改目标数据库。
[0154] 系统的实施方法和流程可以参见前述实施例中介绍的方法实施例，此处不再赘 述。
[0155] 结合以上对本发明的详细描述可以看出，相对于现有技术，本发明至少具有以下 有益技术效果：数据发送方通过源数据表和影子表中hash值建立的xml格式的变更过程 记录表中的变更过程数据文件，并通过网站进行发布。实现了数据传输中的数据库快速复 制和一致性校验。一方面，由于数据发送方通过源数据表和影子表的字段变化，替换为比较 hash值的变化，从而可有效提高识别有变化的数据项；另一方面，由于数据接收方可以通 过网站的web服务获取变更数据XML文件，可以实现快速、准确的监控数据传输的正确性。 此外，本发明实现方法简单易行，取得很好的技术效果。
[0156] 根据上述原理，本发明还可以对上述实施方式进行适当的变更和修改。因此，本发 明并不局限于上面揭示和描述的【具体实施方式】，对本发明的一些修改和变更也应当落入本 发明的权利要求的保护范围内。此外，尽管本说明书中使用了一些特定的术语，但这些术语 只是为了方便说明，并不对本发明构成任何限制。
【权利要求】
1. 一种核电站海量数据处理方法，其特征在于，所述方法包括： 建立源数据表的影子表，在所述影子表上增加哈希hash值字段； 根据所述hash值字段建立可扩展标记语言xml格式的变更过程记录表； 将所述xml格式的变更过程记录表中的变更过程数据文件通过网站进行发布。
2. 如权利要求1所述的方法，其特征在于，所述hash值字段根据监控的变更数据字段 进行初始化计算所得。
3. 如权利要求2所述的方法，其特征在于，所述变更过程数据文件至少包括变更时间、 变更方式、变更字段以及变更值中的一项。
4. 如权利要求3所述的方法，其特征在于，所述方法还包括： 根据数据接收方的请求创建变更xml格式数据文件。
5. 如权利要求3所述的方法，其特征在于，所述方法还包括： 判断影子表中的数据项与源数据表中的数据项相比是否存在更新。
6. 如权利要求5所述的方法，其特征在于，所述判断影子表中的数据项与源数据表中 的数据项相比是否存在更新，包括： 将源数据表中主关键字与影子表中主关键字进行比较，筛选得到新增数据项和/或删 除数据项。
7. 如权利要求5所述的方法，其特征在于，所述判断影子表中的数据项与源数据表中 的数据项相比是否存在更新，还包括： 若影子表中数据项hash值与源数据表中数据项hash值不一致，则源数据表中的数据 项有修改。
8. 如权利要求6所述的方法，其特征在于，所述方法还包括： 根据所述筛选得到的新增数据项和/或删除数据项，在所述影子表中执行相应的新增 和/或删除数据项的操作。
9. 如权利要求7所述的方法，其特征在于，所述方法还包括： 根据所述源数据表中有修改的数据项修改所述影子表中相应的数据项及其hash值。
10. 如权利要求5-9所述的任一方法，其特征在于，所述方法还包括： 将所述更新的操作写入所述xml格式的变更过程记录表中的变更过程数据文件中，得 到更新后的xml格式的变更过程数据文件。
11. 如权利要求10所述的方法，其特征在于，所述方法还包括： 将更新后的xml格式的变更过程数据文件按照设定的时间进行发布。
12. -种核电站海量数据处理方法，其特征在于，所述方法包括： 定时获取网站发布的xml格式的变更过程记录表中的变更过程数据文件，所述xml格 式的变更过程记录表中的变更过程数据文件是根据源数据表对应影子表中的hash值字段 建立的； 将所述xml格式的变更过程记录表中的变更过程数据文件进行解析获得相应的数据 项信息； 将所述数据项信息写入目标数据库。
13. 如权利要求12所述的方法，其特征在于，所述hash值字段根据监控的变更数据字 段进行初始化计算所得。
14. 如权利要求13所述的方法，其特征在于，所述变更过程数据文件至少包括变更时 间、变更方式、变更字段以及变更值中的一项。
15. 如权利要求14所述的方法，其特征在于，所述方法还包括： 判断影子表中的数据项与源数据表中的数据项相比是否存在更新。
16. 如权利要求15所述的方法，其特征在于，所述方法还包括： 将所述更新的操作写入所述xml格式的变更过程记录表中的变更过程数据文件中，得 到更新后的xml格式的变更过程数据文件。
17. 如权利要求16所述的方法，其特征在于，所述方法还包括： 向数据发送方发送请求，以使数据发送方根据所述请求创建变更xml格式数据文件。
18. 如权利要求17所述的方法，其特征在于，所述方法还包括： 根据所述变更xml格式数据文件修改目标数据库。
19. 一种核电站海量数据处理装置，其特征在于，所述装置包括： 第一建立模块，用于建立源数据表的影子表，在所述影子表上增加hash值字段； 第二建立模块，用于根据所述hash值字段建立可扩展标记语言xml格式的变更过程记 录表中的变更过程数据文件； 发布模块，用于将所述xml格式的变更过程记录表中的变更过程数据文件通过网站进 行发布。
20. 如权利要求19所述的装置，其特征在于，所述装置还包括： 创建模块，用于根据数据接收方的请求创建变更xml格式数据文件。
21. 如权利要求19所述的装置，其特征在于，所述装置还包括： 判断模块，用于判断影子表中的数据项与源数据表中的数据项相比是否存在更新。
22. 如权利要求21所述的装置，其特征在于，所述判断模块判断影子表中的数据项与 源数据表中的数据项相比是否存在更新，包括： 将源数据表中主关键字与影子表中主关键字进行比较，筛选得到新增数据项和/或删 除数据项。
23. 如权利要求21所述的装置，其特征在于，所述判断模块判断影子表中的数据项与 源数据表中的数据项相比是否存在更新，包括： 若影子表中数据项hash值与源数据表中数据项hash值不一致，则源数据表中的数据 项有修改。
24. 如权利要求22所述的装置，其特征在于，所述装置还包括： 第一执行模块，用于根据所述筛选得到的新增数据项和/或删除数据项，在所述影子 表中执行相应的新增和/或删除数据项的操作。
25. 如权利要求23所述的装置，其特征在于，所述装置还包括： 第二执行模块，用于根据所述源数据表中有修改的数据项修改所述影子表中相应的数 据项及其hash值。
26. 如权利要求22-25所述的任一装置，其特征在于，所述装置还包括： 更新模块，用于将所述更新的操作写入所述xml格式的变更过程记录表中的变更过程 数据文件中，得到更新后的xml格式的变更过程数据文件。
27. 如权利要求26所述的装置，其特征在于，所述发布模块还用于： 将更新后的xml格式的变更过程数据文件按照设定的时间进行发布。
28. -种核电站海量数据处理设备，其特征在于，所述设备包括： 获取模块，用于定时获取网站发布的xml格式的变更过程记录表中的变更过程数据文 件，所述xml格式的变更过程记录表中的变更过程数据文件是根据源数据表对应影子表中 的hash值字段建立的； 解析模块，用于将所述xml格式的变更过程记录表中的变更过程数据文件进行解析获 得相应的数据项信息； 存储模块，用于将所述数据项信息写入目标数据库。
29. 如权利要求28所述的设备，其特征在于，所述设备还包括： 发送模块，用于向数据发送方发送请求，以使数据发送方根据所述请求创建变更xml 格式数据文件。
30. 如权利要求29所述的设备，其特征在于，所述存储模块还用于： 根据所述变更xml格式数据文件修改目标数据库。
31. -种核电站海量数据处理系统，其特征在于，所述系统包括： 数据发送方，用于建立源数据表的影子表，在所述影子表上增加hash值字段，根据所 述hash值字段建立可扩展标记语言xml格式的变更过程记录表中的变更过程数据文件，将 所述xml格式的变更过程记录表中的变更过程数据文件通过网站进行发布； 数据接收方，用于定时获取所述网站发布的xml格式的变更过程记录表中的变更过程 数据文件，所述xml格式的变更过程记录表中的变更过程数据文件进行解析获得相应的数 据项信息，将所述数据项信息写入目标数据库。
32. 如权利要求31所述的系统，其特征在于，所述数据发送方还用于： 根据所述数据接收方的请求创建变更xml格式数据文件。
33. 如权利要求31所述的系统，其特征在于，所述数据发送方还用于： 判断影子表中的数据项与源数据表中的数据项相比是否存在更新。
34. 如权利要求33所述的系统，其特征在于，所述数据发送方判断影子表中的数据项 与源数据表中的数据项相比是否存在更新，包括： 将源数据表中主关键字与影子表中主关键字进行比较，筛选得到新增数据项和/或删 除数据项。
35. 如权利要求33所述的系统，其特征在于，所述数据发送方判断影子表中的数据项 与源数据表中的数据项相比是否存在更新，包括： 若影子表中数据项hash值与源数据表中数据项hash值不一致，则判断源数据表中的 数据项有修改。
36. 如权利要求34所述的系统，其特征在于，所述数据发送方还用于： 根据所述筛选得到的新增数据项和/或删除数据项，在所述影子表中执行相应的新增 和/或删除数据项的操作。
37. 如权利要求35所述的系统，其特征在于，所述数据发送方还用于： 根据所述源数据表中有修改的数据项修改所述影子表中相应的数据项及其hash值。
38. 如权利要求33-37所述的任一系统，其特征在于，所述数据发送方还用于： 将所述更新的操作写入所述xml格式的变更过程记录表中的变更过程数据文件中，得 到更新后的xml格式的变更过程数据文件。
39. 如权利要求38所述的系统，其特征在于，所述数据发送方还用于： 将更新后的xml格式的变更过程数据文件按照设定的时间进行发布。
40. 如权利要求32所述的系统，其特征在于，所述数据接收方还用于： 根据所述变更xml格式数据文件修改目标数据库。
【文档编号】G06Q50/06GK104090948SQ201410313066
【公开日】2014年10月8日 申请日期:2014年7月2日 优先权日:2014年7月2日
【发明者】王云福, 张洁, 魏欣南 申请人:中广核工程有限公司, 中国广核集团有限公司