一种用于电商平台的数据中间件的制作方法

本发明涉及数据处理技术领域，具体涉及数据中间件技术。

背景技术：

计算机技术迅速发展。从硬件技术看，cpu速度越来越高，处理能力越来越强；从软件技术看，应用程序的规模不断扩大，特别是internet及www的出现，使计算机的应用范围更为广阔，许多应用程序需在网络环境的异构平台上运行。这一切都对新一代的软件开发提出了新的需求。在这种分布异构环境中，通常存在多种硬件系统平台(如pc，工作站，小型机等)，在这些硬件平台上又存在各种各样的系统软件(如不同的操作系统、数据库、语言编译器等)，以及多种风格各异的用户界面，这些硬件系统平台还可能采用不同的网络协议和网络体系结构连接；因此多系统平台之间由于网络体系结构不同的原因，相互传输数据困难，导致工作效率的降低。

例如电商平台，具有多种平台，多种数据库，每种平台或数据库可能都运行在不同的系统环境中，从而各个平台之间，各个数据库之间都无法进行有效的数据交换。最为重要的，电商平台中的财务软件一般需要汇聚各个平台或各个数据库的多种数据，由于这些数据之间不相通，则大大影响了电商平台财务数据处理的效率。

技术实现要素：

针对于现有电商平台中不同数据之间传输的问题，本发明的目的在于提供一种用于电商平台的数据中间件，通过数据中间件平台可将数据格式转换成系统软件所匹配的格式，很好地克服了现有技术所存在的技术问题。

为了达到上述目的，本发明提供的用于电商平台的数据中间件，包括标准数据接口、数据调度监控平台、数据解析模块、数据处理模块、以及数据存储模块，

所述标准数据接口作为整个中间件平台的数据输入接口，用于接收各种待处理数据；

所述数据解析模块与标准数据接口和数据调度监控平台数据链接，可根据数据调度监控平台的任务调度指令，从标准数据接口中读取转换后的数据，并根据任务要求对读取到的数据进行解析；

所述数据处理模块与数据解析模块和数据调度监控平台数据链接，并与各财务软件数据导入口连通；数据处理模块可根据数据调度监控平台的任务调度指令，从数据解析模块中读取解析处理后的数据，并根据任务调度指令对读取到的数据进行转换处理，将处理后的数据直接导入进对应的财务软件系统；

所述数据存储模块与数据处理模块和数据调度监控平台数据链接，可根据数据调度监控平台的任务调度指令，从数据处理模块中获取数据处理模块处理后的数据并进行存储；

所述数据调度监控平台调度并控制标准数据接口、数据解析模块，数据处理模块和数据存储模块间进行配合工作。

进一步地，所述数据调度监控平台通过多线程任务来调度并控制标准数据接口、数据解析模块，数据处理模块和数据存储模块间配合工作。

进一步地，所述数据存储模块可根据数据调度监控平台的任务调度指令从数据处理模块中获取数据处理模块所读取到的数据，并将其与数据处理模块处理后的数据进行一一对应存储。

进一步地，所述数据中间件之间进行关联运行。

本发明提供的数据中间件平台方案，其通过在电商平台的处理平台、数据库与财务软件之间设置一个数据中间件平台，其通过数据中间件平台可实现将各种数据库或数据文件通过数据处理成适用于财务软件的数据格式，能够大大提高电商平台财务数据处理的效率。

附图说明

以下结合附图和具体实施方式来进一步说明本发明。

图1为本发明实例中用于电商平台的数据中间件的构成示例图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。

针对现有电商平台中不同软件系统或不同数据库的数据与财务系统的数据无法有效相互传输的问题，本实例针给出一种用于电商平台的数据中间件，能够在电商平台中不同软件系统或不同数据库与各财务软件之间搭建数据转换桥梁，实现两者之间的数据交换或传输。

本实例给出的用于电商平台的数据中间件，为位于平台(硬件和操作系统)和应用之间的通用服务，具有标准的程序接口。针对不同的数据库，可以有符合接口和协议规范的多种实现。

本用于电商平台的数据中间件可将各种数据库或数据文件通过数据处理成适用于财务软件的数据格式，大大提高了工作效率。

参见图1，其所示为本实例给出的用于电商平台的数据中间件的构成示例方案。

由图可知，本数据中间件100主要包括标准数据接口110、数据调度监控平台120、数据解析模块130、数据处理模块140、以及数据存储模块150这五个部分。

这里的标准数据接口110作为整个中间件平台的数据输入接口，用于接收各种待处理数据。

该标准数据接口110可与各种数据库200进行数据连接，如可与oracle\mysql\sqlserver\db2\hadoop等数据库进行数据连接。

同时该标准数据接口110可接收各种数据文件300，如csv\xml\excel\txt等等。

该标准数据接口110对接收到的数据进行标准化预处理，将接收到的各类数据转换成符合中间处理要求的标准化数据。对于具体的预处理方式和相应的数据格式，此处不加以限定，可根据实际需求而定。

数据解析模块130与标准数据接口110和数据调度监控平台120数据链接。

该数据解析模块130可根据数据调度监控平台120的任务调度指令，从标准数据接口110中读取转换后的数据，并根据任务要求对读取到的数据进行解析，去除不符合要求的数据，对符合要求的数据进行属性解析、内容解析和归类处理。

这里对于数据解析模块130的具体实现方式或方案，此处不加以限定，可根据实际需求而定。

数据处理模块140与数据解析模块130和数据调度监控平台120数据链接，并通过相应的数据接口与各财务软件400的数据导入口连通。

该数据处理模块140可根据数据调度监控平台120的任务调度指令，从数据解析模块130中读取解析处理后的数据，并从任务调度指令中解析出相应财务软件的数据需求或要求，且据此对读取到的数据进行转换处理，将读取到的数据转换成符合相应财务软件需求或要求的财务数据，并直接导入进对应的财务软件系统。

这里对于数据处理模块140的具体实现方式或方案，此处不加以限定，可根据实际需求而定。

数据存储模块150与数据处理模块140和数据调度监控平台120数据链接。

该数据存储模块150可根据数据调度监控平台120的任务调度指令，从数据处理模块140中获取数据处理模块140所读取到的数据以及进行处理后的数据，并这两组数据一一对应存储。

根据需要，该数据存储模块150将数据处理模块140所接收到的任务调度指令信息，与相应的数据同步进行存储，以便后续进行数据复核，能够在数据出现错误时，快速锁定错误数据源。

数据调度监控平台120分别与标准数据接口110、数据解析模块130，数据处理模块140和数据存储模块150数据链接，进行数据交互，同时协调标准数据接口110、数据解析模块130，数据处理模块140和数据存储模块150之间进行配合工作，完成数据的读取、解析、处理、导入以及存储。

该数据调度监控平台120通过多线程任务来调度并控制标准数据接口110、数据解析模块130，数据处理模块140和数据存储模块150之间配合工作。这里的线程任务中至少包括对应财务软件系统的导入数据的需求或要求。

具体，该数据调度监控平台120通过并行的多线程任务来调度并控制标准数据接口110、数据解析模块130，数据处理模块140和数据存储模块150之间配合工作，由此实现多个中间件数据处理任务的并行处理。

与此同时，该数据调度监控平台120中还设置有相应的数据监控单元，能够针对每条线程任务的调度处理过程和数据处理过程进行同步的实时监控，可以使得数据在处理过程中的数据稳定性以及数据处理的工作效率都能得到大大得到提升，并且，也可随时了解每个任务的运行情况。

据此构成的用于电商平台的数据中间件在具体实现时，可以相应的软件程序呈现，其能够独立运行；同时多个中间件同时设置时，可进行并行运行或串行运行，与此来提高系统的数据运行效率。

本数据中间件在实际运行时，针对不同的硬件平台、系统等，还将具有如下技术特点：

(1)能够满足大量应用的需要；

(2)可运行于多种硬件和os平台；

(3)支持分布计算，提供跨网络、硬件和os平台的透明性的应用或服务的交互；

(4)支持标准的协议；

(5)支持标准数据库的接口.

由此本中间件在具体应用时，将具有如下特点：

a)可实现不同平台数据互相传输；

b)可实现不同系统数据互相传输；

c)可实现不同数据库互相传输；

d)可以处理非数据库数据，如：xml,txt,csv,execl等；

e)每个中间件任务可以独立：每个任务可以独立运行；

f)每个中间任务也可以有关联：每个任务可以按照数据逻辑关联运行；

g)使用统一监控管理平台进行调度，监控，随时了解每个任务的运行情况。

下面举例说明其在具体应用时的工作过程：

作为举例，采取erp系统与财务软件之间通过本方案中的数据中间平台进行数据传输为例，本方案列举多种例子进行说明：

例一：针对物料数据

当需要将erp系统中的物料数据传输给财务软件时，先将物料数据与数据库进行连接，将物料数据接收到数据库内，与数据库内的数据进行比对过滤，如符合条件，则将数据传输至数据中间平台，对数据进行解析，处理和存储之后传输至财务软件。

例二：针对品牌数据

通过本中间中间件，可将erp系统中的品牌数据进行转换成符合财务软件需求的数据形式，并传输给财务软件。

例三：针对供应商数据

当需要将erp系统中的供应商数据传输给财务软件时，在数据库中查询供应商数据编号并对供应商数据编号进行相应的过滤后，将数据编号传输至数据中间平台，对数据进行解析，处理和存储之后传输至财务软件。

例四：针对平台店铺数据

当需要将erp系统中的店铺数据传输给财务软件时，在数据库中查询店铺数据编号并对店铺数据编号进行相应的过滤后，将数据传输至数据中间平台，对数据进行解析，处理和存储之后传输至财务软件。

例五：针对平台仓库数据

当需要将erp系统中的仓库数据传输给财务软件时，在数据库中查询仓库数据并对仓库数据进行相应的过滤后，将数据传输至数据中间平台，对数据进行解析，处理和存储之后传输至财务软件。

例六：针对平台客户数据

当需要将erp系统中的客户数据传输给财务软件时，在数据库中查询客户数据并对客户数据进行相应的过滤后，将数据传输至数据中间平台，对数据进行解析，处理和存储之后传输至财务软件。

例七：采购入库

当需要将erp系统中的采购入库单数据传输给财务软件时，通过本中间件将采购入库单的数据进行数量的统计，首先统计后的账单数据可通过主盘进行排序合并后，增加detail的标签，最终将采购入库数据录入财务软件中。

其次，也可通过本中间件将统计后为账单数据进行id编码，接下来对重复账单数据进行删除并对账单数据进行排序，将排序后的数据进行复制，数据复制后增加更新标准数量，将更新后的常量进行添加，将添加常量后的数据可通过增加header标签形成最终的采购入库数据传输给财务软件。

也可通过本中间件从盘进行排序合并后，增加detail标签，最终将采购入库数据录入财务软件中。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flashram)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。