增量数据采集方法、装置及系统与流程

本申请涉及数据处理领域，具体而言，涉及一种增量数据采集方法、装置及系统。

背景技术：

实时监控数据库中数据的变化，并获得产生变化的增量数据，并对所述增量数据进行分析，探索数据变化中的变化规律。目前用户配置增量监听环境繁琐复杂，对用户的技术水平有一定要求，不适合普通用户使用。

技术实现要素：

为了克服现有技术中的上述不足，本申请的目的在于提供一种增量数据采集方法，应用于增量数据采集设备，所述方法包括：

通过接收预设客户端发送的对数据存储设备的增量部署请求，所述增量部署请求包括环境配置请求和数据存储设备配置请求；

根据所述数据存储设备配置请求对所述数据存储设备进行相应配置，使得所述数据存储设备能够发送增量数据，所述增量数据为所述数据存储设备发生变更的数据；

根据所述环境配置请求部署相应增量监听环境，通过所述增量监听环境监听所述增量数据。

可选地，所述根据所述环境配置请求部署相应增量监听环境的步骤包括：

解析所述增量部署请求，获得增量监听规则；

根据所述增量监听规则部署相应的增量监听环境。

可选地，所述增量监听规则包括目标数据存储设备、目标数据表和目标字段；所述根据所述增量监听规则部署相应的增量监听环境的步骤包括：

根据所述目标数据库、目标数据表和目标字段部署增量监听环境。

可选地，所述通过所述增量监听环境监听所述增量数据的步骤包括：

根据所述增量监听规则对所述增量数据进行清洗，进而过滤掉不符合规则的数据。

可选地，所述方法还包括：

将所述增量数据推送到其他数据处理平台。

本申请的另一目的在于提供一种增量数据采集系统，所述增量数据采集系统包括客户端、至少一个数据存储设备和增量数据采集设备；

所述客户端提供增量配置界面，响应用户对数据存储设备增量配置操作，并发送增量部署请求，所述增量部署请求包括环境配置请求和数据存储设备配置请求；

所述增量数据采集设备根据所述数据存储设备配置请求对所述数据存储设备进行相应配置，使得所述数据存储设备能够发送增量数据，所述增量数据为所述数据存储设备发生变更的数据；

所述增量数据采集设备获取所述增量部署请求，根据所述增量部署请求中的环境配置请求部署相应增量监听环境，通过所述增量监听环境监听所述增量数据。

本申请的另一目的在于提供一种增量数据采集装置，应用于增量数据采集设备，所述增量数据采集设备包括请求获取模块、设备配置模块1102和环境配置模块；

所述请求获取模块用于通过接收预设客户端发送的对数据存储设备的增量部署请求，所述增量部署请求包括环境配置请求和数据存储设备配置请求；

所述设备配置模块1102用于根据所述数据存储设备配置请求对所述数据存储设备进行相应配置，使得所述数据存储设备能够发送增量数据，所述增量数据为所述数据存储设备发生变更的数据；

所述环境配置模块用于根据所述环境配置请求部署相应增量监听环境，通过所述增量监听环境监听所述增量数据。

可选地，所述环境配置模块通过以下方式部署所述增量监听环境：

解析所述增量部署请求，获得增量监听规则；

根据所述增量监听规则部署相应的增量监听环境。

可选地，所述增量监听规则包括目标数据存储设备、目标数据表和目标字段；所述环境配置模块还通过以下方式部署增量监听环境：

根据所述目标数据存储设备、目标数据表和目标字段部署增量监听环境。

可选地，所述增量数据采集装置还包括数据推送模块；

所述数据推送模块用于将所述增量数据推送到其他数据处理平台。

相对于现有技术而言，本申请具有以下有益效果：

本申请提供的增量数据采集方法、装置及系统，通过提供一个可视化的配置界面。用户在所述配置界面输入需要监听的数据，以及数据库中的表和字段。增量数据采集设备获取该配置请求，根据所述配置请求部署相应的增量监听环境，同时根据所述配置请求，配置相应的数据库，使得所述数据库在发生增量事件时，发送相应的增量数据。所述增量监听环境获取所述增量数据，并对所述增量数据做进一步的处理。本申请公开的技术方案使得用户只需要在配置界面进行简单的配置操作就可以对数据库的增量事件进行监听。降低了用户的使用门槛，提高了工作效率。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的增量数据采集设备的硬件结构图；

图2为本申请实施例提供的增量数据采集方法的步骤流程图；

图3为本申请实施例提供的步骤s300的子步骤流程图；

图4为本申请实施例提供的增量数据采集装置的结构图。

图标：100-增量数据采集设备；110-增量数据采集装置；140-通信单元；130-处理器；120-存储器；1101-请求获取模块；1102-设备配置模块；1103-环境配置模块。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本申请的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。

请参照图1所示的增量数据采集设备100的硬件结构图，所述增量数据采集设备100包括增量数据采集装置110、存储器120、处理器130、通信单元140。

所述存储器120、处理器130以及通信单元140各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。所述增量数据采集设备100通过网络根据所述通信单元140和用户终端通信，获得用户终端的配置指令。所述网络可以是，但不限于，有线网络或无线网络。

所述用户终端可以是，但不限于，智能手机、个人电脑(personalcomputer，pc)、平板电脑、个人数字助理(personaldigitalassistant，pda)、移动上网设备(mobileinternetdevice，mid)等。所述用户终端的操作系统可以是，但不限于，安卓(android)系统、ios(iphoneoperatingsystem)系统、windowsphone系统、windows系统等。

所述处理器130可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(centralprocessingunit，cpu)、网络处理器(networkprocessor，np)等；还可以是数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

其中，所述存储器120可以是，但不限于，随机存取存储器(randomaccessmemory，简称ram)，只读存储器(readonlymemory，简称rom)，可编程只读存储器(programmableread-onlymemory，简称prom)，可擦除只读存储器(erasableprogrammableread-onlymemory，简称eprom)，电可擦除只读存储器(electricerasableprogrammableread-onlymemory，简称eeprom)等。其中，存储器120用于存储程序，处理器130在接收到执行指令后，执行所述程序。所述处理器130以及其他可能的组件对存储器120的访问可在所述存储控制器的控制下进行。

请参照图2，图2为应用于图1所示的增量数据采集装置110的一种增量数据采集方法的步骤流程图，以下将对所述方法包括各个步骤进行详细阐述。

步骤s100，通过接收预设客户端发送的对数据存储设备的增量部署请求，所述增量部署请求包括环境配置请求和数据存储设备配置请求。

可选地，用户通过所述客户端提供的配置界面，输入相应的配置参数，并根据所述配置参数提交增量部署请求，其中，所述配置界面可以是网页界面或者单独应用程序界面。进而，所述增量数据采集装置110通过所述网络获取到所述增量部署请求。所述增量部署请求中包括环境配置请求和存储设备配置请求。

步骤s200，根据所述数据存储设备配置请求对所述数据存储设备进行相应配置，使得所述数据存储设备能够发送增量数据，所述增量数据为所述数据存储设备发生变更的数据。

可选地，所述增量数据采集设备100解析所述增量部署请求，获得其中的目标数据存储设备

所述增量数据采集设备100对所述目标存储设备进行配置。可选地，所述数据存储设备可以是关系型数据库，所述增量数据存储设备开启所述关系型数据库的binlog日志功能以及同步模式。

所述目标数据存储设备在接收到数据删除、修改或者添加等操作，所述目标存储设备会将发生变更的增量数据发送到预设的设备或者软件系统。

步骤s300，根据所述环境配置请求部署相应增量监听环境，通过所述增量监听环境监听所述增量数据。其中，请参考图3所示的步骤s300的子步骤流程图。

步骤s3001，解析所述增量部署请求，获得增量监听规则。

可选地，所述监听规则包括需要监听的目标数据存储设备、目标数据表和目标字段。所述增量数据采集设备100通过线程间通信、进程间通信或者网络通信的方式获取所述目标数据存储设备发送的增量数据。其中，所述增量数据中携带有所述数据存储设备标识、数据表标识或者字段标识。所述增量数据采集设备100根据所述目标存储设备、目标数据表和目标字段对监听到的增量数据进行过滤。

可选地，所述增量数据采集设备100将监听到的增量数据推送到其他数据处理平台。比如，所述数据处理平可以是hadoop或者是spark。

本实施例还提供一种增量数据采集系统，所述增量数据采集系统包括客户端、至少一个数据存储设备和增量数据采集设备。

所述增量数据采集系统通过所述客户端提供增量配置界面，响应用户对数据存储设备增量配置操作，并发送增量部署请求，所述增量部署请求包括环境配置请求和数据存储设备配置请求。

所述增量数据采集系统通过所述增量数据采集设备根据所述数据存储设备配置请求对所述数据存储设备进行相应配置，使得所述数据存储设备能够发送增量数据，所述增量数据为所述数据存储设备发生变更的数据

所述增量数据采集系统通过所述增量数据采集设备获取所述增量部署请求，根据所述增量部署请求中的环境配置请求部署相应增量监听环境，通过所述增量监听环境监听所述增量数据。

请参照图4，本实施例还提供一种增量数据采集装置110的结构图，所述增量数据采集装置110包括至少一个可以软件形式存储于存储器中的功能模块。

所述处理器130用于执行所述存储器120中存储的可执行模块，例如所述增量数据采集装置110所包括的软件功能模块及计算机程序等。从功能上划分，所述增量数据采集装置110包括请求获取模块1101、设备配置模块1102和环境配置模块1103。

所述请求获取模块1101用于通过接收预设客户端发送的对数据存储设备的增量部署请求，所述增量部署请求包括环境配置请求和数据存储设备配置请求。

在本实施例中，所述请求获取模块1101用于执行图2中的步骤s100，关于所述请求获取模块1101的详细描述可以参考步骤s100的详细描述。

所述设备配置模块1102用于根据所述数据存储设备配置请求对所述数据存储设备进行相应配置，使得所述数据存储设备能够发送增量数据，所述增量数据为所述数据存储设备发生变更的数据。

在本实施例中，所述设备配置请求模块用于执行图2中的步骤s200，关于所述设备配置模块1102的详细描述可以参考步骤s200的详细描述。

所述环境配置模块1103用于根据所述环境配置请求部署相应增量监听环境，通过所述增量监听环境监听所述增量数据。

在本实施例中，所述环境配置模块1103用于执行图2中的步骤s300，关于所述环境配置模块1103的详细描述可以参考步骤s300的详细描述。

可选地，所述环境配置模块1103通过以下方式部署所述增量监听环境：

解析所述增量部署请求，获得增量监听规则；

根据所述增量监听规则部署相应的增量监听环境。

可选地，所述增量监听规则包括目标数据存储设备、目标数据表和目标字段；所述环境配置模块1103还通过以下方式部署增量监听环境：

根据所述目标数据存储设备、目标数据表和目标字段部署增量监听环境。

可选地，所述增量数据采集装置110还包括数据推送模块；

所述数据推送模块用于将所述增量数据推送到其他数据处理平台。

综上所述，本申请提供的增量数据采集方法、装置及系统，通过提供一个可视化的配置界面。用户在所述配置界面输入需要监听的数据，以及数据库中的表和字段。增量数据采集设备获取该配置请求，根据所述配置请求部署相应的增量监听环境，同时根据所述配置请求，配置相应的数据库，使得所述数据库在发生增量事件时，发送相应的增量数据。所述增量监听环境获取所述增量数据，并对所述增量数据做进一步的处理。本申请公开的技术方案使得用户只需要在配置界面进行简单的配置操作就可以对数据库的增量事件进行监听。降低了用户的使用门槛，提高了工作效率。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述，仅为本申请的各种实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。