一种数据收集分发处理方法及其数据处理平台与流程

1.本发明涉及互联网技术领域，具体涉及一种数据收集分发处理方法及其数据处理平台。


背景技术：

2.当前各个企业的生产经营活动包含非常多的业务流程，这些业务流程在企业间既有通用的管理流程也有单个企业独特的管理逻辑，企业的业务管理流程在信息系统中的表现就是数据的流转。在数据流转过程中，数据处理平台要整理数据源系统与数据目标系统的对应关系、以及其他的约束条件，数据需要满足一致性要求。
3.现有技术中的数据处理平台都很简单，开发效率低，没有统一的处理逻辑；缺乏灵活性，对于非软件产品开发商的开发人员很难改动现有业务处理逻辑；扩展性差，如果用户需要二次开发，必须向产品开发商申请源代码，才能改动或增加业务逻辑。对于不同的数据其要求也是多变的，不可穷举的。一般数据处理平台接口分发配置性低，常常需要开发人员调整源码后，才能实现系统间的对接；企业级数据在每个系统间存在各自为政的现象，造成数据可扩展性差、某个系统调整了数据的属性后及时性差、准确率不高的现象；企业级数据各系统自定义本系统的属性，其定义的规范性差，重复性高，给后期带来了较大的维护量；大型企业的数据可被多个应用系统使用，根据使用的系统不同，所需要查询、维护的属性也不同，如仅靠一般的数据处理平台如erp系统去管理，其数据是很难满足使用系统的需求；如果需要对数据进行清洗和加工时，如erp的标准功能是没有此部分的功能，它只有通过客户化开发，才能满足客户化的需求，其响应效率低。


技术实现要素：

4.为解决现有技术中的问题，本发明提供一种数据收集分发处理方法及其数据处理平台，能够实现数据的有序收集和快速准确分发，解决了现有技术中数据处理平台接口分发配置性低、每个系统间各自为政、企业级数据各系统自定义本系统属性规范性差、开发效率低、响应效率低的问题。
5.本发明的一种数据收集分发处理方法包括如下步骤：
6.步骤1：数据处理平台在自身数据库中定义与数据源系统交互的数据结构类型；
7.步骤2：数据处理平台在自身数据库中定义与数据源系统交互的数据装载方式；
8.步骤3：数据处理平台在自身数据库中定义与数据源系统交互的数据传输协议；
9.步骤4：数据处理平台在自身数据库中定义与数据源系统对同一对象属性数据的属性翻译规则；
10.步骤5：数据处理平台在自身数据库中定义与数据源系统之间的数据传递方式，并获取或接收数据源系统的数据；
11.步骤6：数据处理平台根据与数据源系统之间的属性翻译规则和数据传输协议，对不同对象属性的数据进行匹配和组合，按数据处理平台的数据结构类型进行存储；
12.步骤7：数据处理平台在自身数据库中定义与数据目标系统交互的数据结构类型；
13.步骤8：数据处理平台在自身数据库中定义与数据目标系统交互的数据装载方式；
14.步骤9：数据处理平台在自身数据库中定义与数据目标系统交互的数据传输协议；
15.步骤10：数据处理平台在自身数据库中定义与数据目标系统对同一对象属性数据的属性翻译规则；
16.步骤11：数据处理平台在自身数据库中定义与数据目标系统之间的数据传递方式，并根据与数据目标系统之间的属性翻译规则和数据传输协议，把数据拼接成数据目标系统可以识别的数据结构类型，调用数据目标系统的api接口，向数据目标系统推送数据；
17.步骤12：数据处理平台在自身数据库中写下数据获取、接收、转换、存储、推送的执行日志，并在出现错误信息时将含有错误信息的执行日志反馈给数据处理平台的管理人员。
18.本发明作进一步改进，在所述步骤1和步骤7中，所述数据处理平台与所述数据源系统、所述数据目标系统交互的数据结构类型为对象的属性结构。
19.本发明作进一步改进，在所述步骤2和步骤8中，所述数据处理平台与所述数据源系统、所述数据目标系统交互的数据装载方式包括json、xml。
20.本发明作进一步改进，在所述步骤3和步骤9中，所述数据处理平台与所述数据源系统、所述数据目标系统交互的数据传输协议包括http、webservice和中间表。
21.本发明作进一步改进，在所述步骤5中，所述数据处理平台与所述数据源系统之间的数据传递方式包括被动接收式和主动读取式，其中，所述被动接收式为所述数据处理平台向所述数据源系统发布自身数据库的api接口，被动接收所述数据源系统推送的数据，所述主动读取式为所述数据处理平台配置调度任务，根据所述数据源系统提供的api接口定时获取所述数据源系统的数据。
22.本发明作进一步改进，在所述步骤11中，所述数据处理平台与所述数据目标系统之间的数据传递方式为主动推送式，即所述数据处理平台配置调度任务，根据所述数据目标系统提供的api接口，定时调用所述数据目标系统的api接口向所述数据目标系统推送数据。
23.本发明作进一步改进，在所述步骤5和所述步骤6中，所述数据处理平台设有数据查阅接口、数据修改接口、数据获取或推送手动操作接口，其中，所述数据查阅接口用于查阅数据处理平台存储的数据，所述数据修改接口用于修改数据处理平台存储的数据，所述数据获取或推送手动操作接口用于手动操作数据获取和手动操作数据推送到数据目标系统中。
24.本发明作进一步改进，在所述步骤12中，所述数据处理平台设有邮件提醒模块，在数据获取、接收、推送不成功时，根据所述数据处理平台内配置的邮箱列表，主动向交互目标发送邮件提醒。
25.本发明作进一步改进，所述数据处理平台设有数据清理模块，根据所述数据处理平台内配置的数据清理条件，所述数据处理平台定期自动清理符合清理条件的数据。
26.本发明还提供一种数据处理平台，用于实现上述数据收集分发处理方法，包括：
27.设置模块，用于在自身数据库中定义与数据源系统交互的数据结构类型、数据装载方式、数据传输协议、对同一对象属性数据的属性翻译规则、数据传递方式；用于在自身
数据库中定义与数据目标系统交互的数据结构类型、数据装载方式、数据传输协议、对同一对象属性数据的属性翻译规则、数据传递方式；
28.数据接收模块，用于接收数据源系统推送的数据；
29.数据获取模块，用于根据所述数据源系统提供的api接口定时主动获取所述数据源系统的数据；
30.数据推送模块，根据所述数据目标系统提供的api接口，定时调用所述数据目标系统的api接口向所述数据目标系统推送数据；
31.邮件提醒模块，用于在数据获取、接收、推送不成功时，根据所述数据处理平台内配置的邮箱列表，主动向交互目标发送邮件提醒；
32.数据处理和存储模块，用于根据与数据源系统之间的属性翻译规则和数据传输协议，对不同对象属性的数据进行匹配和组合，按数据处理平台的数据结构类型进行存储；用于根据与数据目标系统之间的属性翻译规则和数据传输协议，把数据拼接成数据目标系统可以识别的数据结构类型；用于提供数据查阅接口、数据修改接口、数据获取或推送手动操作接口；
33.数据清理模块，用于根据所述数据处理平台内配置的数据清理条件，所述数据处理平台定期自动清理符合清理条件的数据；
34.日志模块，用于在自身数据库中写下数据获取、接收、转换、存储、推送的执行日志；用于将含有错误信息的执行日志反馈给数据处理平台的管理人员。
35.本发明的有益效果是：本发明提供一种数据收集分发处理方法及其数据处理平台，通过在数据源系统与数据目标系统之间设置数据处理平台，能够实现数据的有序归集，标准化集中管理保证数据的正确性、唯一性，统一数据入口避免各数据源独立重复劳动，自定义新增数据及相关属性，建立清晰、完整、准确的数据处理平台；能够实现数据的有序清理，根据数据处理平台内配置的数据清理条件，定期自动清理符合清理条件的数据；能够实现数据的快速准确分发，支持不同的接口方式，定时或实时交互分发，用户自可以定义分发频率，实现数据快速准确分发自动化；能够实现数据的异常提醒，在数据获取、接收、推送不成功时，根据数据处理平台内配置的邮箱列表，主动向交互目标发送邮件提醒，在执行日志出现错误信息时将含有错误信息的执行日志反馈给数据处理平台的管理人员，提高it人员或业务人员的效率；还能够通过图型化展现数据，把数据进行归集分析，以看板形式进行展示，便管理者直观查阅、分析数据，通过统计汇总后，能够让人以不同视觉、不同思考角度去发现问题；解决了现有技术中数据处理平台接口分发配置性低、每个系统间各自为政、企业级数据各系统自定义本系统属性规范性差、开发效率低、响应效率低的问题。
附图说明
36.为了更清楚地说明本技术或现有技术中的方案，下面将对实施例或现有技术描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
37.图1为本发明的一种数据收集分发处理方法流程图。
具体实施方式
38.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本技术；本技术的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本技术的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
39.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
40.为了使本技术领域的人员更好地理解本技术方案，下面将结合附图，对本技术实施例中的技术方案进行清楚、完整地描述。
41.请参见图1，本发明的一种数据收集分发处理方法包括如下步骤：
42.步骤1：数据处理平台在自身数据库中定义与数据源系统交互的数据结构类型，为对象的属性结构，均为一种或多种关系的数据元素的集合和该集合中数据元素之间的关系组成，用于表达信息。
43.步骤2：数据处理平台在自身数据库中定义与数据源系统交互的数据装载方式，包括json和xml；其中，json是一种基于javascript语法子集的开放标准数据交换格式，json是基于文本的，轻量级的，通常被认为易于读写，采用完全独立于编程语言的文本格式来存储和表示数据，易于阅读编写和机器解析生成，并有效地提升网络传输效率，在本实施例中，json格式用于提升网络传输效率；其中，xml是一种标记语言，标准通用标记语言的子集，简称xml，是一种用于标记电子文件使其具有结构性的标记语言，xml标签没有被预定义，需要自行定义标签，xml被设计为具有自我描述性，xml是w3c的推荐标准，xml是不作为的，在本实施例中，xml用来结构化、存储以及传输信息，但是传输速度低于json。
44.步骤3：数据处理平台在自身数据库中定义与数据源系统交互的数据传输协议，包括http、webservice和中间表；其中，http一般指http(超文本传输协议)，超文本传输协议(hyper text transfer protocol)是一种用于分布式、协作式和超媒体信息系统的应用层协议，是因特网上应用最为广泛的一种网络传输协议，所有的www文件都必须遵守这个标准，http是为web浏览器与web服务器之间的通信而设计的，http是一个基于tcp/ip通信协议来传递数据的(html文件、图片文件、查询结果等)，在本实施例中用于数据的传输；其中，webservice是一个平台独立的，低耦合的，自包含的、基于可编程的web的应用程序，可使用开放的xml(标准通用标记语言下的一个子集)标准来描述、发布、发现、协调和配置这些应用程序，用于开发分布式的互操作的应用程序，webservice技术，能使得运行在不同机器上的不同应用无须借助附加的、专门的第三方软件或硬件，就可相互交换数据或集成，依据webservice规范实施的应用之间，无论它们所使用的语言、平台或内部协议是什么，都可以相互交换数据，webservice是自描述、自包含的可用网络模块，可以执行具体的业务功能。webservice也很容易部署，因为它们基于一些常规的产业标准以及已有的一些技术，诸如标准通用标记语言下的子集xml、http，webservice减少了应用接口的花费，在本实施例中，
webservice能够为多个系统之间的数据传输提供一个通用机制；其中，中间表是数据库中专门存放中间计算结果的数据表，中间表往往是为了前端查询统计更快或更方便而在数据库中建立的汇总表，这种表是由原始数据加工而成的中间结果，因此被称为中间表，在本实施例中，中间表用于数据处理平台存放中间计算结果；在本实施例，还提供数据导入机制，数据源系统的数据如果存在大批量需要推送给数据处理平台，可以通过变更服务接口将数据导入到数据处理平台。
45.步骤4：数据处理平台在自身数据库中定义与数据源系统对同一对象属性数据的属性翻译规则，即对同一对象属性的数据进行格式加密和解密，提高数据传输的安全性。
46.步骤5：数据处理平台在自身数据库中定义与数据源系统之间的数据传递方式，并获取或接收数据源系统的数据；其中，数据处理平台与数据源系统之间的数据传递方式包括被动接收式和主动读取式，被动接收式为数据处理平台向数据源系统发布自身数据库的api接口，被动接收数据源系统推送的数据，主动读取式为数据处理平台配置调度任务，根据数据源系统提供的api接口定时获取数据源系统的数据，而且数据处理平台配置调度任务时每个api接口都能够单独配置任务调度时间。
47.步骤6：数据处理平台根据与数据源系统之间的属性翻译规则和数据传输协议，对不同对象属性的数据进行匹配和组合，也就是对数据进行分类，按类别属性进行区分和组合，按数据处理平台的数据结构类型进行存储，例如获取到的温度、湿度、阳光强度、风力等参数信息，会根据目标系统的气象相关部门，分类到同一类参数中存储，最后发送给气象相关部门；其中，数据处理平台设有数据查阅接口、数据修改接口、数据获取或推送手动操作接口，数据查阅接口用于查阅数据处理平台存储的数据，数据修改接口用于直接修改数据处理平台存储的数据，数据获取或推送手动操作接口用于手动操作获取数目原系统的数据和手动操作数据推送到数据目标系统中；数据处理平台设有数据清理模块，根据数据处理平台内配置的数据清理条件，数据处理平台定期自动清理符合清理条件的数据，避免数据处理平台内存在过多的无效数据。
48.步骤7：数据处理平台在自身数据库中定义与数据目标系统交互的数据结构类型，为对象的属性结构，均为一种或多种关系的数据元素的集合和该集合中数据元素之间的关系组成，用于表达信息；
49.步骤8：数据处理平台在自身数据库中定义与数据目标系统交互的数据装载方式，包括json和xml；其中，json是一种基于javascript语法子集的开放标准数据交换格式，json是基于文本的，轻量级的，通常被认为易于读写，采用完全独立于编程语言的文本格式来存储和表示数据，易于阅读编写和机器解析生成，并有效地提升网络传输效率，在本实施例中，json格式用于提升网络传输效率；其中，xml是一种标记语言，标准通用标记语言的子集，简称xml，是一种用于标记电子文件使其具有结构性的标记语言，xml标签没有被预定义，需要自行定义标签，xml被设计为具有自我描述性，xml是w3c的推荐标准，xml是不作为的，在本实施例中，xml用来结构化、存储以及传输信息，但是传输速度低于json。
50.步骤9：数据处理平台在自身数据库中定义与数据目标系统交互的数据传输协议包括http、webservice和中间表；其中，http一般指http(超文本传输协议)，超文本传输协议(hyper text transfer protocol)是一种用于分布式、协作式和超媒体信息系统的应用层协议，是因特网上应用最为广泛的一种网络传输协议，所有的www文件都必须遵守这个标
准，http是为web浏览器与web服务器之间的通信而设计的，http是一个基于tcp/ip通信协议来传递数据的(html文件、图片文件、查询结果等)，在本实施例中用于数据的传输；其中，webservice是一个平台独立的，低耦合的，自包含的、基于可编程的web的应用程序，可使用开放的xml(标准通用标记语言下的一个子集)标准来描述、发布、发现、协调和配置这些应用程序，用于开发分布式的互操作的应用程序，webservice技术，能使得运行在不同机器上的不同应用无须借助附加的、专门的第三方软件或硬件，就可相互交换数据或集成，依据webservice规范实施的应用之间，无论它们所使用的语言、平台或内部协议是什么，都可以相互交换数据，webservice是自描述、自包含的可用网络模块，可以执行具体的业务功能。webservice也很容易部署，因为它们基于一些常规的产业标准以及已有的一些技术，诸如标准通用标记语言下的子集xml、http，webservice减少了应用接口的花费，在本实施例中，webservice能够为多个系统之间的数据传输提供一个通用机制；其中，中间表是数据库中专门存放中间计算结果的数据表，中间表往往是为了前端查询统计更快或更方便而在数据库中建立的汇总表，这种表是由原始数据加工而成的中间结果，因此被称为中间表，在本实施例中，中间表用于数据处理平台存放中间计算结果；在本实施例，还提供数据导出机制，数据处理平台如果存在大批量需要推送给数据目标系统，也可以更改数据文件格式，直接通过变更服务接口将数据导出给数据目标系统。
51.步骤10：数据处理平台在自身数据库中定义与数据目标系统对同一对象属性数据的属性翻译规则，即对同一对象属性的数据进行格式加密和解密，提高数据传输的安全性。
52.步骤11：数据处理平台在自身数据库中定义与数据目标系统之间的数据传递方式，并根据与数据目标系统之间的属性翻译规则和数据传输协议，把数据拼接成数据目标系统可以识别的数据结构类型，调用数据目标系统的api接口，向数据目标系统推送数据；其中，数据处理平台与数据目标系统之间的数据传递方式为主动推送式，即数据处理平台配置调度任务，根据数据目标系统提供的api接口，定时调用数据目标系统的api接口向数据目标系统推送数据，而且数据处理平台配置调度任务时每个api接口都能够单独配置任务调度时间。
53.步骤12：数据处理平台在自身数据库中写下数据获取、接收、转换、存储、推送的执行日志，并在出现错误信息时将含有错误信息的执行日志反馈给数据处理平台的管理人员；其中，数据处理平台设有邮件提醒模块，在数据获取、接收、推送不成功时，根据数据处理平台内配置的邮箱列表，主动向交互目标发送邮件提醒，如果没有交互目标的邮件，则会通知数据处理平台的管理人员进行配置。
54.请参见图1，本发明还提供一种数据处理平台，用于实现上述数据收集分发处理方法，包括：
55.设置模块，用于在自身数据库中定义与数据源系统交互的数据结构类型、数据装载方式、数据传输协议、对同一对象属性数据的属性翻译规则、数据传递方式；用于在自身数据库中定义与数据目标系统交互的数据结构类型、数据装载方式、数据传输协议、对同一对象属性数据的属性翻译规则、数据传递方式；
56.数据接收模块，用于接收数据源系统推送的数据；
57.数据获取模块，用于根据数据源系统提供的api接口定时主动获取数据源系统的数据；
58.数据推送模块，根据数据目标系统提供的api接口，定时调用数据目标系统的api接口向数据目标系统推送数据；
59.邮件提醒模块，用于在数据获取、接收、推送不成功时，根据数据处理平台内配置的邮箱列表，主动向交互目标发送邮件提醒；
60.数据处理和存储模块，用于根据与数据源系统之间的属性翻译规则和数据传输协议，对不同对象属性的数据进行匹配和组合，按数据处理平台的数据结构类型进行存储；用于根据与数据目标系统之间的属性翻译规则和数据传输协议，把数据拼接成数据目标系统可以识别的数据结构类型；用于提供数据查阅接口、数据修改接口、数据获取或推送手动操作接口；
61.数据清理模块，用于根据数据处理平台内配置的数据清理条件，数据处理平台定期自动清理符合清理条件的数据；
62.日志模块，用于在自身数据库中写下数据获取、接收、转换、存储、推送的执行日志；用于将含有错误信息的执行日志反馈给数据处理平台的管理人员。
63.由上可知，本发明的有益效果是：本发明提供一种数据收集分发处理方法及其数据处理平台，通过在数据源系统与数据目标系统之间设置数据处理平台，能够实现数据的有序归集，标准化集中管理保证数据的正确性、唯一性，统一数据入口避免各数据源独立重复劳动，自定义新增数据及相关属性，建立清晰、完整、准确的数据处理平台；能够实现数据的有序清理，根据数据处理平台内配置的数据清理条件，定期自动清理符合清理条件的数据；能够实现数据的快速准确分发，支持不同的接口方式，定时或实时交互分发，用户自可以定义分发频率，实现数据快速准确分发自动化；能够实现数据的异常提醒，在数据获取、接收、推送不成功时，根据数据处理平台内配置的邮箱列表，主动向交互目标发送邮件提醒，在执行日志出现错误信息时将含有错误信息的执行日志反馈给数据处理平台的管理人员，提高it人员或业务人员的效率；还能够通过图型化展现数据，把数据进行归集分析，以看板形式进行展示，便管理者直观查阅、分析数据，通过统计汇总后，能够让人以不同视觉、不同思考角度去发现问题；解决了现有技术中数据处理平台接口分发配置性低、每个系统间各自为政、企业级数据各系统自定义本系统属性规范性差、开发效率低、响应效率低的问题。
64.以上之具体实施方式为本发明的较佳实施方式，并非以此限定本发明的具体实施范围，本发明的范围包括并不限于本具体实施方式，凡依照本发明所作的等效变化均在本发明的保护范围内。