大数据共享方法及系统与流程

本发明涉及数据共享，具体涉及一种大数据共享方法及系统。

背景技术：

数据共享就是让在不同地方使用不同计算机、不同软件的用户能够读取他人数据并进行各种操作运算和分析。数据共享的程度反映了一个地区、一个国家的信息发展水平，数据共享程度越高，信息发展水平越高。要实现数据共享，首先应建立一套统一的、法定的数据交换标准，规范数据格式，使用户尽可能采用规定的数据标准。如美国、加拿大等国家都有自己的空间数据交换标准，目前我国正在抓紧研究制定国家的空间数据交换标准，包括矢量数据交换格式、栅格影像数据交换格式、数字高程模型的数据交换格式及元数据格式，该标准建立后，将对我国gis产业的发展产生积极影响。其次，要建立相应的数据使用管理办法，制定出相应的数据版权保护、产权保护规定，各部门间签定数据使用协议，这样才能打破部门、地区间的信息保护，做到真正的信息共享。

就目前而言，数据共享平台的业务模式是接受各用户端上传的数据，通过平台共享出去，在这个业务过程中，用户在进行数据上传时，一般都要求其上传的数据格式必须符合平台标准，这就极大的局限了数据上传。一些平台为了增强其数据兼容性，采用的技术手段是将平台所能接收的数据格式的种类进行增加，使其可以接收多种格式的数据，然而该方式也仅仅是指标不治本，并不能彻底解决目前的问题。

技术实现要素：

本发明的目的在于克服现有技术的不足，提供一种大数据共享方法及系统，持将大数据平台清洗过后的结构性数据表，映射成支持http协议的数据接口，形成一套灵活管控外部用户的数据共享开放平台。

本发明的目的是通过以下技术方案来实现的：

一种大数据共享方法，该方法步骤如下：

s100：将大数据平台清洗过后的结构性数据表，映射成支持http协议的数据接口；

s200：建立数据接口与各多个数据库链接自由切换的映射关系，以及t-sql自定义脚本映射能力；

s300：发起数据共享，根据共享数据格式自动切换与之配合的支持http协议的数据接口；

s400：数据接口根据共享数据类型建立与之对应的数据库链接。

进一步的，还包括一个对数据接口进行流量控制，限制单位时间内数据接口的被调用次数、接口耗时、流量消耗、调用结果。

进一步的，所述流量控制的方法包括：

1）、创建多条流控策略，每条流控策略独立存在；

2）、将流控策略与数据接口进行绑定，绑定成功后该流控策略对数据接口生效。

进一步的，每条数据接口必须绑定流控策略生效后才能被发布使用。

一种大数据共享系统，该系统包括用于完成数据共享的数据服务模块，以及用于完成共享数据访问的数据开放模块，以及完成用户管理的后台管理模块。

进一步的，所述数据服务模块包括：

数据接口以及与数据接口建立映射关系的结构性数据表库，用于将结构性数据表映射成支持http协议的数据接口；

与所述数据接口连接的监控模块，所述监控模块根据控制需求完成任意流控策略和数据接口之间的绑定和解绑，同时监测单位时间内数据接口的被调用次数、接口耗时、流量消耗、调用结果；

与数据接口连接的多个数据库，每个数据库与数据接口之间的数据库链接可自由切换；

以及用于完成任务调度的处理器。

进一步的，所述数据开放模块包括：

用于外部用户发起数据访问请求的访问请求模块，以及用于授权外部用户访问请求的管理模块，所述管理模块生成该用户已授权的所有数据接口数据供用户查看，并获取该数据接口公钥和秘钥信息；

以及数据访问端口，外部用户通过数据访问端口快速浏览所有对外已开放的数据接口，然后走申请流程进行接口授权绑定，获取接口数据；

以及针对某个具体的数据接口进行调用验证，查看该数据接口输入参数和返回参数的调试接口。

进一步的，所述后台管理模块包括：

用于完成外部用户注册的用户模块，注册完成后生成对应账户token值；超管将数据服务中台映射好的数据接口绑定到该token上，开通访问权限；

以及提供审核的审核模块，外部用户可以在前台申请具体某个开放的数据接口，通过所述审核模块进行审核绑定功能。

进一步的，所述数据接口是api数据接口。

本发明的有益效果是：本发明由数据服务模块、数据开放模块、后台管理模块组合搭建的一套完整的数据共享模式；支持将大数据平台清洗过后的结构性数据表，映射成支持http协议的数据接口，形成一套灵活管控外部用户的数据共享开放平台，由于数据访问接口是通过结构性数据表映射成支持http协议的数据接口，因此可不受数据格式限制，可进行任意格式数据的共享，解决了传统模式下必须符合平台格式标准的限制。

附图说明

图1是本发明系统示意图。

具体实施方式

下面结合具体实施例进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。

一种大数据共享方法，该方法步骤如下：

s100：将大数据平台清洗过后的结构性数据表，映射成支持http协议的数据接口，其中这里的数据接口是api数据接口，以下简称api；

s200：建立数据接口与各多个数据库链接自由切换的映射关系，以及t-sql自定义脚本映射能力；

s300：发起数据共享，根据共享数据格式自动切换与之配合的支持http协议的数据接口；

s400：数据接口根据共享数据类型建立与之对应的数据库链接。

在另一方面，本发明还包括一个对数据接口进行流量控制，限制单位时间内数据接口的被调用次数、接口耗时、流量消耗、调用结果。

进一步的，流量控制的方法包括：

1）、创建多条流控策略，每条流控策略独立存在；

2）、将流控策略与数据接口进行绑定，绑定成功后该流控策略对数据接口生效。

进一步的，每条数据接口必须绑定流控策略生效后才能被发布使用。

参考图1所示，一种大数据共享系统，该系统包括用于完成数据共享的数据服务模块，以及用于完成共享数据访问的数据开放模块，以及完成用户管理的后台管理模块。

进一步的，数据服务模块包括：

数据接口以及与数据接口建立映射关系的结构性数据表库，用于将结构性数据表映射成支持http协议的数据接口；

与数据接口连接的监控模块，监控模块根据控制需求完成任意流控策略和数据接口之间的绑定和解绑，同时监测单位时间内数据接口的被调用次数、接口耗时、流量消耗、调用结果；

与数据接口连接的多个数据库，每个数据库与数据接口之间的数据库链接可自由切换；

以及用于完成任务调度的处理器。

在一方面，数据服务模块旨在为企业搭建统一的数据服务总线，帮助企业统一管理对内对外的api服务。

提供api映射：数据服务为您提供快速将数据表生成数据api的能力，同时支持t-sql自定义脚本映射能力；同时支持多个数据库链接自由切换映射；实现真正意义上的无需用户任何三方程序代码就能使用的开放api接口功能。

提供服务监控：数据服务的api运营的流量控制功能可限制单位时间内api的被调用次数、接口耗时、流量消耗、调用结果等，保护整个数据接口后端服务，形成一套完整的调用链日志体系。

提供调用管理：为了提供持续稳定的服务，可以通过创建流控策略，针对部分api进行流量控制。流控策略和api本身是相互独立的，只有将流控策略绑定api后，流控策略才能对绑定的api生效，每条接口必须绑定流控策略生效后才能被发布使用，防止被恶意攻击。

更为具体的，数据开放模块包括：

用于外部用户发起数据访问请求的访问请求模块，以及用于授权外部用户访问请求的管理模块，管理模块生成该用户已授权的所有数据接口数据供用户查看，并获取该数据接口公钥和秘钥信息；

以及数据访问端口，外部用户通过数据访问端口快速浏览所有对外已开放的数据接口，然后走申请流程进行接口授权绑定，获取接口数据；

以及针对某个具体的数据接口进行调用验证，查看该数据接口输入参数和返回参数的调试接口。

数据开放模块的主要功能包括：

提供接口集市：外部用户可以通过此功能快速浏览所有对外已开放的api数据接口，然后走申请流程进行接口授权绑定，获取接口数据。

提供管理中心：外部用户可以通过此功能查看自己已授权的所有数据接口，并且获取该接口的公钥和秘钥等关键信息。

提供接口调试：外部用户可以通过此功能针对某个具体的数据接口进行调用验证，查看该接口输入参数和返回参数等信息。

进一步的，后台管理模块包括：

用于完成外部用户注册的用户模块，注册完成后生成对应账户token值；超管将数据服务中台映射好的数据接口绑定到该token上，开通访问权限；

以及提供审核的审核模块，外部用户可以在前台申请具体某个开放的数据接口，通过审核模块进行审核绑定功能。

以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。