一种基于数据中台的统一API调度方法与流程

一种基于数据中台的统一api调度方法
技术领域
1.本发明涉及数据中台api调度领域，尤其涉及一种基于数据中台的统一api调度方法。


背景技术：

2.近几年来，互联网行业飞速发展，随着技术不断更新迭代，丰富的互联网产品也层出不穷。飞速发展的互联网给服务端架构带来了巨大挑战。为了应对应用流量和运维问题的挑战，现在服务端架构开发主流设计是采用微服务的理念。
3.与此同时，阿里于2015年提出了“大中台，小前台”战略，让国内的开发者第一次听到“中台”这个概念。在过去几年的移动互联网红利帮助下，很多公司高速发展、不断膨胀，随之而来的问题是公司内部出现了大量“重复造轮子”的现象。如果每出现一个新业务就将这也相似度很高的模块重新开发一遍，无疑是很大的资源浪费。于是，中台应运而生，一方面，它从各个业务需求中抽象出高度相似的功能，统一规划和建设，避免了重复造轮子，提升代码复用率；另一方面，中台可以在拓展新业务时直接复用、快速迭代，节省了运营成本。
4.中台的理念恰好为上述问题提供了解决方案，它将各个数据源的读写接口进行聚合，将与数据结构有关的功能进行抽象，形成一个统一的视频数据出入口，使业务开发人员无需再去关心底层数据接口，仅需要知道数据中台的对外协议就可以读取、存储、修改数据。但对于有沉重历史包袱的企业，建设数据中台存在两个问题。一个是服务平滑切换的问题，每一个业务功能都可能有对应的自有存储，而数据中台建设完成后业务数据会统一由数据中台来管理，如果在数据中台启用前后业务无法对外提供服务，会给这一时段使用该服务的用户造成不良体验，因此必须要实现旧服务的数据迁移和业务服务的无感知切换。另一个问题是性能、可用性和数据一致性的问题，如果将全部现有业务数据统一交由数据中台管理，对外暴露的数据出入接口会承受巨大的压力，写请求超时可能会导致写入脏数据，同时，某些写请求最终会写入两种异构存储，因此需要一种方法在保证数据最终一致性的前提下尽可能提高读写性能。


技术实现要素：

5.本发明的目的在于提供一种基于数据中台的统一api调度方法，以解决上述背景技术中提出的问题。
6.为了实现上述目的，本发明采用了如下技术方案：
7.一种基于数据中台的统一api调度方法，其特征在于，包括以下步骤以用于实现所提出的基于数据中台的统一api调度方法：
8.s1：对数据中台的贴源层和共享层的数据特性(业务数据、配置数据等)开展盘点，形成数据清单；
9.s2：再根据用户不同的数据需求、时间范围等业务特性进行定制化sql的数据配置，生成api接口文档；
10.s3：对于生成的api文档通过可视化列表展示的形式，提供给用户进行数据在线测试以及数据调用查询；
11.作为本技术方案的进一步改进方案，所述的用于实现数据盘点的方法包括：
12.数据盘点对接入数据的业务系统、数据库、数据表、字段等数据信息进行统一管理，同时构建数据分级分域的管理体系，根据业务规则制定敏感数据识别规范，并按照敏感等级对数据采用分级管理。
13.作为本技术方案的进一步改进方案，所述的用于实现数据管理的方法包括：
14.实现数据中台的数据等级权限控制以及实现不同等级用户对数据的控制，控制低等级用户无法查看高等级数据。当用户有高等级数据需求，需要提交申请，待审批通过后可以查看具体数据。
15.作为本技术方案的进一步改进方案，所述的用于生成api文档的方法包括：
16.数据配置生成的api接口文档包含了api接口地址、必填参数(如：数据量、起始数据位置等)、选填参数等。生成的api文档对于api的入参与出参进行详细的说明，通过在线窗口调用可以分析数据格式，同时api接口筛选出了用户真实的业务数据需求，对于原始数据中的一些和产品无关例如数据创建时间、录入人以及早期的数据(1年以上)等字段进行过滤，方便了应用产品根据api的url地址进行后续的应用产品的开发。
17.与现有技术相比，本发明的有益效果是：
18.本发明公开了一种基于数据中台的统一api调度方法，通过数据需求定制化配置，降低了各应用产品的大量冗余数据存储要求，降低了数据查询响应时长，同时对于不同权限等级的用户提供了不同的数据展示，保证了数据安全，很好地解决当前分析产品种类多、数据分布广、数据交互频繁、查询与业务信息不一致、冗余数据多等诸多问题。
19.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。
附图说明
20.此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
21.图1为本发明所提出的基于数据中台的统一api调度方法对应的数据中台概览图；
22.图2为本发明所提出的基于数据中台的统一api调度方法对应的数据中台的整体流程图；
具体实施方式
23.以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。在下列段落中参照附图以举例方式更具体地描述本发明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。
24.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具
体的实施例的目的，不是旨在于限制本发明。
25.本实施例根据图1所示的数据中台概览图，分析所述的基于数据中台的统一api调度方法。
26.请参阅附图2所示，一种基于数据中台的统一api调度方法，包括以下步骤以用于实现所提出的基于数据中台的统一api调度方法：
27.s1：对数据中台的贴源层和共享层的数据特性(业务数据、配置数据等)开展盘点，形成数据清单；
28.s2：再根据用户不同的数据需求、时间范围等业务特性进行定制化sql的数据配置，生成api接口文档；
29.s3：对于生成的api文档通过可视化列表展示的形式，提供给用户进行数据在线测试以及数据调用查询；
30.进一步地，所述的用于实现数据盘点的方法包括：
31.数据盘点对接入数据的业务系统、数据库、数据表、字段等数据信息进行统一管理，同时构建数据分级分域的管理体系，根据业务规则制定敏感数据识别规范，并按照敏感等级对数据采用分级管理。
32.进一步地，所述的用于实现数据管理的方法包括：
33.实现数据中台的数据等级权限控制以及实现不同等级用户对数据的控制，控制低等级用户无法查看高等级数据。当用户有高等级数据需求，需要提交申请，待审批通过后可以查看具体数据。
34.进一步地，所述的用于生成api文档的方法包括：
35.数据配置生成的api接口文档包含了api接口地址、必填参数(如：数据量、起始数据位置等)、选填参数等。生成的api文档对于api的入参与出参进行详细的说明，通过在线窗口调用可以分析数据格式，同时api接口筛选出了用户真实的业务数据需求，对于原始数据中的一些和产品无关例如数据创建时间、录入人以及早期的数据(1年以上)等字段进行过滤，方便了应用产品根据api的url地址进行后续的应用产品的开发。
36.具体地，利用本发明的api调度方法对应用产品提供数据服务，步骤如下：
37.将数据遵循分级分域的原则，基于数据中台的数据模型录入到数据清单中，用户依据应用产品的业务需求，梳理出具体的数据需求，数据需求包括业务需要的数据表名称，数据表字段，数据时间范围等，一个应用产品的数据存储在不同的数据目录下，本实例的数据需求包括停电用户统计、设备统计以及满意度统计等，停电用户统计的原始数据表中，数据需求包括了省公司代码(peocode)，停电用户数(peocode)，停电类型(typecode)，统计月份(ym)等，针对数据需求整理出停电用户统计，数据结构如下：
38.[0039][0040]
用户提交数据需求申请后，数据管理员审核数据需求，审核无误后，进行定制化sql编写，sql测试无误后生成api接口文档，文档格式如下：
[0041][0042]
本发明生成的api文档对于api的入参与出参进行详细的说明，通过在线窗口调用可以分析数据格式，同时api接口筛选出了用户真实的业务数据需求，对于原始数据中的一些和产品无关例如数据创建时间、录入人以及早期的数据(1年以上)等字段进行过滤，使得应用产品对数据的处理更加方便，降低了响应时长，更加方便了应用产品根据api的url地址进行后续的应用产品的开发。
[0043]
以上所述，仅为本发明的较佳实施例而已，并非对本发明作任何形式上的限制；凡本行业的普通技术人员均可按说明书附图所示和以上所述而顺畅地实施本发明；但是,凡熟悉本专业的技术人员在不脱离本发明技术方案范围内，利用以上所揭示的技术内容而做出的些许更动、修饰与演变的等同变化，均为本发明的等效实施例；同时,凡依据本发明的实质技术对以上实施例所作的任何等同变化的更动、修饰与演变等，均仍属于本发明的技术方案的保护范围之内。