分布式数据网关及前端多域请求数据的方法、系统与流程

本发明属于计算机应用领域技术，具体涉及一种分布式数据网关及前端多域请求数据的方法、系统。

背景技术：

1、近年来，城市信息模型(cim)理念已成为新型智慧城市建设的热点，受到政府和产业界的高度关注和认同。政府部门逐渐展开了cim平台建设，cim平台将作为智慧城市的操作系统，为支撑cim运行，全面接入了全市已有信息化平台的多源异构数据服务，使cim平台具有数据和功能共享的能力。

2、cim平台需要动态调度和显示大量的城市建筑、地形地貌等三维模型，通常城区400km2左右种类齐全的精细模型需要存储空间数百gb，管理模型碎片约几百万个，加上其他相关文件，需存储的文件数量通常达千万甚至上亿规模。

3、为便于大规模精细三维数据的加载，快速展现大规模三维地图和场景，通常会将三维模型瓦片化，将城市、地形等三维场景切割成小块，常见格式有3dtiles、i3s、s3m、kml。然而，这些数据存在数据量大、数据复杂且碎片化程度高等特点,使得三维数据的加载调度难度大,io压力(即输入输出的压力)和带宽压力都比较大，现有负载均衡以及数据调用策略已无法满足大用户量的需求，容易出现访问性能不足等问题。

4、由于与三维模型瓦片数据服务之间无法快捷高效地进行负载均衡和数据容灾，传统模式中分布式网关的建设方式如下：

5、1、同一个图层服务的数据，通过建立镜像站点进行存储，如图1所示；

6、2、通过单出口集群/非集群网关对发布进行负载均衡，可以通过多种轮询机制到某个确定的服务站点取服务数据；

7、3、客户端实际取到的单个服务的数据都来自于同一个服务器。

8、可见，传统模式的实际思路只实现服务接口级别的负载均衡，无法实现数据级别的负载均衡；并且为单出口的网关，没有服务发现的能力，数据传输以及容灾会受制于网关。因此，传统网关无法反馈网关的负载情况给客户端，以至于传统客户端缺少数据服务的动态分发机制；传统客户端的服务分发只能是单纯的轮询形式，无法判断服务站点是否健康，以及是否负载过量。

技术实现思路

1、为了解决现有技术所存在的问题，本发明提供一种分布式数据网关及前端多域请求数据的方法、系统，通过网关可以负载均衡到各个服务器，并且客户端可以负载均衡到各个网关，因而能够根据用户量大小以及服务器的压力情况，自动化的进行三维模型数据服务请求的负载均衡，最优化地调用服务数据到客户端进行使用。

2、本发明的方法通过如下技术方案实现的：一种分布式数据网关以及前端多域请求数据的方法，包括以下步骤：

3、搭建数据服务集群，形成多个数据存储站点；搭建分布式网关中心和独立运行的服务发现处理器进程，在分布式网关中心设有服务发现处理器和多个服务实例站点，其中服务发现处理器独立于服务实例站点；

4、客户端服务分发处理器发出数据服务请求，与服务发现处理器进行通信，服务发现处理器向客户端服务分发处理器返回服务出口的服务实例站点集合以及各个服务实例站点的轮询权重；

5、客户端服务分发处理器根据返回的服务实例站点集合及其轮询权重，在数据服务请求的每一次轮询时，按照加权轮询算法动态分配向服务实例站点发出的数据服务请求，从相应的服务实例站点获取同一数据服务请求的各项子请求数据；服务实例站点根据各个数据存储站点的输入输出及带宽负载情况，去最优的数据存储站点获取相应的子请求数据并返回给客户端服务分发处理器。

6、本发明的系统通过如下技术方案实现的：一种分布式数据网关以及前端多域请求数据的系统，包括：

7、分布式文件存储容器，搭建有多个数据存储站点；

8、分布式网关中心，设有服务发现处理器和多个服务实例站点，并搭建有独立运行的服务发现处理器进程，其中服务发现处理器独立于服务实例站点；

9、客户端服务分发处理器，用于与服务发现处理器进行通信，发出数据服务请求；

10、服务发现处理器向客户端服务分发处理器返回服务出口的服务实例站点集合以及各个服务实例站点的轮询权重；

11、客户端服务分发处理器根据返回的服务实例站点集合及其轮询权重，在数据服务请求的每一次轮询时，按照加权轮询算法动态分配向服务实例站点发出的数据服务请求，从相应的服务实例站点获取同一数据服务请求的各项子请求数据；服务实例站点根据各个数据存储站点的输入输出及带宽负载情况，去最优的数据存储站点获取相应的子请求数据并返回给客户端服务分发处理器。

12、现有技术通过网关负载均衡到不同的服务器；而本发明除了网关可以负载均衡到各个服务器，客户端也可以负载均衡到各个网关，从而使得服务器的数据有多个网关出口，能突破单出口的带宽限制。更具体来说，本发明与现有技术相比，具有以下优点：

13、1、本发明可以在每轮取数据的循环中，动态地由服务发现处理器告知客户端各服务实例站点的负载以及健康情况；在单轮循环中客户端可以动态地按轮询权重通过各个服务实例站点去数据存储站点获取数据。

14、2、传统模式由单域名网关提供数据，如果请求量过大会达到浏览器对于同一ip并发请求上限(如大多浏览器并发限制是6个)，在客户端其他请求都会进入等待队列。而本发明通过分布式网关进行请求，将从多个子域中返回请求的数据，能突破浏览器对单域名的限制，提升客户端并发处理的上限。

15、3、传统技术中客户端没有办法前置判断站点负载的情况，所以客户端没有数据服务的分发机制，只有单入口进行数据请求。当客户端发出数据请求时，传统模式的网关会负载均衡到某一台机器上去取数据，由于单网关的限制，数据出口以及网关出口的带宽流量会受到网络硬件的限制。而本发明通过分布式网关获取的数据可以从多个出口获得，能动态的进行扩容，增大出口带宽。

16、4、相对于传统模式单网关，本发明的分布式网关具有更好的容灾能力，通过访问任意一个网关都可以找到运行在同级的网关(无论网关新增或减少都可以动态发现，不需要手动更改系统配置)，能做到网关级别的负载均衡。利用本发明，客户端可以以更快的方式从服务端取得所需展示数据，并能保证数据的稳定持久传输，满足各委办局复杂网络环境下数据快速以及稳定访问的需求。

技术特征：

1.一种分布式数据网关以及前端多域请求数据的方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的分布式数据网关以及前端多域请求数据的方法，其特征在于，各个服务实例站点的轮询权重根据服务实例站点的负载情况计算。

3.根据权利要求1所述的分布式数据网关以及前端多域请求数据的方法，其特征在于，所述数据服务请求为三维数据服务请求。

4.根据权利要求3所述的分布式数据网关以及前端多域请求数据的方法，其特征在于，三维数据服务请求根据索引有多项子请求数据，客户端服务分发处理器通过不同的服务实例站点，分别从相应的数据存储站点获取各项子请求数据；各项子请求数据通过分布式网关中心的不同服务实例站点获得。

5.根据权利要求1所述的分布式数据网关以及前端多域请求数据的方法，其特征在于，服务发现处理器用于监控服务实例站点的负载情况，以及与客户端进行服务分发任务的分配通信。

6.根据权利要求1所述的分布式数据网关以及前端多域请求数据的方法，其特征在于，客户端服务分发处理器依据加权轮询算法向分布式网关中心的各服务实例站点动态地分配每轮的数据服务请求，在对每一批任务进行数据服务请求的分配时，根据服务实例站点的轮询权重确定该服务实例站点的轮询个数，并优先向权重高的服务实例站点请求数据，权重高的服务实例站点请求执行完任务后再向权重低的服务实例站点请求。

7.根据权利要求6所述的分布式数据网关以及前端多域请求数据的方法，其特征在于，数据服务请求的每一次轮询过程，包括：

8.一种分布式数据网关以及前端多域请求数据的系统，其特征在于，包括：

9.根据权利要求8所述的分布式数据网关以及前端多域请求数据的系统，其特征在于，所述数据服务请求为三维数据服务请求；

10.根据权利要求8所述的分布式数据网关以及前端多域请求数据的系统，其特征在于，服务发现处理器用于监控服务实例站点的负载情况，以及与客户端进行服务分发任务的分配通信；

技术总结
本发明属于计算机应用领域技术，为一种分布式数据网关及前端多域请求数据的方法、系统，方法包括：搭建数据服务集群、分布式网关中心和独立运行的服务发现处理器进程，形成多个数据存储站点、服务发现处理器和多个服务实例站点；客户端服务分发处理器发出数据服务请求，服务发现处理器返回服务实例站点集合及轮询权重；客户端在数据服务请求的每一次轮询时，动态分配向服务实例站点发出的数据服务请求，以获取同一数据服务请求的各项子请求数据；服务实例站点去最优的数据存储站点获取相应的子请求数据。本发明的客户端可以负载均衡到各个网关，因而能进行三维模型数据服务请求的负载均衡，最优化地调用服务数据到客户端进行使用。

技术研发人员：符艺瀚,陈顺清,彭进双,陈奇志,陈卫光
受保护的技术使用者：奥格科技股份有限公司
技术研发日：
技术公布日：2024/1/16