涉海类数据交易的负载均衡的处理方法、系统及相关装置与流程

本技术涉及数据处理领域,尤其涉及一种涉海类数据交易的负载均衡的处理方法、系统及相关装置。

背景技术：

1、随着我国相关海洋类政策落地和计算机技术的快速发展，越来越多人开始从不同角度开展海洋研究，对产生的各种类型的海洋数据进行采集及综合研究。信息化时代，世界各国沿海城市对海洋经济的大力发展离不开大数据、云计算、物联网等先进信息技术。其中对涉海类数据进行的采集、整合与共享促进了海洋经济的创新、生产技术的创新、经营管理模式的创新，也促使传统海洋经济转型升级。而实现涉海类数据的采集、整合与共享这一过程，数据交易是不可或缺的重要组成部分。数据交易为大数据释放能量提供场地，可以使数据的使用价值实现更大体量、更广范围、更有的放矢的流通。涉海类大数据只有真正的和海洋经济相结合，才能达到涉海类数据价值最大化。

2、但随着用户对电商平台需求量的增加，整个电商系统面临的性能瓶颈问题也愈发突显。传统项目开发往往会因为系统耦合程度过高，存在不易扩展等情况。任何系统硬件或软件故障都将导致整个系统无法向用户提供服务，让用户体验感变差同时会对企业造成重大经济损失，所以综上所述互联网大环境下系统技术升级改造是刻不容缓的事情。

技术实现思路

1、为了解决上述技术问题，本技术提供了一种涉海类数据交易的负载均衡的处理方法、系统及相关装置。

2、下面对本技术中提供的技术方案进行描述：

3、本技术第一方面提供了一种涉海类数据交易的负载均衡的处理方法，与，所述处理方法应用于涉海类数据交易的负载均衡系统，所述涉海类数据交易的负载均衡系统包括：视图层、nignx反向代理层、网关层、业务逻辑层以及持久层；所述视图层用于提供用户操作页面；所述持久层用于存储涉海类数据，所述网关层根据所述视图层获取的用户请求从所述持久层提取与所述用户请求相关的涉海类数据，并将与所述用户请求相关的所述涉海类数据通过所述网关层反馈至所述视图层；所述nignx反向代理层部署于所述视图层和所述网关层中间，用于流量控制和均衡负载，nignx反向代理层包括硬件层面和软件层面；所述业务逻辑层用于连接所述网关层和所述持久层，所述业务逻辑层用于通过模块化服务对所述用户请求进行分流；

4、所述处理方法包括：

5、基于定时任务库在所述网关层上配置定时任务，周期性执行所述定时任务并动态采集所述网关层上各个网关节点所在服务器的服务器性能指标；

6、针对各个服务器，基于所述服务器性能指标计算指标利用率，并将所述指标利用率存入目标redis缓存；

7、基于自动活性监测机制，通过所述硬件层面将所述用户请求均衡转发至所述网关层；

8、所述软件层面通过下述算法向网关层均衡发送所述用户请求：

9、通过所述nignx反向代理层获取第一服务器和第二服务器的负载指标信息，所述负载指标信息包括：cpu利用率、内存利用率、i/o利用率和带宽利用率；

10、所述nignx反向代理层通过预配置的lua脚本从所述目标resis缓存中读取所述指标利用率，并通过下述方式计算加权负载值：

11、wlv＝(cwc*cu)+(mwc*mu)+(iwc*iu)+(bwc*bu)；

12、其中，wlv为加权负载值、cwc为cpu权重系数、cu为cpu利用率、mwc为内存权重系数、mu为内存利用率、iwc为i/o权重系数、iu为i/o利用率、bwc为带宽权重系数以及bu为带宽利用率。

13、可选的，所述基于自动活性监测机制，通过所述硬件层面将所述用户请求均衡转发至所述网关层包括：

14、配置虚拟路由器冗余协议vrrp、虚拟路由器id、虚拟ip地址、优先级；

15、在keepalived的配置中，定义用于监测服务器活性状态的活性检查机制；

16、所述活性检查机制包括：

17、定期发送ping请求、tcp连接测试或http请求；

18、在所述硬件层面上配置后端服务器池，将涉及的网关节点添加到所述服务器池中；

19、连接keepalived配置的虚拟ip地址以及所述服务器池中的各个网关节点所在的服务器，通过keepalive定期向所述服务器池中的各个网关节点发送vrrp广播消息；

20、基于所述vrrp广播消息对各个网关节点进行活性检测；

21、当检测到目标网关节点的主节点不可用时，通过所述vrrp切换到备用节点，并将所述用户请求转发至所述备用节点。

22、可选的，所述cpu权重系数、所述内存权重系数、所述i/o权重系数以及所述带宽权重系数的获取方法包括：

23、初始预设或历史改进平滑加权轮询算法的计算结果；

24、根据所述加权负载值计算得到所述目标权重值，所述目标权重值的计算方法如下：

25、目标权重值＝(总权重-加权负载值)/总权重。

26、可选的，所述网关层还用于：

27、获取所述用户请求，并对所述用户请求进行用户身份验证；

28、当所述用户身份验证通过之后，通过系统网关gateway所述用户请求进行动态转发。

29、可选的，所述网关层通过双网关对接所述nginx反向代理层。

30、可选的，所述业务逻辑层用于通过模块化服务对所述用户请求进行分流包括：

31、通过微服务模式将负载均衡系统拆分成独立模块分别部署在不同服务器上，以使得所述业务逻辑层通过模块化服务对所述用户请求进行分流。

32、可选的，所述持久层包括：

33、所述持久层以分布式数据库作为主体，部署大于一个关系型数据库并结合中间件对部署的关系型数据库的数据库节点进行管理。

34、可选的，所述视图层还用于：

35、根据用户请求从所述redis缓存中获取与所述用户请求相关的所述涉海类数据；

36、当所述redis缓存中无法获取到与所述用户请求相关的所述涉海类数据时，从所述持久层的相关数据库中获取与所述用户请求相关的所述涉海类数据进行反馈，并将该与所述用户请求相关的所述涉海类数据同步更新到redis缓存中。

37、本技术第二方面提供了一种涉海类数据交易的负载均衡的装置，所述装置包括：

38、处理器、存储器、输入输出单元以及总线；

39、所述处理器与所述存储器、所述输入输出单元以及所述总线相连；

40、所述存储器保存有程序，所述处理器调用所述程序以执行第一方面以及第一方面中任一项可选的所述方法。

41、本技术第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质上保存有程序，所述程序在计算机上执行时执行第一方面以及第一方面中任一项可选的所述方法。

42、从以上技术方案可以看出，本技术具有以下优点：

43、负载均衡系统部署nignx反向代理层，并通过nignx反向代理层通过定时任务设定执行改进平滑加权轮询算法，使得负载均衡系统对系统中各服务器的权重在时间周期内得到更新，从而实现高可用的负载均衡。

44、基于负载情况的权重计算法的核心思想是根据服务器的负载情况来分配权重，以实现负载均衡和资源优化的目标。使得本技术体现出以下优势：

45、1、动态性：该方法关注服务器的实时负载情况，并根据最新的负载信息进行权重计算。负载情况是动态变化的，因此权重计算需要定期更新，以反映服务器的当前状态。

46、2、指标选择：选择适当的负载指标来衡量服务器的负载情况。常见的负载指标包括cpu利用率、内存利用率、网络带宽、连接数、请求处理时间等。根据具体应用场景和需求，选择合适的负载指标或者综合多个指标进行权重计算。

47、3、权重计算：根据负载指标的值来计算服务器的权重。通常情况下，负载较低的服务器将获得较高的权重，以便更均衡地分配负载。权重计算可以根据具体需求采用简单的线性计算、加权求和、归一化等方式进行。

48、4、负载分配：根据服务器的权重，将负载均衡算法应用于服务器选择过程。常见的负载均衡算法包括轮询、加权轮询、最小连接数、加权最小连接数等。根据服务器的权重，分配请求给相应的服务器，以实现负载均衡和资源优化。