集群节点分流方法、装置、计算设备及存储介质与流程

本申请涉及计算机，具体涉及一种集群节点分流方法、装置、计算设备及存储介质。

背景技术：

1、目前，集群分流方案一般是利用负载均衡的方式，将外部发送的请求均匀分配到集群的服务器上，配合内容分发网络进行加速，保持服务器集群的整体性能。

2、但是，集群负载均衡的方式适用于长链接，基于短连接的直播模式的数据一般是文件形式的，负载均衡措施容易将多个节点接收到的针对某些热度较高的直播文件请求分配到一台服务器上，通过该服务器进行回源，会对后端的部分机器造成比较大的压力，容易导致单个节点不可用。

技术实现思路

1、本申请实施例的目的是提供一种集群节点分流方法、装置、计算设备及存储介质，以解决现有技术中多个节点接收到的针对于同一直播文件的请求被汇聚到单独一个节点上进行回源容易造成节点不可用的问题。

2、根据本申请的一个方面，提供了一种集群节点分流方法，包括：

3、接收用户端发起的直播文件请求；

4、检测已缓存的有效节点列表是否已经过期，若已经过期，触发向存储服务器请求更新有效节点列表，对更新后的有效节点列表进行缓存并设定有效期；其中，存储服务器定时刷新有效节点列表；

5、从更新后的有效节点列表包含的多个有效节点中筛选汇聚节点；

6、将直播文件请求转发至汇聚节点，以供汇聚节点发起直播文件的回源请求。

7、在一种可选的方式中，从更新后的有效节点列表包含的多个有效节点中筛选汇聚节点进一步包括：

8、根据更新后的有效节点列表包含的多个有效节点的节点信息以及直播文件请求的文件标识信息，进行一致性哈希计算，根据计算结果确定汇聚节点。

9、在一种可选的方式中，方法进一步包括：

10、定时向存储服务器上报性能信息，以供存储服务器根据集群内各个节点上报的性能信息，识别各个节点中的各个有效节点，将各个有效节点的节点信息更新至有效节点列表中。

11、在一种可选的方式中，接收用户端发起的直播文件请求之后，方法还包括：

12、判断直播文件的直播热度是否满足预设条件；

13、检测已缓存的有效节点列表是否已经过期进一步包括：

14、在直播文件的直播热度满足预设条件的情况下，检测已缓存的有效节点列表是否已经过期。

15、在一种可选的方式中，方法进一步包括：

16、在直播文件的直播热度不满足预设条件的情况下，发起对直播文件的回源请求。

17、在一种可选的方式中，性能信息包括以下信息中的一项或多项：带宽信息、内存信息、cpu信息、磁盘信息、负载信息。

18、在一种可选的方式中，对更新后的有效节点列表设定有效期进一步包括：

19、根据有效期配置信息，设定更新后的有效节点列表的有效期。

20、根据本申请的另一方面，提供了一种集群节点分流装置，包括：

21、接收模块，适于接收用户端发起的直播文件请求；

22、检测模块，适于检测已缓存的有效节点列表是否已经过期；

23、请求模块，适于若已经过期，触发向存储服务器请求更新有效节点列表；

24、处理模块，适于对更新后的有效节点列表进行缓存并设定有效期；其中，存储服务器定时刷新有效节点列表；

25、筛选模块，适于从更新后的有效节点列表包含的多个有效节点中筛选汇聚节点；

26、发送模块，适于将直播文件请求转发至汇聚节点，以供汇聚节点发起直播文件的回源请求。

27、在一种可选的方式中，筛选模块进一步适于：根据更新后的有效节点列表包含的多个有效节点的节点信息以及直播文件请求的文件标识信息，进行一致性哈希计算，根据计算结果确定汇聚节点。

28、在一种可选的方式中，装置还包括上报模块，适于定时向存储服务器上报性能信息，以供存储服务器根据集群内各个节点上报的性能信息，识别各个节点中的各个有效节点，将各个有效节点的节点信息更新至有效节点列表中。

29、在一种可选的方式中，装置还包括热度判断模块，适于判断直播文件的直播热度是否满足预设条件；

30、检测模块进一步适于：在直播文件的直播热度满足预设条件的情况下，检测已缓存的有效节点列表是否已经过期。

31、在一种可选的方式中，装置还包括回源模块，适于在直播文件的直播热度不满足预设条件的情况下，发起对直播文件的回源请求。

32、在一种可选的方式中，性能信息包括以下信息中的一项或多项：带宽信息、内存信息、cpu信息、磁盘信息、负载信息。

33、在一种可选的方式中，处理模块进一步适于：根据有效期配置信息，设定更新后的有效节点列表的有效期。

34、根据本申请的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

35、所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述集群节点分流方法对应的操作。

36、根据本申请的再一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述集群节点分流方法对应的操作。

37、根据本申请的集群节点分流方法、装置、计算设备及存储介质，当检测已缓存的有效节点列表已经过期时，则确定为更新汇聚节点的时机，向存储服务器请求更新有效节点列表，根据更新后的有效节点列表重新筛选汇聚节点。各个节点所缓存的有效节点列表是动态变化的，且直播文件请求到达各个节点的时间不一致，使得直播文件请求到达各个节点时节点所缓存的有效节点列表也是不一致的，进而使得各个节点所计算出的汇聚节点是不一致的，能够避免多个对于同一个直播文件的请求被分配到单独一个汇聚节点的情况，能够实现将同一个直播文件的多个请求分配到不同的汇聚节点，通过集群中的多个汇聚节点分散请求回源，避免造成集群中单独某个节点所承载的压力过大的情况，保证单个节点的可用性，进而保证集群的可用性；进一步地，对于热门直播文件的请求通过汇聚模式进行回源，对于非热门直播文件的请求在节点本地进行回源，能够通过集群中的多个汇聚节点分散热门直播文件的回源请求，同时也能够避免不必要的计算，保证整个集群的性能。

38、上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

技术特征：

1.一种集群节点分流方法，包括：

2.根据权利要求1所述的方法，其中，所述从所述更新后的有效节点列表包含的多个有效节点中筛选汇聚节点进一步包括：

3.根据权利要求1或2所述的方法，其中，所述方法进一步包括：

4.根据权利要求1所述的方法，其中，所述接收用户端发起的直播文件请求之后，所述方法还包括：

5.根据权利要求4所述的方法，其中，所述方法进一步包括：

6.根据权利要求3所述的方法，其中，所述性能信息包括以下信息中的一项或多项：带宽信息、内存信息、cpu信息、磁盘信息、负载信息。

7.根据权利要求1所述的方法，其中，对更新后的有效节点列表设定有效期进一步包括：

8.一种集群节点分流装置，包括：

9.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

10.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-7中任一项所述的集群节点分流方法对应的操作。

技术总结
本申请公开了一种集群节点分流方法、装置、计算设备及存储介质，涉及计算机技术领域，方法包括：接收用户端发起的直播文件请求；检测已缓存的有效节点列表是否已经过期，若已经过期，触发向存储服务器请求更新有效节点列表，对更新后的有效节点列表进行缓存并设定有效期；存储服务器定时刷新有效节点列表；从更新后的有效节点列表包含的多个有效节点中筛选汇聚节点；将直播文件请求转发至汇聚节点，以供汇聚节点发起直播文件的回源请求。通过上述方式，能够实现将同一个直播文件的多个请求分配到不同的汇聚节点，通过集群中的多个汇聚节点分散请求回源，避免造成集群中单独某个节点所承载的压力过大的情况，保证单个节点的可用性。

技术研发人员：张建锋,刘勇江,杨成进
受保护的技术使用者：上海哔哩哔哩科技有限公司
技术研发日：
技术公布日：2024/1/14