一种数据分发方法、装置、设备及可读存储介质与流程

文档序号:37414180发布日期:2024-03-25 19:02阅读:11来源:国知局
一种数据分发方法、装置、设备及可读存储介质与流程

本申请涉及计算机,尤其涉及一种数据分发方法、装置、设备及可读存储介质。


背景技术:

1、随着各种应用的用户规模和数据量的增加,针对于应用的搜推广架构的性能要求也急剧增加。为了提升各种应用的搜推广架构的稳定性,各个应用的开发商一般是采用异地构建多活容灾架构,当某地的搜推广架构出现异常时,其他地区的搜推广架构仍可以正常运行,保证应用的正常运行。然而,这种异地构建多活容灾架构的方式在跨云异地分发数据时会消耗大量的网络带宽,并且由于各个地区不同云服务器之间的距离较远,降低了数据分发效率。


技术实现思路

1、本申请实施例提供一种数据分发方法、装置、设备及可读存储介质,可以节省网络带宽,并且提升数据分发效率。

2、第一方面,本申请提供一种数据分发方法,该方法应用于第一区域的管理调度系统,包括:

3、获取初始数据;该初始数据为上传到该第一区域的数据;

4、对该初始数据进行索引构建处理,得到该初始数据对应的索引数据;

5、将该索引数据分发给第二区域的同步节点,使该第二区域的同步节点将该索引数据同步至该第二区域的各个数据分片节点;该第二区域的各个数据分片节点用于存储该索引数据,该索引数据用于实现针对该初始数据的搜索,该第一区域与该第二区域属于不同区域。

6、第二方面,本申请提供了一种数据分发装置,该装置应用于第一区域的管理调度系统,包括:

7、数据获取单元,用于获取初始数据;该初始数据为上传到该第一区域的数据;

8、数据构建单元,用于对该初始数据进行索引构建处理,得到该初始数据对应的索引数据;

9、数据分发单元,用于将该索引数据分发给第二区域的同步节点,使该第二区域的同步节点将该索引数据同步至该第二区域的各个数据分片节点;该第二区域的各个数据分片节点用于存储该索引数据,该索引数据用于实现针对该初始数据的搜索,该第一区域与该第二区域属于不同区域。

10、第三方面,本申请提供了一种计算机设备,包括:处理器、存储器、网络接口;

11、上述处理器与存储器、网络接口相连,其中,网络接口用于提供数据通信功能,上述存储器用于存储计算机程序代码,上述处理器用于调用上述计算机程序代码,以使包含该处理器的计算机设备执行上述数据分发方法。

12、第四方面,本申请提供了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,该计算机程序适于由处理器加载并执行,以使得具有该处理器的计算机设备执行上述数据分发方法。

13、第五方面,本申请提供了一种计算机程序产品,该计算机程序产品包括计算机程序/指令,该计算机程序/指令被处理器执行时可实现上述数据分发方法。

14、本申请实施例中,获取初始数据;对初始数据进行索引构建处理,得到初始数据对应的索引数据;将索引数据分发给第二区域的同步节点,使第二区域的同步节点将索引数据同步至第二区域的各个数据分片节点;第二区域的各个数据分片节点用于存储索引数据,索引数据用于实现针对初始数据的搜索。由于第一区域与第二区域属于不同区域,通过将在第一区域构建的索引数据分发给第二区域的同步节点,消耗一次网络带宽即可实现分发数据到第二区域的同步节点,从而完成第二区域的各个数据分片节点的数据同步,因此可以节省网络带宽。由于第二区域的各个数据分片节点只需要从第二区域的同步节点进行本地数据同步,相较于从异地第一区域进行数据同步而言,提升了数据分发效率。



技术特征:

1.一种数据分发方法,其特征在于,所述方法应用于第一区域的管理调度系统,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,所述方法还包括:

4.根据权利要求3所述的方法,其特征在于,所述第一区域的各个数据分片节点的数量为多个,所述将所述第一区域的同步节点中的索引数据同步至所述第一区域的各个数据分片节点,包括:

5.根据权利要求3所述的方法,其特征在于,所述对所述初始数据进行索引构建处理,得到所述初始数据对应的索引数据,包括:

6.根据权利要求5所述的方法,其特征在于,所述方法还包括:

7.根据权利要求5所述的方法,其特征在于,所述方法还包括:

8.根据权利要求1所述的方法,其特征在于,所述方法还包括:

9.根据权利要求8所述的方法,其特征在于,所述触发条件为当前时间满足触发周期,所述方法还包括:

10.一种数据分发装置,其特征在于,所述装置应用于第一区域的管理调度系统,所述装置包括:

11.一种计算机设备,其特征在于,包括:处理器、存储器以及网络接口;

12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序适于由处理器加载并执行,以使得具有所述处理器的计算机设备执行权利要求1-9任一项所述的方法。


技术总结
本申请实施例公开了一种数据分发方法、装置、设备及可读存储介质,其中,方法应用于第一区域的管理调度系统,方法包括:获取初始数据;该初始数据为上传到该第一区域的数据;对该初始数据进行索引构建处理,得到该初始数据对应的索引数据;将该索引数据分发给第二区域的同步节点,使该第二区域的同步节点将该索引数据同步至该第二区域的各个数据分片节点;该第二区域的各个数据分片节点用于存储该索引数据,该索引数据用于实现针对该初始数据的搜索,该第一区域与该第二区域属于不同区域。采用本申请实施例,可以节省网络带宽,并且提升数据分发效率。

技术研发人员:康东
受保护的技术使用者:行吟信息科技(武汉)有限公司
技术研发日:
技术公布日:2024/3/24
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1