一种基于大模型的数据协同处理方法及系统与流程

文档序号:37163195发布日期:2024-03-01 12:00阅读:来源:国知局

技术特征:

1.一种基于大模型的数据协同处理方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于大模型的数据协同处理方法,其特征在于,所述模型训练平台将数据集分割的具体过程如下:

3.根据权利要求1所述的一种基于大模型的数据协同处理方法,其特征在于,所述子集分析模块获取优先处理参数的具体过程如下:

4.根据权利要求1所述的一种基于大模型的数据协同处理方法,其特征在于,获取数据子集中的所有的数据的储存时刻与当前时刻,获得两者之间的时间差值,并将其标记为时长值sc,获取所有的时长值sc的平均值,并将其标记为均时值jt;

5.根据权利要求1所述的一种基于大模型的数据协同处理方法,其特征在于,所述模型训练平台获得数据子集分配名单的具体过程如下:

6.根据权利要求1所述的一种基于大模型的数据协同处理方法,其特征在于,所述计算分析模块获取优先计算参数的具体过程如下:

7.根据权利要求1所述的一种基于大模型的数据协同处理方法,其特征在于,所述模型训练平台获得计算节点分配名单的具体过程如下:

8.根据权利要求1所述的一种基于大模型的数据协同处理方法,其特征在于,所述自动分配模块将数据子集和分析节点i进行对应的具体过程如下:

9.一种基于大模型的数据协同处理系统,其特征在于,包括数据输入模块、模型训练平台、子集分析模块、计算分析模块、自动分配模块以及结果显示模块;

10.根据权利要求9所述的一种基于大模型的数据协同处理系统,其特征在于,所述结果显示模块用于将所有的计算结果进行汇合并显示,完成大模型训练。


技术总结
本发明涉及数据处理领域,公开了一种基于大模型的数据协同处理方法及系统,解决了现有的用于数据处理加速器的模糊大模型训练方法无法对训练用数据集进行处理并分析,也无法对处理数据的计算节点进行分析并智能选用,导致训练速度低且难以保证训练结果的准确性和可靠性的问题;该大模型用数据处理方法包括以下模块:数据输入模块、模型训练平台、子集分析模块、计算分析模块、自动分配模块以及结果显示模块;本发明采用分布式计算和数据并行处理技术,能够充分利用计算资源的优势,提高训练效率,而且选用性能好的计算节点进行数据处理,能够提高大模型的数据处理速度,减少数据处理误差,进而能够保证数据处理的准确性和可靠性。

技术研发人员:曹萍,张琦,崔勇雷,刘大鹏
受保护的技术使用者:山东博商缘信息科技发展有限公司
技术研发日:
技术公布日:2024/2/29
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1