数据处理方法、装置、电子设备和计算机可读存储介质与流程

文档序号:39378548发布日期:2024-09-13 11:33阅读:来源:国知局

技术特征:

1.一种数据处理方法,包括:

2.根据权利要求1所述的数据处理方法,其中,

3.根据权利要求2所述的数据处理方法,其中,

4.根据权利要求2或3所述的数据处理方法,其中,所述第一代码段包括:

5.根据权利要求2或3所述的数据处理方法,其中,所述中间代码段包括:

6.根据权利要求2或3所述的数据处理方法,其中,所述第二代码段包括:

7.根据权利要求1或2所述的数据处理方法,还包括:

8.根据权利要求1或2所述的数据处理方法,其中,所述数据粒度包括第一粒度、第二粒度和第三粒度;

9.根据权利要求8所述的数据处理方法,其中,基于所述多个共享缓存的数量和每个所述共享缓存的容量,确定所述数据粒度,包括:

10.根据权利要求9所述的数据处理方法,其中,所述计算数据包括第一矩阵和第二矩阵,所述第一层级任务包括所述第一矩阵与所述第二矩阵相乘;

11.根据权利要求8所述的数据处理方法,其中,

12.一种代码生成方法,包括:

13.一种数据处理装置,包括:

14.一种电子设备,包括:

15.一种计算机可读存储介质,存储有非暂时性计算机可读指令,当所述非暂时性计算机可读指令由计算机执行时可以实现权利要求1-12任一项所述的方法。


技术总结
一种数据处理方法、数据处理装置、电子设备和计算机可读存储介质。该数据处理方法包括:基于可用的多个共享缓存的总容量,确定数据粒度;基于数据粒度,将计算数据的每个维度切分为多个部分,以将计算数据对应的第一层级任务分为多组第二层级任务,每组第二层级任务包括多个第二层级任务,每个第二层级任务的计算结果的数据量与多个共享缓存的总容量对应;针对每组第二层级任务,利用循环代码,将每组中的多个第二层级任务的计算结果循环存放至多个共享缓存,并将多个共享缓存的数据循环输出至数据消费者算子。该方法可以简化生产者算子与消费者算子之间的数据共享过程。

技术研发人员:请求不公布姓名,请求不公布姓名,请求不公布姓名
受保护的技术使用者:北京壁仞科技开发有限公司
技术研发日:
技术公布日:2024/9/12
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1