计算快速链路存储设备和计算设备的制作方法

本公开总体上涉及存储设备，并且更具体地，涉及计算快速链路(cxl)存储设备以及包括该计算快速链路(cxl)存储设备的计算系统。

背景技术：

1、随着人工智能(ai)技术的出现，大语言模型(llm)可能会越来越受欢迎，因为llm可以用于在各种基于ai的领域中提供服务。例如，基于llm的服务可能会趋向于能够提供更高性能服务的更大模型尺寸。结果，llm可能需要在包括可能需要支持高计算性能要求的大容量和/或高带宽存储设备的计算系统上实现。用于获得大容量存储器和/或高计算性能的可能方法可以包括使用多个图形处理单元(gpu)。

2、然而，由于gpu的结构特性，gpu的使用可能受限于存储器容量的限制和/或计算效率低下。

技术实现思路

1、本公开的一个或多个示例实施例提供了一种大容量计算快速链路(cxl)设备、以及一种基于大语言模型(llm)提供服务的计算系统。

2、此外，本公开的一个或多个示例实施例提供了一种cxl设备和计算系统，其通过基于要执行的计算的类型选择计算电路来高效地执行计算。

3、根据本公开的一个方面，一种cxl存储设备包括：存储数据的存储设备；以及控制器，被配置为基于通过第一协议接收的第一命令从存储设备读取数据，基于通过与第一协议不同的第二协议接收的第二命令来选择计算引擎，并且控制计算引擎对读取的数据执行计算。

4、根据本公开的一个方面，一种计算系统包括：主机，被配置为输出第一计算命令和第二计算命令中的至少一个；加速器，被配置为基于第一计算命令来操作；存储设备，被配置为基于第二计算命令来操作；以及cxl接口，被配置为向加速器发送第一计算命令，并且向存储设备发送第二计算命令。

5、根据本公开的一个方面，一种cxl存储设备包括：计算引擎，包括第一计算电路和第二计算电路，第一计算电路被配置为对输入数据和llm数据执行第一计算，第二计算电路被配置为对输入数据和llm数据执行第二计算，第一计算与第二计算不同；以及调度器，被配置为通过cxl接口接收计算命令，并且基于计算命令来选择第一计算电路和第二计算电路中的至少一个。

6、附加的方面可以部分地在下面的描述中阐述，并且可以部分地从描述中变得显而易见，和/或可以通过所呈现的实施例的实践而获知。

技术特征：

1.一种计算快速链路cxl存储设备，包括：

2.根据权利要求1所述的cxl存储设备，其中，所述第一协议是cxl.mem协议，并且

3.根据权利要求1所述的cxl存储设备，其中，所述计算引擎包括第一计算电路和第二计算电路，并且

4.根据权利要求3所述的cxl存储设备，其中，所述第一计算电路是处理元件pe阵列，并且

5.根据权利要求1所述的cxl存储设备，其中，所述控制器包括：

6.根据权利要求5所述的cxl存储设备，其中，所述控制器还包括：

7.一种计算系统，包括：

8.根据权利要求7所述的计算系统，其中，所述cxl接口还被配置为通过cxl.io协议来发送所述第一计算命令和所述第二计算命令中的至少一个。

9.根据权利要求7所述的计算系统，其中，所述第一计算命令指示矩阵-矩阵乘法计算，并且

10.根据权利要求9所述的计算系统，其中，所述存储设备包括加法器树，并且

11.根据权利要求10所述的计算系统，其中，所述cxl接口还被配置为向所述存储设备发送所述第一计算命令，

12.根据权利要求11所述的计算系统，其中，所述存储设备还包括控制电路，所述控制电路被配置为：

13.根据权利要求11所述的计算系统，其中，所述加速器还被配置为基于所述第一计算命令向所述存储设备输出第三计算命令，并且

14.根据权利要求13所述的计算系统，其中，所述cxl接口还被配置为通过cxl.io协议发送所述第一计算命令、所述第二计算命令和所述第三计算命令之中的至少一个计算命令，并且

15.一种计算快速链路cxl存储设备，包括：

16.根据权利要求15所述的cxl存储设备，其中，所述第一计算电路包括被配置为执行矩阵-矩阵乘法计算的处理元件阵列，

17.根据权利要求15所述的cxl存储设备，还包括：

18.根据权利要求17所述的cxl存储设备，其中，所述调度器还被配置为通过cxl.io协议接收所述计算命令，并且

19.根据权利要求18所述的cxl存储设备，其中，所述第一计算电路还包括被配置为存储所述输入数据的第一寄存器，并且

20.根据权利要求15所述的cxl存储设备，还包括：

技术总结
一种计算快速链路(CXL)存储设备，包括：存储设备，存储数据；以及控制器，被配置为基于通过第一协议接收的第一命令从存储设备读取数据，基于通过与第一协议不同的第二协议接收的第二命令选择计算引擎，并且控制计算引擎对读取的数据执行计算。

技术研发人员：朴商秀,金京守,金娜延,苏镇麟,禹炅完,李荣炫,李宗键,郑辰,赵正显
受保护的技术使用者：三星电子株式会社
技术研发日：
技术公布日：2024/11/28