自适应粒度行缓冲器高速缓存的制作方法
【专利说明】
【背景技术】
[0001]动态随机存取存储器(DRAM)是这样一种类型的随机存取存储器(RAM)，其在集成电路(IC)内的分离的电容器中存储数据的每一位。每个电容器可以包括两个状态，诸如充电或放电的状态，其可以表示位的两个值(例如O和I)。由于电容器的操作特性，电容器电荷被周期性地刷新以避免与位值有关的信息的丢失。对于周期性刷新电容器电荷的需要是对于将该类型的存储器指定为动态的基础。可以以三维(3D)堆叠的结构来制造DRAM，所述三维堆叠的结构将多层的密集存储器管芯与基础逻辑层相组合以实现例如外围电路、接口逻辑和测试结构。
【附图说明】
[0002]本公开的特征通过示例而被说明并且不限于以下的(多幅)图中，在图中，同样的标号指示同样的元件，其中:
图1A图示了根据本公开的示例的三维(3D)堆叠的动态随机存取存储器(DRAM)的等距视图；
图1B图示了根据本公开的示例的图1A的3D堆叠的DRAM的前视图；
图2图示了根据本公开的示例的自适应粒度行缓冲器高速缓存(AG-RB高速缓存)装置的架构；
图3图示了根据本公开的示例的用于图2的AG-RB高速缓存装置的全局自由列表、行映射单元和数据阵列的放大视图，以及部分行进行高速缓存和随后的命中的示例流；
图4图示了根据本公开的示例的用于行映射单元中的标签部分的内容可寻址存储器(CAM)设计；
图5图示了根据本公开的示例的用于进行自适应粒度行缓冲器高速缓存的方法；以及图6图示了根据本公开的示例的计算机系统。
【具体实施方式】
[0003]为了简单和说明性的目的，通过主要参考示例来描述本公开。在以下的描述中，阐述了众多具体细节以便提供对本公开的透彻理解。然而，将容易地显而易见的是，可以在不限制于这些具体细节的情况下实践本公开。在其它实例中，没有详细描述一些方法和结构以免不必要地模糊本公开。
[0004]遍及本公开，术语“一”和“一个”意图表明至少一个特定元件。如本文中所使用的，术语“包括”意指包括但不限于，术语“包括了”意指包括了但不限于。术语“基于”意指至少部分地基于。
[0005]三维(3D)堆叠的动态随机存取存储器(DRAM)中的存储器行可以通过使用行缓冲器高速缓存来进行高速缓存，以改进DRAM的总体性能。例如，参考图1A和1B，3D堆叠的DRAM 100可以包括多层的密集存储器管芯101与基础逻辑层102和封装基底层103。3D堆叠的DRAM 100还可以包括64位宽的硅通孔(TSV)通道104，以用于经由数据路径105从来自存储器管芯101的DRAM行向基础逻辑层102传递数据。行缓冲器高速缓存可以被添加到基础逻辑层102以通过减少缓慢的和功率密集的行缓冲器激活和关闭的数目而提供更快的存储器访问和经改进的功率效率。对DRAM行进行高速缓存的一个方法包括以高命中率(即，对相同行的频繁的未来存储器访问)来对DRAM行进行高速缓存。然而，对于具有不规则的存储器访问模式的应用而言，对整个DRAM行进行高速缓存可能是低效的。例如，对于其中存储器访问能够重复地访问部分的存储器行的、具有不规则存储器访问模式的应用而言，对整个DRAM行进行高速缓存可能是低效的。对于低效的一个原因是基于可以是SKbit至16Kbit长的相对长的DRAM行。通过64位宽的TSV通道104而将整个DRAM行从存储器管芯101移动到基础逻辑层102使用64个周期。此外，对DRAM行进行高速缓存贡献于行缓冲器高速缓存和TSV的动态功率，并且增加总的系统功率。
[0006]根据示例，本文中公开了自适应粒度行缓冲器高速缓存(下文中“AG-RB高速缓存”)装置和用于进行自适应粒度行缓冲器高速缓存(下文中“进行AG-RB高速缓存”)的方法。本文中公开的装置和方法一般包括AG-RB高速缓存过程，其针对不同的DRAM访问而动态地调整被传递到RB高速缓存的数据的量。AG-RB高速缓存过程改进进行RB高速缓存的性能，而不显著增加TSV带宽使用，从而导致低的能量消耗。因而，本文公开的装置和方法使3D堆叠的DRAM的逻辑层上的RB高速缓存的性能和能量利益最大化。本文公开的装置和方法可以包括专用预测器模块，以在最小开销的情况下向例如众核处理器以及具有大量存储体(bank)的存储器系统提供可伸缩性(scalability)。预测器模块可以决定是否对相对应的DRAM行进行高速缓存以用于未解决的请求，以及如果是这样，应当对多少DRAM行进行高速缓存。预测器模块不仅在更准确的预测的情况下增加行缓冲器命中率，而且还基于3D堆叠的存储器中的存储体的增加的数量而随着存储器请求队列大小可伸缩。本文中公开的装置和方法还包括RB高速缓存，所述RB高速缓存能够存储不同大小的线(line)以支持AG高速缓存过程。本文中公开的装置和方法还包括DRAM状态感知的替换策略，以当替换RB高速缓存条目时选择最佳的高速缓存替换候选以最小化等待时间。
[0007]根据示例，AG-RB高速缓存装置可以包括3D堆叠的DRAM，所述3D堆叠的DRAM包括:包括一个或多个DRAM存储体的多个DRAM管芯，以及包括RB高速缓存的逻辑管芯。AG-RB高速缓存装置还可以包括处理器管芯，所述处理器管芯包括存储器控制器，所述存储器控制器包括预测器模块以确定是否将数据高速缓存到RB高速缓存，并且针对不同的DRAM访问而调整要高速缓存到RB高速缓存的数据的量。根据另一示例，用于进行AG-RB高速缓存的方法可以包括确定是否将数据高速缓存到RB高速缓存，并且通过处理器或存储器侧逻辑而针对不同的存储器访问来调整要高速缓存到RB高速缓存的数据的量。本文公开的AG-RB高速缓存装置和方法可以与其它类型的存储器(诸如非易失性存储器，包括相变存储器(PCM)、自旋传输矩RAM (STT-RAM)、以及电阻式随机存取存储器(ReRAM)等等)一起使用。
[0008]本文公开的AG-RB高速缓存装置和方法向3D堆叠的DRAM提供AG-RB高速缓存，并且因而为大规模数据中心提供改进的性能和能量高效的存储器子系统。本文公开的装置和方法为具有不同存储器行为的宽范围的应用提供性能和能量效率的益处。本文公开的装置和方法使存储器控制器队列和预测器队列去耦，并且提供关于存储器访问模式的准确预测，其导致RB高速缓存的改进的使用以及改进的性能和能量效率。本文公开的装置和方法的使用的示例可以包括具有附加的板载(on-board)缓冲器芯片的双列直插式存储器模块(DIMM)。
[0009]图2图示了根据示例的AG-RB高速缓存装置110的架构。参考图2，装置110被描绘为包括:图示了 DRAM层的DRAM管芯111、图示了逻辑层的逻辑管芯112、以及图示了处理器层的处理器管芯113。处理器管芯113的处理器的各种其它组件，诸如高速缓存等，为了清楚而被省略。DRAM管芯111可以包括多个DRAM存储体114，所述DRAM存储体114经由TSV通道117而通信地连接到列控制器115和RB高速缓存116 (也图示为RB$，并且被指明为AG RB高速缓存116)。RB高速缓存116可以包括数据阵列118。DRAM存储体114和RB高速缓存116可以经由数据总线120和命令总线121而通信地连接到存储器控制器119。存储器控制器119可以存储可变数目的即将到来的和先前服务的存储器请求的地址。每个存储器列(rank)可以拥有分离的RB高速缓存116，所述分离的RB高速缓存116被来自不同DRAM管芯111的多个DRAM存储体114共享。存储器控制器119可以包括存储器请求队列122、可伸缩的预测器模块123、以及RB高速缓存分配表124。预测器模块123可以包括预测器队列125，所述预测器队列125从存储器请求队列122和取出模块126去耦。取出模块126可以使用策略来确定是否要将DRAM行高速缓存到RB高速缓存116。尽管RB高速缓存分配表124以及数据阵列118在图2的示例中被示出为是分离的，但是RB高速缓存分配表124和数据阵列118可以二者都被提供在存储器侧，如果存储器具有逻辑管芯的话。可替换地，RB高速缓存分配表124和数