本发明的实施例涉及由多核处理器芯片制成的大规模并行超级计算机。
背景技术:
当代超级计算机通常使用成千上万个处理器,这些处理器分布在网络上,或者如在集中式计算机集群中一样彼此靠近放置。最近,超级计算机已经开始使用多核处理器,其思想是在芯片上开发超级计算机。超级计算机中分离的处理器芯片之间的二等分带宽通常受到可在处理器之间提供的电气连接的速度和数量的限制。相同芯片上处理器之间的可用带宽明显高于不同芯片上处理器之间通常可提供的带宽。单个芯片的尺寸受到光刻尺寸、产量和芯片封装技术的限制,芯片之间的电气连接数也受到芯片封装技术的限制。芯片内的电气互连比相同基板上的芯片之间的电气互连更便宜且使用更少的功率,相同基板上的芯片之间的电气互连比基板之间的电气互连更便宜且使用更少的功率,等等。一些有用的计算任务可以由可用的二等分带宽来限制,例如在自然语言处理中使用的稀疏矩阵乘法或大的快速傅里叶变换(fft)。
技术实现要素:
根据本发明的实施例,提供了一种半导体结构,其包括基板,该基板包括一个或多个冷却层、一个或多个冷却通道、与冷却通道流体连通的一个或多个冷却剂入口和出口、设置在具有一个或多个连接点和器件层区域的冷却层上的器件层,其中器件层的热膨胀系数基本上等于一个或多个冷却层的热膨胀系数,多个层压基板被布置成阵列,该阵列设置在器件层上并电气连接到器件层,其中层压基板热膨胀系数与器件层的热膨胀系数不同,且每个层压基板的面积小于其所附接到的器件层部分的面积,且每个层压基板包括侧面,在相邻的层压基板的侧面之间具有间隙,其中层压基板在层压基板之间的间隙上不彼此电气或机械地连接,且层压基板足够小以基本上防止由于热膨胀而导致的器件层、互连层和冷却层的翘曲和不可接受的应力。
根据本发明的另一实施例,层压基板包括pc板、陶瓷或玻璃基板以及积层有机基板中的一个或多个,且通过高导热性材料将器件层刚性地附接到冷却层。
根据本发明的另一实施例,器件层包括一个或多个半导体晶片。
根据本发明的另一实施例,基板包括玻璃和半导体材料中的一种或多种。
根据本发明的另一实施例,连接点包括设置在器件层和层压基板之间的c4微焊球。
根据本发明的另一实施例,半导体结构包括多个半导体结构,每个半导体结构之间的晶片间隙,以及跨过晶片间隙的不同半导体结构上的层压基板之间的一个或多个电气连接,其中每个半导体结构的冷却剂入口和出口中的一个或多个被连接以形成共同的冷却系统。
根据本发明的另一实施例,提供了一种数据处理器结构,该结构包括半导体处理器晶片,该半导体处理器晶片包含两个或更多个芯片,这些芯片通过片上布线层级互连,在半导体处理器晶片的非器件侧上刚性地附接到液体冷却基板,该液体冷却基板的热膨胀系数基本相似于半导体处理器晶片的热膨胀系数,其中每个芯片的基板被附接到每个晶片的器件侧上的各个芯片。
根据本发明的另一实施例,芯片基板的面积小于晶片上的芯片的面积。
根据本发明的另一实施例,数据处理器结构包括附接到每个芯片基板的一个或多个卡,其中每个卡的主表面垂直于半导体处理器晶片的表面。
根据本发明的另一实施例,数据处理器结构包括堆叠在半导体处理器晶片和芯片基板之间的一个或多个附加晶片,该一个或多个附加晶片与半导体处理器晶片和芯片基板电气互连。
根据本发明的另一实施例,提供了一种超级计算机结构,其包括两个或更多个半导体处理器晶片和互连基板,每个半导体处理器晶片包含两个或更多个芯片,这些芯片通过片上布线层级互连,在半导体处理器晶片的非器件侧上刚性地附接到一个或多个硅微通道晶片,一个或多个硅微通道晶片附接到共同的歧管层的组以提供液体冷却,该互连基板配置成在相邻半导体处理器晶片之间提供信号,其中歧管层的热膨胀系数基本上类似于硅微通道晶片的热膨胀系数,芯片基板被附接到半导体处理器晶片的器件侧的每个芯片。
根据本发明的另一实施例,歧管层包括一个或多个集成的玻璃或硅层,以及一个或多个堆叠的硅层。
根据本发明的另一实施例,半导体处理器晶片包括通过垂直互连体集成的多个堆叠晶片。
根据本发明的另一实施例,半导体处理器晶片包括存储器晶片、处理器晶片和现场可编程门阵列(fpga)中的一个或多个。
根据本发明的另一实施例,每个芯片基板包含有机材料、陶瓷材料或硅材料中的一个,且每个芯片基板被配置为向半导体处理器晶片提供功率、电压调节和信号通信。
根据本发明的另一实施例,相邻半导体处理器晶片之间的信号使用一个或多个电信号和光信号。
附图说明
现在将仅通过示例的方式,参考附图来描述本发明的优选实施例,其中:
图1示出了本发明的实施例的总体结构;
图2是根据本发明的实施例的整个晶片的示意图;
图3是根据本发明的实施例的有源芯片区域之间的连接区域的详细俯视图;
图4是示出了根据本发明的实施例的连接地带中的有源芯片区域之间的布线(wiring)的示意性截面图;
图5a-f是根据本发明的实施例的构成晶片微通道冷却器和歧管的层的示意图;
图6是附接到预先结合到根据本发明的实施例的微通道冷却器和歧管的有源器件晶片的芯片基板的示意图;
图7是示出了各个芯片基板且芯片基板小于芯片间距的详细的俯视示意图;
图8是根据本发明的实施例的附接到单个裸芯基板的垂直功率卡和垂直i/o卡的透视图;
图9示出了本发明的另一个实施例,其中两个或更多个晶片附接到公共cte匹配的液体冷却基板;以及
图10是根据本发明的实施例的制造数据处理结构的示例性非限制性方法的流程图。
具体实施方式
本文描述的本发明的示例性实施例通常包括使用晶片级集成制造的超级计算机及其制造方法。因此,虽然本发明的实施例易于进行各种修改和替代形式,但是通过附图中的示例的方式示出了其具体实施例,且将在此详细描述。然而,应当理解,并不意图将本发明的实施例限制于所公开的具体示例性实施例,相反,本发明的实施例覆盖了落在本发明范围内的所有修改、等同和替代。
本发明的示例性实施例包括其表面完全填充有由使用上层芯片布线电气互连的许多小型处理器组成的晶片,称为晶片级集成的连接方案。芯片到芯片互连通常限于数百或数千个信号通道。晶片的二等分可以包含数百万条电线(wire),每条电线可以以1gbit/s的倍数运行,或使用粗(fat)电线以较高速率运行。例如,就在300mm晶片的前6层,使用ibm的cu-32定制逻辑绝缘体上硅(soi)芯片制造技术,可能会有大约一百万个跨过晶片中心线的连接。
在具有显著程度的冗余的单个晶片上使用许多小的核,特别是在核之间的网络中,允许当不是所有的核都完全运行时,使用运行的核而不损失整个晶片。另外,根据应用,处理器、存储器、网络、现场可编程门阵列(fpga)、光学器件、功率电感器、电压调节器、集成电容层或替代技术晶片中的一个或多个可以通过使用层之间的垂直互连体、硅通孔(tsv)和绝缘体上硅(soi)和/或体晶片技术的晶片级堆叠,来不同类地(heterogeneously)集成,以创建晶片堆叠体。
为了机械地支撑和加固处理器晶片,晶片可以通过焊料、热界面材料(tim)、聚合物粘合剂或其它装置被附接到由硅和/或例如玻璃的材料制成的晶片级微通道冷却器,该材料具有与硅的热膨胀系数(tce)相当的热膨胀系数(tce)。冷却器可以包含多个歧管层和出口,多个歧管层被结合到具有液体冷却通道的一个集成歧管中,用于将冷却流体传递到微通道冷却通道。
为了向处理器晶片提供功率和信号,可以附接机械解耦的层压板或陶瓷基板的阵列。层压板可以使用铟或替代的低温或中温焊料材料(例如共晶pbsn或无铅焊料)接合到处理器晶片,替代的低温或中温焊料材料也使得低应力焊料c4能够允许增加的层压板或基板尺寸并支持功率传递和通信要求。焊球附接、焊盘网格阵列(landgridarray,lga)或插座(socket)用于将柔性或印刷电路卡连接到基板,以提供信号和功率,并保持机械解耦。光链路也可以用于到附接到晶片或晶片堆叠体的层压板或基板的高速数据通信链路和来自附接到晶片或晶片堆叠体的层压板或基板的高速数据通信链路。
层压板可以包含功率转换组件或电容器。附加的柔性电路、多个lga、光学链路或插座互连可以设置在晶片基板之外,以提供附加的组件面积和/或输入/输出(i/o)。所有的柔性电路都连接到(多个)通用电路板上,用于功率和信号i/o。
本发明的实施例可以包括识别每个晶片和/或晶片堆叠体中的良好电路、且在启动和应用使用期间驱动自身修复或隔离功能的测试方法。
本发明的实施例还可以包括用于运行的处理器核、存储器和核以及集成晶片级子系统和其他集成系统的其它功能元件之间的数据通信的低功率电路。
本发明的其它实施例可以通过使用硅通孔(tsv)、热设计优化和自我功率调节来增强堆叠晶片组件的热冷却。
图1中示出了根据本发明实施例的数据处理结构的概述,且图2-8示出了将在下面进一步详细描述的子部分。如图1所示的组件包含在微通道冷却器晶片12上的产品晶片11、安装在产品晶片11上的裸芯基板13上的垂直功率卡14和垂直i/o卡17、微通道晶片12下的玻璃歧管层15以及从玻璃歧管层15向下突出的入口/出口配件(fitting)16。图2-4示出了包含多个芯片的产品晶片,图5示出了微通道冷却器晶片12和玻璃歧管层15,图6-8示出了多个独立的裸芯基板13和垂直功率卡14和垂直i/o卡17。
图10中示出了根据本发明的实施例的制造数据处理结构的示例性非限制性方法的流程图。现在参照该图,在步骤110开始装配,将玻璃歧管层15和晶片级微通道冷却器12接合在一起。用于接合玻璃歧管层和晶片级微通道冷却器的示例性非限制性材料可以是玻璃熔块材料,诸如ferro11-036。玻璃可以是诸如borofloat33的材料,该材料具有与硅的热膨胀系数(tce)非常匹配的热膨胀系数(tce)。微通道冷却器由硅晶片形成。接下来,在步骤112中,将包含多个处理器的产品晶片安装到使用刚性高导热性装置(诸如高铅焊料层)的微通道冷却器晶片的背面。示例性非限制性高铅焊料包括pb-sn97:3或95:5。可以使用其它焊料组合物或类似材料。用于形成冷却结构的材料应该具有与包含多个处理器的晶片的cte匹配的cte,使得晶片可以刚性地接合以增加处理器晶片的刚度并提供最高可能的冷却性能。使用例如焊料的刚性接合装置允许较低的热阻接头,然后可以用典型的热界面材料(tim),例如润滑脂、糊剂或含有导热颗粒的蜡来实现。为了能够将裸芯基板和垂直卡装配到晶片上,晶片也应该被加强,因为硅是易于断裂的结晶材料,特别是考虑到处理器晶片的直径可以是300mm或更大但仅为约0.8mm厚。冷却结构的刚性附接提供了这种加强。
在步骤114继续装配过程,使用无铅c4微焊球将裸芯基板附接到晶片上的各个芯片位置中的每个。应当注意的是,只要熔点小于上述步骤112中使用的焊料的熔点,就可以将替代焊料材料用于c4。微焊球可具有约150至200微米间距。基板可以由陶瓷材料或有机积层(build-up)材料形成,且基板略小于晶片上的芯片间距,使得在多个基板之间存在间隙。根据芯片尺寸,可以使用陶瓷材料,因此陶瓷材料的cte可以与硅的cte密切匹配,这可有助于在热循环期间最小化c4微焊球和芯片布线层上的应力。接下来,在步骤116中,使用共晶pb-snbga(球栅阵列)焊球用倒装芯片连接器将垂直功率和i/o卡顺序地附接到裸芯基板。焊球可以具有约0.5至1mm的间距。只要替代的焊料材料的熔点小于上述步骤114中使用的焊料的熔点,就可以使用替代的焊料材料,或者如果c4缺料,只要c4接头没有损坏,就可以使用具有相同或更高熔点的焊料材料。
图2-4示出了包含多个处理器的产品晶片。图2示出了示例性非限制性300mm直径的晶片的示意图,其包含89个芯片位置21,每个芯片位置21在每侧约24mm。整个晶片被封装而没有切割。芯片由有源芯片区域组成,该有源芯片区域包含例如处理器、存储器和其它逻辑元件的有源半导体器件,以及围绕周边的不包含有源器件的连接区域22。芯片可以是相同的,或者可以是不同芯片的混合,且可以使用上部金属层将其连接在一起。
图3是图2在有源芯片区域之间的细节“b”的连接区域的详细俯视图,其示出了在相邻的有源芯片区域32之间的裸芯边界33周围的连接区域31。在连接区域中,线路后端(beol)中的布线层用于在相邻的芯片位置之间提供电信号连接。
图4为图3中的横截面“b-b”的示意图,其示出了在有源芯片区域32之间关于暴露边界33的连接区域31中的布线。图4示出了由具有嵌入的cubeol42布线的原硅酸四乙酯(teos)或氟化teos(fteos)基氧化物绝缘体形成的上层41、由具有附加cubeol电线的低k介电绝缘体形成的下层43,以及有源器件44。在周边没有阻塞连接的裂纹停止结构,因为裸芯不会被从晶片中切出。上层布线用于芯片之间的通信。将暴露部分(exposure)“缝合”在一起,以形成跨过裸芯/暴露部分之间的边界的连接。裸芯/暴露部分彼此对接或具有轻微的重叠。连接区域31中不存在例如晶体管等的有源器件44。芯片/裸芯可以都是相同的,或者可以是独特的芯片类型的混合。
晶片级微通道冷却器和玻璃歧管的各个层在图5a-f中示意性地示出,图中还示出了每个层的近似厚度。如图5a所示,当翅片和通道朝上时,底层将是硅微通道晶片,在该硅微通道晶片中通道图案与处理器晶片上的裸芯位置对齐,且交错的翅片之间的通道水平运行。如图5b所示,通过水射流切割硼硅酸盐玻璃盘制成的下一层,例如包括交替的垂直的入口和出口狭缝。示例性非限制性硼硅酸盐玻璃是schott的
通过该结构的液体流动路径将从入口配件开始,通过入口开口继续进行到水平歧管,通过歧管分离器中的开口继续进行到垂直入口歧管,然后通过垂直入口狭缝继续向下进行到微通道晶片,其中水将被限制到水平硅通道,直到其到达垂直出口狭缝且通过垂直歧管、歧管分离器中的开口流到水平歧管,并通过出口开口和出口配件离开。垂直歧管是锥形的,因为连续地向/从垂直入口或出口以及沿着垂直歧管长度的缝隙和微通道提供/接收冷却剂。
微通道晶片的背面、以及产品晶片的包含多个处理器裸芯位置的背面(非有源面)涂覆有多个金属层,例如焊料“润湿”的金、作为屏障的镍、以及作为粘附层的钛。如上参照图10的描述,在步骤112中,处理器晶片使用例如pb-sn97:3或95:5的高铅焊料或替代的焊料材料焊接到微通道晶片的背面。下一步骤,图10中的步骤114是使用无铅c4来将各个裸芯基板13附接到处理器晶片11上的芯片位置21,如图6所示。这通过以下步骤实现:拾取基板、将基板对齐并将基板放置在安装到微通道晶片和玻璃歧管上的产品晶片上,然后将装配件通过带式炉来回流c4微焊球,以将各个裸芯基板连接到处理器晶片上的裸芯位置。基板可以是具有或不具有嵌入式电容器或cte匹配陶瓷的有机层压板。可以在基板之间提供间隙用于切割误差,并允许分配底部填充材料。
如上参照图10的步骤116所描述的,装配中的下一步骤是用倒装芯片连接器将垂直功率和i/o卡顺序地附接到裸芯基板。在示例性非限制性实施例中,使用约0.5mm的间距的共晶pb-snbga焊球将卡附接。图7中示出了显示附接到裸芯基板13阵列的垂直功率卡14和垂直i/o卡17的阵列的俯视图。应当注意的是,裸芯基板小于底层处理器晶片上的裸芯位置。具有附接的垂直功率卡14和垂直i/o卡17的单个裸芯基板13的透视图如图8所示。这些卡在裸芯基板上对角地定向,且与相邻的裸芯基板重叠,因为功率和i/o要求需要大的卡区域。根据功率要求,从12v到约1v的功率转换的最后阶段的组件要求在裸芯基板上可用的面积的大约三到四倍,因此可能需要裸芯基板紧邻的附加卡。假设存在裸芯基板阵列,则最佳配置是使附加卡垂直于裸芯基板定向。此外,可以将加强件添加到柔性附接区域。
图9分别描绘了图中的上部和下部的另一个非限制性示例性实施例的俯视图和侧视图,其中多个晶片附接到公共cte匹配的液体冷却基板。参照图9,在冷却基板90上设置方形晶片91,且将多个处理器芯片93和多个边缘芯片92形成在方形晶片91上,并被组织成四组。形成在边缘芯片92上的互连基板94连接这些芯片组。应当注意的是,为了清楚起见,未示出处理器芯片和更多互连基板上的基板。该实施例与图1-8的实施例不同,在于处理器晶片在一个或多个边缘上成正方形,且电气互连基板被用于在相邻边缘之间提供高带宽电信号。电气互连基板可以由柔性、多层柔性、具有多个积层层的有机基板或具有多个布线层的硅芯片组成,且可以用细间距微焊料凸块连接到处理器晶片。示例性非限制性细间距在约5-50微米的范围内。专用边缘i/o芯片可以用于连接到互连基板。冷却基板将包括多个玻璃歧管层以及一个或多个硅微通道晶片,每个玻璃歧管层延伸跨过组装结构的全部尺寸,该一个或多个硅微通道晶片附接到玻璃歧管且处理器晶片附接到该一个或多个硅微通道晶片。
虽然已经参照示例性实施例详细描述了本发明,但是本领域技术人员将会理解,在不脱离如所附权利要求中阐述的本发明的范围的情况下,可以对其进行各种修改和替换。