用于混合等待时间-吞吐量处理器的装置和方法

用于混合等待时间-吞吐量处理器的装置和方法
【专利说明】用于混合等待时间-吞吐量处理器的装置和方法 【背景技术】 技术领域
[0001] 本发明总体涉及计算机处理器领域。更具体地说，本发明涉及用于混合等待时 间-吞吐量处理器的装置和方法。
[0002] 相关技术描述
[0003] 如今，调用加速器需要通过驱动器接口。在其中使用层次结构保护域的系统中，这 意味着切换到环〇,并且将数据复制到不同的地址空间，从而消耗显著的时间和处理资源。 由于高等待时间，此类加速器接口固有地也是异步的。可编程加速器要求被加速的代码以 其自身的指令集架构（ISA)被实现。
[0004] -些当前的处理器架构尝试解决这些顾虑中的一些，但是仅提供具有在被加速 的任务请求及其执行之间的高等待时间的、粗粒度的异步机制。此外，当前的架构使用非 X86ISA，这需要单独的工具链来生成被加速的任务，并将该被加速任务与主x86程序集成。
[0005] 此外，当前的异步硬件加速器（例如，GPU)允许被加速的任务执行与触发该被加 速的任务的应用线程不相关的任务。这允许该应用线程处理异常和/或中断而不影响被加 速的任务，并且甚至允许该应用线程在多个核之间迀移而不影响系统上被加速的任务的位 置。
[0006] 当前的同步硬件加速器需要确保中断、异常、上下文切换和核迀移仍然是功能正 确的，并且确保向前进展。这是通过下述之一完成的：（1)确保加速器足够短并且不导致 任何异常，使得任何中断被推迟到完成该加速器为止；（2)在现有的架构寄存器（例如， REPMOV)中保持加速器的向前进展；或（3)定义保存加速器状态的新架构寄存器，并且将它 们添加到XSAVE/XRESTORE。
[0007] 此外，当前正以专业编程语言和指令集架构（ISA)(例如，用于DSP和GPU)开发吞 吐量编程代码。由此，吞吐量程序必须以与等待时间程序不同的ISA和工具链被写入。既 有等待时间部分又有吞吐量部分的单个应用必须被分成分开的子程序。一旦被分开，每一 个子程序在不同的硬件上运行，从而导致在两个子程序之间的控制和数据传输中的显著开 销。分别由诸如操作系统和驱动器或中间件之类的不同实体完成在不同的硬件资源上对分 开的子程序的调度。 【附图说明】
[0008] 结合以下附图，从以下【具体实施方式】中可获得对本发明更好的理解，其中：
[0009] 图IA是示出根据本发明的多个实施例的示例性有序流水线和示例性的寄存器重 命名的无序发布/执行流水线的框图；
[0010] 图IB是示出根据本发明的各实施例的要包括在处理器中的有序架构核的示例性 实施例和示例性的寄存器重命名的无序发布/执行架构核的框图；
[0011] 图2是根据本发明的多个实施例的具有集成的存储器控制器和图形器件的单核 处理器和多核处理器的框图。
[0012] 图3示出根据本发明的一个实施例的系统的框图；
[0013] 图4示出根据本发明的实施例的第二系统的框图；
[0014] 图5示出根据本发明的实施例的第三系统的框图；
[0015] 图6示出根据本发明的实施例的芯片上系统（SoC)的框图；
[0016] 图7示出根据本发明的多个实施例的、对照使用软件指令转换器将源指令集中的 二进制指令转换成目标指令集中的二进制指令的框图；
[0017] 图8A示出可在其中实现本发明的多个实施例的处理器架构；
[0018] 图8B-C示出存储用于调用加速器并回顾结果的数据的寄存器；
[0019] 图9A-C示出根据本发明的一个实施例的用于调用加速器的方法；
[0020] 图IOA示出用于处理经常失败的复杂指令的方法；
[0021] 图IOB示出使用用于存储加速器状态信息的栈的本发明的一个实施例。
[0022] 图IlA示出由等待时间优化硬件和吞吐量优化硬件处理的高层级程序和数据存 储器。
[0023] 图IlB示出包括等待时间群集集合和吞吐量群集集合的本发明的一个实施例。
[0024] 图12A和12B是示出根据本发明的多个实施例的通用向量友好指令格式及其指令 模板的框图；
[0025] 图13A-D是示出根据本发明的多个实施例的示例性专用向量友好指令格式的框 图；以及
[0026] 图14是根据本发明的一个实施例的寄存器架构的框图。
[0027] 图15示出根据本发明的某些实施例的计算机系统。 【具体实施方式】
[0028] 在下面的描述中，为了进行解释，阐述了众多具体细节以便提供对下述本发明的 多个实施例的透彻理解。然而，对本领域的技术人员显而易见的是，可以在没有这些具体细 节中的一些细节的情况下实施本发明的多个实施例。在其他实例中，公知的结构和设备以 框图形式示出，以避免使本发明的多个实施例的基本原理模糊。
[0029] 示例性处理器架构和数据类型
[0030]图IA是示出根据本发明的多个实施例的示例性有序流水线和示例性的寄存器重 命名的无序发布/执行流水线的框图。图IB是示出根据本发明的多个实施例的要包括在 处理器中的有序架构核的示例性实施例和示例性的寄存器重命名的无序发布/执行架构 核的框图。图IA-B中的实线框示出了有序流水线和有序核，而可选增加的虚线框示出了寄 存器重命名的、无序发布/执行流水线和核。考虑到有序方面是无序方面的子集，将描述无 序方面。
[0031] 在图IA中，处理器流水线100包括取出级102、长度解码级104、解码级106、分配 级108、重命名级110、调度（也被称为分派或发布）级112、寄存器读取/存储器读取级 114、执行级116、写回/存储器写入级118、异常处理级122和提交级124。
[0032] 图IB示出处理器核190,其包括耦合到执行引擎单元130的前端单元150,且执行 引擎单元和前端单元两者都耦合到存储器单元170。核190可以是精简指令集计算（RISC) 核、复杂指令集计算（CISC)核、超长指令字（VLIW)核或混合或替代核类型。作为又一选项， 核190可以是专用核，诸如例如，网络或通信核、压缩引擎、协处理器核、通用计算图形处理 单元（GPGPU)核、图形核等。
[0033] 前端单元130包括親合到指令高速缓存单元134的分支预测单元132,该指令高 速缓存单元耦合到指令转换后备缓冲器（TLB) 136,该指令转换后备缓冲器耦合到指令取出 单元138,指令取出单元耦合到解码单元140。解码单元140 (或解码器）可解码指令，并生 成从原始指令解码出的、或以其他方式反映原始指令的、或从原始指令导出的一个或多个 微操作、微代码进入点、微指令、其他指令或其他控制信号作为输出。解码单元140可使用 各种不同的机制来实现。合适机制的示例包括但不仅限于，查找表、硬件实现、可编程逻辑 阵列（PLA)、微代码只读存储器（ROM)等。在一个实施例中，核190包括微代码ROM或存储 用于某些宏指令的微代码的其他介质（例如，在解码单元140中或以其他方式在前端单元 130内）。解码单元140耦合至执行引擎单元150中的重命名/分配器单元152。
[0034] 执行引擎单元150包括耦合到引退单元152和一个或多个调度器单元的集合154 的重命名/分配器单元156。调度器单元156表示任意数量的不同调度器，包括预留站、中 央指令窗等。调度器单元156耦合到物理寄存器组单元158。物理寄存器组单元158中的 每一个表示一个或多个物理寄存器组，其中不同的物理寄存器组存储一个或多个不同的数 据类型，例如，标量整数、标量浮点、紧缩整数、紧缩浮点、向量整数、向量浮点，状态（例如， 作为要被执行的下一条指令的地址的指令指针）等。在一个实施例中，物理寄存器组单元 158包括向量寄存器单元、写掩码寄存器单元和标量寄存器单元。这些寄存器单元可以提供 架构向量寄存器、向量掩码寄存器、和通用寄存器。物理寄存器组单元158被引退单元154 覆盖，以示出可实现寄存器重命名和无序执行的各种方式（例如，使用重排序缓冲器和引 退寄存器组；使用未来文件（futurefile)、历史缓冲器、引退寄存器组；使用寄存器映射 和寄存器池等）。引退单元154和物理寄存器组单元158耦合至执行群集160。执行群集 160包括一个或多个执行单元的集合162以及一个或多个存储器访问单元的集合164。执行 单元162可执行多种操作（例如，移位、加法、减法、乘法），并且可对多种数据类型（例如， 标量浮点、紧缩整数、紧缩浮点、向量整数、向量浮点）执行操作。尽管一些实施例可以包括 专用于特定功能或功能集的多个执行单元，但其他实施例可包括全部执行所有功能的仅一 个执行单元或多个执行单元。调度器单元156、物理寄存器组单元158、执行群集160被示 出为可能是复数个，因为某些实施例为某些数据/操作类型创建了诸个单独流水线（例如， 均具有各自调度器单元、物理寄存器组单元和/或执行群集的标量整数流水线、标量浮点/ 紧缩整数/紧缩浮点/向量整数/向量浮点流水线、和/或存储器访问流水线，以及在单独 的存储器访问流水线的情况下特定实施例被实现为仅仅该流水线的执行群集具有存储器 访问单元164)。还应当理解，在使用分开的流水线的情况下，这些流水线中的一个或多个可 以是无序发布/执行的，并且其余流水线可以是有序发布/执行的。
[0035] 存储器访问单元的集合164f禹合到存储器单元170,该存储器单元包括親合到数 据高速缓存单元172的数据TLB单元174,其中，数据高速缓存单元耦合到第二级（L2)高速 缓存单元176。在一个示例性实施例中，存储器访问单元164可包括加载单元、存储地址单 元和存储数据单元，其中的每一个均親合至存储器单元170中的数据TLB单元172。指令高 速缓存单元134还耦合到存储器单元170中的第二级（L2)高速缓存单元176。L2高速缓 存单元176耦合到一个或多个其他级的高速缓存，并最终耦合到主存储器。
[0036] 作为示例，示例性的寄存器重命名的、无序发布/执行核架构可按如下方式实现 流水线100 :1)指令取出138执行取出和长度解码级102和104 ;2)解码单元140执行解 码级106 ;3)重命名/分配器单元152执行分配级108和重命名级110 ;4)调度器单元156 执行调度级112 ;5)物理寄存器组单元158和存储器单元170执行寄存器读取/存储器读 取级114 ;执行群集160执行执行级116 ;6)存储器单元170和物理寄存器组单元158执行 写回/存储器写入级118 ;7)各单元可牵涉到异常处理级122 ;以及8)引退单元154和物 理寄存器组单元158执行提交级124。
[0037] 核190可支持一个或多个指令集（例如，x86指令集（在更新的版本中加入了一 些扩展）；加利福尼亚州桑尼维尔市的MIPS技术公司的MIPS指令集；加利福尼州桑尼维尔 市的ARM控股公司的ARM指令集（具有诸如NEON之类的可选附加扩展）），其中包括本文中 描述的各指令。在一个实施例中，核190包括用于支持紧缩数据指令集扩展（例如，AVX1、 AVX2和/或先前描述的一些形式的通用向量友好指令格式（U= 0和/或U= 1))的逻辑， 从而允许由许多多媒体应用使用的操作能够使用紧缩数据来执行。
[0038] 应当理解，核可支持多线程操作（执行两个或更多个并行的操作或线程的集合）， 并且可以按各种方式来完成该多线程操作，各种方式包括时分多线程操作、同步多线程操 作（其中，单个物理核为物理核正在同步进行多线程操作的多个线程中的每一个线程提供 逻辑核）或其组合（例如，时分取出和解码以及此后诸如利用Intel?,超线程技术的同步多 线程操作）。
[0039] 尽管在无序执行的上下文中描述了寄存器重命名，但应当理解，可在有序架构中 使用寄存器重命名。尽管所示出的处理器的实施例还包括分开的指令和数据高速缓存单元 134/174以及共享L2高速缓存单元176,但替代实施例可以具有用于指令和数据两者的单 个内部高速缓存，诸如例如一级（LI)内部高速缓存或多个级别的内部高速缓存。在一些实 施例中，该系统可包括内部高速缓存和在核和/或处理器外部的外部的高速缓存的组合。 或者，所有高速缓存都可在核和/或处理器的外部。
[0040] 图2是根据本发明的多个实施例的、可能具有多于一个的核、可能具有集成存储 器控制器、并且可能具有集成图形器件的处理器200的框图。图2中的实线框示出具有单 个核202A、系统代理210、一个或多个总线控制器单元216的集合的处理器200,而虚线框的 可选附加示出具有多个核202A-N、系统代理单元210中的一个或多个集成存储器控制器单 元214的集合以及专用逻辑208的替代处理器200。
[0041] 因此，处理器200的不同实现可包括：1)CPU，其中专用逻辑208是集成图形和/或 科学（吞吐量）逻辑（其可包括一个或多个核），并且核202A-N是一个或多个通用核（例 如，通用有序核、通用无序核、这两者的组合）；2)协处理器，其中核202A-N是旨在主要用于 图形和/或科学（吞吐量）的大量专用核；以及3)协处理器，其中核202A-N是大量通用有 序核。因此，处理器200可以是通用处理器、协处理器或专用处理器，该专用处理器诸如例 如，网络或通信处理器、压缩引擎、图形处理器、GPGPU(通用图形处理单元）、高吞吐量的集 成众核（MIC)协处理器（包括30个或更多核）、嵌入式处理器等。该处理器可以被实现在 一个或多个芯片上。处理器200可以是一个或多个基板的一部分，并且/或者可使用多种 工艺技术（诸如，BiCMOS、CMOS、或NMOS)中的任意技术被实现在一个或多个基板上。
[0042] 存储器层次结构包括核内的一个或多个层级的高速缓存、一组或一个或多个共享 高速缓存单元206以及耦合至集成存储器控制器单元的集合214的外部存储器（未示出）。 共享高速缓存单元的集合206可包括一个或多个中级高速缓存，诸如，第二级（L2)、第三级 (L3)、第四级（L4)或其他层级的高速缓存、末级高速缓存（LLC)和/或以上的组合。尽管在 一个实施例中，基于环的互连单元212将集成图形逻辑208、共享高速缓存单元的集合206 以及系统代理单元210/集成存储器控制器单元214互连，但替代实施例可使用任何数量的 公知技术来将此类单元互连。在一个实施例中，可维护一个或多个高速缓存单元206和核 202A-N之间的一致性（coherency)。
[0043] 在一些实施例中，一个或多个核202A-N能够进行多线程操作。系统代理210包括 协调和操作核202A-N的那些组件。系统代理单元210可包括例如功率控制单元（P⑶）和 显示单元。PCU可以是或可包括调节核202A-N和集成图形逻辑208的功率状态所需的逻辑 和组件。显示单元用于驱动一个或多个外部连接的显示器。
[0044] 核202A-N在架构指令集方面可以是同构的或异构的；也就是说，这些核202A-N中 的两个或更多个核可能能够执行相同的指令集，而其他核可能能够执行该指令集的仅仅子 集或不同的指令集。
[0045] 图3-6是示例性计算机架构的框图。本领域已知的对膝上型计算机、台式机、手持 PC、个人数字助理、工程工作站、服务器、网络设备、网络集线器、交换机、嵌入式处理器、数 字信号处理器（DSP)、图形设备、视频游戏设备、机顶盒、微