神经网络对当前计算资源的自适应的制作方法

神经网络对当前计算资源的自适应的制作方法
【专利摘要】提供了用于在人工神经系统中进行处理的方法和装置。根据某些方面，可至少部分地基于计算资源的可用性或者功率目标或预算来降低神经元模型的处理单元所执行的一个或多个功能的分辨率。可通过调节一个或多个网络权重来补偿分辨率的降低。
【专利说明】神经网络对当前计算资源的自适应
[00011根据35U.S.C.§119的优先权要求
[0002] 本申请要求于2014年3月3日提交的美国临时专利申请S/N. 61/947,149以及于 2014年5月2日提交的美国专利申请S/N. 14/268，372的权益，这两篇申请的全部内容通过援 引纳入于此。
[0003] 背景
[0004] 领域
[0005] 本公开的某些方面一般涉及人工神经系统，尤其涉及实现具有动态关注资源分配 的人工神经系统。
【背景技术】
[0006] 可包括一群互连的人工神经元（即神经元模型）的人工神经网络是一种计算设备 或者表示将由计算设备执行的方法。人工神经网络可具有生物学神经网络中的对应的结构 和/或功能。然而，人工神经网络可为其中传统计算技术是麻烦的、不切实际的、或不胜任的 某些应用提供创新且有用的计算技术。由于人工神经网络能从观察中推断出功能，因此这 样的网络在因任务或数据的复杂度使得通过常规技术来设计该功能较为麻烦的应用中是 特别有用的。
[0007] 在没有优化的一些系统中，某些生物学功能可能过于复杂而无法建模。例如，在没 有针对性能改善的优化的许多系统中，视网膜可能过于复杂而无法实时地或者甚至接近实 时地建模。更一般而言，人工神经系统和外围传感器处理器在用于实时操作的计算量上具 有限制。
[0008] 概述
[0009] 本公开的某些方面一般涉及人工神经系统中的动态资源分配。
[0010] 根据某些方面，一种用于人工神经系统中的动态资源分配的技术包括:至少部分 地基于计算资源的可用性来降低神经元模型的处理单元所执行的一个或多个功能的分辨 率;以及通过调节一个或多个网络权重来补偿分辨率的降低。
[0011] 本公开的某些方面提供一种用于在人工神经元系统中进行处理的装置。该装置一 般包括处理系统和耦合至该处理系统的存储器。该处理系统通常被配置成：至少部分地基 于计算资源的可用性来降低神经元模型的处理单元所执行的一个或多个功能的分辨率；以 及通过调节一个或多个网络权重来补偿分辨率的降低。
[0012] 本公开的某些方面提供一种用于在人工神经元系统中进行处理的设备。该设备一 般包括：用于至少部分地基于计算资源的可用性来降低神经元模型的处理单元所执行的一 个或多个功能的分辨率的装置;以及用于通过调节一个或多个网络权重来补偿分辨率的降 低的装置。
[0013] 本公开的某些方面提供一种用于在人工神经元系统中进行处理的计算机程序产 品。该计算机程序产品一般包括具有可执行以用于以下操作的指令的计算机可读介质：至 少部分地基于计算资源的可用性来降低神经元模型的处理单元所执行的一个或多个功能 的分辨率;以及通过调节一个或多个网络权重来补偿分辨率的降低。
[0014] 根据某些方面，一种用于人工神经系统中的动态资源分配的技术包括:降低视网 膜分辨率;以及通过调节一个或多个网络权重来补偿视网膜分辨率的降低。
[0015] 本公开的某些方面提供一种用于在人工神经元系统中进行处理的装置。该装置一 般包括处理系统和耦合至该处理系统的存储器。该处理系统通常被配置成：降低视网膜分 辨率，以及通过调节一个或多个网络权重来补偿视网膜分辨率的降低。
[0016] 本公开的某些方面提供一种用于在人工神经元系统中进行处理的设备。该设备一 般包括:用于降低视网膜分辨率的装置，以及用于通过调节一个或多个网络权重来补偿视 网膜分辨率的降低的装置。
[0017] 本公开的某些方面提供一种用于在人工神经元系统中进行处理的计算机程序产 品。该计算机程序产品一般包括具有可执行以用于以下操作的指令的计算机可读介质：降 低视网膜分辨率，以及通过调节一个或多个网络权重来补偿视网膜分辨率的降低。
[0018] 附图简述
[0019] 为了能详细理解本公开的以上陈述的特征所用的方式，可参照各方面来对以上简 要概述的内容进行更具体的描述，其中一些方面在附图中解说。然而应该注意，附图仅解说 了本公开的某些典型方面，故不应被认为限定其范围，因为本描述可允许有其他等同有效 的方面。
[0020] 图1解说了根据本公开的某些方面的示例神经元网络。
[0021] 图2解说了根据本公开的某些方面的计算网络(神经系统或神经网络）的示例处理 单元(神经元）。
[0022] 图3解说了根据本公开的某些方面的示例尖峰定时依赖可塑性(STDP)曲线。
[0023] 图4是根据本公开的某些方面的用于人工神经元的状态的示例曲线图，其解说用 于定义神经元的行为的正态相和负态相。
[0024] 图5解说了根据本公开的某些方面的在人工神经系统中实现的视网膜的示例模 型。
[0025] 图6解说了根据本公开的某些方面的在图5的示例模型中的动态资源分配的示例。
[0026] 图7解说了根据本公开的某些方面的人工神经系统的示例框图。
[0027] 图8解说了根据本公开的某些方面的用于人工神经系统中的动态分配的示例操 作。
[0028]图8A解说了能够执行图8中示出的各操作的示例装置。
[0029] 图9解说了根据本公开的某些方面的用于人工神经系统的视网膜模型中的动态分 配的示例操作。
[0030] 图9A解说了能够执行图9中示出的各操作的示例装置。
[0031]图10解说了根据本公开的某些方面的用于使用通用处理器来操作人工神经系统 的示例实现。
[0032]图11解说了根据本公开的某些方面的用于操作人工神经系统的示例实现，其中存 储器可与个体分布式处理单元对接。
[0033]图12解说了根据本公开的某些方面的用于基于分布式存储器和分布式处理单元 来操作人工神经系统的示例实现。
[0034]图13解说了根据本公开的某些方面的神经网络的示例实现。
[0035] 详细描述
[0036] 以下参照附图更全面地描述本公开的各个方面。然而，本公开可用许多不同形式 来实施并且不应解释为被限定于本公开通篇给出的任何具体结构或功能。相反，提供这些 方面是为了使得本公开将是透彻和完整的，并且其将向本领域技术人员完全传达本公开的 范围。基于本文中的教导，本领域技术人员应领会，本公开的范围旨在覆盖本文中所披露的 本公开的任何方面，不论其是与本公开的任何其他方面相独立地还是组合地实现的。例如， 可以使用本文所阐述的任何数目的方面来实现装置或实践方法。另外，本公开的范围旨在 覆盖使用作为本文中所阐述的本公开的各种方面的补充或者另外的其他结构、功能性、或 者结构及功能性来实践的此类装置或方法。应当理解，本文中所披露的本公开的任何方面 可由权利要求的一个或多个元素来实施。
[0037] 措辞"示例性"在本文中用于表示"用作示例、实例或解说"。本文中描述为"示例 性"的任何方面不必被解释为优于或胜过其他方面。
[0038] 尽管本文描述了特定方面，但这些方面的众多变体和置换落在本公开的范围之 内。虽然提到了优选方面的一些益处和优点，但本公开的范围并非旨在被限定于特定益处、 用途或目标。相反，本公开的各方面旨在能宽泛地应用于不同的技术、系统配置、网络和协 议，其中一些作为示例在附图以及以下对优选方面的描述中解说。详细描述和附图仅仅解 说本公开而非限定本公开，本公开的范围由所附权利要求及其等效技术方案来定义。
[0039] 示例神经系统
[0040]图1解说根据本公开的某些方面的具有多级神经元的示例神经系统100。神经系统 100可包括一级神经元102,该级神经元102通过突触连接网络104(即，前馈连接)来连接到 另一级神经元106。为简单起见，图1中仅解说了两级神经元，但在典型的神经系统中可存在 更少或更多级神经元。应注意，一些神经元可通过侧向连接来连接至同层中的其他神经元。 此外，一些神经元可通过反馈连接来后向连接至先前层中的神经元。
[0041 ]如图1所解说的，级102中的每一神经元可接收输入信号108，输入信号108可以是 由前一级（图1中未示出）的多个神经元所生成的。信号108可表示至级102的神经元的输入 (例如，输入电流）。此类输入可在神经元膜上累积以对膜电位进行充电。当膜电位达到其阈 值时，该神经元可激发并生成输出尖峰，该输出尖峰将被传递到下一级神经元（例如，级 106)。此类行为可在硬件和/或软件(包括模拟和数字实现）中进行仿真或模拟。
[0042] 在生物学神经元中，在神经元激发时生成的输出尖峰被称为动作电位。该电信号 是相对迅速、瞬态、全有或全无的神经脉冲，其具有约为100mV的振幅和约为lms的历时。在 具有一系列连通的神经元(例如，尖峰从图1中的一级神经元传递至另一级）的神经系统的 特定方面，每个动作电位都具有基本上相同的振幅和历时，因此该信号中的信息仅由尖峰 的频率和数目（或尖峰的时间）来表示，而不由振幅来表示。动作电位所携带的信息由尖峰、 发放尖峰的神经元、以及该尖峰相对于一个或多个其他尖峰的时间来决定。
[0043] 尖峰从一级神经元向另一级神经元的传递可通过突触连接(或简称"突触"）网络 104来达成，如图1所解说的。突触104可从级102的神经元(相对于突触104而言的突触前神 经元）接收输出信号（即尖峰）。对于某些方面，这些信号可根据可调节突触权重 wp+1)、…、Η普/+1)(其中P是级102和106的神经元之间的突触连接的总数)来缩放。对于 其它方面，突触104可以不应用任何突触权重。此外，（经缩放的）信号可被组合以作为级106 中每个神经元(相对于突触104而言的突触后神经元)的输入信号。级106中的每个神经元可 基于对应的组合输入信号来生成输出尖峰110。随后可使用另一突触连接网络（图1中未示 出)将这些输出尖峰110传递到另一级神经元。
[0044]生物学突触可被分类为电的或化学的。电突触主要用于发送兴奋性信号，而化学 突触可调停突触后神经元中的兴奋性或抑制性(超极化)动作，并且还可用于放大神经元信 号。兴奋性信号通常使膜电位去极化（即，相对于静息电位增大膜电位）。如果在某个时段内 接收到足够的兴奋性信号以使膜电位去极化到高于阈值，则在突触后神经元中发生动作电 位。相反，抑制性信号一般使膜电位超极化（即，降低膜电位）。抑制性信号如果足够强则可 抵消掉兴奋性信号之和并阻止膜电位到达阈值。除了抵消掉突触兴奋以外，突触抑制还可 对自发活跃神经元施加强力的控制。自发活动神经元是指在没有进一步输入的情况下（例 如，由于其动态或反馈而)发放尖峰的神经元。通过压制这些神经元中的动作电位的自发生 成，突触抑制可对神经元中的激发模式进行定形，这一般被称为雕刻。取决于期望的行为， 各种突触104可充当兴奋性或抑制性突触的任何组合。
[0045] 神经系统100可由通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场 可编程门阵列(FPGA)或其他可编程逻辑器件(PLD)、分立的门或晶体管逻辑、分立的硬件组 件、由处理器执行的软件模块、或其任何组合来仿真。神经系统100可用在大范围的应用中， 诸如图像和模式识别、机器学习、电机控制、及类似应用等。神经系统100中的每个神经元 (或神经元模型)都可以被实现为神经元电路。被充电至发起输出尖峰的阈值的神经元膜可 被实现为例如对流经其的电流进行积分的电容器。
[0046]在一方面，电容器作为神经元电路的电流积分器件可被除去，并且可使用较小的 忆阻器元件来替代它。这种办法可应用于神经元电路中，以及其中大容量电容器被用作电 流积分器的各种其他应用中。另外，每个突触104可基于忆阻器元件来实现，其中突触权重 改变可与忆阻器电阻的变化有关。使用纳米特征尺寸的忆阻器，可显著地减小神经元电路 和突触的面积，这可使得实现超大规模神经系统硬件实现变得可行。
[0047]对神经系统100进行仿真的神经处理器的功能性可取决于突触连接的权重，这些 权重可控制神经元之间的连接的强度。突触权重可存储在非易失性存储器中以在掉电之后 保留该处理器的功能性。在一方面，突触权重存储器可实现在与主神经处理器芯片分开的 外部芯片上。突触权重存储器可与神经处理器芯片分开地封装成可更换的存储卡。这可向 神经处理器提供多种多样的功能性，其中特定功能性可基于当前附连至神经处理器的存储 卡中所存储的突触权重。
[0048]图2解说根据本公开某些方面的计算网络(例如，神经系统或神经网络）的处理单 元(例如，人工神经元202)的示例200。例如，神经元202可对应于来自图1的级102和106的任 一个神经元。神经元202可接收多个输入信号这些输入信号可以是该神 经系统外部的信号、或是由同一神经系统的其他神经元所生成的信号、或这两者。输入信号 可以是实数值或复数值的电流或电压。输入信号可包括具有定点或浮点表示的数值。可通 过突触连接将这些输入信号递送到神经元202,这些突触连接根据可调节突触权重206广 206N(W1-WN)对这些信号进行缩放，其中N可以是神经元202的输入连接的总数。
[0049] 神经元202可组合这些经缩放的输入信号，并且使用组合的经缩放的输入来生成 输出信号208(即，信号y)。输出信号208可以是实数值或复数值的电流或电压。输出信号可 包括具有定点或浮点表示的数值。随后该输出信号208可作为输入信号传递至同一神经系 统的其他神经元、或作为输入信号传递至同一神经元202、或作为该神经系统的输出来传 递。
[0050] 处理单元(神经元202)可由电路来仿真，并且其输入和输出连接可由具有突触电 路的导线来仿真。处理单元、其输入和输出连接也可由软件代码来仿真。处理单元也可由电 路来仿真，而其输入和输出连接可由软件代码来仿真。在一方面，计算网络中的处理单元可 包括模拟电路。在另一方面，处理单元可包括数字电路。在又一方面，处理单元可包括具有 模拟和数字组件两者的混合信号电路。计算网络可包括任何前述形式的处理单元。使用这 样的处理单元的计算网络(神经系统或神经网络)可用在大范围的应用中，诸如图像和模式 识别、机器学习、电机控制、及类似应用等。
[0051 ]在神经网络的训练过程期间，突触权重(例如，来自图1的权重wf/+1)、...、wf/+1) 和/或来自图2的权重206:-2064可用随机值来初始化并根据学习规则而增大或减小。学习 规则的某些示例是尖峰定时依赖型可塑性（STDP)学习规则、Hebb规则、Oja规则、 Bienenstock-Copper-Munro(BCM)规则等。很多时候，这些权重可稳定至两个值（即，权重的 双峰分布)之一。该效应可被用于减少每突触权重的位数、提高从/向存储突触权重的存储 器读取和写入的速度、以及降低突触存储器的功耗。
[0052]突触类型
[0053]在神经网络的硬件和软件模型中，突触相关功能的处理可基于突触类型。突触类 型可包括非可塑突触(对权重和延迟没有改变）、可塑突触(权重可改变）、结构化延迟可塑 突触（权重和延迟可改变）、全可塑突触（权重、延迟和连通性可改变）、以及基于此的变型 (例如，延迟可改变，但在权重或连通性方面没有改变）。此举的优点在于处理可以被细分。 例如，非可塑突触不会要求执行可塑性功能(或等待此类功能完成）。类似地，延迟和权重可 塑性可被细分成可一起或分开地、顺序地或并行地运作的操作。不同类型的突触对于适用 的每一种不同的可塑性类型可具有不同的查找表或公式以及参数。因此，这些方法将针对 该突触的类型来访问相关的表。
[0054]还进一步牵涉到以下事实:尖峰定时依赖型结构化可塑性可独立于突触可塑性地 来执行。结构化可塑性即使在权重幅值没有改变的情况下(例如，如果权重已达最小或最大 值、或者其由于某种其他原因而不改变)也可执行，因为结构化可塑性（即，延迟改变的量） 可以是pre-post(突触前-突触后)尖峰时间差的直接函数。替换地，结构化可塑性可被设为 权重改变量的函数或者可基于与权重或权重改变的界限有关的条件来设置。例如，突触延 迟可仅在发生权重改变时或者在权重到达〇的情况下才改变，但在权重达到最大极限时不 改变。然而，具有独立函数以使得这些过程能被并行化从而减少存储器访问的次数和交叠 可能是有利的。
[0055]突触可塑性的确定
[0056]神经元可塑性(或简称"可塑性"）是大脑中的神经元和神经网络响应于新的信息、 感官刺激、发展、损坏、或机能障碍而改变其突触连接和行为的能力。可塑性对于生物学中 的学习和记忆、以及对于计算神经元科学和神经网络是重要的。已经研究了各种形式的可 塑性，诸如突触可塑性(例如，根据赫布理论）、尖峰定时依赖可塑性(STDP)、非突触可塑性、 活动性依赖可塑性、结构化可塑性和自身稳态可塑性。
[0057] STDP是调节神经元(诸如大脑中的那些神经元)之间的突触连接的强度的学习过 程。连接强度是基于特定神经元的输出与收到输入尖峰（即，动作电位）的相对定时来调节 的。在STDP过程下，如果至某个神经元的输入尖峰平均而言倾向于紧挨在该神经元的输出 尖峰之前发生，则可发生长期增强(LTP)。于是使得该特定输入在一定程度上更强。相反，如 果输入尖峰平均而言倾向于紧接在输出尖峰之后发生，则可发生长期抑压(LTD)。于是使得 该特定输入在一定程度上更弱，由此得名为"尖峰定时依赖可塑性"。因此，使得可能是突触 后神经元兴奋原因的输入甚至更有可能在将来作出贡献，而使得不是突触后尖峰的原因的 输入较不可能在将来作出贡献。该过程继续，直至初始连接集的子集保留，而所有其他连接 的影响减轻至〇或接近0。
[0058]由于神经元一般在其许多输入都在一短时段内发生（即，足以累积到引起输出）时 产生输出尖峰，因此通常保留下来的输入子集包括倾向于在时间上相关的那些输入。另外， 由于在输出尖峰之前发生的输入被加强，因此提供对相关性的最早充分累积指示的输入将 最终变成至该神经元的最后输入。
[0059] STDP学习规则可因变于突触前神经元的尖峰时间tpre与突触后神经元的尖峰时间 tpcist之间的时间差（即，t = tpcist-tpre)来有效地适配将该突触前神经元连接到该突触后神经 元的突触的突触权重。STDP的典型公式是若该时间差为正（突触前神经元在突触后神经元 之前激发)则增大突触权重（即，增强该突触），以及若该时间差为负（突触后神经元在突触 前神经元之前激发)则减小突触权重(即，抑压该突触）。
[0060] 在STDP过程中，突触权重随时间推移的改变可通常使用指数衰退来达成，如由下 式给出的：
[0061] ⑴
[0062]其中k+和k-分别是针对正和负时间差的时间常数，a+和a-是对应的缩放幅值，以及 μ是可应用于正时间差和/或负时间差的偏移。
[0063]图3解说根据STDP，突触权重因变于突触前尖峰(pre)和突触后尖峰(post)的相对 定时而改变的示例曲线图300。如果突触前神经元在突触后神经元之前激发，则可使对应的 突触权重增大，如曲线图300的部分302中所解说的。该权重增大可被称为该突触的LTP。从 曲线图部分302可观察到，LTP的量可因变于突触前和突触后尖峰时间之差而大致呈指数地 下降。相反的激发次序可减小突触权重，如曲线图300的部分304中所解说的，从而导致该突 触的LTD。
[0064]如图3中的曲线图300中所解说的，可向STDP曲线图的LTP(因果性)部分302应用负 偏移轴的交越点306(y = 0)可被配置成与最大时间滞后重合以考虑到来自层i-Ι (突触 前层）的各因果性输入的相关性。在基于帧的输入（即，输入是按包括尖峰或脉冲的特定历 时的帧的形式）的情形中，可计算偏移值μ以反映帧边界。该帧中的第一输入尖峰(脉冲）可 被视为随时间衰退，要么如直接由突触后电位所建模地、要么以对神经状态的影响的形式 而随时间衰退。如果该帧中的第二输入尖峰(脉冲)被视为与特定时间帧关联或相关，则该 帧之前和之后的相关时间可通过偏移STDP曲线的一个或多个部分以使得相关时间中的值 可以不同（例如，对于大于一个帧为负，而对于小于一个帧为正)来在该时间帧边界处被分 开并在可塑性方面被不同地对待。例如，负偏移μ可被设为偏移LTP以使得曲线实际上在大 于帧时间的pre-post时间处变得低于零并且它由此为LTD而非LTP的一部分。
[0065]神经元模型及操作
[0066]存在一些用于设计有用的尖峰发放神经元模型的一般原理。良好的神经元模型在 以下两个计算态相(regime)方面可具有丰富的潜在行为:重合性检测和功能性计算。此外， 良好的神经元模型应当具有允许时间编码的两个要素:输入的抵达时间影响输出时间，以 及重合性检测能具有窄时间窗。最后，为了在计算上是有吸引力的，良好的神经元模型在连 续时间上可具有闭合形式解，并且具有稳定的行为，包括在靠近吸引子和鞍点之处。换言 之，有用的神经元模型是可实践且可被用于建模丰富的、现实的且生物学一致的行为并且 可被用于对神经电路进行工程设计和反向工程两者的神经元模型。
[0067] 神经元模型可取决于事件，诸如输入抵达、输出尖峰或其他事件，无论这些事件是 内部的还是外部的。为了达成丰富的行为库，能展现复杂行为的状态机可能是期望的。如果 事件本身的发生在撇开输入贡献(若有）的情况下能影响状态机并约束在该事件之后的动 态，则该系统的将来状态并非仅是状态和输入的函数，而是状态、事件和输入的函数。
[0068] 在一方面，神经元η可被建模为尖峰带漏泄积分激发(LIF)神经元，其膜电压vn(t) 由以下动态来支配：
[0069]
^ ? ， (2)
[0070] 其中α和β是参数，Wm,n是将突触前神经元m连接至突触后神经元 n的突触的突触权 重，以及ym(t)是神经元m的尖峰输出，其可根据Δ ","被延迟达树突或轴突延迟才抵达神经 元η的胞体。
[0071] 应注意，从建立了对突触后神经元的充分输入的时间直至突触后神经元实际上激 发的时间之间存在延迟。在动态尖峰神经元模型(诸如Izhikevich简单模型）中，如果在去 极化阈值vt与峰值尖峰电压v peak之间有差量，则可引发时间延迟。例如，在该简单模型中，神 经元胞体动态可由关于电压和恢复的微分方程对来支配，即：
[0072] (3)
[0073] 4)
[0074] 兵甲v是膜电怔，u是膜狄炅父重，k是捆还膜电位v的时间尺度的参数，a是描述恢 复变量u的时间尺度的参数，b是描述恢复变量u对膜电位v的阈下波动的敏感度的参数，Vi· 是膜静息电位，I是突触电流，以及C是膜的电容。根据该模型，神经元被定义为在v>v peak时 发放尖峰。
[0075] Hunzinger Cold模型
[0076] Hunzinger Cold神经元模型是能再现丰富多样的各种神经行为的最小双态相尖 峰发放线性动态模型。该模型的一维或二维线性动态可具有两个态相，其中时间常数（以及 耦合)可取决于态相。在阈下态相中，时间常数(按照惯例为负）表示漏泄通道动态，其一般 作用于以生物学一致的线性方式使细胞返回到静息。阈上态相中的时间常数(按照惯例为 正)反映抗漏泄通道动态，其一般驱动细胞发放尖峰，而同时在尖峰生成中引发等待时间。
[0077] 如图4中所示，该模型的动态可被划分成两个(或更多个)态相。这些态相可被称为 负态相402(也可互换地称为带漏泄积分激发(LIF)态相，勿与LIF神经元模型混淆）以及正 态相404(也可互换地称为抗漏泄积分激发(ALIF)态相，勿与ALIF神经元模型混淆）。在负态 相402中，状态在将来事件的时间趋向于静息（V-)。在该负态相中，该模型一般展现出时间 输入检测性质及其他阈下行为。在正态相404中，状态趋向于尖峰发放事件( Vs)。在该正态 相中，该模型展现出计算性质，诸如取决于后续输入事件而引发发放尖峰的等待时间。在事 件方面对动态进行公式化以及将动态分成这两个态相是该模型的基础特性。
[0078] 线性双态相二维动态(对于状态v和u)可按照惯例定义为：
[0079]
[0080]
[0081]其中qP和r是用于耦合的线性变换变量。
[0082]符号p在本文中用于标示动态态相，在讨论或表达具体态相的关系时，按照惯例对 于负态相和正态相分别用符号或"+"来替换符号P。
[0083]模型状态通过膜电位（电压)v和恢复电流u来定义。在基本形式中，态相在本质上 是由模型状态来决定的。该精确和通用的定义存在一些细微却重要的方面，但目前考虑该 模型在电压V高于阈值(V+)的情况下处于正态相404中，否则处于负态相402中。
[0084] 态相依赖型时间常数包括负态相时间常数τ-和正态相时间常数τ+。恢复电流时间 常数tu通常是与态相无关的。出于方便起见，负态相时间常数τ-通常被指定为反映衰退的负 量，从而用于电压演变的相同表达式可用于正态相，在正态相中指数和τ+将一般为正，正如 tu那样。
[0085] 这两个状态元素的动态可在发生事件之际通过使状态偏离其零倾线（nul Ιο 1 ine) 的变换来耦合 ，其中 变换变量为：
[0086] qP = -Tp0u-Vp (7)
[0087] Γ = δ(ν+ε) (8)
[0088] 其中δ、ε、β和V-、V+是参数。Vp的两个值是这两个态相的参考电压的基数。参数v-是 负态相的基电压，并且膜电位在负态相中一般将朝向V-衰退。参数v+是正态相的基电压，并 且膜电位在正态相中一般将趋向于背离v+。
[0089] v和u的零倾线分别由变换变量qP和r的负数给出。参数δ是控制u零倾线的斜率的 比例缩放因子。参数ε通常被设为等于-V-。参数β是控制这两个态相中的ν零倾线的斜率的 电阻值。τρ时间常数参数不仅控制指数衰退，还单独地控制每个态相中的零倾线斜率。
[0090] 该模型被定义为在电压ν达值vs时发放尖峰。随后，状态通常在发生复位事件（其 在技术上可以与尖峰事件完全相同）时被复位：
[0091] V = (:9)
[0092] u = u+Au (10)
[0093] 其中1和Δ u是参数。复位电压免通常被设为v-。
[0094] 依照瞬时耦合的原理，闭合形式解不仅对于状态是可能的（且具有单个指数项）， 而且对于到达特定状态所需的时间也是可能的。闭合形式状态解为：
[0095]
[0096]
[0097] 因此，模型状态可仅在发生事件之际被更新，诸如基于输入(突触前尖峰)或输出 (突触后尖峰)而被更新。还可在任何特定时间(无论是否有输入或输出)执行操作。
[0098]而且，依照瞬时耦合原理，可以预计突触后尖峰的时间，因此到达特定状态的时间 可提前被确定而无需迭代技术或数值方法(例如，欧拉数值方法）。给定了先前电压状态vo， 直至到达电压状态Vf之前的时间延迟由下式给出：
[0099]
[0100] 如果尖峰被定义为发生在电压状态v到达Vs的时间，则从电压处于给定状态v的时 间起测量的直至发生尖峰前的时间量或即相对延迟的闭合形式解为：
[0101]
[0102] 其中?+通常被设为参数v+，但其他变型可以是可能的。
[0103] 模型动态的以上定义取决于该模型是在正态相还是负态相中。如所提及的，耦合 和态相P可基于事件来计算。出于状态传播的目的，态相和耦合(变换）变量可基于在上一 (先前)事件的时间的状态来定义。出于随后预计尖峰输出时间的目的，态相和耦合变量可 基于在下一(当前)事件的时间的状态来定义。
[0104] 存在对该Cold模型、以及在时间上执行模拟、仿真、或建模的若干可能实现。这包 括例如事件-更新、步点-事件更新、以及步点-更新模式。事件更新是其中基于事件或"事件 更新"（在特定时刻)来更新状态的更新。步点更新是以间隔（例如，lms)来更新模型的更新。 这不一定要求迭代方法或数值方法。通过仅在事件发生于步点处或步点间的情况下才更新 模型或即通过"步点-事件"更新，基于事件的实现以有限的时间分辨率在基于步点的模拟 器中实现也是可能的。
[0105] 神经编码
[0106] 有用的神经网络模型（诸如包括图1的神经元级102、106的神经网络模型）可经由 各种合适的神经编码方案(诸如重合性编码、时间编码或速率编码）中的任一种来编码信 息。在重合性编码中，信息被编码在神经元集群的动作电位(尖峰发放活动性)的重合性(或 时间邻近性）中。在时间编码中，神经元通过对动作电位(即，尖峰）的精确定时(无论是以绝 对时间还是相对时间）来编码信息。信息由此可被编码在一群神经元间的相对尖峰定时中。 相反，速率编码涉及将神经信息编码在激发率或集群激发率中。
[0107] 如果神经元模型能执行时间编码，则其也能执行速率编码（因为速率正好是定时 或尖峰间间隔的函数）。为了提供时间编码，良好的神经元模型应当具有两个要素：（1)输入 的抵达时间影响输出时间；以及(2)重合性检测能具有窄时间窗。连接延迟提供了将重合性 检测扩展到时间模式解码的一种手段，因为通过恰适地延迟时间模式的元素，可使这些元 素达成定时重合性。
[0108] 抵达时间
[0109] 在良好的神经元模型中，输入的抵达时间应当对输出时间有影响。突触输入-- 无论是狄拉克S函数还是经定形的突触后电位(PSP)、无论是兴奋性的(EPSP)还是抑制性的 (IPSP)一一具有抵达时间（例如J函数的时间或者阶跃或其他输入函数的开始或峰值的时 间），其可被称为输入时间。神经元输出（即，尖峰)具有发生时间（无论其是在何处(例如在 胞体处、在沿轴突的一点处、或在轴突末端处)测量的），其可被称为输出时间。该输出时间 可以是尖峰的峰值时间、尖峰的开始、或与输出波形有关的任何其他时间。普适原理是输出 时间取决于输入时间。
[0110] 乍看起来可能认为所有神经元模型都遵循该原理，但一般并不是这样。例如，基于 速率的模型不具有此特征。许多尖峰模型一般也并不遵循这一点。带漏泄积分激发(LIF)模 型在有额外输入(超过阈值）的情况下并不会更快一点地激发。此外，在以非常高的定时分 辨率来建模的情况下或许遵循这一点的模型在定时分辨率受限(诸如限于lms步长)时通常 将不会遵循这一点。
[0111] 输入
[0112] 神经元模型的输入可包括狄拉克δ函数，诸如电流形式的输入、或基于电导率的输 入。在后一种情形中，对神经元状态的贡献可以是连续的或状态依赖型的。
[0113] 示例神经网络对当前计算资源的自适应
[0114] 某些生物学功能可能过于复杂，以使得它们因耗尽计算资源而对使用神经元形态 处理技术进行实时建模给出了挑战。作为示例，在没有针对性能改善的优化的情况下，视网 膜可能过于复杂而无法实时地或者甚至接近实时地运行。作为更一般的问题，神经处理单 元(NPU)、现场可编程门阵列(FPGA)和外围传感器处理器可能往往在用于实时操作的计算 量上具有限制。最优的资源分配可能基于应用需求而有所改变。
[0115] 本公开的各方面提供了可例如基于当前资源分配来帮助降低计算复杂度的技术。 在一些情形中，计算复杂度的此类改变还可被用来优化在功耗与性能折衷之间的权衡(例 如，通过在恰适时降低复杂度来节省功率以满足给定功率目标或预算）。
[0116] 参照图5中在人工神经系统（例如，来自图1的系统100)中实现的视网膜的示例模 型500,但是本文给出的技术可认识到视网膜(和其他类型的传感器处理)分辨率可通过若 干办法被降低以加速性能，这些办法包括减少视锥或视网膜神经节细胞(RGC)的数目和/或 对与视网膜相关联的像素进行亚采样以减少联结的数目。减少视锥或RGC的数目可通过增 大剩余视锥和RGC的权重（例如，通过使RGC的数目减半并使从RGC到L4神经元层的权重加 倍)来得到补偿。根据本公开的某些方面，在降低传感器处理的分辨率之后被调节的权重可 包括经训练的权重。一般而言，这些权重可针对特定大小的神经网络被训练，并且随后它们 可针对网络大小/分辨率的调节得到补偿。
[0117] 一种亚采样办法(例如，图6中的示例600解说的）可涉及仅连接来自每个2x2像素 网格的左上角像素的联结以使像素数目减少到1/4以及随后将像素至视锥权重向上调节4 倍以补偿较小数目的所连接的联结。这可允许视网膜分辨率与关于计算速度的结果所得的 "跳出（popout)"（特征检测）性能之间的折衷，从而有效地增大视野同时维持计算性能要 求。在对像素进行亚采样的示例中，视网膜大小可适用于例如240x240像素图像。在一方面， 480x480像素图像可被馈入(例如，图5的视网膜实现模型500中），但它应仅连接至每个2x2 网格的左上角像素。在另一方面，亚采样可通过利用2x2网格的前端模糊/平均来达成。
[0118] 此性能加速可以更一般地在多种功能之间实时地折衷。例如，如果视网膜连同其 他传感器处理(诸如，音频、惯性传感器(例如，陀螺仪、加速计、磁力计）、压力传感器、地理 定位、或预处理算法)一起在系统上运行，则取决于这些传感器，视网膜分辨率可基于所提 供的负荷/可用资源来动态地调节。
[0119] 此动态补偿可应用于其他传感器或NPU k〇rteX(或皮层)处理。例如，正空闲的机 器人的皮层可以按低分辨率处理传感器，并且随后(例如，如果来自传感器的结果触发机器 人到特定操作状态)传感器的相关子集可被改变为较高分辨率或者NHJ模型的相关子集可 增大/减小到最优(优选)分辨率。类似地，反过来，机器人可以仅监视视觉数据并将完整系 统和FPGA/NPU用于此功能。随后，如果机器人"看到"感兴趣的对象进入视野，则它可启用其 他传感器处理(例如，听觉、温度、嗅觉、全球定位系统(GPS)、惯性、和其他传感器）。替换地， 机器人可以按较低分辨率来跟踪所有传感器并且随后检测到上下文切换至使用传感器子 集(例如，仅相机和惯性传感器)的任务，从而使用较高分辨率并相应地缩放网络权重。在本 公开的一方面，用于确定分辨率的检测算法也可与用于补偿网络权重的补偿算法相结合。
[0120] 图7解说了根据本公开的各方面的能够利用动态分配的示例系统的框图700。如所 解说的，抽取补偿块702的性能(例如，分辨率和权重调节)可由分辨率/抽取确定器块704基 于直接来自传感器706和/或来自尖峰发放模型708(例如，对传感器起反应的）的输入来调 To
[0121] 在一些情形中，降低分辨率(例如，向下选择)和权重调节可按不一致的方式来进 行。例如，相机可聚焦在视野中的对象上并且通过增大瞄准该区域的单元的数目或减小未 目苗准该区域/该区域周围的单元的数目来将中央凹定向至(foviate)该区域。
[0122] 根据本公开的各方面，权重缩放可按数种方式来进行。在一方面，权重缩放可以是 线性的，如先前提及的。在另一方面，权重缩放可例如针对因抽取的突触前单元而丢失传入 突触的单元通过例如基于最靠近的对应突触前单元将丢失的权重添加至剩余突触来执行。 替换地，这些权重可被重新归一化，以使得经重新归一化的权重总和等于抽取前的相同值。 在一方面，对于延迟可塑性，经抽取的突触前单元可被缩放例如w · f(edelay)的总和。
[0123] 在本公开的一方面，可通过较高级控制器确定上下文、和/或基于输入传感器统计 来执行补偿。上下文的示例包括各种活动，诸如，空闲模式、搜索对象、收听会话等等。改变 传感器统计的示例包括低照度夜晚处理(例如，移除色彩层和添加更多音频处理)对比白天 处理(例如，增加视觉资源以看得更远，虽然可能以音频处理为代价）。
[0124] 在本公开的一方面，也可基于当前网络负荷来调节分辨率和权重。例如，如果NPU 开始落后实时太多"τ"时间增量，则它可开始丢弃尖峰并使用权重调节来补偿。
[0125] 在本公开的一方面，也可针对功率增益来调节分辨率和权重。例如，在空闲模式 中，可将处理降低到较低功率要求。这也可针对不同大脑能力与换入/换出（swapping in/ out)模型协同使用。
[0126] 在本公开的一方面，用于调节分辨率和权重值的处理块(例如，图7中的抽取确定 器704和补偿确定器702)可被纳入尖峰发放模型（例如，图7中的尖峰发放模型708)中或者 可在尖峰发放模型之外，如上述图7中所示。
[0127] 本公开的各方面支持神经网络的听觉神经元的亚采样，诸如调节与听觉神经元相 关联的频率带宽。例如，如果听觉神经元将对音频帧的快速傅里叶变换(FFT)的输出作为输 入，则FFT大小可至少部分地基于资源的可用性和神经网络的操作状态来调节。在本公开的 一方面，也可通过调节频率槽大小的分辨率来调节FFT大小。在另一方面，可通过调节音频 的动态范围（即，最高/最低音频频率)来调节FFT大小。类似地，加速计或GPS数据可按可调 节速率来采样，并且处理数据的神经元的数目可被改变和补偿。
[0128] 图8是根据本公开的某些方面的用于操作人工神经系统的示例操作800的流程图。 操作800可以硬件(例如由一个或多个神经处理单元，诸如神经元形态处理器）、以软件或以 固件来执行。人工神经系统可建模在各种生物或想像神经系统中的任一者上，诸如视觉神 经系统、听觉神经系统、海马体等。
[0129] 操作800可始于在802处至少部分地基于计算资源的可用性来降低神经元模型的 处理单元所执行的一个或多个功能的分辨率。在804,可通过调节一个或多个网络权重来补 偿分辨率的降低。
[0130] 如上所述，降低分辨率可涉及亚采样，并且补偿可涉及与分辨率的降低成比例地 增大权重。例如，亚采样可涉及在N个像素中采样一个，并且补偿可涉及将权重增大N倍。
[0131] 如上所述，降低分辨率可进一步包括减少神经元模型的处理单元的数目。在本公 开的一方面，可至少部分地基于与由系统中其他处理单元执行的其他功能相关联的计算负 荷或可用计算资源中的至少一者来动态地调节一个或多个功能的分辨率。
[0132] 在本公开的一方面，如上所述，如果处理单元所获得的结果触发系统到特定操作 状态，则可增大处理单元的相关子集所执行的一个或多个功能的子集的分辨率。在另一方 面，如上所述，如果处理单元所获得的结果触发系统到特定操作状态，则可将处理单元的相 关子集所执行的一个或多个功能的子集的分辨率调节(增大/减小)到优选(最优)分辨率。
[0133] 在本公开的一方面，如上所述，如果这一个或多个功能提供期望结果(例如，感兴 趣的对象进入视野），则人工神经系统可被配置成添加由一个或多个其他处理单元执行的 一个或多个其他功能。
[0134] 在本公开的一方面，如上所述，如果执行一个或多个功能的处理单元检测到上下 文切换，则可增大处理单元的子集所执行的一个或多个功能的子集的分辨率。另外，可缩放 一个或多个网络权重。
[0135] 图9是根据本公开的某些方面的用于人工神经系统中的视网膜处理的示例操作 900的流程图。操作900可以硬件（例如由一个或多个神经处理单元，诸如神经元形态处理 器）、以软件或以固件来执行。人工神经系统可建模在各种生物或想像神经系统中的任一者 上，诸如视觉神经系统、听觉神经系统、海马体等。
[0136] 操作900可始于在902处降低视网膜分辨率。在904,可通过调节一个或多个网络权 重来补偿视网膜分辨率的降低。在本公开的一方面，可例如通过减少视锥或RGC的数目和/ 或对像素进行亚采样以减少联结的数目来降低视网膜分辨率。如上所述，减少视锥或RGC的 数目可通过增大剩余视锥或RGC的权重(例如，通过使RGC的数目减半并使从RGC到L4层的权 重加倍)来得到补偿。
[0137] 在本公开的一方面，如上所述，可至少部分地基于与由在系统中操作的其他传感 器相关联的计算负荷或可用计算资源中的至少一者来动态地调节视网膜分辨率。进一步， 如上所述，如果与视网膜相关联的传感器所获得的结果触发系统到特定操作状态，则可增 大与视网膜相关联的传感器子集的分辨率。
[0138] 在本公开的一方面，如上所述，如果与视网膜相关联的传感器提供期望结果（例 如，感兴趣的对象进入视野），则人工神经系统可被配置成添加一个或多个其他传感器。
[0139] 图10解说根据本公开的某些方面的用于使用通用处理器1002来操作人工神经系 统的前述方法的示例框图1000。与计算网络(神经网络)相关联的变量(神经信号）、突触权 重和/或系统参数可被存储在存储器块1004中，而在通用处理器1002处执行的有关指令可 从程序存储器1006中加载。在本公开的一方面，加载到通用处理器1002中的指令可包括用 于至少部分地基于计算资源的可用性来降低神经元模型的处理单元所执行的一个或多个 功能的分辨率、以及通过调节一个或多个网络权重来补偿分辨率的降低的代码。在本公开 的另一方面，加载到通用处理器1002中的指令可包括用于降低视网膜分辨率、以及通过调 节一个或多个网络权重来补偿视网膜分辨率的降低的代码。
[0140] 图11解说了根据本公开的某些方面的用于操作人工神经系统的前述方法的示例 框图1100,其中存储器1102可经由互连网络1104与计算网络(神经网络）的个体(分布式)处 理单元(神经处理器）1106对接。与计算网络(神经网络）相关联的变量(神经信号）、突触权 重和/或系统参数可被存储在存储器1102中，并且可从存储器1102经由互连网络1104的连 接被加载到每个处理单元(神经处理器）1106中。在本公开的一方面，处理单元1106可被配 置成至少部分地基于计算资源的可用性来降低神经元模型的处理单元所执行的一个或多 个功能的分辨率，以及通过调节一个或多个网络权重来补偿分辨率的降低。在本公开的另 一方面，处理单元1106可被配置成降低视网膜分辨率，以及通过调节一个或多个网络权重 来补偿视网膜分辨率的降低。
[0141]图12解说了根据本公开的某些方面的用于基于分布式存储器1202和分布式处理 单元(神经处理器）1204来训练人工神经系统的上述方法的示例框图1200。如图12中所解说 的，一个存储器组1202可直接与计算网络（神经网络）的一个处理单元1204对接，其中该存 储器组1202可存储与该处理单元（神经处理器）1204相关联的变量（神经信号）、突触权重 和/或系统参数。在本公开的一方面，处理单元1204可被配置成至少部分地基于计算资源的 可用性来降低神经元模型的处理单元所执行的一个或多个功能的分辨率，以及通过调节一 个或多个网络权重来补偿分辨率的降低。在本公开的另一方面，处理单元1204可被配置成 降低视网膜分辨率，以及通过调节一个或多个网络权重来补偿视网膜分辨率的降低。
[0142]图13解说了根据本公开的某些方面的神经网络1300的示例实现。如图13中所解说 的，神经网络1300可包括多个局部处理单元1302,它们可执行以上描述的方法的各种操作。 每个处理单元1302可包括存储该神经网络的参数的局部状态存储器1304和局部参数存储 器1306。另外，处理单元1302可包括具有局部(神经元)模型程序的存储器1308、具有局部学 习程序的存储器1310、以及局部连接存储器1312。此外，如图13中所解说的，每个局部处理 单元1302可与用于配置处理的单元1314对接并且与路由连接处理元件1316对接，单元1314 可提供对局部处理单元的局部存储器的配置，元件1316提供局部处理单元1302之间的路 由。
[0143] 根据本公开的某些方面，每一个局部处理单元1302可被配置成基于神经网络的一 个或多个期望功能性特征来确定神经网络的参数，以及随着所确定的参数被进一步适配、 调谐和更新来使这一个或多个功能性特征朝着期望的功能性特征发展。
[0144] 以上所描述的方法的各种操作可由能够执行相应功能的任何合适的装置来执行。 这些装置可包括各种硬件和/或软件组件和/或模块，包括但不限于电路、专用集成电路 (ASIC)、或处理器。例如，各个操作可由图10-13中所示的各个处理器中的一个或多个来执 行。一般而言，在存在附图中解说的操作的场合，那些操作可具有带相似编号的相应配对装 置加功能组件。例如，图8-9中解说的操作800和900对应于图8A-9A中解说的装置800A和 900A〇
[0145] 例如，用于显示的装置可包括显示器（例如，监视器、平面屏幕、触摸屏等）、打印 机、或任何其他用于输出数据以供视觉描绘(例如表格、图表或图形）的合适装置。用于处理 的装置、用于接收的装置、用于计及延迟的装置、用于擦除的装置、或用于确定的装置可包 括处理系统，其可包括一个或多个处理器或处理单元。用于存储的装置可包括可由处理系 统访问的存储器或任何其它合适的存储设备(例如，RAM)。
[0146] 如本文所使用的，术语"确定"涵盖各种各样的动作。例如，"确定"可包括演算、计 算、处理、推导、研究、查找(例如，在表、数据库或其他数据结构中查找）、查明、及类似动作。 而且，"确定"可包括接收(例如接收信息）、访问（例如访问存储器中的数据）、及类似动作。 同样，"确定"还可包括解析、选择、选取、建立、及类似动作。
[0147] 如本文中所使用的，引述一列项目中的"至少一个"的短语是指这些项目的任何组 合，包括单个成员。作为示例，"a、b或c中的至少一者"旨在涵盖:a、b、c、a-b、a-c、b-c、&& a-b-c〇
[0148] 结合本公开描述的各种解说性逻辑框、模块、以及电路可用设计成执行本文中描 述的功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列 (FPGA)或其他可编程逻辑器件(PLD)、分立的门或晶体管逻辑、分立的硬件组件、或其任何 组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，处理器可以是任何可商 业购得的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例 如DSP与微处理器的组合、多个微处理器、与DSP核心协同的一个或多个微处理器、或任何其 它此类配置。
[0149] 结合本公开所描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件 模块中、或在这两者的组合中体现。软件模块可驻留在本领域所知的任何形式的存储介质 中。可使用的存储介质的一些示例包括随机存取存储器(RAM)、只读存储器(R0M)、闪存、 EPROM存储器、EEPR0M存储器、寄存器、硬盘、可移动盘、CD-ROM，等等。软件模块可包括单条 指令、或许多条指令，且可分布在若干不同的代码段上，分布在不同的程序间以及跨多个存 储介质分布。存储介质可被耦合到处理器以使得该处理器能从/向该存储介质读写信息。替 换地，存储介质可以被整合到处理器。
[0150]本文所公开的方法包括用于实现所描述的方法的一个或多个步骤或动作。这些方 法步骤和/或动作可以彼此互换而不会脱离权利要求的范围。换言之，除非指定了步骤或动 作的特定次序，否则具体步骤和/或动作的次序和/或使用可以改动而不会脱离权利要求的 范围。
[0151]所描述的功能可在硬件、软件、固件或其任何组合中实现。如果以硬件实现，则示 例硬件配置可包括设备中的处理系统。处理系统可以用总线架构来实现。取决于处理系统 的具体应用和整体设计约束，总线可包括任何数目的互连总线和桥接器。总线可将包括处 理器、机器可读介质、以及总线接口的各种电路链接在一起。总线接口可用于尤其将网络适 配器等经由总线连接至处理系统。网络适配器可用于实现信号处理功能。对于某些方面，用 户接口（例如，按键板、显示器、鼠标、操纵杆，等等)也可以被连接到总线。总线还可以链接 各种其他电路，诸如定时源、外围设备、稳压器、功率管理电路以及类似电路，它们在本领域 中是众所周知的，因此将不再进一步描述。
[0152] 处理器可负责管理总线和一般处理，包括执行存储在机器可读介质上的软件。处 理器可用一个或多个通用和/或专用处理器来实现。示例包括微处理器、微控制器、DSP处理 器、以及其他能执行软件的电路系统。软件应当被宽泛地解释成意指指令、数据、或其任何 组合，无论是被称作软件、固件、中间件、微代码、硬件描述语言、或其他。作为示例，机器可 读介质可以包括RAM(随机存取存储器）、闪存、ROM(只读存储器）、PR0M(可编程只读存储 器）、EPR0M(可擦式可编程只读存储器）、EEPR0M(电可擦式可编程只读存储器）、寄存器、磁 盘、光盘、硬驱动器、或者任何其他合适的存储介质、或其任何组合。机器可读介质可被实施 在计算机程序产品中。该计算机程序产品可以包括包装材料。
[0153] 在硬件实现中，机器可读介质可以是处理系统中与处理器分开的一部分。然而，如 本领域技术人员将容易领会的，机器可读介质、或其任何部分可在处理系统外部。作为示 例，机器可读介质可包括传输线、由数据调制的载波、和/或与设备分开的计算机产品，所有 这些都可由处理器通过总线接口来访问。替换地或补充地，机器可读介质、或其任何部分可 被集成到处理器中，诸如高速缓存和/或通用寄存器文件可能就是这种情形。
[0154] 处理系统可以被配置为通用处理系统，该通用处理系统具有一个或多个提供处理 器功能性的微处理器、和提供机器可读介质中的至少一部分的外部存储器，它们都通过外 部总线架构与其他支持电路系统链接在一起。替换地，处理系统可以用带有集成在单块芯 片中的处理器、总线接口、用户接口、支持电路系统、和至少一部分机器可读介质的ASIC(专 用集成电路)来实现，或者用一个或多个FPGA(现场可编程门阵列）、PLD(可编程逻辑器件）、 控制器、状态机、门控逻辑、分立硬件组件、或者任何其他合适的电路系统、或者能执行本公 开通篇所描述的各种功能性的电路的任何组合来实现。取决于具体应用和加诸于整体系统 上的总设计约束，本领域技术人员将认识到如何最佳地实现关于处理系统所描述的功能 性。
[0155] 机器可读介质可包括数个软件模块。这些软件模块包括当由处理器执行时使处理 系统执行各种功能的指令。这些软件模块可包括传输模块和接收模块。每个软件模块可以 驻留在单个存储设备中或者跨多个存储设备分布。作为示例，当触发事件发生时，可以从硬 驱动器中将软件模块加载到RAM中。在软件模块执行期间，处理器可以将一些指令加载到高 速缓存中以提高访问速度。随后可将一个或多个高速缓存行加载到通用寄存器文件中以供 由处理器执行。在以下谈及软件模块的功能性时，将理解此类功能性是在处理器执行来自 该软件模块的指令时由该处理器来实现的。
[0156] 如果以软件实现，则各功能可作为一条或多条指令或代码存储在计算机可读介质 上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，这些介质包括 促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何 可用介质。作为示例而非限定，这样的计算机可读介质可包括RAM、R0M、EEPR0M、CD-R0M或其 它光盘存储、磁盘存储或其它磁存储设备、或能被用来携带或存储指令或数据结构形式的 期望程序代码且能被计算机访问的任何其它介质。任何连接也被正当地称为计算机可读介 质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或无线技术(诸 如红外（IR)、无线电、以及微波）从web网站、服务器、或其他远程源传送而来，则该同轴电 缆、光纤电缆、双绞线、DSL或无线技术(诸如红外、无线电、以及微波)就被包括在介质的定 义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用 碟(DVD)、软盘、和蓝光％碟，其中盘(disk)常常磁性地再现数据，而碟(disc)用激光来光学 地再现数据。因此，在一些方面，计算机可读介质可包括非瞬态计算机可读介质(例如，有形 介质）。另外，对于其他方面，计算机可读介质可包括瞬态计算机可读介质（例如，信号）。上 述的组合应当也被包括在计算机可读介质的范围内。
[0157] 因此，某些方面可包括用于执行本文中给出的操作的计算机程序产品。例如，此种 计算机程序产品可包括其上存储(和/或编码)有指令的计算机可读介质，这些指令能由一 个或多个处理器执行以执行本文中所描述的操作。对于某些方面，计算机程序产品可包括 包装材料。
[0158] 另外，应领会，用于执行本文中所描述的方法和技术的模块和/或其它恰适装置能 由设备在适用的场合下载和/或以其他方式获得。例如，此类设备能被耦合至服务器以促成 用于执行本文中所描述的方法的装置的转移。替换地，本文中所描述的各种方法能经由存 储装置(例如，RAM、R0M、诸如压缩碟(CD)或软盘之类的物理存储介质等)来提供，以使得一 旦将该存储装置耦合到或提供给设备，该设备就能获得各种方法。此外，可利用适于向设备 提供本文中所描述的方法和技术的任何其他合适的技术。
[0159] 将理解，权利要求并不被限定于以上所解说的精确配置和组件。可在以上所描述 的方法和设备的布局、操作和细节上作出各种改动、更换和变形而不会脱离权利要求的范 围。
【主权项】
1. 一种用于在人工神经元系统中进行处理的方法，包括： 至少部分地基于计算资源的可用性来降低神经元模型的处理单元所执行的一个或多 个功能的分辨率;以及 通过调节一个或多个网络权重来补偿所述分辨率的降低。2. 如权利要求1所述的方法，其特征在于： 降低分辨率包括亚米样；以及 补偿包括与所述分辨率的降低成比例地增大权重。3. 如权利要求2所述的方法，其特征在于： 所述亚采样包括在N个像素中采样1个像素；以及 补偿包括将权重增大N倍。4. 如权利要求1所述的方法，其特征在于，降低分辨率进一步包括:减少所述神经元模 型的所述处理单元的数目。5. 如权利要求1所述的方法，其特征在于，进一步包括： 至少部分地基于与由所述系统中其他处理单元执行的其他功能相关联的计算负荷或 可用计算资源中的至少一者来动态地调节所述一个或多个功能的分辨率。6. 如权利要求1所述的方法，其特征在于，进一步包括： 如果所述处理单元所获得的结果触发所述系统到特定操作状态，则增大所述处理单元 的相关子集所执行的所述一个或多个功能的子集的分辨率。7. 如权利要求1所述的方法，其特征在于，进一步包括： 如果所述处理单元所获得的结果触发所述系统到特定操作状态，则将所述处理单元的 相关子集所执行的所述一个或多个功能的子集的分辨率调节到优选分辨率。8. 如权利要求1所述的方法，其特征在于，进一步包括： 如果所述一个或多个功能提供期望结果，则在所述系统中添加由一个或多个其他处理 单元执行的一个或多个其他功能。9. 如权利要求1所述的方法，其特征在于，进一步包括： 如果执行所述一个或多个功能的所述处理单元检测到上下文切换，则增大所述处理单 元的子集所执行的所述一个或多个功能的子集的分辨率;以及 如果执行所述一个或多个功能的所述处理单元检测到所述上下文切换，则缩放所述一 个或多个网络权重。10. 如权利要求1所述的方法，其特征在于，降低分辨率包括对所述系统中的听觉神经 元进行亚采样。11. 如权利要求10所述的方法，其特征在于，对所述听觉神经元进行亚采样包括调节与 所述听觉神经元相关联的频率带宽。12. 如权利要求10所述的方法，其特征在于，进一步包括： 至少部分地基于所述计算资源的可用性和所述系统的操作状态来调节快速傅里叶变 换(FFT)的大小，其中对音频帧的所述FFT的输出是到所述听觉神经元的输入。13. 如权利要求12所述的方法，其特征在于，调节所述FFT的大小包括调节与所述FFT相 关联的频率槽大小的分辨率。14. 如权利要求12所述的方法，其特征在于，调节所述FFT的大小包括调节音频的动态 范围。15. 如权利要求1所述的方法，其特征在于，进一步包括： 以可调节速率来采样加速计或全球定位系统(GPS)数据，其中 降低分辨率包括至少部分地基于所述可调节速率来改变处理经采样数据的处理单元 的数目。16. -种用于在人工神经元系统中进行处理的装置，包括： 处理系统，其被配置成： 至少部分地基于计算资源的可用性来降低神经元模型的处理单元所执行的一个或多 个功能的分辨率;以及 通过调节一个或多个网络权重来补偿所述分辨率的降低；以及 耦合至所述处理系统的存储器。17. -种用于在人工神经元系统中进行处理的设备，包括： 用于至少部分地基于计算资源的可用性来降低神经元模型的处理单元所执行的一个 或多个功能的分辨率的装置;以及 用于通过调节一个或多个网络权重来补偿所述分辨率的降低的装置。18. -种用于操作人工神经系统的计算机程序产品，包括具有可执行用于以下操作的 指令的计算机可读介质： 至少部分地基于计算资源的可用性来降低神经元模型的处理单元所执行的一个或多 个功能的分辨率;以及 通过调节一个或多个网络权重来补偿所述分辨率的降低。19. 一种用于在人工神经元系统中进行处理的方法，包括： 降低视网膜分辨率；以及 通过调节一个或多个网络权重来补偿所述视网膜分辨率的降低。20. 如权利要求19所述的方法，其特征在于，所述降低包括减少视锥的数目、视网膜神 经节细胞(RGC)的数目中的至少一者，或对像素进行亚采样。21. 如权利要求20所述的方法，其特征在于，所述补偿包括增大剩余视锥或剩余RGC中 的至少一者的权重。22. 如权利要求19所述的方法，其特征在于，进一步包括： 至少部分地基于与在所述系统中操作的其他传感器相关联的计算负荷或可用计算资 源中的至少一者来动态地调节所述视网膜分辨率。23. 如权利要求19所述的方法，其特征在于，进一步包括： 如果与所述视网膜相关联的所述传感器获得的结果触发所述系统到特定操作状态，则 增大与所述视网膜相关联的传感器子集的分辨率。24. 如权利要求19所述的方法，其特征在于，进一步包括： 如果与所述视网膜相关联的传感器提供期望结果，则在所述系统中添加一个或多个其 他传感器。25. -种用于在人工神经元系统中进行处理的装置，包括： 处理系统，其被配置成： 降低视网膜分辨率；以及 通过调节一个或多个网络权重来补偿所述视网膜分辨率的降低；以及耦合至所述处理 系统的存储器。26. -种用于在人工神经元系统中进行处理的设备，包括： 用于降低视网膜分辨率的装置；以及 用于通过调节一个或多个网络权重来补偿所述视网膜分辨率的降低的装置。27. -种用于操作人工神经系统的计算机程序产品，包括具有可执行用于以下操作的 指令的计算机可读介质： 降低视网膜分辨率；以及 通过调节一个或多个网络权重来补偿所述视网膜分辨率的降低。
【文档编号】G06N3/04GK105981055SQ201580007262
【公开日】2016年9月28日
【申请日】2015年2月25日
【发明人】D·J·朱里安, I·张
【申请人】高通股份有限公司