纯注意力的计算机视觉的制作方法

纯注意力的计算机视觉
1.相关申请的交叉引用
2.本技术是于2019年5月23日提交的美国临时专利申请no.62/852,277的非临时申请并且要求其优先权，该美国临时专利申请的全部内容通过引用并入本文。


背景技术：

3.本说明书涉及一种用于实现计算机视觉神经网络模型的神经网络系统。
4.神经网络是采用非线性单元的一个或多个层来预测对于所接收的输入的输出的机器学习模型。除了输出层之外，一些神经网络还包括一个或多个隐藏层。每个隐藏层的输出被用作网络中的下一层——即，下一隐藏层或输出层——的输入。网络的每一层根据相应参数集的当前值从所接收的输入生成输出。
5.神经网络的示例包括卷积神经网络。卷积神经网络通常包括至少两种神经网络层，即卷积神经网络层和全连接神经网络层。卷积神经网络层具有稀疏连通性，其中卷积层中的每个节点仅从下一最低神经网络层中的节点的子集接收输入。一些卷积神经网络层具有与该层中的其他节点共享权重的节点。然而，完全连接层中的节点从下一最低神经网络层中的每个节点接收输入。


技术实现要素：

6.本说明书描述了一种神经网络系统，该神经网络系统被实现为在一个或多个位置处的一个或多个计算机上的实现计算机视觉神经网络的计算机程序。
7.本说明书中描述的主题可以在特定实施例中实现，以便实现以下优点中的一个或多个。卷积是现代计算机视觉系统的基本构建块。本说明书中描述的技术允许利用基于自注意力——即，位置局部自注意力神经网络层(positional local self
‑
attention neural network layer)——的新构建块替换神经网络中的一个或多个卷积层。所得到的神经网络可以在诸如图像分类和对象检测的计算机视觉任务中胜过传统的卷积神经网络，同时需要更少的参数。具体地，位置局部自注意力神经网络层使用包括在输入特征图的给定输入元素周围的相邻输入元素的记忆块(memory block)来执行局部注意力。因此，所得到的神经网络比使用所有输入元素之间的全局注意力的现有模型在计算上更有效。这是因为由于其昂贵的计算成本，全局注意力仅在显著的空间下采样已经被应用于输入之后才能被使用，这阻止了其在纯注意力模型(fully attentional model)中的所有神经网络层上的使用。此外，位置局部自注意力神经网络层对所关注的输入元素的位置信息进行编码，从而提高表达力，并且导致具有比使用传统卷积的神经网络所生成的输出明显更好的精度的输出。
8.在下面的附图和描述中阐述本说明书中描述的主题的一个或多个实施例的细节。主题的其他特征、方面和优点将从说明书、附图和权利要求书中变得显而易见。
附图说明
9.图1示出实现具有位置局部自注意力层的计算机视觉神经网络的示例神经网络系统。
10.图2示出记忆块的示例。
11.图3是用于为输入特征图的输入元素生成输出元素的示例过程的流程图。
12.图4示出相对距离计算的示例。
13.图5是用于将卷积神经网络变换成具有一个或多个位置局部自注意力层的计算机视觉神经网络的示例过程的流程图。
14.在各个附图中，相同的附图标记和标号表示相同的元件。
具体实施方式
15.本说明书描述了一种神经网络系统，该神经网络系统被实现为一个或多个位置中的一个或多个计算机上的计算机程序，该计算机程序实现包括位置局部自注意力神经网络层的计算机视觉神经网络。位置局部自注意力神经网络层可以用于替换常规计算机视觉神经网络模型中的一个或多个卷积层，以便获得诸如图像分类和对象检测的计算机视觉任务中的更好性能，同时需要更少参数和计算资源。
16.通常，计算机视觉神经网络可以被配置为接收输入图像数据并且基于输入图像生成任何种类的分值或分类输出，即，可以被配置为执行任何种类的图像处理任务。由计算机视觉神经网络生成的分值或分类输出取决于计算机视觉神经网络已经被配置成确认的任务。例如，对于图像分类或识别任务，由计算机视觉神经网络针对给定图像生成的输出可以是针对对象类别集合中的每个的分值，其中每个分值表示图像包含属于该类别的对象的图像的可能性。作为另一示例，对于对象检测任务，由计算机视觉神经网络生成的输出可以识别输入图像中的感兴趣对象的位置、大小或两者。
17.图1示出示例神经网络系统。神经网络系统100是作为计算机程序在一个或多个位置的一个或多个计算机上实现的系统的示例，其中可以实现下面描述的系统、组件和技术。神经网络系统100实现包括位置局部自注意力层110(为了简单起见，也称为“层110”)的计算机视觉神经网络105。尽管仅示出了单个层110，但是计算机视觉神经网络105可以包括多个这样的层和/或其他类型的神经网络层，例如，1
×
1卷积、其他卷积层、以及全连接层。
18.作为下面描述的特定示例，可以通过利用位置局部自注意力层替换现有卷积神经网络中的空间卷积层的全部或子集来从现有卷积神经网络生成计算机视觉神经网络105。
19.位置局部自注意力层110被配置为接收(例如，输入图像的)输入特征图，并且使用输入特征图的位置信息和局部内容这两者来生成表征输入特征图的特征的输出特征图。位置局部自注意力层110可以从计算机视觉神经网络105的先前层、从系统100的用户或从另一系统接收输入特征图。输出特征图可以被提供作为计算机视觉神经网络105的下一层的输入或者被输出作为计算机视觉神经网络105的输出。
20.对于输入特征图中的每个输入元素(例如，作为像素的输入元素102)，位置局部自注意力层110被配置为使用位置局部自注意力来生成输出特征图的相应输出元素。输入特征图可以用高度h、宽度w和输入通道d
in
表示为并且输出特征图可以用输出
通道d
out
表示为
21.为了针对输入元素x
ij
生成输出元素y
ij
，层110首先生成包括输入元素周围的相邻输入元素的记忆块。特别地，给定输入特征图层110提取输入特征图的输入元素(其是向量)周围的局部邻域该输入特征图具有以输入元素x
ij
为中心的空间扩展k，从而产生具有形状k
×
k
×
d
in
的区域(如图2所示的灰色区域)。该区域被称为记忆块(例如，图1的记忆块104)。记忆块包括在位置中的相邻输入元素(即，像素102周围的相邻像素)，其中a和b是相对于(i，j)的坐标。图2示出x
ij
周围的记忆块的示例。在所示的示例中，k＝3，但是可以替代地使用k的其他值。例如，k可以位于范围[2，20]内，诸如在范围[6，11]内，例如k＝7。
[0022]
层110将学习的查询线性变换应用于输入元素x
ij
以生成查询向量q
ij
(例如，查询向量106)，例如，如下列等式所示：
[0023]
q
ij
＝w
q
x
ij
，
[0024]
其中是学习的查询权重矩阵。
[0025]
对于记忆块中的输入元素x
ij
周围的相邻元素x
ab
中的每个，层110将学习的键线性变换应用于相邻元素以生成相应键向量(例如，键向量108)。例如，层110生成相应的键向量如下：
[0026]
k
ab
＝w
k
x
ab
，
[0027]
其中k
ab
表示相应键向量，是学习的键权重矩阵。
[0028]
对于记忆块中的输入元素x
ij
周围的相邻元素x
ab
中的每个，层110从该相邻元素和一个或多个位置值权重矩阵生成位置值向量。一个或多个位置值权重矩阵表示输入元素到记忆块中的其相邻输入元素中的每个之间的空间距离。例如，表示为v
ab
的位置值向量可以如下计算：
[0029][0030]
其中m是大于或等于一的固定整数，并且表示用于生成值向量的混合分量的数量，通过每个混合分量m的位置系数p(a，b，m)的凸组合来组合一个或多个位置值权重矩阵即，每个混合分量m的相应权重矩阵，所述位置系数p(a，b，m)是相邻元素在其邻域中的位置的函数。这种函数的示例在下述等式中定义，该等式计算针对坐标(a，b)的绝对嵌入与针对混合分量m的混合嵌入之间的多元逻辑(logit)。
[0031]
ρ(a，b，m)＝softmax
m
((emb
row
(a)+emb
col
(b))
t
v
m
)，
[0032]
其中emb
row
(a)和emb
col
(b)是汇集
‑
窗口对齐行和列嵌入，并且v
m
是每混合嵌入。如果层110使用多个注意力头，则结果p(a，b，m)在层110的听有注意力头之间共享。
[0033]
查询权重矩阵w
q
、键权重矩阵w
k
和一个或多个位置值权重矩阵可以通过训练计算机视觉神经网络105来获得。
[0034]
层110通过取查询向量和键向量的乘积，诸如查询向量和键向量的点积，来生成查询
‑
键乘积112：
[0035][0036]
层110通过将位置信息116添加到查询
‑
键乘积112来生成位置查询
‑
其中是包括位置信息的查询距离乘积。位置信息被添加到查询
‑
键乘积以提高计算机视觉任务的表达性。r
a
‑
i，b
‑
j
是表示ij到每个位置的相对距离的相对距离向量。相对距离被因式分解为多个维度，因此每个元素接收两个距离：行偏移a
‑
i和列偏移b
‑
j。行和列偏移分别与嵌入r
a
‑
i和嵌入r
b
‑
j
相关联，其每个具有尺寸1/2d
out
。层110将行和列偏移嵌入级联以形成相对距离r
a
‑
i，b
‑
j
。图4中示出相对距离计算的示例。
[0037]
层110通过对位置查询
‑
键乘积114应用softmax操作来生成中间输出118，例如：
[0038][0039]
层110通过计算中间输出118和位置值向量120的乘积针对当前相邻元素x
ab
生成临时输出元素122，例如：
[0040][0041]
层110通过对针对记忆块中的所有相邻元素所生成的临时输出元素求和针对输入元素x
ij
生成输出元素y
ij
，例如：
[0042][0043]
上述用于针对输入元素计算输出元素的过程被称为单头位置局部自注意力过程，并且由层110针对输入特征图中的每个输入元素ij重复执行。
[0044]
在层110使用多个注意力头来学习输入特征图的多个不同表示的一些实现方式中，层110可以将输入元素x
ij
在深度方向上划分为n个子输入元素如上所述利用每个头的不同线性变换来分别计算每个子输入元素上的单头位置局部自注意力，以便针对输入元素x
ij
生成相应的子输出元素然后将子输出元素级联成的最终输出元素。在一些实现方式中，可并行生成用于子输入元素的子输出元素。
[0045]
因为位置局部自注意力层110对记忆块104中的像素执行局部自注意力，所以位置局部自注意力层110与在所有像素之间执行了全局(即，全部)注意力的视觉上探究注意力的传统神经网络层不同。全局注意力只能在显著的空间下采样已经被应用于输入之后使用，因为它在计算上是昂贵的，这阻止了其在纯注意力模型中的所有层上的使用。
[0046]
通过执行局部自注意力，层110可以用于替换空间卷积并且构建比使用空间卷积
的现有模型在计算上更高效的纯注意力模型。这是因为注意力的参数计数与空间范围的大小无关，而卷积的参数计数随空间范围二次方地增长。与具有d
in
和d
out
的典型值的卷积相比，注意力的计算成本也随着空间范围而变得更慢。例如，如果d
in
＝d
out
＝128，则k＝3的卷积层具有与k＝19的注意力层相同的计算成本。
[0047]
此外，位置局部自注意力神经网络层110对注意力的输入元素的位置信息进行编码，从而提高表达力，并且产生比仅使用传统卷积的神经网络所生成的输出具有显著更好的精度的输出。
[0048]
图3是用于针对输入特征图中的输入元素生成输出元素的示例过程的流程图。为了方便起见，过程300将被描述为由位于一个或多个位置的一个或多个计算机的系统执行。例如，根据本说明书适当编程的神经网络系统，例如图1的网络系统100，可以执行过程300。
[0049]
系统针对包括输入特征图中的输入元素周围的相邻输入元素的输入元素生成记忆块(步骤302)。例如，给定输入特征图系统提取输入特征图的输入元素周围的局部邻域该输入特征图具有以输入元素x
ij
为中心的空间范围k，从而产生具有形状k
×
k
×
d
in
的记忆块。记忆块包括在位置的相邻输入元素x
ab
。
[0050]
系统使用输入元素和查询权重矩阵来生成查询向量(步骤304)。例如，系统将学习的查询线性变换应用于输入元素x
ij
以生成查询向量q
ij
，如下：
[0051]
q
ij
＝w
q
x
ij
，
[0052]
其中是学习的查询权重矩阵。
[0053]
对于记忆块中的每个相邻元素x
ab
，系统如下执行步骤306和310。
[0054]
系统使用相邻元素和键权重矩阵生成相应键向量(步骤306)。例如，系统将学习的键线性变换应用于相邻元素以生成相应键向量，如下：
[0055]
k
ab
＝w
k
x
ab
，
[0056]
其中是学习的键权重矩阵。
[0057]
系统使用相邻元素和一个或多个位置值权重矩阵来生成位置值向量(步骤308)。一个或多个位置值权重矩阵表示输入元素到记忆块中其相邻输入元素中的每个之间的空间距离。例如，表示为v
ab
的位置值向量可以如下计算：
[0058][0059]
其中，通过位置系数p(a，b，m)的凸组合来组合一个或多个位置值权重矩阵其是相邻元素在其邻域中的位置的函数。换言之，该系统使用相应的一个或多个位置系数p(a，b，m)生成组合值权重矩阵作为一个或多个位置值权重矩阵的凸组合，然后使用相邻元素和组合值权重矩阵来生成位置值向量。
[0060]
系统使用查询向量、键向量和位置值向量来生成临时输出元素(步骤310)。
[0061]
具体地，该系统通过取查询向量和键向量的乘积，诸如查询向量和键向量的点积，来生成查询
‑
键乘积：
[0062][0063]
该系统通过将位置信息添加到查询
‑
键乘积来生成位置查询
‑
键乘积，例如：其中是包括位置信息的查询距离乘积。位置信息被添加到查询
‑
键乘积以提高计算机视觉任务的表达性。r
a
‑
i，b
‑
j
是表示ij到每个位置的相对距离的相对距离向量。相对距离被因式分解为多个维度，因此每个元素接收两个距离：行偏移a
‑
i和列偏移b
‑
j。行和列偏移分别与嵌入r
a
‑
i和嵌入r
bj
相关联，其每个具有尺寸1/2d
out
。系统将行和列偏移嵌入级联以形成相对距离r
a
‑
i，b
‑
j
。
[0064]
该系统对位置查询
‑
键乘积应用softmax操作来生成中间输出，例如：
[0065][0066]
该系统通过计算中间输出和位置值向量的乘积针对当前相邻元素x
ab
生成临时输出元素，例如：
[0067][0068]
系统通过对针对记忆块中的相邻元素所生成的临时输出元素求和来生成相应输出元素(步骤312)。例如，系统如下生成相应输出元素y
ij
：
[0069][0070]
图5是用于将卷积神经网络变换成具有一个或多个位置局部自注意力层的计算机视觉神经网络的示例过程的流程图。为了方便起见，过程500将被描述为由位于一个或多个位置的一个或多个计算机的系统执行。例如，根据本说明书适当编程的神经网络系统，例如图1的网络系统100，可以执行过程500。
[0071]
系统接收指定卷积神经网络的数据作为输入(步骤502)。
[0072]
系统通过位置局部自注意力层替换卷积神经网络中的空间卷积神经网络层(步骤504)。空间卷积被定义为空间范围k＞1的卷积。该定义不包括1
×
1卷积，其可以被看作独立地应用于每个像素的标准完全连接层。该系统利用如等式(*)所定义的位置局部自注意力层来替换空间卷积的每个实例。
[0073]
可选地，系统确定何时需要空间下采样，并且作为响应，系统在相应位置局部自注意力层之后附加2
×
2平均池化层与跨步2操作(步骤506)。空间下采样减小了输入的空间大小，以便降低计算成本并增加“感受野(receptive field)”，其通常是指输入图像中有多少像素影响神经网络层的特定输出。何时进行空间下采样的选择通常通过人工设计的试探法和实验调谐的组合来进行，其中，尝试许多位置来放置下采样并选择性能最佳的一个。在以下示例中，系统基于由接收到的卷积神经网络的网络设计者做出的空间降采样设计选择来确定何时需要空间降采样。然后，每当需要空间下采样时，系统在相应的位置局部自注意力
层之后附加2
×
2平均池化层与跨步2操作。
[0074]
例如，卷积神经网络是resnet神经网络。resnet神经网络架构的示例在2006年在对计算机愿景和模式识别的ieee会议(ieee conference on computer vision and pattern recognition)中的k.he,x.zhang,s.ren,和j.sun的“deep residual learning for image recognition(图像识别的深度残差学习),”中描述。resnet神经网络的核心构建块是具有1
×
1下投影卷积、3
×
3空间卷积和1
×
1上投影卷积的结构的瓶颈块，随后是该块的输入和该块中的最后卷积的输出之间的残差连接。瓶颈块被重复多次以形成resnet，其中一个瓶颈块的输出是下一瓶颈块的输入。步骤502
‑
506中描述的变换将3
×
3空间卷积与如等式(*)中所定义的位置局部自注意力层交换。可以保留所有其他结构，包括层数以及何时应用空间下采样。
[0075]
本说明书连同系统和计算机程序组件一起使用术语“被配置”。对于要被配置成执行特定操作或动作的一个或多个计算机的系统意指系统已在其上安装了在操作中使该系统执行这些操作或动作的软件、固件、硬件或软件、固件、硬件的组合。对于要被配置成执行特定操作或动作的一个或多个计算机程序意指该一个或多个程序包括指令，所述指令当由数据处理装置执行时，使该装置执行操作或动作。
[0076]
本说明书中描述的主题和功能操作的实施例可用数字电子电路、用有形地具体实现的计算机软件或固件、用包括本说明书中公开的结构及其结构等同物的计算机硬件或者用它们中的一个或多个的组合来实现。本说明书中描述的主题的实施例可以被实现为一个或多个计算机程序，即，在有形非暂时性程序载体上编码的用于由数据处理装置执行或控制数据处理装置的操作的计算机程序指令的一个或多个模块。可替换地或另外地，可以将程序指令编码在人工生成的传播信号上，该传播信号例如是机器生成的电、光或电磁信号，该传播信号被生成来对信息进行编码以用于传输到适合的接收器装置以供由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。然而，计算机存储介质不是传播信号。
[0077]
术语“数据处理装置”包含用于处理数据的所有种类的装置、设备和机器，作为示例包括可编程处理器、计算机或多个处理器或计算机。装置可以包括专用逻辑电路，例如，fpga(现场可编程门阵列)或asic(专用集成电路)。装置除了包括硬件之外还可以包括为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或它们中的一个或多个的组合的代码。
[0078]
计算机程序(其也可以被称为或者描述为程序、软件、软件应用、模块、软件模块、脚本或代码)可用包括编译或解释语言或声明或过程语言的任何形式的编程语言编写；并且它可被以任何形式部署，包括作为独立程序或者作为模块、组件、子例行程序或适合于在计算环境中使用的其他单元。计算机程序可以但是不必对应于文件系统中的文件。程序可以被存储在保持其他程序或数据的文件的一部分中，例如存储在标记语言文档中的一个或多个脚本；在专用于所述程序的单个文件中或者在多个协调文件中，例如存储代码的一个或多个模块、子程序或部分的文件。可将计算机程序部署成在一个计算机上或者在位于一个站点处或者分布在多个站点上并通过通信网络互连的多个计算机上执行。
[0079]
如本说明书中所使用的，“引擎”或“软件引擎”是指提供不同于输入的输出的软件实现的输入/输出系统。引擎可以是功能的编码块，诸如库、平台、软件开发工具包(“sdk”)
或对象。每个引擎可以在任何适当类型的计算设备上实现，例如服务器、移动电话、平板计算机、笔记本计算机、音乐播放器、电子书阅读器、膝上型或台式计算机、pda、智能电话、或包括一个或多个处理器和计算机可读介质的其他固定或便携式设备。另外，引擎中的两个或更多个可以在相同的计算设备上实现，或者在不同的计算设备上实现。
[0080]
本说明书中描述的过程和逻辑流程可以由一个或多个可编程计算机执行，该可编程计算机执行一个或多个计算机程序以通过对输入数据进行操作并生成输出来执行功能。这些过程和逻辑流程还可以由专用逻辑电路来执行，并且装置还可以被实现为专用逻辑电路，例如fpga(现场可编程门阵列)或asic(专用集成电路)。例如，处理和逻辑流程可以由图形处理单元(gpu)执行，并且装置也可以被实现为图形处理单元(gpu)。
[0081]
适于执行计算机程序的计算机包括例如可以基于通用或专用微处理器或两者，或者任何其他种类的中央处理单元。通常，中央处理单元将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行或运行指令的中央处理单元和用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘，或者可操作地耦合到用于存储数据的一个或多个大容量存储设备，以从其接收数据或向其传送数据，或者两者。然而，计算机不必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如移动电话、个人数字助理(pda)、移动音频或视频播放器、游戏控制台、全球定位系统(gps)接收器或便携式存储设备，例如通用串行总线(usb)闪存驱动器，仅举几个示例。
[0082]
适于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如eprom、eeprom和闪存设备；磁盘，例如内部硬盘或可移动磁盘；磁光盘；以及cd rom和dvd
‑
rom盘。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。
[0083]
为了提供与用户的交互，可在计算机上实现本说明书中描述的主题的实施例，所述计算机具有用于向用户显示信息的显示设备以及用户可用来向该计算机提供输入的键盘和定点设备，所述显示设备例如是crt(阴极射线管)或lcd(液晶显示器)监视器，所述定点设备例如是鼠标或轨迹球。其他种类的设备也可用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈，例如视觉反馈、听觉反馈或触觉反馈；并且可以任何形式接收来自用户的输入，包括声、语音或触觉输入。此外，计算机可通过向由用户使用的设备发送文档并从由用户使用的设备接收文档来与用户交互；例如，通过响应于从web浏览器接收到请求而向用户的客户端设备上的web浏览器发送网页。
[0084]
本说明书中描述的主题的实施例可被实现在计算系统中，所述计算系统包括后端组件，例如作为数据服务器；或者包括中间件组件，例如应用服务器；或者包括前端组件，例如具有用户可用来与本说明书中描述的主题的实现方式交互的图形用户界面或web浏览器的客户端计算机；或者包括一个或多个这样的后端、中间件或前端组件的任何组合。系统的组件可通过例如通信网络的任何形式或介质的数字数据通信来互连。通信网络的示例包括局域网(lan)和广域网(wan)，例如互联网。
[0085]
计算系统可包括客户端和服务器。客户端和服务器一般地彼此远离并通常通过通信网络来交互。客户端和服务器的关系借助于在相应的计算机上运行并且彼此具有客户端
‑
服务器关系的计算机程序而产生。
[0086]
虽然本说明书包含许多具体实施方式细节，但是这些不应该被解释为对任何发明的或可能要求保护的范围的限制，而是相反地被解释为对可能特定于特定发明的特定实施例的特征的描述。也可在单个实施例中组合地实现在本说明书中在单独的实施例的上下文中描述的某些特征。相反地，也可单独地或者按照任何适合的子组合在多个实施例中实现在单个实施例的上下文中描述的各种特征。此外，尽管特征可能在上面被描述按照某些组合起作用并且甚至最初被如此要求保护，但是来自要求保护的组合的一个或多个特征可在一些情况下被从该组合中除去，并且所要求保护的组合可以针对子组合或子组合的变化。
[0087]
类似地，虽然按照特定次序在附图中描绘操作，但是这不应该被理解为要求按照所示的特定次序或者按照顺序次序执行这样的操作，或者要求执行所有图示的操作以实现所预期的结果。在某些情况下，多任务处理和并行处理可以是有利的。此外，上述实施例中的各种系统模块和组件的分离不应该被理解为在所有实施例中要求这样的分离，并且应该理解的是，所描述的程序组件和系统一般地可被一起集成在单个软件产品中或者包装到多个软件产品中。
[0088]
已描述了主题的特定实施例。其他实施例在所附权利要求的范围内。例如，权利要求中记载的动作可以不同的次序被执行并仍然实现所预期的结果。作为一个示例，附图中描绘的过程不一定要求所示的特定次序或顺序次序以实现所预期的结果。在某些实现方式中，多任务处理和并行处理可以是有利的。