一种人与物体关系检测方法、装置及存储介质与流程

1.本发明涉及图像处理与识别技术领域，尤其涉及一种人与物体关系检测方法、装置及存储介质。


背景技术：

2.人与物体关系检测能够检测出一张图片中发生交互的人和物体的位置、物体的类别以及交互关系的类别。人与物体关系检测具有非常重要的意义，比如：在自动驾驶系统中，检测系统通过检测道路上行人和周围物体的关系判别周围道路的情况，从而做出安全的驾驶行为；在医院监护系统中，检测系统可以通过受监护人和周围物体的关系判断受监护人是否处于紧急情况中，从而保证受监护人的生命健康安全。
3.目前人与物体关系检测面临的问题主要是如何提取具有判别力的全局上下文特征。由于transformer具有强大的提取上下文特征的能力，已经有一些方法将transformer利用到人与物体关系检测中。但是在目前基于transformer的方法中，transformer解码器中互注意力模块的查询矩阵和解码器初始化特征具有语义不明确的问题，这大大限制了transformer学习到更好的上下文特征以及更准确预测关系类别的能力。
4.术语解释：
5.cnn：卷积神经网络(convolutional neural networks)，是一类包含卷积计算且具有深度结构的前馈神经网络。


技术实现要素：

6.为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于提供一种人与物体关系检测方法、装置及存储介质。
7.本发明所采用的技术方案是：
8.一种人与物体关系检测方法，包括以下步骤：
9.获取人与物体关系检测数据集的训练集，并对训练集进行增强处理；
10.构建student网络并对student网络进行初始化；
11.构建teacher网络并对teacher网络进行初始化；
12.在训练中使用预设的损失函数监督student网络和teacher网络的输出；
13.在训练中使用预设的蒸馏损失函数拉近student transformer解码器和teacher transformer解码器的预测；
14.在测试中，采用训练后的student网络获取人和物体关系的检测结果。
15.进一步地，所述对训练集进行增强处理，包括：
16.随机地对图片进行水平翻转、颜色抖动、大小缩放、裁剪，最后对图片进行归一化。
17.进一步地，所述构建student网络并对student网络进行初始化，包括：
18.构建并初始化基于cnn的深度神经网络；
19.构建并初始化transformer编码器和transformer解码器；
20.构建人与物体关系检测网络，根据transformer解码器的输出预测待测图片中人和物体关系，并对人与物体关系检测网络进行初始化。
21.进一步地，深度神经网络的构建方法为：
22.使用经典残差网络resnet-50或resnet-101，后接一个1x1的卷积以减少通道数，得到特征图f。
23.进一步地，transformer的位置编码的方式为：
[0024][0025][0026]
其中pos代表二维图片的一个位置，d为常数，j代表维度，对于通道为奇数的位置，用cos函数进行位置编码；对于通道为偶数的位置，用sin函数进行位置编码；最终输出pe为三维的位置编码矩阵，维度大小与f一致。
[0027]
进一步地，所述transformer编码器的构造方法为：
[0028]
用l个级联的编码器层构成一个编码器，每个编码器层由级联的自注意力模块、残差连接网络、层归一化处理模块、前向反馈网络、残差连接网络和层归一化处理模块构成；编码器中自注意力模块的查询矩阵、键矩阵和值矩阵分别为f+pe，f+pe和f，transformer编码器的输出为e；
[0029]
所述transformer解码器的构建方法为：
[0030]
用l个级联的解码器层构成一个解码器，每个解码器层由级联的自注意力模块、残差连接网络、层归一化处理模块、互注意力模块、残差连接网络、层归一化处理模块、前向反馈网络、残差连接网络和层归一化处理模块构成；解码器中互注意力模块的查询矩阵、键矩阵和值矩阵分别为q，e+pe和e，transformer解码器的输出为d；
[0031]
其中，f表示输入图像经过基于cnn的深度神经网络的输出特征，pe表示输入图像的位置编码，q表示一组可学习向量的集合。
[0032]
进一步地，所述人与物体关系检测网络的结构为：
[0033]
包含4个前向反馈网络，分别预测人的位置、物体位置、物体类别、关系类别；4个前向反馈网络分别由3个全连接层(中间relu激活函数)、3个全连接层(中间relu激活函数)、1个全连接层和1个全连接层构成。
[0034]
进一步地，根据transformer解码器的输出预测待测图片中人和物体关系，获得的第j个预测结果，包括：
[0035]
其中为归一化的人和物体的框的位置，其中n
obj
和n
act
分别为数据集中表述的物体数量和关系数量。
[0036]
进一步地，预测结果和标注关系对的匹配方式为：
[0037]
匈牙利算法，其中损失矩阵计算如下：
[0038][0039]
[0040][0041][0042][0043]
其中代表图片中第i个标注的关系对，φ代表图片中标注的关系对空集下标的集合；giou为generalized iou的简写；经过上述计算得到每个标注的关系对对应的预测关系对的下标位置
[0044]
进一步地，所述teacher网络的组成为：与student网络一样具有基于cnn的深度神经网络、transformer编码器、transformer解码器和人与物体关系检测网络，并共享参数上述网络的参数。
[0045]
进一步地，所述student transformer解码器和teacher transformer解码器之间的不同包括：
[0046]
在student transformer解码器中，互注意力模块的查询矩阵为一组可学习向量的集合q；在teacher transformer解码器中，互注意力模块的查询矩阵为一组标注关系对的位置特征的集合q
t
；
[0047]
在student transformer解码器中，初始化特征do为零向量；在teacher transformer解码器中，初始化特征d
to
为一组标注关系对中物体的词向量特征的集合。
[0048]
进一步地，teacher transformer解码器中互注意力模块的查询矩阵q
t
的构造方法为：
[0049]qt
＝tanh(fq(h
t
))
[0050][0051][0052]
式中，为图片中标注的关系对的数量，h
t
为位置特征编码的集合；在中，前8个元素代表了人和物体框的中心点的坐标、宽和高，后4个元素代表了相对位置和两个框的面积；fq由2个全连接层构成，全连接层之间的激活函数为relu，fq的初始参数随机初始化；
[0053]
所述teacher transformer解码器中初始化特征的构造方法为：
[0054][0055][0056]
式中，代表第i个标注的关系对中物体的词向量，fw由2个全连接层构成，全连接层之间的激活函数为relu，fw的初始参数随机初始化。
[0057]
进一步地，所述预设的损失函数包括：l1 loss、generalized iou loss、cross-entropy loss和focal loss；
[0058]
其中，l1 loss和generalized iou loss用于监督人和物体框回归；cross-entropy loss用于监督物体类别分类；focal loss用于监督关系类别分类；具体的关系检
测总的损失函数为：
[0059][0060][0061][0062][0063][0064][0065][0066][0067][0068][0069]
其中，代表图片中标注的关系对非空集下标的集合，代表其数量；φ代表图片中标注的关系对空集下标的集合；为student网络经过匈牙利算法匹配之后对应图片标注的预测结果；为teacher网络的预测结果；nq为预测的潜在关系对个数，lf为逐元素的focal loss；l
t
和ls分别为teacher和student网络的关系检测总的损失函数；分别为teacher和student网络的l1loss、generalized iou loss、cross-entropy loss和focal loss；λb、λu、λc、λa为权重。
[0070]
进一步地，所述预设的蒸馏损失函数包括：cosine embedding loss和kl-divergence loss；
[0071]
其中cosine embedding loss用于拉近两个解码器输出的特征，kl-divergence loss用于拉近两个解码器的注意力矩阵。
[0072]
其中cosine embedding loss用于拉近两个解码器输出的特征，具体公式为：
[0073][0074]
其中和分别为teacher transformer解码器输出d
t
和student transformer解码器输出d中的第i个特征向量。
[0075]
kl-divergence loss用于拉近两个解码器的注意力矩阵，具体公式为：
[0076][0077]
其中和分别为teacher和student transformer解码器输出的第i个特征向量对应的解码器第j层输出的平均注意力矩阵。
[0078]
总的蒸馏损失函数具体公式为：
[0079]
l
dis
＝α1l
cos
+α2l
kl
[0080]
其中α1和α2为权重。
[0081]
进一步地，在测试过程中，只利用student网络的输出，不依赖teacher网络；测试过程中不增加额外的计算量。
[0082]
本发明所采用的另一技术方案是：
[0083]
一种人与物体关系检测装置，包括：
[0084]
至少一个处理器；
[0085]
至少一个存储器，用于存储至少一个程序；
[0086]
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上所述方法。
[0087]
本发明所采用的另一技术方案是：
[0088]
一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行如上所述方法。
[0089]
本发明的有益效果是：本发明利用知识蒸馏的思想设计具有明确语义信息的teacher网络，引导原有student网络学习到更好的注意力矩阵，从而获得更具有判别力的上下文信息，大大提升了人与物体关系检测性能，解决当前基于transformer的方法中存在的语义不明确的问题，在提高人与物体关系检测的准确度的同时能加快模型收敛速度。
附图说明
[0090]
为了更清楚地说明本发明实施例或者现有技术中的技术方案，下面对本发明实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员而言，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
[0091]
图1是本发明实施例中一种人与物体关系检测方法的步骤流程图；
[0092]
图2是本发明实施例中transformer编码器的基本网络结构示意图；
[0093]
图3是本发明实施例中transformer解码器的基本网络结构示意图；
[0094]
图4是本发明实施例中teacher和student transformer解码器输入的示例图；
[0095]
图5是本发明实施例中人与物体关系检测模块的基本网络结构示意图。
具体实施方式
[0096]
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
[0097]
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0098]
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
[0099]
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
[0100]
如图1所示，本实施例提供一种基于transformer和知识蒸馏的人与物体关系检测方法，该方法通过用一个语义信息明确的teacher transformer解码器引导student transformer解码器学习到更具有判别力的上下文信息，能进一步提升当前人与物体关系检测的准确度，该方法具体包括以下步骤：
[0101]
s1、获取人与物体关系检测数据集的训练集，并对训练集进行增强处理。
[0102]
对输入的训练图片进行数据增强；在本实施例中，对数据集hico-det的训练数据进行数据增强，具体为：对于一张输入图片，以50％的概率对其进行水平翻转；以[0.6,1.4]的区间对其进行明亮度、对比度和饱和度的抖动；再以50％的概率对其进行尺度缩放，尺度缩放时最短边在[480,512,544,576,608,640,672,704,736,768,800]中等概率选择，同时保证最长边不超过1333；最后将图片进行归一化处理，归一化的均值和方差分别为[0.485,0.456,0.406]和[0.229,0.224,0.225]。
[0103]
s2、构建student网络并对student网络进行初始化。
[0104]
步骤s2具体包括步骤s21-s23：
[0105]
s21、构建并初始化基于cnn的深度神经网络；
[0106]
s22、构建并初始化transformer编码器和transformer解码器；
[0107]
s23、构建人与物体关系检测网络，根据transformer解码器的输出预测待测图片中人和物体关系，并对人与物体关系检测网络进行初始化。
[0108]
(1)对于一张经过数据增强后的训练图片，首先经过一个基于cnn的深度神经网络
得到特征图f。
[0109]
本实施例中构建的基于cnn的深度神经网络为resnet-50网络，后接一个1x1的卷积以减少通道数，初始化方式为用在ms-coco上训练好的基于transformer的物体检测模型的参数作为初始化参数。
[0110]
(2)得到f后，特征输入到transformer编码器中。
[0111]
在本实施例中，需要对三维的特征图f的各个像素进行三维的位置编码，位置编码的方式如下：
[0112][0113][0114]
其中pos代表二维图片的一个位置，d为常数，在本实施例中d取128；j代表维度，对于通道为奇数的位置，用cos函数进行位置编码；对于通道为偶数的位置，用sin函数进行位置编码；最终输出pe为三维的位置编码矩阵，维度大小与f一致。
[0115]
在本实施例中，transformer编码器由l个级联的编码器层构成，l设置为6。本实施例的编码器结构由图2所示，每个编码器层由级联的自注意力模块、残差连接网络、层归一化处理模块、前向反馈网络、残差连接网络和层归一化处理模块构成。由图2可知，transformer编码器的查询矩阵、键矩阵和值矩阵分别为：
[0116]
qe＝f+pe
[0117]
ke＝f+pe
[0118]ve
＝f
[0119]
transformer编码器的计算过程表达为：
[0120]
e＝f
enc
(f,pe)
[0121]
其中e为特征经过transformer编码器后得到的输出，f
enc
代表级联的编码器层。
[0122]
transformer编码器的初始化方式为用在ms-coco上训练好的基于transformer的物体检测模型中的编码器的参数作为初始化参数。
[0123]
(3)接下来，transformer编码器特征e和位置编码pe输入到transformer解码器中。
[0124]
在本实施例中，transformer解码器由l个级联的解码器层构成，l同样设置为6，与编码器的层数一致。本实施例的解码器结构由图3所示，每个解码器层由级联的自注意力模块、残差连接网络、层归一化处理模块、互注意力模块、残差连接网络、层归一化处理模块、前向反馈网络、残差连接网络和层归一化处理模块构成；解码器的互注意力模块的查询矩阵、键矩阵和值矩阵分别为：
[0125][0126]
kd＝e+pe
[0127]vd
＝e
[0128]
其中q为一组可学习向量的集合。
[0129]
transformer解码器的计算过程表达为：
[0130]
d＝f
dec
(q,d0,e,pe)
[0131]
其中d为transformer解码器的输出，d0为初始化特征向量，在本实施例中为零向量矩阵。
[0132]
transformer解码器的初始化方式为用在ms-coco上训练好的基于transformer的物体检测模型中的解码器的参数作为初始化参数。
[0133]
(4)d经过人与物体关系检测网络，得到最后的预测结果，第j个预测结果三元组包括其中为归一化的人和物体的框的位置，为归一化的人和物体的框的位置，其中n
obj
和n
act
分别为数据集中表述的物体数量和关系数量。人与物体关系检测网络包含4个前向反馈网络，具体如下：
[0134][0135][0136][0137][0138]
其中fh和fo由3个全连接层构成，全连接层之间的激活函数为relu；fc和fa为一个全连接层。fh、fo和fc的初始化方式为用在ms-coco上训练好的基于transformer的物体检测模型中的物体检测网络的参数作为初始化参数。fa随机初始化。
[0139]
得到student网络预测结果后，预测结果和标注关系对的匹配方式用匈牙利算法，其中损失矩阵计算如下：
[0140][0141][0142][0143][0144][0145]
其中代表图片中第i个标注的关系对，φ代表图片中标注的关系对空集下标的集合；；giou为generalized iou的简写；经过上述计算得到每个标注的关系对对应的预测关系对的下标位置
[0146]
s3、构建teacher网络并对teacher网络进行初始化。
[0147]
teacher网络同样由基于cnn的深度神经网络、transformer编码器、transformer解码器和人与物体关系检测网络组成，并且与student共享参数上述网络的参数。
[0148]
teacher网络与student网络的不同在于transformer解码器，具体表现为：
[0149]
(1)解码器中互注意力模块的查询矩阵：在student transformer解码器中，互注意力模块的查询矩阵为一组可学习向量的集合q，teacher transformer解码器中互注意力模块的查询矩阵为一组标注关系对的位置特征的集合q
t
；q
t
的构造方法为：
[0150]qt
＝tanh(fq(h
t
))
[0151][0152][0153]
其中为一张图片中标注的关系对的数量，h
t
位置特征编码的集合；在中，前8个元素代表了第i个标注的关系对中人和物体框的中心点的坐标、宽和高，后4个元素代表了相对位置和两个框的面积；fq由2个全连接层构成，全连接层之间的激活函数为relu，fq的初始参数随机初始化。
[0154]
(2)解码器的初始化特征：在student transformer解码器中，初始化特征do为零向量，teacher transformer解码器的初始化特征为一组标注关系对中物体的词向量特征的集合；的构造方法为：
[0155][0156][0157]
其中代表第i个标注的关系对中物体的词向量。在本实施例中词向量由训练好的clip模型得到，每个词向量的维度为512。fw由2个全连接层构成，全连接层之间的激活函数为relu，fw的初始参数随机初始化。
[0158]
对于teacher transformer解码器，其查询矩阵为q
t
，键矩阵和值矩阵分别为
[0159]
kd＝e+pe
[0160]vd
＝e
[0161]
与student transformer解码器的键矩阵和值矩阵相同。
[0162]
teacher transformer解码器的计算过程表达为：
[0163][0164]
其中d
t
为teacher transformer解码器的输出。
[0165]
s4、在训练中使用预设的损失函数监督student网络和teacher网络的输出。
[0166]
在得到teacher和student网络的预测输出后，我们使用多种损失函数对其监督，具体的关系检测总的损失函数为：
[0167][0168][0169][0170]
[0171][0172][0173][0174][0175][0176][0177]
其中l
t
和ls分别为teacher和student网络的关系检测总的损失函数；分别为teacher和student网络的关系检测总的损失函数；分别为teacher和student网络的l1loss、generalized iou loss、cross-entropy loss和focal loss；其中l1 loss、generalized iou loss用于监督人和物体框回归；cross-entropy loss监督物体类别分类；focal loss监督关系类别分类；λb、λu、λc、λa为权重，在本实施例中λb、λu、λc、λa分别为2.5、1、1和1。
[0178]
s5、在训练中使用预设的蒸馏损失函数拉近student transformer解码器和teacher transformer解码器的预测；
[0179]
在本实施例中使用的蒸馏损失函数包括cosine embedding loss和kl-divergence loss，其中cosine embedding loss用于拉近两个解码器输出的特征，具体公式为：
[0180][0181]
其中和分别为teacher transformer解码器输出d
t
和student transformer解码器输出d中的第i个特征向量。
[0182]
kl-divergence loss用于拉近两个解码器的注意力矩阵，具体公式为：
[0183][0184]
其中和分别为teacher transformer解码器输出d
t
和student transformer解码器输出d的第i个特征向量对应的解码器第j层输出的平均注意力矩阵。
[0185]
总的蒸馏损失函数具体公式为：
[0186]
l
dis
＝α1l
cos
+α2l
kl
[0187]
其中α1和α2为权重，在本实施例中α1和α2分别为1和10。
[0188]
s6、在测试中，采用训练后的student网络获取人和物体关系的检测结果。
[0189]
在本实施例中，测试过程的特点在于只利用student网络的输出，不依赖teacher网络；测试过程中不增加额外的计算量。
[0190]
为了验证本发明的有效性，如下表1所示，我们在hico-det数据集上进行了实验，采用mean average precision(map)的衡量标准，其计算方法为：在所有测试图像中为数据集中包含的每一个动作类别计算预测精度，所有动作的平均预测精度即为map。
[0191]
表1本发明与其它方法在hico-det上的对比数据表
[0192]
methodsfullrarenon-rareqpic29.0721.8531.23ours30.4125.1032.00
[0193]
综上所述，本实施例相对于现有技术，具有如下优点和有益效果：
[0194]
(1)本实施例方法解决了现有基于transformer的方法中解码器的互注意力模块的查询矩阵和解码器初始化特征具有语义不明确的问题。该方法利用标注关系对的位置信息和物体词向量信息构造具有明确语义信息的查询矩阵和初始化特征；利用知识蒸馏的思想设计具有明确语义信息的teacher网络，引导原有student网络学习到更好的注意力矩阵从而获得更具有判别力的上下文信息，大大提升了人与物体关系检测性能。
[0195]
(2)通过teacher和student共享网络参数和蒸馏损失函数拉近两个网络的输出，网络的收敛速度得到了极大的提升，减少了训练时间，提高了训练效率；同时共享网络参数降低了系统复杂性。
[0196]
(3)在测试的过程中，只保留student网络的输出，不增加额外的计算量；在提高性能的同时不增加模型的测试时间。
[0197]
(4)同时该方法适用于许多基于transformer的检测网络，具有广泛的应用价值。
[0198]
本实施例还提供一种人与物体关系检测装置，包括：
[0199]
至少一个处理器；
[0200]
至少一个存储器，用于存储至少一个程序；
[0201]
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现图1所示方法。
[0202]
本实施例的一种人与物体关系检测装置，可执行本发明方法实施例所提供的一种人与物体关系检测方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
[0203]
本技术实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。
[0204]
本实施例还提供了一种存储介质，存储有可执行本发明方法实施例所提供的一种人与物体关系检测方法的指令或程序，当运行该指令或程序时，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
[0205]
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提
到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
[0206]
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
[0207]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0208]
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
[0209]
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
[0210]
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场
可编程门阵列(fpga)等。
[0211]
在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
[0212]
尽管已经示出和描述了本发明的实施方式，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
[0213]
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本技术权利要求所限定的范围内。