基于嗅觉刺激的EEG采集和情感识别方法及其系统与流程

基于嗅觉刺激的eeg采集和情感识别方法及其系统
技术领域
[0001]
本发明涉及脑电信号处理技术领域，具体涉及嗅觉刺激下的脑电信号采集、机器学习、嗅觉及视觉以及多标签分类领域，特别是涉及一种基于嗅觉刺激的eeg采集和情感识别方法及其系统。


背景技术：

[0002]
情绪在人机交往和社会活动中扮演着重要的角色，情感识别作为当前人工智能应用的一个重要领域，在心理治疗、疾病预防等方面有着广泛的应用前景，且认知理论和心理学实验结果表明，大脑活动与情绪密切相关，因此基于脑电信号的情感识别引起了研究人员强烈的兴趣。
[0003]
目前传统的多媒体组件刺激了人的两种感官：(1)视觉；(2)听觉。刺激受试者的视觉感官主要是通过观看不同的图片或者视频，刺激受试者的听觉感官则是通过播放音频。除此之外，研究表明嗅觉刺激的加入可以丰富多媒体体验，更能反映现实，提高用户情感诱发水平。另外，嗅觉是人类最古老的感官，气味和记忆之间有很强的联系，与情感有着密不可分的关系，在我们的情感生活中扮演了重要的角色。并且在某些神经退行性疾病的临床前阶段已经描述了嗅觉损伤，并可能与疾病进展有关，所以进一步探索嗅觉刺激对大脑的作用机制，对一些临床疾病的研究有着重要意义。但是嗅觉刺激会有适应性，没有视觉刺激的作用持久，给数据采集上造成一定的困难。并且国际上没有公开的基于嗅觉刺激的eeg数据库，这严重限制了对嗅觉刺激诱发的情感机制的研究。因此亟需提供一种由嗅觉刺激诱发情感的eeg信号采集方法及适合的情感识别方法。


技术实现要素：

[0004]
本发明所要解决的技术问题是提供一种基于嗅觉刺激的eeg采集和情感识别方法及其系统，可以得到信息丰富的eeg信号，从而在情感识别的过程中得到更有优势的识别结果。
[0005]
为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于嗅觉刺激的eeg采集和情感识别方法，包括以下步骤：
[0006]
s1：设计实验范式：受试者接受多种气味并反馈情感状态标签，根据每种气味对应的情感状态标签将气味分类为适应于此受试者的积极、消极、中性的气味，将分类好的气味结合同性质的视频片段作为视频和气味混合刺激；
[0007]
s2：数据采集：采集受试者在纯视频刺激和视频气味混合刺激两种刺激模式下的eeg信号，并由受试者每接受一种刺激后馈一个情感状态标签；将采集到的所有eeg数据从事件发生标定点到事件结束标定点进行有用数据的截取；
[0008]
s3：数据预处理：对步骤s2截取得到的eeg数据进行预处理操作，得到预处理后的eeg信号；
[0009]
s4：特征提取：对预处理之后的eeg信号按照不同的时间长度截取单次实验样本，
并分别对其提取功率谱密度psd、微分熵de、差分不对称dasm和有理不对称rasm四种特征；
[0010]
s5：学习分类：将两种刺激下提取出来的特征分别分为训练集和测试集，训练集及对应的情感状态标签放入svm分类器中进行学习分类得到训练好的模型，利用该模型对测试集的情感状态标签进行预测，得到情感识别的识别率，并对两种刺激模式得到的结果进行对比分析。
[0011]
在本发明一个较佳实施例中，在步骤s2中，所述纯视频刺激即对受试者只呈现视频刺激，视频刺激是通过多名测评者对多段视频进行三分类情感测评，选取测评结果相同的视频；所述视频气味混合刺激即对受试者同时呈现视频刺激和同类型的嗅觉刺激，在一定时长的视频中每20s交替呈现这两种刺激。
[0012]
在本发明一个较佳实施例中，在步骤s2中，纯视频刺激和嗅觉视频混合刺激诱发受试者积极、中性和消极的三种情感，获得有效的32导联的eeg信号和实际的情感状态标签l＝{l1，l2，
…
，l
q
}，q表示情感状态标签的个数，每一个标签的取值为l
k
＝{-7，-6，
…
，0，
…
，6，7}，其中k表示第k个标签，k＝1，2，
…
，q；所述情感标签使用了valence和arousal两个情感维度进行分类，valence维度表示为正中负，arousal维度表示为1,2,3,
…
,7，即-7～-3为消极情绪，-2～2为中性情绪，3～7为积极情绪。
[0013]
在本发明一个较佳实施例中，在步骤s3中，数据预处理过程包括对步骤s2截取得到的eeg数据去除50hz工频干扰、去除均值和去趋势处理，使用ica的infomax算法对眼动伪迹进行分离和去除。
[0014]
在本发明一个较佳实施例中，步骤s4的具体步骤包括：
[0015]
使用长度分别为2s、3s和4s重叠50％的窗长对预处理之后的数据划分单次实验样本，并分别提取psd、de、dasm和rasm特征：
[0016][0017]
de＝log2(psd)
[0018]
dasm＝psd(x
left
)-psd(x
right
)
[0019]
rasm＝psd(x
left
)/psd(x
right
)
[0020]
式中，ffty
i
表示时域信号转化成频域信号后第i点对应的信号值，i表示样本点，x
left
表示左半头部对应的电极，x
right
表示右半头部对应的电极，其中x
left
与x
right
是对称关系。
[0021]
在本发明一个较佳实施例中，步骤s5的具体步骤包括：
[0022]
采用五折交叉算法将两种刺激下提取出来的特征分成5份，其中4份为训练集，1份为测试集，再使用libsvm分类器对提取到的特征进行学习分类，径向基函数作为核函数：
[0023]
k(x,x
i
)＝exp(-|x-x
i
|2/σ2)
[0024]
使用网格寻优算法对svm算法中的惩罚系数c和参数gamma以步长为0.5在区间[-10，10]进行参数寻优，得到最优的分类结果，其输入为：
[0025]
i
train
＝[i
t1
,i
t2
,
…
,i
tn
],i
label
＝[i
l1
,i
l2
,
…
,i
ln
]和i
test
＝[i
test1
,i
test2
,
…
,i
testh
]
[0026]
式中，i
train
为训练集，i
label
为训练标签集，i
test
为测试集，n为训练集个数，h为测试集个数，其中n＝4h。
[0027]
输出为预测标签集：i
p_label
＝[i
p1
,i
p2
,
…
,i
ph
]。
[0028]
为解决上述技术问题，本发明采用的第二个技术方案是：提供一种基于嗅觉刺激的eeg采集和情感识别系统，包括：
[0029]
实验范式设计模块，用于设计规范的自动化情感诱发材料呈现流程，交替呈现实验所需的纯视频刺激、视频气味混合刺激；
[0030]
数据采集模块，用于采集受试者在纯视频刺激和视频气味混合刺激两种刺激模式下的eeg信号，并由受试者每接受一种刺激后馈一个情感状态标签；以及将采集到的所有eeg数据进行有用数据的截取；
[0031]
数据预处理模块，用于对所述数据采集模块得到的eeg数据进行预处理操作，得到预处理后的eeg信号；
[0032]
特征提取模块，用于对所述数据预处理模块得到的eeg信号按照不同的时间长度截取单次实验样本，并分别对其提取功率谱密度psd、微分熵de、差分不对称dasm和有理不对称rasm四种特征；
[0033]
学习分类模块，用于将所述特征提取模块在两种刺激下提取出来的特征进行训练学习，得到情感识别的识别率，并对两种刺激模式得到的结果进行对比分析。
[0034]
在本发明一个较佳实施例中，所述实验范式设计模块设计的所述纯视频刺激即对受试者只呈现视频刺激，视频刺激是通过多名测评者对多段视频进行三分类情感测评，选取测评结果相同的视频；所述气味刺激是受试者接受多种气味并反馈情感状态标签，根据每种气味对应的情感状态标签将气味分类为适应于此受试者的积极、消极、中性的气味；所述视频气味混合刺激即对受试者同时呈现视频刺激和同类型的嗅觉刺激，在一定时长的视频中每20s交替呈现这两种刺激。
[0035]
为解决上述技术问题，本发明采用的第三个技术方案是：提供一种基于嗅觉刺激的eeg采集和情感识别装置，包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行如上任一项所述方法。
[0036]
为解决上述技术问题，本发明采用的第四个技术方案是：提供一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行如上任一项所述方法。
[0037]
本发明的有益效果是：
[0038]
(1)本发明采集的数据具有更高的精确度：
[0039]
目前，情感识别方法主要依靠面部表情和语音实现，但是面部表情和语音极易受到人为主观控制，以至于不能得到客观的结果，准确率不高。eeg信号可以记录大脑真实的活动，不会受到主观改变，能客观地反应受试者当时的情感状态。在信号获取上，本发明使用32个电极进行脑电数据的采集，较为完整地覆盖了大脑的不用区域。另外本发明要求受试者每20s反馈一个情感状态标签，能更接近实时地得到反馈信息，减少奇异样本的产生，以至于后续能训练出更为准确的模型，提高识别率；
[0040]
(2)本发明为进一步探索嗅觉诱发情感机制奠定了基础：
[0041]
现有的脑电情感数据库都是由图片、视频或者音频诱发得到，并没有公开使用的嗅觉诱发的情感脑电数据库，没有此类数据作为基础就无法进一步探索不同刺激对人类情感产生的影响以及大脑的情感机制。所以，本发明使用自主设计的新型实验范式进行实验，采集了8位受试者的脑电信号，为进一步探索嗅觉诱发情感机制提供了数据基础；
[0042]
(3)本发明具有广阔的应用前景：
[0043]
研究表明，嗅觉功能的逐渐丧失或者缺陷被认为是阿尔兹海默病、帕金森病、颞叶内侧癫痫、精神分裂症等早期症状之一，并与之有着重要联系，且在某些神经退行性疾病的临床前阶段已经描述了嗅觉损伤，并且可能与疾病进展相关。本发明采集了嗅觉刺激下的eeg信号，并对其进行了系统的处理和识别，可以通过绘制脑地形图和最后的识别率的对比来判断嗅觉对大脑活动的刺激程度，从而可以推断大脑的嗅觉功能是否正常。本发明的结果分析直观易懂，在数据采集过程中不会对大脑产生不良影响，因此具有广阔的应用前景。
附图说明
[0044]
图1是本发明基于嗅觉刺激的eeg采集和情感识别方法的流程图；
[0045]
图2是所述数据采集系统的结构示意图；
[0046]
图3是所述采集电极分布示意图；
[0047]
图4是所述实验采集环境示意图；
[0048]
图5是所述实验范式示意图；
[0049]
图6是不同刺激下情感状态标签偏移图；
[0050]
图7是不同样本长度不同特征及不同刺激的识别结果对比图；
[0051]
图8是纯视频刺激下fp2电极和t7电极的频谱图；
[0052]
图9是视频气味混合刺激下fp2电极和t7电极的频谱图。
[0053]
附图中各部件的标记如下：1、电极帽，2、脑电同步放大器，3、无线接收器，4、接口扩展器，5、连接线，6、采集电脑，7、刺激电脑。
具体实施方式
[0054]
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
[0055]
请参阅图1，本发明实施例包括：
[0056]
一种基于嗅觉刺激的eeg采集和情感识别方法，包括以下步骤：
[0057]
s1：设计合理的实验范式：
[0058]
首先预实验设计，在实验开始之前，将9种明显不同的气味分别呈现10s给受试者，再由受试者反馈情感状态标签，根据每种气味对应的情感状态标签将气味分类为适应于此受试者的积极、消极、中性的气味。具体的，可使用甜橙香、玫瑰、酒精、水、醋、榴莲、墨臭、薄荷、香桃木九种气味，每种气味的类型根据每位受试者在预实验过程中的反馈来定义；
[0059]
其次设计实验范式，通过三名测评者对66段视频进行三分类情感测评，并选取测评结果相同的32段视频作为视频刺激，将上述分类好的气味结合同性质的视频片段作为视频和气味混合刺激。
[0060]
s2：数据采集：采集受试者在纯视频刺激和视频气味混合刺激两种刺激模式下的eeg信号，并由受试者每接受一种刺激后馈一个情感状态标签；将采集到的所有eeg数据从事件发生标定点到事件结束标定点进行有用数据的截取；
[0061]
将刺激分为两种模式，一种为纯视频刺激即对受试者只呈现视频刺激，一种是视频气味混合刺激即对受试者同时呈现视频刺激和同类型的嗅觉刺激，在平均长度为83s的
视频中每20s交替呈现这两种刺激，避免了不同视频带来的情感诱发差异，采集被试者的eeg信号以及每种刺激呈现结束后由被试者反馈情感标签，即每20s反馈一个情感状态标签。
[0062]
纯视频刺激和嗅觉视频混合刺激能够有效地诱发受试者积极、中性和消极的三种情感，获得有效的32导联的eeg信号和实际的情感状态标签l＝{l1，l2，
…
，lq}，q表示情感状态标签的个数，每一个标签的取值为l
k
＝{-7，-6，
…
，0，
…
，6，7}，其中k表示第k个标签，k＝1，2，
…
，q。该情感标签使用了valence和arousal两个情感维度进行分类，valence维度表示为正中负，arousal维度表示为1,2,3,
…
,7，在后续处理中-7～-3为消极情绪，-2～2为中性情绪，3～7为积极情绪。
[0063]
s3：数据预处理：对步骤s2截取得到的eeg数据进行预处理操作，得到预处理后的eeg信号；
[0064]
数据预处理过程包括对步骤s2截取得到的eeg数据去除50hz工频干扰、去除均值和去趋势处理，使用ica的infomax算法对眼动伪迹进行分离和去除。通过去除50hz工频干扰，有效去除肌电信号的干扰。
[0065]
s4：特征提取：对预处理之后的eeg信号按照不同的时间长度截取单次实验样本，并分别对其提取功率谱密度psd、微分熵de、差分不对称dasm和有理不对称rasm四种特征；
[0066]
使用长度分别为2s、3s和4s重叠50％的窗长对预处理之后的数据划分单次实验样本，并分别提取psd、de、dasm和rasm特征：
[0067][0068]
de＝log2(psd)
[0069]
dasm＝psd(x
left
)-psd(x
right
)
[0070]
rasm＝psd(x
left
)/psd(x
right
)
[0071]
式中，ffty
i
表示时域信号转化成频域信号后第i点对应的信号值，i表示样本点，x
left
表示左半头部对应的电极，x
right
表示右半头部对应的电极，其中x
left
与x
right
是对称关系。
[0072]
s5：学习分类：将两种刺激下提取出来的特征使用五折交叉将数据分别为五个等分，其中四份为训练集和一份测试集，将训练集及对应的标签集合放入svm分类器中进行学习，并使用网格寻优算法对svm分类器的参数寻优，得到训练好的模型，再把测试集放入训练好的模型中对标签进行预测，对比真实标签得到情感识别的识别正确率，并对两种刺激模式下得到的识别经过进行对比分析。具体步骤包括：
[0073]
采用五折交叉算法将两种刺激下提取出来的特征分成5份，其中4份为训练集，1份为测试集，再使用libsvm分类器对提取到的特征进行学习分类，径向基函数作为核函数：
[0074]
k(x,x
i
)＝exp(-|x-x
i
|2/σ2)
[0075]
使用网格寻优算法对svm算法中的惩罚系数c和参数gamma以步长为0.5在区间[-10，10]进行参数寻优，得到最优的分类结果，其输入为：
[0076]
i
train
＝[i
t1
,i
t2
,
…
,i
tn
],i
label
＝[i
l1
,i
l2
,
…
,i
ln
]和i
test
＝[i
test1
,i
test2
,
…
,i
testh
]
[0077]
式中，i
train
为训练集，i
label
为训练标签集，i
test
为测试集，n为训练集个数，h为测试集个数，其中n＝4h。
[0078]
输出为预测标签集：i
p_label
＝[i
p1
,i
p2
,
…
,i
ph
]。
[0079]
下面结合附图和具体实验及其实验结果来具体说明本发明所述方法及其优势：
[0080]
参见图2，说明了本实施例中数据采集系统的结构示意图。实验所有的采集设备为德国brain products公司生产的34导联的电极帽1(包含一个参考电极ref和一个接地电极gnd)、脑电同步放大器2、无线接收器3、接口扩展器4、连接线5、安装用于呈现刺激的e-prime软件的计算机(刺激电脑7)和安装vision recorder软件的计算机(采集电脑6)，具体采集装置及连线如图2所示，其中，脑电同步放大器2分别与专用佩戴式电极帽1和接口扩展器4直接相连，再由接口扩展器4分别与采集电脑6和刺激电脑7相连。通过该装置，可以把实验过程中e-prime所提供的刺激时间、事件发生节点和刺激类型标签传送给vision recorder，vision recorder把这些数据、脑电同步放大器2的位置信息(x1,x2,x3)及对应的脑电信号同时保存下来，并显示在该软件的显示界面上。所采集的数据为32通道(不包括参考电极、接地电极和放大器位置)的脑电信号，采样频率为250hz。
[0081]
图3为采集所使用的标准32导联acticap电极帽1的电极分布图。
[0082]
参见图4，说明了本实施例中的采集实验的实验环境示意图。受试者端坐在呈现视频刺激的电脑前，由采集者执行使用e-prime编写好的程序，有序播放刺激视频，屏幕会提前1s提示更换刺激模式，要求添加嗅觉刺激时打开存放气味的容器瓶盖，且容器放置在被试者鼻子前1厘米处，使气味不会大范围的扩散在实验所在房间里，影响下一次嗅觉刺激，并且可以使被试者充分接受嗅觉刺激，在屏幕提前1s提示纯视频刺激时采集者开始关闭容器。在实验过程中需尽量保持头部静止，并且要尽量控制面部表情的产生，以免产生肌电信号对脑电信号产生干扰。
[0083]
参见图5，说明了本实施例中使用的实验范式示意图。在正式采集实验开始之前，分两组测试实验对11种气味分别进行测试，每组测试六种气味(中性气味水使用两次)，每种气味呈现10s，每组间隔30s，并且记录被试者对每种气味的自我评估标签和脑电信号，根据气味的自我评估标签将气味分为积极、中性、消极三类。正式的采集实验共有32个实验，每个实验由3s的开始提示、播放视频片段、5s被试者反馈情感状态标签和15s休息四个部分组成，在视频播放期间，为避免不同视频情感唤起程度的差异，把视频分为四个部分(视频播放的过程是连续不中断的)，交换呈现两种不同的刺激模式：纯视频刺激和嗅觉视频混合刺激，即每隔20s添加一次与视频同性质的气味，电脑屏幕会依次提示切换模式。其它31次实验与上述实验流程相同。
[0084]
参见图6，说明了不同受试者在不同刺激下情感状态标签的偏移情况。在预实验阶段受试者需要对11种气味进行测评反馈，标签范围从-7～7，并根据反馈的气味诱发情感状态标签将气味分为积极、消极和中性三种。对收集到的每位受试者的反馈标签从积极气味、消极气味和中性气味三方面进行平均值计算，将嗅觉视频混合刺激下得到的平均标签值减去纯视频刺激下得到的平均标签值，从而得到偏移量。就统计出的情感标签结果来看，在接受嗅觉刺激之后，三种情感的arousal均发生偏移，积极的情感正向偏移1.06，中性情感正向偏移0.17，消极情感负向偏移1.68；从识别率结果来看，添加嗅觉刺激后识别率提高了1.25％。由此可见，添加嗅觉刺激可以有效提高情感诱发程度，增强用户情感体验，使脑部活跃度增加，且对消极情绪的影响更大。
[0085]
参见图7，展示了不同样本长度不同特征及不同刺激模式的识别结果对比图。分别
计算了八位被试者在不同样本长度下提取的四种特征的平均识别率，对比了两种刺激模式下的识别结果。总体上，整体的识别率都属于偏高水平，说明采集到的脑电信号不仅蕴含着丰富的情感信息，而且收到的被试者反馈的情感状态标签也是较为准确的。对比不同样本长度的结果可以看出，时间窗长为2s的识别率低于3s和4s的识别率，样本长度较短会导致部分信息丢失导致识别率下降；对比两种不同刺激模式的结果可以看出，添加嗅觉刺激的三分类情感识别的识别率均明显增高，特征dasm和rasm的增长尤其明显，且基于视频气味混合刺激和纯视频刺激的最优平均识别结果分别是98.95％和97.77％，相比不添加嗅觉刺激的高出1.18％，说明添加的嗅觉刺激成功增强被试者的情感体验；对比不同特征之间的表现可以看出，在两种刺激下psd和de特征效果均优于左右半脑不对称特征dasm和rasm。以上结果均验证了本发明的有效性和实用性。
[0086]
参见图8，展示了受试者在纯视频刺激下fp2电极和t7电极的频谱图，图中的横坐标代表样本点数，纵坐标代表归一化频率。不同的情绪诱发的谱图有不同的模式，两个电极的频谱图均显示高频段的模式分类比低频段的更加稳定，位于额叶的fp2电极的频谱图与位于颞叶的t7电极的频谱图相比，t7电极的模式分类更加明显，而fp2的模式分类比较模糊且能量值也比较低。说明了高频振荡的脑电更与情绪相关，且大脑颞叶的情绪相关性更强。
[0087]
参见图9，展示了受试者在视频嗅觉刺激下fp2电极和t7电极的频谱图，图中的横坐标代表样本点数，纵坐标代表归一化频率。添加了嗅觉刺激之后的频谱图，其整体的能量值有着较为显著的增大，这意味着大脑的活跃性增强。此外，fp2和t7电极的模式分类效果也得到了改善，可以就图中信息读取到更细致的情感模式分类。这进一步证明了，嗅觉刺激具有有效增强情感诱发的作用，能增强受试者的情感体验，也印证了本发明所得到的分类实验结果的正确性。
[0088]
本发明实施例还提供一种基于嗅觉刺激的eeg采集和情感识别系统，包括：
[0089]
实验范式设计模块，用于设计规范的自动化情感诱发材料呈现流程，交替呈现实验所需的纯视频刺激、视频气味混合刺激；
[0090]
数据采集模块，用于采集受试者在纯视频刺激和视频气味混合刺激两种刺激模式下的eeg信号，并由受试者每20s反馈一个情感状态标签；以及将采集到的所有eeg数据进行有用数据的截取；
[0091]
数据预处理模块，用于对所述数据采集模块得到的eeg数据进行预处理操作，得到预处理后的eeg信号；
[0092]
特征提取模块，用于对所述数据预处理模块得到的eeg信号按照不同的时间长度截取单次实验样本，并分别对其提取功率谱密度psd、微分熵de、差分不对称dasm和有理不对称rasm四种特征；
[0093]
分类识别模块，用于将所述特征提取模块在两种刺激下提取出来的特征进行训练学习，得到情感识别的识别率，并对两种刺激模式得到的结果进行对比分析。
[0094]
其中，所述实验范式设计模块设计的所述纯视频刺激即对受试者只呈现视频刺激，视频刺激是通过多名测评者对多段视频进行三分类情感测评，选取测评结果相同的视频；所述气味刺激是受试者接受多种气味并反馈情感状态标签，根据每种气味对应的情感状态标签将气味分类为适应于此受试者的积极、消极、中性的气味；所述视频气味混合刺激即对受试者同时呈现视频刺激和同类型的嗅觉刺激，在一定时长的视频中每20s交替呈现
这两种刺激。
[0095]
本实施例的一种基于嗅觉刺激的eeg采集和情感识别系统，可执行本发明所提供的一种基于嗅觉刺激的eeg采集和情感识别的方法，可执行方法示例的任何组合实施步骤，具备该方法相应的功能和有益效果。
[0096]
本实施例还提供一种基于嗅觉刺激的eeg采集和情感识别装置，包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行如上所述方法。
[0097]
本实施例还提供一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行如上所述方法。
[0098]
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0099]
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0100]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0101]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0102]
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。