用于脑电信号分类识别的数据增强方法及系统与流程

1.本发明属于脑电信号处理技术领域，特别涉及一种用于脑电信号分类识别的数据增强方法及系统。


背景技术：

2.脑电由于便携性、无创性、时间分辨率高，被广泛应用在bci系统中的字母拼读、身份认证、目标检测等领域。目前脑电的数据量仍是bci领域的瓶颈，实验设计中考虑到疲惫状态下的被试脑电数据质量不佳，被试生理的限制导致一次实验的采集的试次量一般在500以下。一个小规模的30人次脑电数据库采集周期约为两个月，大规模的脑电数据采集更极大地增加了研究成本并延长了实验周期。此外实验设计中常用的oddball范式要求目标试次出现评率低于30％，这使得目标样本的数量更加稀少。bci技术存在训练样本量不足、正负样本不均衡问题，导致正确率不足、交互效率不高，这严重影响了用户体验并限制了脑机接口的推广。


技术实现要素：

3.为此，本发明提供一种用于脑电信号分类识别的数据增强方法及系统，有效解决脑电样本匮乏等问题，能够提升生成的人工样本的逼真性和数据的多样性，便于脑电目标识别训练学习，以增强脑电分类器性能。
4.按照本发明所提供的设计方案，一种用于脑电信号分类识别的数据增强方法，包含如下内容：
5.采集用于训练任务态脑电信号和静息态脑电信号，并利用对抗生成网络拟合训练生成人工脑电信号数据；
6.通过对人工脑电信号数据进行幅度放缩，并混合真实脑电信号来获取包含多样性的样本数据，利用该样本数据对分类器进行训练学习，以实现利用训练学习后的分类器对被试者脑电信号进行分类识别的目的。
7.作为本发明用于脑电信号分类识别的数据增强方法，进一步的，针对静息态脑电信号，首先进行标准化并通过分割生成无重叠数据段再进行拟合训练。
8.作为本发明用于脑电信号分类识别的数据增强方法，进一步地，利用对抗生成网络拟合训练中，将静息态脑电信号作为对抗生成网络生成器输入，利用对抗网络鉴别器对生成器输出及任务态脑电信号进行真假判别并反馈给对抗网络生成器进行拟合训练。
9.作为本发明用于脑电信号分类识别的数据增强方法，进一步地，对抗生成网络生成器输出端和鉴别器对应输入端两者之间还设置有用于对数据进行滤波处理的低通滤波器。
10.作为本发明用于脑电信号分类识别的数据增强方法，进一步地，采用参数为0
‑
40hz的低通滤波器对数据进行滤波处理。
11.作为本发明用于脑电信号分类识别的数据增强方法，进一步地，设置多个用于通
过拟合训练生成人工脑电信号数据的对抗生成网络，每个对抗生成网络的输入分别训练其各自生成器，利用训练后的生成器来输出人工脑电信号数据。
12.作为本发明用于脑电信号分类识别的数据增强方法，进一步地，设置幅度放缩倍数，通过该幅度放缩倍数对人工脑电信号数据幅度进行放大或缩小，再与真实脑电信号混合以获取样本数据。
13.进一步地，基于上述的方法，本发明还提供一种用于脑电信号分类识别的数据增强系统，包含：拟合训练模块和样本获取模块，其中，
14.拟合训练模块，用于采集任务态脑电信号和静息态脑电信号，并利用对抗生成网络拟合训练生成人工脑电信号数据；
15.样本获取模块，用于通过对人工脑电信号数据进行幅度放缩，并混合真实脑电信号来获取包含多样性的样本数据，利用该样本数据对分类器进行训练学习，以实现利用训练学习后的分类器对被试者脑电信号进行分类识别的目的。
16.进一步地，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时执行上述的方法
17.进一步地，本发明还提供一种计算机设备，包含处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以执行上述的方法。
18.本发明的有益效果：
19.本发明针对脑机交互技术中的数据量不足、正负样本不均衡等问题严重限制脑机接口的分类性能和交互速度，利用基于生成对抗网络gan的数据增强来构建人工脑电信号并和真实脑电信号的混合形成样本训练集，通过人工信号逼真性和生成数据的多样性来提升分类器性能。并进一步利用图片目标检测通过本案数据增强的分类器性能在开集和闭集的测试数据，尤其是开集测试在少量特征分类性能提升20
‑
25％，最高分类性能可提升3
‑
5％，在节省被试数量方面，本案方案至少减少了73％的被试数量和采集成本，具有较好的应用前景。
附图说明：
20.图1为实施例中利用数据增强进行目标分类检测识别的流程示意；
21.图2为实施例中真实脑电信号和人工脑电信号对比示意；
22.图3为实施例中混合样本聚类分布示意；
23.图4为实施例中混合样本准确率示意；
24.图5为实施例中混合样本auc值示意；
25.图6为实施例中加入人工数据的开集分类性能示意；
26.图7为实施例中对抗生成网络收敛性和稳定性示意。
具体实施方式：
27.为使本发明的目的、技术方案和优点更加清楚、明白，下面结合附图和技术方案对本发明作进一步详细的说明。
28.针对脑机接口分类交互中存在的脑电样本匮乏等问题，本发明实施例，提供一种
用于脑电信号分类识别的数据增强方法，包含如下内容：
29.s101、采集用于训练任务态脑电信号和静息态脑电信号，并利用对抗生成网络拟合训练生成人工脑电信号数据；
30.s102、通过对人工脑电信号数据进行幅度放缩，并混合真实脑电信号来获取包含多样性的样本数据，利用该样本数据对分类器进行训练学习，以实现利用训练学习后的分类器对被试者脑电信号进行分类识别的目的。
31.基于脑电的脑机交互技术被广泛关注并成为研究热点。然而脑机交互技术中的数据量不足、正负样本不均衡的问题仍未有效改善，这严重限制了脑机接口的分类性能和交互速度。近年来人工智能在各个领域都成为热点话题，其中对抗生成网络在神经科学的应用逐渐深入，为传统的bci系统提供了新的技术支持。gans的引入使得数据驱动的数据合成方法成为可能；这种方法在医学成像领域取得了巨大的成功。gan通过训练生成器和分类器之间的多轮博弈，使得生成器产生的虚假数据分布趋近于真实数据分布，被广泛应用于图像生成研究。gan拟合训练样本的空间分布，其生成的人工数据不仅具有真实样本的属性而且具有扩展性和一定的创新性。gan生成的样本不局限于真实样本的特征分布，而是在真实样本的模式上提升人工样本的多样性。因此gan成为bci领域有效的数据增强方法，其生成的人工数据缓解了样本不均问题、样本不足、过拟合的问题。
32.现有基于gan的脑机接口数据增强方法都应用于信噪比较好的频域、空域任务，对于信噪比较低、识别难度较大的时域任务缺少研究。并且多数研究将图像领域的gan网络直接应用于eeg信号，这类人工网络更关注图片的纹理、边缘和语义信息，而未对脑电信号的信噪比低、被试差异性大、信号波动性强的特点进行适应性改进。基本gan由生成器和鉴别器组成。生成器对输入噪声进行变换以迷惑鉴别器，而鉴别器不断提高对人工数据和真实数据的分类能力。gan交替训练生成器网络和鉴别器网络，使生成器的输出更接近真实的数据分布。经过几轮迭代升级，最终的生成器和鉴别器达到纳什均衡。
33.作为本发明实施例中的用于脑电信号分类识别的数据增强方法，进一步的，针对静息态脑电信号，首先进行标准化并通过分割生成无重叠数据段再进行拟合训练。用受试者的静息态数据代替高斯白噪声输入，可通过最大值法和最小值法对输入的静息态数据进行标准化。静息态数据在大多数脑电实验中均被采集，其作为被试大脑的基础状态经常被用来对比任务态的大脑响应。通过截取用户在实验前的3分钟静息态数据以及观察十字注视点的数据，并将静息态数据可分割为每段16点的无重叠数据段。静息态与任务态的幅度、潜伏期具有相关性。脑电信号具有波动性和随机性，因此，具有被试先验信息的静息态数据与高斯白噪声同样可作为噪声输入。利用对抗生成网络拟合训练中，将静息态脑电信号作为对抗生成网络生成器输入，利用对抗网络鉴别器对生成器输出及任务态脑电信号进行真假判别并反馈给对抗网络生成器进行拟合训练。
34.作为本发明实施例中的用于脑电信号分类识别的数据增强方法，进一步地，对抗生成网络生成器输出端和鉴别器对应输入端两者之间还设置有用于对数据进行滤波处理的低通滤波器。进一步地，采用参数为0
‑
40hz的低通滤波器对数据进行滤波处理。
35.由于脑电数据信噪比较低导致数据波动明显，并且不同被试的脑电数据脑电有差异较大。通过观察真实eeg信号中的erp有效成分在40hz以下，而生成的人工数据包含较多毛刺并且在高频有明显噪声。可在生成器输出端设置了0
‑
40hz的低通滤波器，经过低通滤
波器的人工信号再进入gan的鉴别器进行真假数据鉴别。
36.作为本发明实施例中的用于脑电信号分类识别的数据增强方法，进一步地，设置多个用于通过拟合训练生成人工脑电信号数据的对抗生成网络，每个对抗生成网络的输入分别训练其各自生成器，利用训练后的生成器来输出人工脑电信号数据。进一步地，设置幅度放缩倍数，通过该幅度放缩倍数对人工脑电信号数据幅度进行放大或缩小，再与真实脑电信号混合以获取样本数据。
37.利用多个人工网络共同生成数据并进行幅度放缩。为了提升人工样本多样性，一方面对bci
‑
wgan的输出到目标检测系统的人工脑电数据进行幅度随机。可在人工脑电数据和混合真实数据前插入幅度随机模块，对人工生成脑电数据进行0.9
‑
1.1倍的幅度放缩以增加人工样本多样性。另一方面，每个通道的脑电信号分别训练10个不同迭代轮数的生成器，10个生成器输出等量的人工样本到训练集中，以对样本数据进行数据增强处理。
38.进一步地，基于上述的方法，本发明实施例还提供一种用于脑电信号分类识别的数据增强系统，包含：拟合训练模块和样本获取模块，其中，
39.拟合训练模块，用于采集任务态脑电信号和静息态脑电信号，并利用对抗生成网络拟合训练生成人工脑电信号数据；
40.样本获取模块，用于通过对人工脑电信号数据进行幅度放缩，并混合真实脑电信号来获取包含多样性的样本数据，利用该样本数据对分类器进行训练学习，以实现利用训练学习后的分类器对被试者脑电信号进行分类识别的目的。
41.参见图1所示，整个分类识别检测包含：网络训练模块、分类器训练模块、目标测试模块，利用生成对抗网络bci
‑
wgan网络的训练框架，生成人工的脑电数据以缓解训练集中正负样本不均的问题；分类器训练，在真实脑电数据训练集中混合人工脑电数据以达到样本均衡，通过数据增强方法提升分类器性能；目标测试模块为应用真实被试的数据来测量目标检测系统性能。依据真实脑电信号进行bci
‑
wgan的训练，完成训练的bci
‑
wgan生成充足的人工脑电数据；将生成的正样本人工数据与真实正样本混合，使得训练集中的混合正样本量与负样本量相当，之后依据混合样本的训练集来训练图像目标检测分类器；使用真实被试的脑电信号进行图像检索系统的性能测试。
42.为验证本案实施例方案有效性，下面结合实验数据做进一步解释说明：
43.图2展示了在16个通道分别进行了erp平均，所有真实被试的平均erp(深色曲线)和人工脑电数据的平均erp(浅色曲线)对比，阴影宽度为人工脑电数据的标准差。人工脑电信号在潜伏期、幅值、成分、细节上都与真实信号十分相似，这显示了bci
‑
wgan生成数据的逼真性和有效性。在16个通道中的人工脑电的方差呈现了和真实脑电数据相似的波动特性，这表明生成的人工信号以真实信号为模板进行了有效扩展，这提升了人工脑电的多样性。本案中生成对抗网络bci
‑
wgan生成的正样本人工脑电数据在各个通道的结果。深色曲线为19名被试看到目标图片的真实脑电信号叠加平均，浅色曲线为各个通道的20000个人工脑电信号叠加平均。人工脑电样本与真实脑电信号数据差异在整体趋势上差异较小，并且人工样本在细节处也能有效模仿真实脑电。bci
‑
wgan学习真实脑电中最显著的p300成分，多数导联显示其潜伏期为400ms～600ms。人工脑电和真实脑电的p300信号最高幅值均在500ms附近。人工和真实的p300起始时刻均为400m、终止时刻均为800ms。真实脑电信号在p300成分后出现了负电压缓慢趋零的慢波，人工脑电信号同样出现了慢波成分。bci
‑
wgan
不仅能学习到真实脑电的明显成分，而且在慢波成分中学习到了细微的抖动成分，人工脑电信号在多数导联的900ms
‑
1500ms的微小成分都实现了准确模仿。人工脑电数据的方差表明单试次的人工样本有较强的波动性，不同人工脑电样本之间的差异性明显。人工脑电样本的多样性降低了训练集过拟合的风险，并且模仿了真实脑电的波动性和随机性。一方面，人工脑电信号对真实脑电信号进行了准确模仿，两者的均值在潜伏期、幅值、成分、细节都有很好的相似性。另一方面，人工脑电信号以真实脑电信号为基线模式进行扩展和发散，人工脑电的单个样本具有丰富的多样性。
44.参见图3所示，将人工数据和真实样本混合，并测试混合样本在训练集中的聚类表现。将本案中生成对抗网络bci
‑
wgan方法广泛对比常用的的样本不均衡处理方法，包括3种生成人工数据方法：smote、smote
‑
border、adasyn，以及2种采样方法：过采样和降采样。过采样和过采样并未生成人工数据使正负样本均衡。2种采样方法通过重复少数正样本和采样多数负样本达到样本均衡，因此容易导致正样本的过拟合以及负样本的不充分使用。图a中展示混合正样本(混合了人工数据和目标试次)和负样本(负样本)的分布结果。分布结果中的每个散点代表一个试次，相应颜色的十字和透明圆圈半径分别代表类别中心和分散程度。使用t
‑
sne聚类方法将128维特征降到2维以实现可视化。大比例的降维影响特征的分类性能性，但是仍能看出bci
‑
wgan数据生成方法的突出的聚类性能。bci
‑
wgan数据生成方法中正、负样本中心的欧式距离最远显示了其突出的区分性，并且透明圆半径范围相对较小表明其样本有较好的稳定性。其余5中传统方法，在特征数量大幅下降后的正负样本重叠面积较大、分布差异性较小。图b、c、d量化展示了分布的类间距、类内距、类间距和类内局比值。结果显示bci
‑
wgan方法的样本类间距是其余常用方法的十倍以上。类间距结果表明bci
‑
wgan方法生成的人工数据提升了训练集中的正、负样本的区分度属性。类内距结果中bci
‑
wgan方法类内距值排名第二低，这展示了其样本的聚类更紧凑和稳定。降采样方法较小的类内距主要源于其训练集中的样本数量为其余方法的一半。聚类指数是综合分析类间距、类内距比值结果，bci
‑
wgan的比值结果是其余5种方法的21倍以上。生成人工样本的方法的聚类指数优于仅进行数据重复和抽取的过采样和降采样。本案中bci
‑
wgan突出的聚类特征结果源于其在分辨性和稳定性两方面均有突出表现。
45.前期实验展示了训练集中样本的分布和质量，样本的最终性能体现在实际测试的分类效果。首先进行了五折交叉验证的闭集分类测试。分别训练lda和lr分类器测试7种数据生成方法的效果。测试数据为样本不均衡的真实脑电数据，性能评价综合考虑了准确率、roc、auc。
46.图4展示了两种分类器的特征个数与正确率关系曲线。高维特征使用pca方法降维至60以下。图4中a、b均显示正确率随特征个数增加而提升，尤其是特征个数在28
‑
38提升明显。lda分类器中的bci
‑
wgan方法在所有特征个数上的正确率都显著优于其余5种方法5％
‑
15％。lr分类器中的bci
‑
wgan方法在高于30特征个数后的分类准确率最佳。bci
‑
wgan方法在多数特征区间的分类准确率均为最高。5种常用的样本不均衡方法的分类准确率较为接近。
47.图5中，a展示了特征个数与auc的关系曲线。auc定义为roc曲线的下面积，其值越接近1表明综合false positive rate和true positive rate的性能越好。特征个数与auc的关系曲线和正确率曲线的趋势相近。bci
‑
wgan方法在特征个数28
‑
60区间的auc值显著高
于其他方法，并且60个特征数的auc达到0.88。b展示了6种方法的roc曲线。roc曲线的较为对称，表明分类器对样本不均衡的测试数据仍然有较好的分类效果。bci
‑
wgan方法的roc曲线高于其余常用方法，并且顶点更接近(0，1)。6种样本不均衡方法的roc表现顺序为bci
‑
wgan、过采样、smote、降采样、adasyn、smote
‑
border。
48.bci
‑
wgan方法在闭集测试中的展现了出色的分类结果。测试bci
‑
wgan方法的开集分类性能，并分析了不同比例混合人工数据和真实数据的效果。为了研究更大跨度比例对分类器性能的影响，可通过设计15中混合比例从纯真实数据到纯人工数据。开集分类使用跨被试数据作为测试集。图6展示的分类结果为18名被试的平均auc值。pca降维方法提取特征的前60个主成分。开集略低于闭集的分类结果，这表明跨被试的个体差异性影响测试性能。图6中，a展示了在训练集中低比例混入人工数据的开集测试结果。黑色曲线代表基准正确率曲线，其训练集中的正样本不混入人工数据。特征个数少于18时，任何低比例混合数据的分类性能均高于纯的真实数据。部分混合比例(1：0.5，1：0.25，1：0.875)的正确率一直高于纯真实样本的训练集。图6中，b显示了高混合比例的开集测试结果，即训练集正样本中人工数据多于真实数据。auc结果表明纯真实样本与恰当混合比例(真实：人工＝1：2.75)的分类性能相当。但是训练集的正样本中的人工样本多于4倍的真实样本将导致严重的分类性能下降。
49.多数混入bci
‑
wgan生成的人工样本训练集提升了分类器效果，尤其是在少量特征数时。混合样本与纯真实样本在2
‑
5个主成分特征(红色虚线方框)的auc值最高差异为0.06
‑
0.25，这显示了混合样本在低维特征的分类优势。对于高维特征，混合数据的比纯真实数据的auc可以提升0.02
‑
0.05(1:0.25,1:0.5,1:0.875,1:2,1:2.75)。比例测试中的最佳组合为真实、人工数据数量比为1：0.5，其最高auc值达到0.8624。真实数据与人工数据比例为0.25
‑
2.75倍的分类性能有提升，并且两类数据量相当时的auc提升最明显。节约采集被试的需求量是bci
‑
wgan的另一重要优势。分类结果显示纯真实训练集和2.75比例(真实：人工＝1：2.75)的混合样本效果相近。按照2.75的人工样本和真实比例，可只需要采集27％的真实数据并使用bci
‑
wgan生成剩下的73％就可到可靠的分类模型。bci
‑
wgan的生成数据节约了73％的脑电被试数量，这大大降低了脑电实验的周期和成本。
50.本案生成对抗网络bci
‑
wgan的结构优势在于其针对脑电数据进行了结构改进而不是单纯拼凑人工网络模块。脑电数据的随机性和个体的差异性导致普通gan训练经常崩溃并且难以收敛。普通gan生成的人工脑电数据有大量毛刺，但这些毛刺是单纯的噪声不同于脑电节律性的波动。针对脑电特点，通过在结构中增加“脑电模块”来提升网络稳定性，稳定性的改进包括：输入高斯白噪声替换为脑电静息态信号、生成器末端增加低通滤波模块、wassertein作为loss函数。图7对比了添加后不同脑电模块的生成数据质量提升。
51.脑电静息态信号替换输入高斯白噪声防止网络训练崩溃。在本实验的普通gan训练中，梯度消失和脑电信号的波动性导致大部分网络在7000轮迭代以后崩溃。输入噪声替换静息态信号后的gan网络不再出现崩溃。改进后的静息态输入gan网络速度更快并且缓解了毛刺现象。由于脑电信号自身同时具有随机性和节律性。与高斯白噪声完全的随机性不同，脑电信号是不可预测的但其符合一定的频率规律。例如静息态脑电信号频率在100hz以下，幅度在100uv以下。此外，静息态脑电数据是大脑的基础神经状态，其可作为大脑任务状态的基线。目前研究表明静息态脑电与任务态信号的幅度、脑网络连接有较强的相关性，并
可以通过被试的静息态信号一定程度上预测任务态结果。静息态信号具有噪声的随机性并与任务态信号有一定相关性。因此，可将被试在实验开始前的3分钟静息态睁眼信号进行分段处理，并作为gan网络的输入噪声信号。在生成器末端增加低通模块有效降低人工数据的噪声。普通gan网络的全连接层对相邻采样点间的相关性学习能力不足。人工噪声大量的毛刺和频繁的波动不符合真实脑电的节律性。真实脑电在目标检测任务时的频域能量集中在20hz以下，这限制并约束了点与点存在关联性。可通过低通模块来降低高频毛刺噪声并增加人工样本数据相邻点的关联性。加入低通模块的gan网络主要明显改善过了人工数据的信噪比。wassertein距离作为loss函数显著提升了gan网络收敛性能。wgan广泛应用于图像领域并有效解决了训练不稳定的问题。wgan也有很好的收敛效果在处理脑电数据这类波动性较强的时间序列。wgan只迭代350轮就达到了完全收敛，其生成的样本质量远高于7000轮迭代的普通gan。bci
‑
wgan的迭代轮数和训练时间相应减少了95％。3种针对脑电特点的适应性改进有效提升了gan网络的收敛性和稳定性。
52.本发明实施例中，针对脑机接口中广泛应用的时域图像目标检索任务存在更严重的样本不均衡问题，并且由于信噪比较差、样本差异较大导致gan网络更难以收敛。为了使gan的结构更适合脑电样本，在生成对抗网络设计中考虑到脑电信噪比、分布相关性、生成多样性，对于训练集中的数据增强样本，通过直观对比人工信号和真实脑电信号的波形和脑电地形图，并从逼真性、多样性、联合特征分布和聚类效果等指标对人工信号和真实信号进行了综合性分析；在分类性能测试中，在图像目标检测数据集上进行了开集和闭集测试，并且分析了人工数据和真实数据在训练集中的混合比例对分类性能的影响。
53.除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。
54.基于上述的方法或系统，本发明实施例还提供一种计算机设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述的系统或执行上述的方法。
55.基于上述的系统，本发明实施例还提供一种计算机可读介质，其上存储有计算机程序，其中，该程序被处理器执行时执行上述的方法。
56.本发明实施例所提供的装置，其实现原理及产生的技术效果和前述系统实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述系统实施例中相应内容。
57.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述系统实施例中的对应过程，在此不再赘述。
58.在这里示出和描述的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。
59.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
60.附图中的流程图和框图显示了根据本发明的多个实施例的系统、系统和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基
本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
61.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述系统的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
62.最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。