一种融合知识图谱的音乐流派分类方法及系统

1.本发明属于音乐信号分析与处理技术领域，具体涉及一种融合知识图谱的音乐流派分类方法及系统。


背景技术：

2.音乐流派分类可以在许多现实应用中使用，例如音乐流媒体平台可以为特定用户创建更合适的推荐播放列表、用户可以发现与他们喜欢的音乐风格相似的其他音乐等。然而，不同音乐流派之间分类的界限仍然是模糊的，这使得从音频样本中自动识别音乐流派类型(music genre recognition，mgr)成为一项重要的任务。
3.相关领域的专家已经提出了一些方法去试图解决这个问题。早期的方法通过探索使用不同输入(即波形或时频谱图)或不同分类器来进行音乐分类，例，使用由多种音频特征(如mfcc、chroma、tempogram等)进行重构的自监督学习模型来提高分类性能。最近的研究提出利用相关任务(例如艺术家标签)来获得多层次和多尺度的音乐表征，并利用迁移学习来增强流派分类器。以上解决方案均只使用音频样本作为输入。还有其他的方法使用了额外信息(如歌词、评论等)进行流派分类，例如，使用对音乐内容的自然语言描述来监督学习音频表征，或者结合歌词和音频来提取融合特征进行流派分类。然而，值得注意的是，许多开源数据集或现实任务并没有提供如此详细的信息，这些方法为每段音频获取准确的歌词或描述需要一定的音乐api或搜索引擎的帮助，这是一个非常耗费人力且耗时的过程。


技术实现要素：

4.本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种融合知识图谱的音乐流派分类方法及系统，提出利用知识图谱指导音频表征学习，且无需为每段音频获取对应的额外信息，有效地提高了音乐流派分类性能，用于解决使用侧信息辅助神经网络进行自动音乐流派分类的技术问题。
5.本发明采用以下技术方案：
6.一种融合知识图谱的音乐流派分类方法，包括以下步骤：
7.s1、将音频数据转化为梅尔谱图，将梅尔谱图输入音频特征提取网络学习音频表征，同时在音频特征提取网络的最后添加一个线性层获得对每种流派的预测分数；
8.s2、构建与流派相关的知识图谱；
9.s3、使用步骤s1得到的每种流派的预测分数对步骤s2构建的知识图谱中的流派节点进行初始化，然后使用图神经网络学习每个流派节点的特征向量，并将所有特征向量串联获得最终的知识表征；
10.s4、使用se模块给步骤s1中得到的音频表征和步骤s3得到的知识表征分配不同的注意力权重，然后对加权后的表征进行拼接获得增强后的音频表征，将增强后的音频表征输入全连接层构成音乐流派分类模型，实现音乐流派分类。
11.具体的，步骤s1具体为：
12.s101、将音频χ裁剪成多个时长为1秒的不重叠片段，并使用librosa库将裁剪后的音频片段转换为128维的梅尔谱图，获得时频表示s；
13.s102、将步骤s101得到的时频表示s输入主干网络f(.)学习音频表征za；
14.s103、在步骤s102中的主干网络f(.)后添加一个线性层g(.)，通过对网络g
○
f进行预训练获得一个c维向量zs，表示网络对每种流派的预测分数，c代表流派的数量。
15.进一步的，步骤s102中，主干网络f(.)使用inception-resnet-v2的架构。
16.具体的，步骤s2中，知识图谱包含实体集和边集；实体集v包含g+a+i个元素，g是音乐流派的数量，a是艺术家的数量，i是乐器的数量；边集e在知识图谱中为连接各个实体之间的边的集合。
17.进一步的，知识图谱中的边集e为：
[0018][0019]
其中，0g×g是大小为g
×
g的零矩阵，pg×a是大小为g
×
a的音乐流派与艺术家的相关概率矩阵，pg×i是大小为g
×
i的音乐流派与乐器的相关概率矩阵，pa×g是大小为a
×
g的艺术家与音乐流派的相关概率矩阵，0a×a是大小为a
×
a的零矩阵，0a×i是大小为a
×
i的零矩阵，pi×g是大小为i
×
g的乐器与音乐流派的相关概率矩阵，0i×a为大小为i
×
a的零矩阵，0i×i是大小为i
×
i的零矩阵。
[0020]
具体的，步骤s3具体为：
[0021]
s301、使用零向量初始化艺术家节点a和乐器节点i，使用步骤s1得到的zs初始化对应的流派节点g，初始化后得到每个节点的输入特征xv；
[0022]
s302、在一次迭代t时，节点i的隐藏状态hi由上一步状态和从其邻居传播的消息决定，经过t次迭代后，消息在整个图中传播，获得所有节点的最终隐藏状态，最后的线性层将输出每个节点的最终特征，将特征拼接得到整个知识图谱的表征z
kg
。
[0023]
进一步的，步骤s302中，在一次迭代t时，节点i的隐藏状态hi由它的最后状态和从其邻居传播的消息决定，具体为：
[0024][0025][0026]
其中，是节点i的初始隐藏状态，xi是节点i的输入特征，是第t次迭代时节点i的隐藏状态，是第t-1次迭代时节点k的隐藏状态，k是知识图谱中的节点总数，ei是一个表示节点i其相邻节点连接关系的矩阵。
[0027]
具体的，步骤s4具体为：
[0028]
s401、将知识表征z
kg
与初始音频表征za输入se模块中，通过se模块给知识表征z
kg
与初始音频表征za分配不同的注意力权重，自适应确定特征；随后将加权后的特征进行连接，得到音频表征f；
[0029]
s402、将步骤s401得到的音频表征f输入音乐流派分类模型进行流派分类。
[0030]
进一步的，步骤s402中，使用交叉熵损失训练音乐流派分类模型，交叉熵损失l为：
[0031][0032]
其中，是预测流派标签，是真实标签，n是输入的音频样本总数。
[0033]
第二方面，本发明实施例提供了一种融合知识图谱的音乐流派分类系统，包括：
[0034]
学习模块，将音频数据转化为梅尔谱图，将梅尔谱图输入音频特征提取网络学习音频表征，同时在音频特征提取网络的最后添加一个线性层获得对每种流派的预测分数；
[0035]
构建模块，构建与流派相关的知识图谱；
[0036]
表征模块，使用学习模块得到的每种流派的预测分数对构建模块构建的知识图谱中的流派节点进行初始化，然后使用图神经网络学习每个流派节点的特征向量，并将所有特征向量串联获得最终的知识表征；
[0037]
分类模块，使用se模块给学习模块得到的音频表征和表征模块得到的知识表征分配不同的注意力权重，然后对加权后的表征进行拼接获得增强后的音频表征；将增强后的音频表征输入全连接层构成音乐流派分类模型，实现音乐流派分类。
[0038]
与现有技术相比，本发明至少具有以下有益效果：
[0039]
本发明一种融合知识图谱的音乐流派分类方法，使用fma-medium数据集中提供的元数据(即流派、艺术家和乐器)构建了一个与音乐流派相关的知识图谱，利用ggnn从图谱中学习不同流派之间的相关性，并将学到的知识与音频表征进行融合，以增强音频表征。
[0040]
进一步的，为了获得初始音频表征，需要对音频表征学习网络进行预训练，为了让知识图谱可以针对性的指导音频表征的学习，需要在音频表征学习网络后加入一个线性层以获得每段音频对各流派的预测分数，使用这些预测分数对知识图谱进行初始化。
[0041]
进一步的，主干网络f(.)选择较为成熟的分类网络inception-resnet-v2的架构，此网络将inception块与残差网络(resnet)结合，在具有较低计算损耗的同时还具有较快的训练速度，可以有效的提高音乐流派分类性能。
[0042]
进一步的，为了使图谱更好的增强音频表征，需要构建一个包含音乐流派及其相关信息的知识图谱实体集v包含g+a+i个与识别音乐流派相关的元素，其中g代表音乐流派的数量，a代表艺术家的数量，i代表乐器的数量；边集e在知识图谱中代表连接各个实体之间的边的集合，用于表示各个实体之间的相关关系。
[0043]
进一步的，为了更方便的将知识图谱输入到ggnn网络，需要将知识图谱中的边集e表示为矩阵的形式，没有直接连接的实体间关系用零矩阵表示，连接两个实体的边在矩阵对应位置上的值为两个实体之间的相关概率。
[0044]
进一步的，为了让知识图谱可以针对性的指导音频表征的学习，需要使用每段音频对各流派的预测分数对流派节点g进行初始化，为了使每个节点都具有输入特征xv，需要对剩余的艺术家节点a和乐器节点i使用零向量初始化。
[0045]
进一步的，使用ggnn网络迭代更新节点特征来学习知识图谱的特征。
[0046]
进一步的，使用se模块将给初始音频表征和知识表征分配不同的注意力权重，自适应确定哪个特征对整个模型更有利，将融合后的音频表征输入到全连接层进行音乐流派分类，从而提高流派分类的准确率。
[0047]
进一步的，为了更好的控制学习速率，选择使用交叉熵损失l来训练音乐流派分类模型，同时可以避免训练过程中出现梯度弥散。
[0048]
可以理解的是，上述第二方面至第三方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
[0049]
综上所述，本发明构建了一个与音乐流派相关的知识图谱，将其中的信息以结构化的形式输入到ggnn网络中来学习不同流派之间的相关性，并通过预训练获得每个音频对应各流派的预测分数来初始化知识图谱的节点，从而针对性的增强音频表征，最终使用增强后的音频表征获得更高的音乐流派分类性能。
[0050]
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
[0051]
图1为本发明系统框架图；
[0052]
图2为本发明知识图谱示意图；
[0053]
图3为与其他流派分类方法对比图；
[0054]
图4为有无知识图谱效果对比图。
具体实施方式
[0055]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0056]
在本发明的描述中，需要理解的是，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0057]
还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
[0058]
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
[0059]
应当理解，尽管在本发明实施例中可能采用术语第一、第二、第三等来描述预设范围等，但这些预设范围不应限于这些术语。这些术语仅用来将预设范围彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一预设范围也可以被称为第二预设范围，类似地，第二预设范围也可以被称为第一预设范围。
[0060]
取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
[0061]
在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
[0062]
本发明提供了一种融合知识图谱的音乐流派分类方法，首先将音频数据转化为梅尔谱图，将其输入到音频特征提取网络学习音频表征，同时在音频特征提取网络的最后添加一个线性层获得对每种流派的预测分数，用于初始化知识图谱中的流派节点；为了获取各流派之间的关系，本发明使用公开音频数据集中的元数据构建一个与流派相关的音乐知识图谱，并使用图神经网络学习图谱的知识表征；使用该知识表征进一步增强初始音频表征，并将其用于流派分类任务。本发明充分利用了从知识图谱中学习到的不同流派之间的相关性，增强了音频表征，从而提高了音乐流派分类的准确率，具有广泛的应用前景。
[0063]
请参阅图1，本发明一种融合知识图谱的音乐流派分类方法，包括以下步骤：
[0064]
s1、从数据集中获取音乐的音频数据，对音频进行裁剪并转化为梅尔谱图；然后将得到的梅尔谱图输入音频特征提取网络学习音频表征；同时在音频特征提取网络的最后添加一个线性层获得对每种流派的预测分数，用于初始化知识图谱的流派节点；
[0065]
请参阅图1左下方部分，音频表征表征模块具体为：
[0066]
s101、音频数据选择开源音乐数据集fma的子集fma-medium，该子集包含25,000首时长为30秒的曲目，分别属于16个不平衡流派；将每段输入的音频χ裁剪成30个时长为1秒的不重叠片段，并使用librosa库将裁剪后的音频样本转换为128维的梅尔谱图，获得其时频表示s；
[0067]
s102、将预处理后的音频数据输入缩小了层数的inception-resnet-v2网络f(.)学习音频表征za，在降低计算复杂度的情况下获得了音频的多尺度特征；
[0068]
s103、在inception-resnet-v2后添加一个线性层g(.)，通过对网络g
○
f进行预训练获得向量zs，它表示网络对每种流派的预测分数，zs的维数等于流派数量，即16维；该模型使用adam优化器进行训练，学习率设置为0.001。
[0069]
s2、使用数据集中的元数据构建与流派相关的知识图谱，用来表示各个流派之间的关系；
[0070]
请参阅图2，图中展示了部分知识图谱的可视化结果。构建音乐流派知识图谱来表示流派之间的关系，包含实体集和边集。
[0071]
实体集v包含g+a+i个元素，其中g代表音乐流派的数量，a代表艺术家的数量，i代表乐器的数量。边集e在知识图谱中指的是连接各个实体之间的边的集合，在本发明所构建的知识图谱中有两种类型。
[0072]
一种边是连接艺术家和音乐流派，表示一个艺术家拥有某一特定音乐流派歌曲的可能性，该概率可以用统计学方法进行计算，表示为pg×a。
[0073]
计算公式具体为：
[0074]
[0075]
其中，i为一个艺术家，j为一个流派，ni是艺术家i拥有的所有歌曲的数量，是这些歌曲中属于流派j的数量。
[0076]
另一种边连接乐器和音乐流派，表示某一乐器演奏的歌曲属于某一流派的概率，该概率可以从openmic-2018数据集中获得，表示为pg×i。
[0077]
知识图谱中的边集e表示为：
[0078][0079]
其中，当两个节点之间不存在连接时，它们之间的边表示为零矩阵，例如0g×g或0a×i。
[0080]
s3、使用步骤s1中获得的各流派预测分数对步骤s2构建的知识图谱中的流派节点进行初始化，然后使用图神经网络学习每个节点的特征向量，并将所有特征向量都串联在一起获得最终的知识表征；
[0081]
首先使用预训练网络获得的各流派预测分数对知识图谱中的流派节点进行初始化，然后使用ggnn网络学习每个节点的特征向量，并将所有特征向量都串联在一起获得最终的知识表征z
kg
，最终输出的知识表征维数为1536维；请参阅图1右下方部分，知识表征表征模块具体为：
[0082]
s301、使用零向量初始化艺术家节点a和乐器节点i，使用预测分数zs初始化对应的流派节点g。分数zs是通过预训练网络获得的，在这里可以表示为：
[0083]
zs＝{s1，s2，...，sg}
[0084]
进一步的，初始化之后每个节点的输入特征可以表示为：
[0085][0086]
其中，0
g-1
和0
a+i
分别代表维度为g-1和a+i的零向量；
[0087]
s302、使用ggnn网络学习知识图谱的表征z
kg
。
[0088]
ggnn是一种递归神经网络结构，通过迭代更新节点特征来学习任意图结构数据的特征。
[0089]
进一步的，在一次迭代t时，节点i的隐藏状态hi由它的最后状态和从其邻居传播的消息决定，表示为：
[0090][0091][0092]
其中，ei是一个表示节点i其相邻节点连接关系的矩阵。
[0093]
经过t次迭代后，这里的迭代次数t设置为5，消息将在整个图中传播，获得所有节点的最终隐藏状态；最后的线性层将输出每个节点的最终特征，将这些特征拼接起来就可以获得整个知识图谱的表征z
kg
。
[0094]
s4、使用se(squeeze and excitation)模块给步骤s1中获得的音频表征和步骤s3中获得的知识表征分配不同的注意力权重，然后对加权后的表征进行拼接获得增强后的音
频表征；将增强后的音频表征输入全连接层进行流派分类。
[0095]
请参阅图1上半部分，流派分类融合模块具体为：
[0096]
s401、将知识表征z
kg
与初始音频表征za一起输入到se(squeeze and excitation)模块中，se模块将给这两个表征分配不同的注意力权重，自适应确定哪个特征对整个模型有利；然后将加权后的特征进行连接，得到最终的增强了的音频表征f，表示为：
[0097][0098]
其中，wa和w
kg
分别表示se块给初始音频表征za和知识表征z
kg
赋予的注意力权重；
[0099]
s402、将增强后的音频表征f输入一个全连接(fc)层进行流派分类。使用交叉熵损失来训练模型。
[0100]
损失函数定义为：
[0101][0102]
其中，是预测流派标签，是真实标签。
[0103]
本发明再一个实施例中，提供一种融合知识图谱的音乐流派分类系统，该系统能够用于实现上述融合知识图谱的音乐流派分类方法，具体的，该融合知识图谱的音乐流派分类系统包括学习模块、构建模块、表征模块以及分类模块。
[0104]
其中，学习模块，将音频数据转化为梅尔谱图，将梅尔谱图输入音频特征提取网络学习音频表征，同时在音频特征提取网络的最后添加一个线性层获得对每种流派的预测分数；
[0105]
构建模块，构建与流派相关的知识图谱；
[0106]
表征模块，使用学习模块得到的每种流派的预测分数对构建模块构建的知识图谱中的流派节点进行初始化，然后使用图神经网络学习每个流派节点的特征向量，并将所有特征向量串联获得最终的知识表征；
[0107]
分类模块，使用se模块给学习模块得到的音频表征和表征模块得到的知识表征分配不同的注意力权重，然后对加权后的表征进行拼接获得增强后的音频表征；将增强后的音频表征输入全连接层构成音乐流派分类模型，实现音乐流派分类。
[0108]
本发明再一个实施例中，提供了一种终端设备，该终端设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor、dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行一条或一条以上指令从而实现相应方法流程或相应功能；本发明实施例所述的处理器可以用于融合知识图谱的音乐流派分类方法的操作，包括：
[0109]
将音频数据转化为梅尔谱图，将梅尔谱图输入音频特征提取网络学习音频表征，同时在音频特征提取网络的最后添加一个线性层获得对每种流派的预测分数；构建与流派
相关的知识图谱；使用每种流派的预测分数对知识图谱中的流派节点进行初始化，然后使用图神经网络学习每个流派节点的特征向量，并将所有特征向量串联获得最终的知识表征；使用se模块给音频表征和知识表征分配不同的注意力权重，然后对加权后的表征进行拼接获得增强后的音频表征；将增强后的音频表征输入全连接层构成音乐流派分类模型，实现音乐流派分类。
[0110]
本发明再一个实施例中，本发明还提供了一种存储介质，具体为计算机可读存储介质(memory)，所述计算机可读存储介质是终端设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括终端设备中的内置存储介质，当然也可以包括终端设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速ram存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。
[0111]
可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中有关融合知识图谱的音乐流派分类方法的相应步骤；计算机可读存储介质中的一条或一条以上指令由处理器加载并执行如下步骤：
[0112]
将音频数据转化为梅尔谱图，将梅尔谱图输入音频特征提取网络学习音频表征，同时在音频特征提取网络的最后添加一个线性层获得对每种流派的预测分数；构建与流派相关的知识图谱；使用每种流派的预测分数对知识图谱中的流派节点进行初始化，然后使用图神经网络学习每个流派节点的特征向量，并将所有特征向量串联获得最终的知识表征；使用se模块给音频表征和知识表征分配不同的注意力权重，然后对加权后的表征进行拼接获得增强后的音频表征；将增强后的音频表征输入全连接层构成音乐流派分类模型，实现音乐流派分类。
[0113]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0114]
本发明遵循fma-medium数据集的设置，使用80％的数据进行模型训练，10％用于验证，剩下的10％用于测试；为了得到更好的预测结果，在测试期间，本发明对一个音频的30个1秒剪辑片段的softmax结果取平均值，以得到最终的预测结果。
[0115]
请参阅图3，为了证明本发明对流派分类准确率的提高，将其与其他相关工作进行比较，准确率达到了68.07％的精度，超过了之前所有最先进的方法；roc-auc和pr-auc分别为0.883和0.471，分别比clmr系统高0.5％和14.6％。这些结果很好地展示了本发明与现有方法相比的有效性。
[0116]
本发明还验证了知识图谱对音频特征表示学习的贡献：
[0117]
请参阅图4，在本发明的框架中有知识图谱引导的音频特征学习所得到的流派分
类准确率提高了3％，而使用本发明中的知识图谱增强其他两种基线网络中的音频表示所得到的流派分类准确率分别提高了2.3％和9.34％。
[0118]
以上结果表明，本发明框架支持使用知识图谱引导音频表示学习，这种方法可以促进细粒度的流派分类。
[0119]
综上所述，本发明一种融合知识图谱的音乐流派分类方法及系统，利用知识图谱指导音频表征学习，且无需为每段音频获取对应的额外信息，节省了大量用于数据获取与处理的人力和时间成本；本发明利用增强后的音频表征对音乐流派进行分类，充分利用了从知识图谱中学习到的不同流派之间的相关性，增强了音频表征，从而提高了音乐流派分类的准确率，具有广泛的应用前景。
[0120]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0121]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0122]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0123]
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
[0124]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0125]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0126]
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施
例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(read-only memory，rom)、随机存取存储器(randomaccess memory，ram)、电载波信号、电信信号以及软件分发介质等，需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
[0127]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0128]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0129]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0130]
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。