韵律标注方法及系统与流程

1.本发明涉及智能语音领域，尤其涉及一种韵律标注方法及系统。


背景技术：

2.为了让智能语音交互更加人性化，通常会在与用户沟通的音频中加入 韵律，通过调整韵律使对话更具有抑扬顿挫，表达出语言的情感。
3.通常可以在tts(text to speech，文本到语音)的基础模块上增加 韵律空间的建模。与韵律控制有关的工作或使用vae(variationalauto-encoder，变分自编码器)从一个隐空间中采样获得韵律，或用额外 的参数控制某些和基频、能量等韵律特征有关的量。在韵律建模上则大多 以提升自然度、多样性为目标，大多使用显式的韵律特征。从而得到带有 韵律的语音。
4.在实现本发明过程中，发明人发现相关技术中至少存在如下问题：
5.显式的韵律特征并不能非常充分地表示韵律空间，而且其控制起来比 较繁琐；隐式的韵律空间则更加难以控制，因为其为连续空间，缺乏解释 性。此外，大多数相关工作都在音素层面进行，虽然比较方便，但是并不 符合人自然说话时的原理，使得生成的带有韵律的语音不够人性化。


技术实现要素：

6.为了至少解决现有技术中生成的带有韵律的语音不够人性化的问题。
7.第一方面，本发明实施例提供一种韵律标注方法，包括：
8.从训练语音数据中提取词级韵律表达，利用所述词级韵律表达对所述 语音进行重构，得到带有词级韵律表达的重构语音；
9.对所述重构语音按照词的文本信息进行第一聚类；
10.对所述第一聚类的结果按照韵律进行无监督的第二聚类，得到每个单 词的无监督韵律标注。
11.第二方面，本发明实施例提供一种基于韵律标注的文本转语音方法， 包括：
12.将文本输入至文本转语音模型，对所述文本转语音模型确定的音素序 列进行基于词的文本信息的第一聚类和基于韵律的第二聚类，得到所述文 本中每个单词的无监督韵律标注；
13.至少利用所述每个单词的无监督韵律标注对所述素序列进行韵律合 成，得到带有韵律的语音。
14.第三方面，本发明实施例提供一种韵律标注系统，包括：
15.语音重构程序模块，用于从训练语音数据中提取词级韵律表达，利用 所述词级韵律表达对所述语音进行重构，得到带有词级韵律表达的重构语 音；
16.聚类程序模块，用于对所述重构语音按照词的文本信息进行第一聚 类；
17.韵律标注程序模块，用于对所述第一聚类的结果按照韵律进行无监督 的第二聚
类，得到每个单词的无监督韵律标注。
18.第四方面，本发明实施例提供一种基于韵律标注的文本转语音系统， 包括：
19.无监督韵律标注程序模块，用于将文本输入至文本转语音模型，对所 述文本转语音模型确定的音素序列进行基于词的文本信息的第一聚类和 基于韵律的第二聚类，得到所述文本中每个单词的无监督韵律标注；
20.语音合成程序模块，用于至少利用所述每个单词的无监督韵律标注对 所述素序列进行韵律合成，得到带有韵律的语音。
21.第五方面，提供一种电子设备，其包括：至少一个处理器，以及与所 述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述 至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使 所述至少一个处理器能够执行本发明任一实施例的韵律标注方法的步骤。
22.第六方面，本发明实施例提供一种存储介质，其上存储有计算机程序， 其特征在于，该程序被处理器执行时实现本发明任一实施例的韵律标注方 法的步骤。
23.本发明实施例的有益效果在于：选择在词级别做韵律的建模和控制，而 词又含有丰富的语义信息，因此可以很好地和上下文做关联。并且，可以标 注出具有多样性的韵律，又具有可解释性、良好的控制能力以及高度可扩展 性，达到更人性化的韵律标注。使tts合成的语音具有更丰富的韵律，提升 用户的交互体验。
附图说明
24.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下 面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在 不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
25.图1是本发明一实施例提供的一种韵律标注方法的流程图；
26.图2是本发明一实施例提供的一种韵律标注方法的韵律提取与标注系 统体系结构图；
27.图3是本发明一实施例提供的一种基于韵律标注的文本转语音方法的 流程图；
28.图4是本发明一实施例提供的一种基于韵律标注的文本转语音方法的 训练和推理阶段的韵律控制模型结构图；
29.图5是本发明一实施例提供的一种基于韵律标注的文本转语音方法的 叶的对数似然曲线示意图；
30.图6是本发明一实施例提供的一种基于韵律标注的文本转语音方法的 自然性的主观评价示意图；
31.图7是本发明一实施例提供的一种基于韵律标注的文本转语音方法的 人工指定韵律的合成语音示意图；
32.图8是本发明一实施例提供的一种基于韵律标注的文本转语音方法的 gt标签与控制标签的梅尔倒谱失真示意图；
33.图9是本发明一实施例提供的一种基于韵律标注的文本转语音方法的 可控性的主观评价示意图；
model， 高斯混合模型)分别对韵律进行聚类。
48.所述对所述重构语音按照词的文本信息进行第一聚类包括：对所述重 构语音按照词的文本信息进行基于决策树的第一聚类。在本实施方式中， 第一聚类为第一阶段的决策树聚类。
49.受asr(automatic speech recognition，自动语音识别技术)中的hmm (hidden markov model，隐马尔科夫模型)状态绑定技术的启发，构造了 一个二叉决策树用于单词聚类，其中包含一组关于其语音内容的问题q， 其中，根中的所有单词都被聚类到l个叶节点中。为此，根据预设专业知 识设计了39个问题，例如“单词的音素是否大于4”“这个单词的第一 个音素是
‘
m’还是
‘n’”
以及“这个单词是否以闭音节结尾”。
50.决策树中的每个节点都包含一组词，这些词的韵律嵌入可以用高斯分 布建模，对数似然可以表示为：
[0051][0052]
i是节点索引、ε(i)是与节点i中的单词对应的所有韵律嵌入的集合， 每个非叶节点i与问题q相关，该问题q将节点中的单词划分为其左或右 子级，从而导致韵律嵌入的对数可能性增加：
[0053]
δqll(i)＝ll
(i’s left child under q)
+ll
(i’s right child under q)
+ll(i)[0054]
初始树只包含根节点，也是叶节点。然后，递归地执行以下步骤：找 到使所有叶节点的对数似然增加最大化的问题，并选择一个叶节点j，其 增加在所有叶节点上最大，即：
[0055][0056]
并将选取的节点用相应的问题进行分割。这个过程持续下去，直到对 数可能性的增加小于阈值。从而得到决策树的拓扑结构。在本方法中，如 图2的(b)所示，叶片l的数量为10，其索引用a到j的字母表示。
[0057]
上述步骤通俗的说，就是先设定一个问题集，此集合中的问题全是与 词的文本信息有关，如“开头是否为辅音”“是否包含iy1这个音素”“单 词的音素是否大于4”等等。用一棵决策树，基于将数据的总似然获得最 大的提升这个准则，在第一聚类迭代地将数据聚成10类(叶节点)(随 着问题集的修改对应聚类的数量也会发生变化，聚类的数量在此不做限 定)。
[0058]
对于步骤s13，第二阶段可以使用进行高斯混合聚类。由神经网络提 取的词级韵律嵌入包含词的韵律信息和语音内容。然而，决策树仅根据语 音内容的问题将单词聚类成l个叶节点，因此假设单词在叶节点中的韵律 嵌入仅在韵律上不同，在语音内容上相似。因此，叶节点内的聚类由韵律 控制，而不是语音内容。
[0059]
进而分别对每个叶节点i中的韵律嵌入执行基于gmm的聚类：
[0060][0061]
其中k是高斯成分指数，m是成分数。每个词的韵律都用高斯成分的 索引进行标
记，该索引使其韵律嵌入e的后验概率最大化：
[0062][0063]
在上述步骤中代表叶节点i中第k个高斯分量的均值向量，代 表此节点中第k个高斯分量的协方差矩阵，代表此节点中第k个高斯分 量的权重。具体的，m可以设置为5，因此高斯分量id的范围为0到4。 因此，训练集中的所有单词都被标记为m*l＝5*10＝50韵律标记，这也 就是每个词的韵律标注，这是10个叶子id和5个高斯分量id的组合。如 图2的(b)所示，韵律标记从a0到j4。上述的韵律提取和标记是完全无 监督的，其中仅使用音频信息。此外，标签系统是由数据和知识共同驱动 的。
[0064]
通过该实施方式可以看出，选择在词级别做韵律的建模和控制，而词又 含有丰富的语义信息，因此可以很好地和上下文做关联。并且，可以标注出 具有多样性的韵律，又具有可解释性、良好的控制能力以及高度可扩展性， 达到更人性化的韵律标注。
[0065]
如图3所示为本发明一实施例提供的一种基于韵律标注的文本转语音方 法的流程图，包括如下步骤：
[0066]
s21：将文本输入至文本转语音模型，对所述文本转语音模型确定的音素 序列进行基于词的文本信息的第一聚类和基于韵律的第二聚类，得到所述文 本中每个单词的无监督韵律标注；
[0067]
s22：至少利用所述每个单词的无监督韵律标注对所述素序列进行韵律合 成，得到带有韵律的语音。
[0068]
在本实施方式中，由于得到每个词的无监督韵律标注，可以将其应用于 文本转语音任务中，进行带韵律标注的语音韵律控制。
[0069]
对于步骤s21，训练了一个tts模型，该模型带有派生的单词级韵律标 记，如图4所示。在训练阶段，tts模型将确定的音素序列引导至韵律标记 预测器中，在推理阶段，韵律标记可以由韵律预测器从输入文本中预测。也 就是上文所述的韵律标注部分，得到每个单词的无监督韵律标注。
[0070]
对于步骤s22，从而利用所述每个单词的无监督韵律标注对所述素序列 进行韵律合成，得到带有韵律的语音。作为一种实施方式，考虑到更人性化 的设计，为用户提供可输入的手动指定韵律标注对所述素序列进行韵律合成， 得到更贴合用户期望的带由韵律的语音。
[0071]
具体的，图4中所示，(a)表示这个步骤中的训练流程，(b)表示训练结束 之后在合成阶段的流程图。在合成阶段，即可以依据上下文去让模型自动预 测韵律标注，也可以对任意词手动指定标注，输入到tts模型里去合成想要 的韵律。韵律预测器根据每个单词对应的音素隐藏状态(即编码器输出序列 h)预测每个单词的韵律标记。韵律预测器包含一个bi-gru(bi-directional gated recurrent unit，双向选通循环单元)，将音素隐藏状态转换为每个单词 的向量、两个卷积块和一个softmax层。这里的卷积块由一个1d卷积层、一 个relu激活层、一个归一化层和一个随机失活层组成。该预测器通过交叉 熵损失l
pp
和韵律标签进行优化。因此，模型培训的总体损失定义为：
[0072]
[0073]
其中l
fastspeech2
是fastspeech2的文本转语音模型损失，α是这两个项之间 的相对权重。
[0074]
通过该实施方式可以看出，基于可以确定的多样性、可解释性、良好控 制能力的韵律标注应用到tts中，使得tts合成的语音具有更丰富的韵律， 提升用户的交互体验。
[0075]
对本方法进行试验说明，本方法使用ljspeech，这是一个包含实验24 小时录音的单发言者数据集。242句话被留出作为测试集。所有的声音都被 降采样到16khz。使用800点窗口长度、200点帧移、1024个fft点和320 个mel-bins进行特征提取。音素对齐是通过在librispeech(一种数据集)上训 练的hmm-gmm asr模型得到的，其中，gmm(gaussian mixture model， 高斯混合模型)。在这个工作中使用的声码器是melgan。系数α设为1.0。 韵律嵌入是128维的。
[0076]
确定决策树在韵律标签中的表现，本方法在图5中展示了决策树生长 时，每个叶节点的平均韵律嵌入数曲线和所有叶节点∑
i∈leaf nodes
ll(i)的整体 韵律嵌入对数似然曲线。随着叶节点数的增加，每个叶节点的平均韵律嵌 入数减少，而韵律嵌入的总体对数似然数增加。考虑到性能和复杂性，当 叶子数量达到10时，停止树的生长。
[0077]
确定预测韵律的自然性，使用派生的词级韵律标记训练带有韵律预测 器的tts模型。在推理阶段，词级韵律可以由韵律预测器从输入文本中预 测，也可以手动指定。在这一部分中，合成了韵律被预测和采样的测试集。 然后，用穆什拉(mushra)测试来评估自然度，其中30名听者被要求 对每一个话语在0到100之间进行评分。将本方法的模型与两个基线进行 比较：典型的fastspeech2模型原始raw_fsp和tts模型，其中音素级韵 律采用混合密度网络plp_mdn进行建模。此外，录音的真实mel谱图由 声码器重建，然后在听力测试中作为gt提供。结果如图6所示。可以观 察到，由于词级韵律建模，本方法提出的系统在自然度方面优于其他两种 模型。然而，wlp样本仍然比gt稍差。
[0078]
其中，gt指真实录音(ground truth)。实验中，为确保听音者不被 音质影响，gt样本实际上是从真实录音提取mel谱后，用melgan反合 成的音频。raw_fsp指原始不带有韵律建模的fastspeech2模型合成的音 频，plp_mdn(phone-level prosody mixture density network)指用音素级别 的混合密度网络作为韵律建模的模型合成的音频。wlp_predict(word-levelprosody,predicted)即在本方法中，完全通过prosody predictor预测韵律并 合成的音频。
[0079]
为了评估本方法的tts模型的词级韵律可控性，首先使用所提出的韵 律标记系统为测试集标记基础真实词韵律。然后，对测试集进行5次合成， 其中叶d中的单词的韵律标记分别被手动指定为d0到d4，而其他单词的 韵律标记则被预测和采样。图7显示了一个示例，其中黄色虚线之间的“责 任”一词分别由d0至d4手动控制。可以观察到，单词的5个韵律都是不 同的，显示了韵律标记的可控性。
[0080]
另外，需要确认相同的韵律标签导致相似的韵律。因此，本方法对测 试集中的叶子d中的所有单词，评估录音与使用不同指定韵律标签的合成 语音之间的韵律相似度。理论上，当指定的韵律标签等于基准韵律标签时， 合成语音中的词韵律应该与录音最相似。
[0081]
本方法分别从客观和主观两方面对韵律相似度进行评价。首先计算所 有带有基准韵律标签dt的单词的平均mel倒失真(mcd)，其中t的范围为 0到4之间的录音和具有特定韵律标签的合成语音。结果见如图8所示。 可以发现所有对角线值在其列值中都是最低的，
这说明在合成语音中，相 同的韵律标签会产生相似的韵律，用于控制的标签也能较好地展现出此标 签在训练集上具有的韵律特征。
[0082]
同时，评估相似韵律与主观听力测试30听众提供的记录和合成语音 具有不同韵律标签为每个组和要求选择相应的合成语音的韵律词是最类 似于录音。选择的比例在图9中以混淆矩阵的形式描述。与客观评价结果 相似，具有相同韵律标签的合成语音与基准的比例，即对角线值在其列中 最高，进一步验证了韵律标签的可控性。
[0083]
总的来说，本方法提出了一种新的无监督词级韵律标注方法，分两个 阶段，首先根据单词的语音内容用决策树将单词分为不同的类型，然后在 每种类型的单词中分别使用gmm对韵律进行聚类。此外，一个带有派生 词级韵律标签的tts系统被训练用于可控语音合成，其中韵律可以从输入 文本预测，也可以手动指定。在ljspeech上的实验表明，本方法模型比 具有预测韵律的典型fastspeech2模型获得了更好的自然度。此外，对韵 律可控性的主客观评价表明，通过指定词级韵律标记可以有效地控制韵 律。
[0084]
如图10所示为本发明一实施例提供的一种韵律标注系统的结构示意图， 该系统可执行上述任意实施例所述的韵律标注方法，并配置在终端中。
[0085]
本实施例提供的一种韵律标注系统10包括：语音重构程序模块11，聚 类程序模块12和韵律标注程序模块13。
[0086]
其中，语音重构程序模块11用于从训练语音数据中提取词级韵律表 达，利用所述词级韵律表达对所述语音进行重构，得到带有词级韵律表达 的重构语音；聚类程序模块12用于对所述重构语音按照词的文本信息进 行第一聚类；韵律标注程序模块13用于对所述第一聚类的结果按照韵律 进行无监督的第二聚类，得到每个单词的无监督韵律标注。
[0087]
进一步地，所述语音重构程序模块用于：
[0088]
预先构建基于fastspeech2的文本转语音模型以及韵律提取器；
[0089]
将所述训练语音数据输入至所述文本转语音模型，利用所述文本转语 音模型的编码器确定所述训练语音数据的音素序列；
[0090]
通过所述韵律提取器从所述训练语音数据的梅尔频谱中提取每个单 词的词级韵律表达，利用所述词级韵律表达对所述音素序列进行重构，得 到带有词级韵律表达的重构语音。
[0091]
本发明实施例还提供了一种非易失性计算机存储介质，计算机存储介 质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实 施例中的韵律标注方法；
[0092]
作为一种实施方式，本发明的非易失性计算机存储介质存储有计算机 可执行指令，计算机可执行指令设置为：
[0093]
从训练语音数据中提取词级韵律表达，利用所述词级韵律表达对所述 语音进行重构，得到带有词级韵律表达的重构语音；
[0094]
对所述重构语音按照词的文本信息进行第一聚类；
[0095]
对所述第一聚类的结果按照韵律进行无监督的第二聚类，得到每个单 词的无监督韵律标注。
[0096]
如图11所示为本发明一实施例提供的一种基于韵律标注的文本转语音 系统的结构示意图，该系统可执行上述任意实施例所述的基于韵律标注的文 本转语音方法，并配置在终端中。
[0097]
本实施例提供的一种韵律标注系统20包括：无监督韵律标注程序模块 21，语音合成程序模块22。
[0098]
其中，无监督韵律标注程序模块21用于将文本输入至文本转语音模 型，对所述文本转语音模型确定的音素序列进行基于词的文本信息的第一 聚类和基于韵律的第二聚类，得到所述文本中每个单词的无监督韵律标 注；语音合成程序模块22用于至少利用所述每个单词的无监督韵律标注 对所述素序列进行韵律合成，得到带有韵律的语音。
[0099]
进一步地，所述语音合成程序模块还用于：
[0100]
利用所述每个单词的无监督韵律标注以及输入的手动指定韵律标注 对所述素序列进行韵律合成，得到带有韵律的语音。
[0101]
本发明实施例还提供了一种非易失性计算机存储介质，计算机存储介 质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实 施例中的基于韵律标注的文本转语音方法；
[0102]
作为一种实施方式，本发明的非易失性计算机存储介质存储有计算机 可执行指令，计算机可执行指令设置为：
[0103]
将文本输入至文本转语音模型，对所述文本转语音模型确定的音素序 列进行基于词的文本信息的第一聚类和基于韵律的第二聚类，得到所述文 本中每个单词的无监督韵律标注；
[0104]
至少利用所述每个单词的无监督韵律标注对所述素序列进行韵律合 成，得到带有韵律的语音。
[0105]
作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程 序、非易失性计算机可执行程序以及模块，如本发明实施例中的方法对应 的程序指令/模块。一个或者多个程序指令存储在非易失性计算机可读存储 介质中，当被处理器执行时，执行上述任意方法实施例中的韵律标注方法 和基于韵律标注的文本转语音方法。
[0106]
图12是本技术另一实施例提供的韵律标注方法和基于韵律标注的文 本转语音方法的电子设备的硬件结构示意图，如图12所示，该设备包括：
[0107]
一个或多个处理器1210以及存储器1220，图12中以一个处理器1210 为例。韵律标注方法和基于韵律标注的文本转语音方法的设备还可以包 括：输入装置1230和输出装置1240。
[0108]
处理器1210、存储器1220、输入装置1230和输出装置1240可以通 过总线或者其他方式连接，图12中以通过总线连接为例。
[0109]
存储器1220作为一种非易失性计算机可读存储介质，可用于存储非 易失性软件程序、非易失性计算机可执行程序以及模块，如本技术实施例 中的韵律标注方法和基于韵律标注的文本转语音方法对应的程序指令/模 块。处理器1210通过运行存储在存储器1220中的非易失性软件程序、指 令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述 方法实施例韵律标注方法和基于韵律标注的文本转语音方法。
[0110]
存储器1220可以包括存储程序区和存储数据区，其中，存储程序区 可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储数 据等。此外，存储器1220可以包括高速随机存取存储器，还可以包括非 易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性 固态存储器件。在一些实施例中，存储器1220可选包括相对于处理
器1210 远程设置的存储器，这些远程存储器可以通过网络连接至移动装置。上述 网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其 组合。
[0111]
输入装置1230可接收输入的数字或字符信息。输出装置1240可包括 显示屏等显示设备。
[0112]
所述一个或者多个模块存储在所述存储器1220中，当被所述一个或 者多个处理器1210执行时，执行上述任意方法实施例中的韵律标注方法 和基于韵律标注的文本转语音方法。
[0113]
上述产品可执行本技术实施例所提供的方法，具备执行方法相应的功 能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本技术 实施例所提供的方法。
[0114]
非易失性计算机可读存储介质可以包括存储程序区和存储数据区，其 中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储 数据区可存储根据装置的使用所创建的数据等。此外，非易失性计算机可 读存储介质可以包括高速随机存取存储器，还可以包括非易失性存储器， 例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。 在一些实施例中，非易失性计算机可读存储介质可选包括相对于处理器远 程设置的存储器，这些远程存储器可以通过网络连接至装置。上述网络的 实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0115]
本发明实施例还提供一种电子设备，其包括：至少一个处理器，以及 与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被 所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行， 以使所述至少一个处理器能够执行本发明任一实施例的韵律标注方法和 基于韵律标注的文本转语音方法的步骤。
[0116]
本技术实施例的电子设备以多种形式存在，包括但不限于：
[0117]
(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供 话音、数据通信为主要目标。这类终端包括:智能手机、多媒体手机、功能 性手机，以及低端手机等。
[0118]
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算 和处理功能，一般也具备移动上网特性。这类终端包括:pda、mid和umpc 设备等，例如平板电脑。
[0119]
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备 包括:音频、视频播放器，掌上游戏机，电子书，以及智能玩具和便携式车 载导航设备。
[0120]
(4)其他具有数据处理功能的电子装置。
[0121]
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或 者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或 操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”， 不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括 为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况 下，由语句“包括
……”
限定的要素，并不排除在包括所述要素的过程、方 法、物品或者设备中还存在另外的相同要素。
[0122]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明 的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或 者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络 单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例 方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以 理解并实施。
[0123]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实 施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬 件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部 分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可 读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台 计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施 例或者实施例的某些部分所述的方法。
[0124]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其 限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术 人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或 者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技 术方案的本质脱离本发明各实施例技术方案的精神和范围。