确定汉语文本合成语音时韵律结构的方法及计算机可读存储介质

1.本发明涉及文语转换技术领域，尤其涉及一种确定汉语文本合成语音时韵律结构的方法及计算机存储介质。


背景技术：

2.文语转换(tts)技术已经广泛地应用到了语音助手、智能导航、电子书等产品中。对于基于表意文字的语言，比如汉语，在合成语音之前，前端文本分析是非常必要的，也就是把输入文本转化成对应的语言学特征。其中，韵律结构预测是必不可少的一部分，预测结果的好坏对于最终合成语音的韵律停顿效果有非常大的影响。
3.中文韵律结构层级如图1所示，一般分为三个层级，分别是韵律词、韵律短语和语调短语，它们是介于句子和汉字之间的三个逐级包含的韵律层级。韵律词由多个汉字组成，大于句法中的词典词，是一组在实际语流中联系密切的、经常在一起发音的字；韵律短语由多个韵律词组成，是介于韵律词和语调短语之间的中等节奏组块，组成韵律短语的几个韵律词听起来是公用一个节奏群；语调短语由多个韵律短语组成，就是将几个韵律短语按照一定的句调模式连接起来，对应于一个大的停顿；句子则由多个语调短语组成。
4.目前的韵律结构预测方案主要存在以下问题：韵律结构是一个树状的层级关系，现在的绝大多数方案都忽略了这种层级关系，而是将韵律结构的预测转化成三个层级的子任务，也就是拆分成分别对韵律词、韵律短语、语调短语预测的三个二分类任务，每一个子任务都采用等长的序列到序列的方法为每一个汉字或分词预测一个0或1的标签；现有技术的方案所采用的序列到序列的方法，需要分词、词性等额外特征作为输入，错误累积会对韵律结构预测的正确率造成影响，复杂的特征工程也不利于实际应用。
5.现有技术中缺乏一种有效的确定汉语文本合成语音时韵律结构的方法。
6.以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本技术的新颖性和创造性。


技术实现要素：

7.本发明为了解决现有的问题，提供一种确定汉语文本合成语音时韵律结构的方法及计算机存储介质。
8.为了解决上述问题，本发明采用的技术方案如下所述：
9.一种确定汉语文本合成语音时韵律结构的方法，包括如下步骤：s1：将每一句待合成的汉语文本输入到预先训练好的字级别的语义特征提取器中得到每一个字的语义表征向量；一句所述待合成的汉语文本是包含标点的汉字字符序列； s2：将每个字的所述语义表征向量输入到编码器中得到每个字的包含上下文关系的隐状态向量；s3：将所述隐状态向量输入到解码器中，所述解码器通过不同位置的所述隐状态向量的差值对每一个跨度进
行表征，基于跨度表征的方法对韵律结构树进行建模，采用动态规划的算法寻找最优的韵律结构树；s4：将得到所述最优的韵律结构树通过基于规则的格式转化得到最终的完整带有韵律结构标签的字符序列。
10.优选的，预先训练好的字级别的所述语义特征提取器是基于注意力机制和全连接网络的语义特征提取器bert。
11.优选的，所述编码器由多个transformer块构成，其中每一个块包含两个子层：一个是多头注意力机制层，另一个是全连接层；每一个子层都带了一个残差连接和层标准化；所述编码器根据输入的位置i和位置j处的字符xi和xj的所述语义表征向量分别得到对应位置的隐状态向量hi和hj。
12.优选的，一棵所述韵律结构树表示如下：
13.t:＝{(i
t
,j
t
,l
t
):t＝1,...,|t|}
14.其中，三元组(i,j,l)表示一个带有标签的跨度，其中i和j分别指的是跨度 span(i,j)的起始位置和结束位置，l指的是该跨度对应的标签，l∈l，这里的l 是指的广泛意义下的韵律结构标签集；对于一元链或嵌套的韵律成分，则会给一个嵌套的标签；span(i,j)的数据表征被定义为对应隐状态向量的差值： h
ij
＝h
i-hj。
15.优选的，每一个所述跨度进行表征，经过多层前馈神经网络定义每一个跨度 span(i,j)指定一个标签l所对应的分数s(i,j,l)：
16.s(i,j,l)＝[w2g(w1h
ij
+z1)+z2]
l
[0017]
其中，g是relu激活函数，w1、w2、z1、z2表示前馈神经网络的参数；
[0018]
对所有可能的所述韵律结构树t指定一个对应的得分s(t)：
[0019][0020]
具有最高得分的所述韵律结构树并认定为最优的韵律结构树。
[0021]
优选的，采用了一种cky风格的自底向上的动态规划算法寻找最优的所述韵律结构树，具体包括：通过不断地进行二分化来构建n元韵律结构树；在二分化过程中出现的但本身不是韵律结构成分的节点会给一个空标签并且满足如下性质：所有跨度的标签为空的得分都是零；定义s
best
(i,j)表示跨度span(i,j)的韵律结构树的最好得分，对于一般的跨度，每次分别独立地指定一个标签l∈l和选取一个最好的分隔点k(i＜k＜j)，然后对分隔后的左右子跨度分别重复上述递归过程，公式表示如下：
[0022][0023]
而对于长度为1的跨度，最好的得分就只依赖于标签l的选取：
[0024][0025]
为每一个长度为n的句子计算得到一个最好的得分s
best
(0,n)，也就是整个句子的最优树的得分；
[0026]
通过回溯整个寻找分隔点和指定标签的过程，重建出对应的这棵韵律结构树；在重建的过程中，被指定空标签的跨度被合并得到了一棵完整的n元树；
[0027]
整个算法的复杂度为o(n3+dn2)，其中d为韵律结构标签集l的大小。
[0028]
优选的，对于给定的真值树t
*
，使得预测的所有可能的韵律结构树t都满足如下间
隔限制：
[0029]
s(t
*
)≥s(t)+δ(t,t
*
)
[0030]
上述限制通过最小化下面的链条损失进行：
[0031][0032]
其中，δ是对于带标签的跨度的汉明损失。
[0033]
优选的，所述链条损失通过对解码阶段的动态规划算法进行微小的修正实现，即：把s(i,j,l)替换成其中，是跨度span(i,j)在真值树t
*
中的标签。
[0034]
优选的，将得到所述最优的韵律结构树通过基于规则的格式转化得到最终的完整所述带有韵律结构标签的字符序列包括：s41：将所述最优的韵律结构树的每一个韵律结构标签移动到对应的韵律层级成分后面，得到一个包含多层韵律结构标签的序列；s42：每一个韵律词后面的多层韵律标签进行合并，只保留最高层级的韵律结构标签，得到最终的完整所述带有韵律结构标签的字符序列。
[0035]
本发还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上任一所述方法的步骤。
[0036]
本发明的有益效果为：提供一种确定汉语文本合成语音时韵律结构的方法及计算机存储介质，通过特征提取器提取语义特征，编码器进一步建模上下文关系，解码器采用跨度对韵律结构树进行表征，通过动态规划的算法寻找最优的韵律结构树。基于规则的后处理则是将韵律结构树这种中间表征形式按照一定的规则转化成最终的韵律结构标签序列的形式；以统一的端到端的方法预测韵律结构标签，接受含有标点的字符序列作为输入，输出完整的带有韵律结构标签的字符序列，更加简洁方便。
[0037]
进一步地，采用基于跨度表征的方法对韵律结构树进行建模，采用动态规划的算法寻找最优的韵律结构树，依托于树结构统一了韵律词、韵律短语和语调短语这三个子任务，更好地考虑了三个韵律结构层级之间的包含关系，能大幅度地提高预测性能。
[0038]
在进一步地，本发明不需要分词、词性等信息作为额外的输入，避免了错误累积带来的影响，也避免了复杂的特征工程，更有利于实际应用。
附图说明
[0039]
图1是本发明实施例中中文韵律结构层级示意图。
[0040]
图2是本发明实施例中端到端韵律结构预测方案的示意图。
[0041]
图3是本发明实施例中一种确定汉语文本合成语音时韵律结构的方法的示意图。
[0042]
图4是本发明实施例中一种确定汉语文本合成语音时韵律结构的方法的实际应用场景。
[0043]
图5是本发明实施例中一种端到端的韵律结构预测模型的结构图。
[0044]
图6是本发明实施例中cky风格的动态规划算法寻找最优的韵律结构树的过程示意图。
[0045]
图7是本发明实施例中得到最终的完整带有韵律结构标签的字符序列的示意图。
[0046]
图8是本发明实施例中得到最终的完整带有韵律结构标签的字符序列的实例示意图。
具体实施方式
[0047]
为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0048]
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接既可以是用于固定作用也可以是用于电路连通作用。
[0049]
需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0050]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0051]
tts：text-to-speech，文语转换，又称语音合成，指将文字信息转换为标准流畅的读音。
[0052]
blstm：bi-directional long short-term memory，双向长短期记忆网络。是循环神经网络(recurrent neural network,rnn)的一种实现。
[0053]
crf：conditional random fields，条件随机场,是一种鉴别式机率模型，是随机场的一种。
[0054]
transformer:一个基于自注意力机制的模型。
[0055]
bert:bidirectional encoder representation from transformers，是一个预训练的语言表征模型。
[0056]
mtl：multi-task learning，多任务学习。
[0057]
cky：cocke
–
kasami
–
younger算法，是一种用来对上下文无关文法进行语法分析的算法。
[0058]
现有技术中绝大多数方法都不是统一的端到端模型，无法同时对三个层级的韵律结构标签进行预测，也就无法从输入的文本序列直接得到输出的带韵律结构标签的文本序列；韵律结构是一个树状的层级结构，现在的绝大多数方法都忽略了这种层级关系，而是将韵律结构的预测转化为三个层级的子任务，也就是拆分成分别对韵律词、韵律短语、语调短语预测的三个二分类任务；现有的方案都是采用的等长的序列到序列的方法，为每一个汉字或分词预测一个0或1的标签，会存在严重的数据标签不均衡的问题；这种序列到序列的方法，需要分词、词性等额外特征作为输入，错误累积会对韵律结构预测任务的性能造成很大影响，复杂的特征工程也不利于实际应用。
[0059]
针对以上问题，本发明提出了一种基于神经网络的端到端的韵律结构预测方案。
[0060]
如图2所示，本发明的方案由四部分组成：基于大量无监督数据进行预训练的语义特征提取器，进一步建模上下文关系的编码器，基于跨度表征和动态规划算法的解码器，基
于规则的后处理。它的输入是一个包含标点的汉字字符序列(一个句子)，输出是带有韵律结构标签的原字符序列。
[0061]
如图3所示，本技术提出一种确定汉语文本合成语音时韵律结构的方法，其特征在于，包括如下步骤：
[0062]
s1：将每一句待合成的汉语文本输入到预先训练好的字级别的语义特征提取器中得到每一个字的语义表征向量；一句所述待合成的汉语文本是包含标点的汉字字符序列；
[0063]
在本发明中，接受包含标点的字符序列(即一个句子)作为输入，不需要任何额外的特征提取。建立了一种端到端的韵律结构预测模型。
[0064]
进一步地，在本发明中借助大量的无标签数据进行预训练，促进语义特征提取器提取有效的语义特征，提高了语义特征提取器的性能。
[0065]
s2：将每个字的所述语义表征向量输入到编码器中得到每个字的包含上下文关系的隐状态向量；
[0066]
s3：将所述隐状态向量输入到解码器中，所述解码器通过不同位置的所述隐状态向量的差值对每一个跨度进行表征，基于跨度表征的方法对韵律结构树进行建模，采用动态规划的算法寻找最优的韵律结构树；
[0067]
在本发明中，用跨度对韵律结构树进行表征，用树结构统一了韵律词、韵律短语和语调短语这三个任务，并采用动态规划解码的方式寻找最优的韵律结构树。充分考虑了三个韵律层级之间的树状关系，避免了严重的错误累积对性能造成的影响，大幅度提高了预测效果。
[0068]
s4：将得到所述最优的韵律结构树通过基于规则的格式转化得到最终的完整带有韵律结构标签的字符序列。
[0069]
本发明对于人机交互行业有重要价值，可用于语音合成、语音交互、语音助手、有声小说生成等多种应用场景中；且与现有技术相比，可以更加准确地得到目标待合成文本的韵律结构标签序列。
[0070]
在本发明中，语义特征提取器是在大量的无监督数据上进行预训练；编码器采用了和语义特征提取器相近的网络结构，为了对上下文关系做进一步的建模；解码器是采用跨度对韵律结构树进行表征，通过动态规划的算法寻找最优的韵律结构树；基于规则的后处理则是将韵律结构树这种中间表征形式按照一定的规则转化成最终的韵律结构标签序列的形式。相比于现有技术的方法，至少具备以下优点：
[0071]
以统一的端到端的方法预测韵律结构标签，接受含有标点的字符序列作为输入，输出完整的带有韵律结构标签的字符序列，更加简洁方便。
[0072]
进一步地，采用基于跨度表征的方法对韵律结构树进行建模，采用动态规划的算法寻找最优的韵律结构树，依托于树结构统一了韵律词、韵律短语和语调短语这三个子任务，更好地考虑了三个韵律结构层级之间的包含关系，能大幅度地提高预测性能。
[0073]
在进一步地，本发明不需要分词、词性等信息作为额外的输入，避免了错误累积带来的影响，也避免了复杂的特征工程，更有利于实际应用。
[0074]
在本发明的一种实施例中，对于韵律结构树的建模，其关键在于跨度的表征和打分函数的表征。跨度表征的具体实现可以是对隐状态向量做差，也可以是考虑中间的其它隐状态向量等等；打分函数表征的具体实现可以是采用多层的全连接，也可以是循环神经
网络或者卷积神经网络等等。
[0075]
在本发明的又一中实施例中，对于韵律结构树的寻优，其关键在于使用有效的动态规划算法。具体实现可以是自底向上的，也可以是自顶向下的。
[0076]
如图4所示，是本发明的一种确定汉语文本合成语音时韵律结构的方法的实际应用场景。在本发明的方法中，用户只需要提供不含韵律结构标签的字符序列作为输入即可。端到端的韵律结构预测模型直接接受字符序列作为输入，并输出含韵律结构标签的字符序列。如，用户想要预测“猴子用尾巴荡秋千。”这句话的韵律结构，直接输入原始字符序列(一句话)即可，会自动返回该句话的韵律结构序列。
[0077]
如图5所示，实现本发明方法的端到端的韵律结构预测模型的结构图。
[0078]
在本发明的一种实施例中，语义特征提取器首先在大量的中文数据上进行预训练，以提取有效的语义特征。预先训练好的字级别的语义特征提取器是基于注意力机制和全连接网络的语义特征提取器bert。
[0079]
编码器对预训练好的语义特征提取器的输出进行进一步的特征融合，以便于更好的建模上下文关系，最终输出上下文相关的隐状态向量表征，编码器由多个 transformer块构成，其中每一个块包含两个子层：一个是多头注意力机制层，另一个是全连接层；每一个子层都带了一个残差连接和层标准化；
[0080]
编码器根据输入的位置i和位置j处的字符xi和xj的所述语义表征向量分别得到对应位置的隐状态向量hi和hj。
[0081]
解码器是接收经过编码器得到的每个字符的隐状态表征，然后对它们进行解码输出韵律结构树。在定义韵律结构树的模型之前，需要先对跨度(span)做一个说明。一个带有标签的跨度可以用三元组(i,j,l)来表示，其中i和j分别指的是span(i,j)的起始位置和结束位置，l指的是该跨度对应的标签，l∈l，这里的 l是指的广泛意义下的韵律结构标签集。需要强调的一点是，对于一元链或是说嵌套的韵律成分，指某一个跨度同时对应多个韵律成分，则会给一个嵌套的标签，比如span(i,j)既是一个韵律词同时又是一个韵律短语，那么会给一个标签“#2-#1”。因此，一棵所述韵律结构树表示如下：
[0082]
t:＝{(i
t
,j
t
,l
t
):t＝1,...,|t|}
[0083]
其中，span(i,j)的数据表征被定义为对应隐状态向量的差值：h
ij
＝h
i-hj。
[0084]
在得到所有的跨度表征之后，每一个所述跨度进行表征，经过多层前馈神经网络定义每一个跨度span(i,j)指定一个标签l所对应的分数s(i,j,l)：
[0085]
s(i,j,l)＝[w2g(w1h
ij
+z1)+z2]
l
[0086]
其中，g是relu激活函数，w1、w2、z1、z2表示前馈神经网络的参数；
[0087]
对所有可能的韵律结构树t指定一个对应的得分s(t)：
[0088][0089]
于是，具有最高得分的所述韵律结构树并认定为最优的韵律结构树。
[0090]
在定义了整个解码器的网络结构后，采用了一种cky风格的自底向上的动态规划算法寻找最优的所述韵律结构树。
[0091]
如图6所示，是本发明中cky风格的动态规划算法寻找最优的韵律结构树的过程示意图，可以看到整个递归算法的过程。
[0092]
韵律结构树通常是一棵n元树，而这种cky风格的算法是通过不断地进行二分化来构建n元树。在二分化过程中出现的但本身不是韵律结构成分的节点会给一个空标签并且满足如下性质：
[0093]
所有跨度的标签为空的得分都是零；
[0094]
定义s
best
(i,j)表示跨度span(i,j)的韵律结构树的最好得分，对于一般的跨度，每次分别独立地指定一个标签l∈l和选取一个最好的分隔点k(i＜k＜j)，然后对分隔后的左右子跨度分别重复上述递归过程，公式表示如下：
[0095][0096]
而对于长度为1的跨度，最好的得分就只依赖于标签l的选取：
[0097][0098]
为每一个长度为n的句子计算得到一个最好的得分s
best
(0,n)，也就是整个句子的最优树的得分；
[0099]
通过回溯整个寻找分隔点和指定标签的过程，重建出对应的这棵韵律结构树；在重建的过程中，被指定空标签的跨度被合并得到了一棵完整的n元树；
[0100]
整个算法的复杂度为o(n3+dn2)，其中d为韵律结构标签集l的大小。
[0101]
在训练阶段，在上述算法的基础上，对于给定的真值树t
*
，使得预测的所有可能的韵律结构树t都满足如下间隔限制，：
[0102]
s(t
*
)≥s(t)+δ(t,t
*
)
[0103]
可以理解的是，真值树指的是原始的带有标签的数据对应的韵律结构树，即目标。预测过程输入的数据是不带标签的，会预测得到一棵韵律结构树，使得预测得到的韵律结构树最终能够趋近于真值树，如果所有预测的树都和真值树是一样的，则准确率为百分之百。
[0104]
上述限制通过最小化下面的链条损失(hinge loss)进行：
[0105][0106]
其中，δ是对于带标签的跨度的汉明损失(hamming loss)。
[0107]
在一种实施例中，链条损失通过对解码阶段的动态规划算法进行微小的修正实现，即：把s(i,j,l)替换成
[0108]
其中，是跨度span(i,j)在真值树t
*
中的标签。
[0109]
在基于跨度的解码器之后，接了一个简单却又重要的基于规则的数据格式转化模块，它是将树形式的中间表征转化为韵律结构标签序列的形式。
[0110]
如图7所示，将得到所述最优的韵律结构树通过基于规则的格式转化得到最终的完整带有韵律结构标签的字符序列包括：
[0111]
s41：将所述最优的韵律结构树的每一个韵律结构标签移动到对应的韵律层级成分后面，得到一个包含多层韵律结构标签的序列；
[0112]
s42：每一个韵律词后面的多层韵律标签进行合并，只保留最高层级的韵律结构标签，得到最终的完整所述带有韵律结构标签的字符序列。
[0113]
这种强制的方法可以确保即使在由于训练不充分导致的局部标签错乱的情况下，
也可以得到正确的韵律结构标签序列。
[0114]
如图8所示，是本发明中得到最终的完整带有韵律结构标签的字符序列的实例示意图，本发明最终是得到每个地方只有最高级别的韵律结构标签的字符序列。
[0115]
本发明以统一的端到端的方法预测韵律结构标签，接受含有标点的字符序列作为输入，输出完整的带有韵律结构标签的字符序列，更加简洁方便；
[0116]
进一步地，采用基于跨度表征的方法对韵律结构树进行建模，采用动态规划的算法寻找最优的韵律结构树，依托于树结构统一了韵律词、韵律短语和语调短语这三个子任务，更好地考虑了三个韵律结构层级之间的包含关系，能大幅度地提高预测性能。
[0117]
在进一步地，本发明不需要分词、词性等信息作为额外的输入，避免了错误累积带来的影响，也避免了复杂的特征工程，更有利于实际应用。
[0118]
如下提供一个具体的实施例对本发明的方法进一步说明。
[0119]
1.构建数据集
[0120]
目前还没有统一的通用的公开数据集来用作韵律结构预测任务。选取了标贝的公开数据集，其中所有句子中的韵律结构标签都由专业的注释者通过阅读抄本和倾听语音来手工标注的。按照8：1：1被划分为训练集、验证集和测试集。
[0121]
2.实验设置
[0122]
选取了上述的近几年来最具有代表性的几种方法来进行对比实验。它们都是序列到序列的方法，将韵律词、韵律短语和语调短语当作三个子任务，分别进行标签的预测。所有的模型都采用预先训练好的字级别的bert作为每一个字的向量嵌入，其中bert的参数被冷冻住。具体的实验基准对比说明如下：
[0123]
blstm-crf：基于blstm-crf的模型实现了广泛且可接受的实验结果，它采用blstm作为编码器，crf作为解码器。
[0124]
transformer-softmax：它是采用transformer结构作为编码器，后面接一个2 维的归一化指数函数softmax作为解码器，其中韵律词、韵律短语和语调短语被当作三个相互独立的子任务来分别进行标签的预测。
[0125]
transformer-softmax-mtl：它是在上述的transformer-softmax的基础之上，通过加入多任务学习(mtl)来连接三个子任务为一个统一的模型，前一个任务的输出拼接到后一个任务的输入中，最后进行全局的优化训练。
[0126]
transformer-crf：考虑到实验的完整性，将transformer作为编码器，同时接一个crf作为解码器来进行标签预测任务。
[0127]
transformer-tree：本发明所提出的方法，采用transformer作为编码器，后面接一个基于跨度的解码器，以此来寻找最优的韵律结构树。
[0128]
对于上述所有涉及到transformer的模型，它们的结构同transformer-tree 中的保持一致。
[0129]
3.实验结果和分析
[0130]
为了对比上述方法的性能，采用了常用的精确率、召回率和f1分数作为衡量标准。实验结果如下表1所示。
[0131]
表1标贝数据集上的结果
[0132][0133]
对比实验结果，可以发现，本发明提出的基于跨度的方法transformer-tree 在所有性能指标上都明显大幅度地超过了所有的基准方法的结果，尤其是对于韵律短语的预测结果上。和三个独立的二分类任务相比，多任务学习(mtl)只是简单地将这三个子任务结合起来，它仍然是一种序列到序列的方法，前一个任务的错误结果会累积给后一个任务，导致模型不容易训练，通过实验结果也可以看出，它带来的性能提升很小。而自己提出的端到端的方法采用了韵律结构树这一模型来将三个子任务统一成一个任务，它能够同时预测所有的标签并且可以实现直接将汉字作为输入的端到端的方式。
[0134]
本技术实施例还提供一种控制装置，包括处理器和用于存储计算机程序的存储介质；其中，处理器用于执行所述计算机程序时至少执行如上所述的方法。
[0135]
本技术实施例还提供一种存储介质，用于存储计算机程序，该计算机程序被执行时至少执行如上所述的方法。
[0136]
本技术实施例还提供一种处理器，所述处理器执行计算机程序，至少执行如上所述的方法。
[0137]
所述存储介质可以由任何类型的易失性或非易失性存储设备、或者它们的组合来实现。其中，非易失性存储器可以是只读存储器(rom，read only memory)、可编程只读存储器(prom，programmable read-only memory)、可擦除可编程只读存储器(eprom，erasable programmable read-only memory)、电可擦除可编程只读存储器(eeprom，electrically erasable programmable read-only memory)、磁性随机存取存储器(fram，ferromagnetic random access memory)、快闪存储器(flash memory)、磁表面存储器、光盘、或只读光盘(cd-rom，compact discread-only memory)；磁表面存储器可以是磁盘存储器或磁带存储
器。易失性存储器可以是随机存取存储器(ram，random access memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(sram，static random access memory)、同步静态随机存取存储器(ssram， synchronous static random access memory)、动态随机存取存储器(dram， dynamic random access memory)、同步动态随机存取存储器(sdram， synchronous dynamic random access memory)、双倍数据速率同步动态随机存取存储器(ddrsdram，double data rate synchronous dynamic random accessmemory)、增强型同步动态随机存取存储器(esdramenhanced synchronousdynamic random access memory)、同步连接动态随机存取存储器(sldram， sync link dynamic random access memory)、直接内存总线随机存取存储器 (drram，direct rambus random access memory)。本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
[0138]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
[0139]
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
[0140]
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
[0141]
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(rom，read-only memory)、随机存取存储器 (ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0142]
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0143]
本技术所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
[0144]
本技术所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
[0145]
本技术所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
[0146]
以上内容是结合具体的优选实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。