
1.本技术涉及语音合成技术领域,尤其涉及一种重音预测方法、装置、设备及存储介质。
背景技术:2.预测文本数据中的重音位置是语音合成至关重要的一步。现有的重音预测方案主要为,根据待预测重音的文本数据中每个词条的文本特征(比如,词条本身、词条长度、词条的词性等)预测每个词条的重音位置。
3.现有的重音预测方案虽然能够预测出文本数据的重音位置,但是,其对于同形异音词的预测准确度不高。可以理解的是,重音位置预测的正确与否直接影响合成语音的可懂度和表现力,若重音位置预测错误,将直接影响后+ 续合成语音的质量。
技术实现要素:4.有鉴于此,本技术提供了一种重音预测方法、装置、设备及存储介质,用以解决现有的重音预测方案对于同形异音词的预测准确度不高的问题,其技术方案如下:
5.一种重音预测方法,包括:
6.获取待预测重音的文本数据;
7.对所述文本数据进行分词,得到分词单元;
8.对每个分词单元进行词干词缀切分,并将每个分词单元与前后相邻分词单元的词缀进行拼接,得到所述文本数据对应的拼接结果;
9.根据所述文本数据对应的拼接结果,预测所述文本数据中每个分词单元的重音位置。
10.可选的,所述根据所述文本数据对应的拼接结果,预测所述文本数据中每个分词单元的重音位置,包括:
11.利用预先构建的重音预测模块和所述文本数据对应的拼接结果,预测所述文本数据中每个分词单元的重音位置。
12.可选的,所述利用预先构建的重音预测模块和所述文本数据对应的拼接结果,预测所述文本数据中每个分词单元的重音位置,包括:
13.对所述文本数据对应的拼接结果中的每个拼接单元进行独热编码;
14.将所述每个拼接单元的编码结果输入预先构建的重音预测模块,得到所述每个拼接单元对应的重音预测结果,其中,所述重音预测结果用于指示对应的拼接单元所包含的每个字符处是否为重音位置;
15.根据所述每个拼接单元对应的重音预测结果,确定所述文本数据中每个分词单元的重音位置。
16.可选的,所述对所述文本数据对应的拼接结果中的每个拼接单元进行独热编码,包括:
17.根据构建的状态集,对所述文本数据对应的拼接结果中的每个拼接单元进行独热编码;
18.其中,所述状态集为由指定字符和所述文本数据所属语种包含的字符组成的字符集合,所述指定字符包括分词符、词干词缀分隔符和无词缀提示符。
19.可选的,所述将每个分词单元与前后相邻分词单元的词缀进行拼接,包括:
20.针对所述文本数据中的每个分词单元:
21.若该分词单元之前不存在可拼接词缀,该分词单元之后存在可拼接词缀,则将该分词单元之后的可拼接词缀拼接在该分词单元的后面;
22.若该分词单元之前存在可拼接词缀,该分词单元之后不存在可拼接词缀,则将该分词单元之前的可拼接词缀拼接在该分词单元的前面;
23.若该分词单元之前存在可拼接词缀,该分词单元之后存在可拼接词缀,则将该分词单元之前的可拼接词缀拼接在该分词单元的前面,将该分词单元之后的可拼接词缀拼接在该分词单元的后面。
24.可选的,所述重音预测方法还包括:
25.根据所述文本数据中每个分词单元的重音位置,在所述文本数据上添加重音标识符,得到包含重音标识符的文本数据。
26.一种重音预测装置,包括:文本数据获取模块、文本数据处理模块、重音位置预测模块;
27.所述文本数据获取模块,用于获取待预测重音的文本数据;
28.所述文本数据处理模块,用于对所述文本数据进行分词,得到分词单元,对每个分词单元进行词干词缀切分,并将每个分词单元与前后相邻分词单元的词缀进行拼接,得到所述文本数据对应的拼接结果;
29.所述重音位置预测模块,用于根据所述文本数据对应的拼接结果,预测所述文本数据中每个分词单元的重音位置。
30.可选的,所述信息预测模块在根据所述文本数据对应的拼接结果,预测所述文本数据中每个分词单元的重音位置时,具体用于:
31.利用预先构建的重音预测模块和所述文本数据对应的拼接结果,预测所述文本数据中每个分词单元的重音位置。
32.一种重音预测设备,包括:存储器和处理器;
33.所述存储器,用于存储程序;
34.所述处理器,用于执行所述程序,实现上述任一项所述的重音预测方法的各个步骤。
35.一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现上述任一项所述的重音预测方法的各个步骤。
36.经由上述方案可知,本技术提供的重音预测方法、装置、设备及存储介质,在获得待预测重音的文本数据后,首先对文本数据进行分词,得到分词单元,然后对分词得到的每个分词单元进行词干词缀切分,接着将每个分词单元与前后相邻分词单元的词缀进行拼接,以得到文本数据对应的拼接结果,最后根据文本数据对应的拼接结果,预测文本数据中每个分词单元的重音位置。本技术提供的重音预测方法将文本数据的每个分词单元与前后
相邻分词单元的词缀进行拼接,相当于针对文本数据中的每个分词单元引入了语境信息,在对每个分词单元进行重音预测时,引入语境信息能够较好的区分同形异音词,进而准确地预测出重音位置。
附图说明
37.为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
38.图1为本技术实施例提供的重音预测方法的流程示意图;
39.图2为本技术实施例提供的构建重音预测模型的流程示意图;
40.图3为本技术实施例提供的利用预先建立的重音预测模型和文本数据对应的拼接结果,预测文本数据中每个分词单元的重音位置的流程示意图;
41.图4为本技术实施例提供的重音预测装置的结构示意图;
42.图5为本技术实施例提供的重音预测设备的结构示意图。
具体实施方式
43.下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
44.重音位置的预测在语音合成系统中十分重要,重音位置的正确与否直接影响合成语音的可懂度。目前的重音位置预测方案为:首先获取带有重音信息的词典,然后利用带有重音信息的词典构建重音预测模型,在建立重音预测模型时,利用词典中词条的文本特征(包括词本身、词长、词性特征)和词条对应的重音位置信息训练重音预测模型,在建立重音预测模型后,利用重音预测模型对待预测词的重音位置进行预测,在利用重音预测模型对待预测词的重音位置进行预测时,首先获取待预测词的文本特征(包括词本身、词长、词性特征),然后将待预测词的文本特征输入重音预测模型,重音预测模型以输入的文本特征为依据预测重音位置。
45.申请人对目前的重音位置预测方案进行研究发现,目前的重音位置预测方案存在诸多缺陷:利用带有重音信息的词典构建的重音预测模型无法区分同形异音词,进而无法预测出准确的重音位置;上述的重音预测模型为浅层学习模型,其在面对重音位置没有明显规律的语言时,预测的准确率不理想的,因为浅层学习模型对数据的描述能力有限。
46.鉴于目前的重音位置预测方案存在诸多缺陷,申请人试图提出一种能够预测出准确重音位置的重音预测方法,为此,进行了深入研究,通过不断研究,最终提出了一种重音预测方法,该方法的基本构思是,针对待预测词引入前后语境信息,结合前后语境信息对待预测词的重音位置进行预测。
47.本技术提供的重音位置预测方法可应用于具有数据处理能力的电子设备,该电子设备可以为用户侧使用的终端,比如智能手机、pc、笔记本、pad 等,该电子设备还可以为网
络侧的服务器(可以为单个服务器,也可以为多个服务器或服务器集群)。接下来通过下述实施例对本技术提供的重音预测方法进行介绍。
48.第一实施例
49.请参阅图1,示出了本技术提供的重音预测方法的流程示意图,该方法可以包括:
50.步骤s101:获取待预测重音的文本数据。
51.其中,待预测重音的文本数据可以为任何语种的文本数据,即本技术提供的重音预测方法为各语种通用的重音预测方法。
52.步骤s102:对文本数据进行分词,得到分词单元。
53.可采用现有的分词方法对文本数据进行分词。
54.示例性的,待预测重音的文本数据“я проснулся утром(我早上醒来)”,对该文本数据进行分词后得到“я(我),проснулся(醒来),утром(早上)”。
55.步骤s103:对每个分词单元进行词干词缀切分,并将每个分词单元与前后相邻分词单元的词缀进行拼接,得到文本数据对应的拼接结果。
56.按照语法结构特点,通用语言分为孤立语、黏着语、屈折语三类,孤立语的特点是没有词形的变化,通过独立的虚词和固定的词序来表达语法意义,黏着语具有丰富的词形变化,通过在词干的前中后附着不同的词缀来实现语法功能,屈折语也是以词形变化作为表示语法关系的主要手段。屈折语和黏着语之间的区别在于屈折语的词素趋向连在一起,并且一个词缀经常同时表达多种含义,而黏着语的一个词缀一般倾向于只表达单一的含义。无论哪种语言,许多表示功能的成分都和名词、动词、形容词、副词、数词、量词等实词之间没有边界标记,并且有共同的语音表现,即弱读,具体地,在词法上应该重读的音节不重读,主要元音本应是长元音的不长,在声调语言中则表现为失去本调或读成轻声。
57.需要说明的是,对于黏着语、屈折语,本技术中的“词缀”指的是黏着语、屈折语中用于实现语法功能的词缀,对于孤立语,本技术中的“词缀”指的是用于实现语法功能的功能成分。
58.可采用现有的词干词缀切分方法对每个分词单元进行词干词缀切分,对每个分词单元进行词干词缀切分后,可将每个分词单元与前后相邻分词单元的词缀进行拼接,得到文本数据对应的拼接结果。
59.其中,在将每个分词单元与前后相邻分词单元的词缀进行拼接时,针对每个分词单元:
60.(a)若该分词单元之前不存在可拼接词缀,该分词单元之后存在可拼接词缀,则将该分词单元之后的可拼接词缀拼接在该分词单元的后面。
61.需要说明的是,该分词单元之前不存在可拼接词缀可能有两种情况,其一,该分词单元为首个分词单元,即该分词单元之前不存在分词单元,其二,该分词单元存在前向相邻分词单元(前向相邻分词单元指的是,位于该分词单元之前,且与该分词单元相邻的分词单元),但该分词单元的前向相邻分词单元无词缀。
62.(b)若该分词单元之前存在可拼接词缀,该分词单元之后不存在可拼接词缀,则将该分词单元之前的可拼接词缀拼接在该分词单元的前面。
63.需要说明的是,该分词单元之后不存在可拼接词缀可能有两种情况,其一,该分词单元为最后一个分词单元,即该分词单元之后不存在分词单元,其二,该分词单元存在后向
相邻分词单元(后向相邻分词单元指的是,位于该分词单元之后,且与该分词单元相邻的分词单元),但该分词单元的后向相邻分词单元无词缀。
64.(c)若该分词单元之前存在可拼接词缀,该分词单元之后存在可拼接词缀,则将该分词单元之前的可拼接词缀拼接在该分词单元的前面,将该分词单元之后的可拼接词缀拼接在该分词单元的后面。
65.示例性的,待预测重音的文本数据为“я проснулся утром(我早上醒来)”,对该文本数据进行分词后得到“я(我),проснулся(醒来),утром (早上)”,对每个分词单元进行词干词缀切分后得到“я(我),просну|лся (醒来),утр|ом(早上)”(“|”为词干词缀分隔符),其中,“просну”为“проснулся(醒来)”的词干,“лся”为“проснулся(醒来)”的词缀,“утр”为“утром(早上)”的词干,“ом”为“утром(早上)”的词缀,在对每个分词单元进行词干词缀切分后后,便可将每个分词单元与前后相邻分词单元的词缀进行拼接,具体的,对于分词单元“_я_(_我_)”(“_”为分词符),由于“_я_(_我_)”之前不存在分词单元,因此,不需要在“_я_(_ 我_)之前拼接词缀,由于分词单元“я(我)”的后向相邻分词单元“просну|лся (醒来)”存在词缀“лся”,因此,在分词单元“_я_(_我_)”之后拼接词缀“лся”,拼接后得到“_я_лся”,对于分词单元“_просну|лся_(_醒来_)”,由于“_просну|лся_(_醒来_)”的前向相邻分词单元“я(我)”无词缀,因此,分词单元“_просну|лся_(_醒来_)”之前不需要拼接词缀,可在“_просну|лся_(_醒来_)”之前拼接无词缀提示符“*”,由于“_просну|лся_ (_醒来_)”的后向相邻分词单元“утр|ом(早上)”存在词缀“ом”,因此,在“_просну|лся_”后拼接词缀“ом”,拼接后得到“*_просну|лся_ом”,对于分词单元“_утр|ом_”,由于“_утр|ом_(_早上_)”的前向相邻分词单元“просну|лся(醒来)”存在词缀“лся”,因此,在“_утр|ом_(_早上_)”之前拼接词缀“лся”,由于“утром(早上)”为最后一个分词单元,因此,不需要在“проснулся(醒来)”后拼接词缀,“_утр|ом_(_早上_)”的拼接结果为“лся_утр|ом_”。
66.步骤s104:根据文本数据对应的拼接结果,预测文本数据中每个分词单元的重音位置。
67.具体的,可利用预先构建的重音预测模块和文本数据对应的拼接结果,预测文本数据中每个分词单元的重音位置。
68.可选的,重音预测模块可以为重音预测模型,重音预测模型采用标注有重音标识符的训练文本训练得到。
69.需要说明的是,本实施例并不限定重音预测模块为重音预测模型,其还可以为其它形式的模块,比如基于设定预测规则实现重音预测的模块,本技术不对重音预测模块的具体实现形式进行限定,即本技术中的重音预测模块可以为任何形式的能够实现重音位置预测的模块。
70.可选的,在根据文本数据对应的拼接结果预测出文本数据中每个分词单元的重音位置后,可根据文本数据中每个分词单元的重音位置,在文本数据上添加重音标识符,以得到包含重音标识符的文本数据。
71.本技术实施例提供的重音预测方法,在获得待预测重音的文本数据后,首先对文本数据进行分词,以得到分词单元,然后对分词得到的每个分词单元进行词干词缀切分,接着将每个分词单元与前后相邻分词单元的词缀进行拼接,以得到文本数据对应的拼接结
果,最后根据文本数据对应的拼接结果,预测文本数据中每个分词单元的重音位置。本技术实施例提供的重音预测方法将文本数据的每个分词单元与前后相邻分词单元的词缀进行拼接,相当于针对文本数据中的每个分词单元引入了语境信息,在对每个分词单元进行重音预测时,引入语境信息能够较好的区分同形异音词,进而准确地预测出重音位置。
72.第二实施例
73.上述实施例提到,“可利用预先构建的重音预测模块和文本数据对应的拼接结果,预测文本数据中每个分词单元的重音位置”,上述实施例还提到重音预测模块可以为重音预测模型,本实施例重点对构建重音预测模型的过程进行介绍。
74.请参阅图2,示出了构建重音预测模型的流程示意图,可以包括:
75.步骤s201:从训练数据集中获取标注有重音标识符的训练文本。
76.其中,训练数据集中包括多条标注有重音标识符的训练文本。
77.步骤s202:对训练文本进行分词,以得到分词单元。
78.步骤s203:对训练文本的每个分词单元进行词干词缀切分,并将训练文本的每个分词单元与前后相邻分词单元的词缀进行拼接,得到训练文本对应的拼接结果。
79.将训练文本的每个分词单元与前后相邻分词单元的词缀进行拼接,得到训练文本对应的拼接结果的实现过程与上述实施例中将文本数据的每个分词单元与前后相邻分词单元的词缀进行拼接,得到文本数据对应的拼接结果的实现过程类似,具体可参见上述实施例中的相关部分,本实施例在此不做赘述。
80.需要说明的是,为了使重音预测模型能够区分同形异音词,从而能够预测出较为准确的重音位置,申请人想到,可针对训练文本的每个分词单元引入其相邻分词单元的信息,在针对每个分词单元引入其相邻分词单元的信息时,申请人提出,只引入相邻分词单元的词缀信息,而非引入整个分词单元,这是因为,从语言学角度考量,词缀部分已包含所有语法信息,词干部分无语法意义且无法穷尽,从工程角度考量,引入相邻分词单元的词缀信息而非引入整个分词单元,可以有效控制模型的参数量和复杂度。
81.步骤s204:以训练文本对应的拼接结果作为训练样本,以训练文本标注的重音标识符作为样本标签,训练重音预测模型。
82.具体的,以训练文本对应的拼接结果作为训练样本,以训练文本标注的重音标识符作为样本标签,训练重音预测模型的过程可以包括:
83.步骤s2041、对训练文本对应的拼接结果中的每个拼接单元进行独热编码。
84.示例性的,训练文本“я проснулсяутром(我早上醒来)”对应的拼接结果为“_я_лся*_просну|лся_ом лся_утр|ом_”,则训练文本对应的拼接结果中的拼接单元为“_я_лся”、“*_просну|лся_ом”和“лся_утр|ом_”。
85.具体的,对训练文本对应的拼接结果中的每个拼接单元进行独热编码,即,将训练文本对应的拼接结果中的每个拼接单元编码为只包括“0”和“1”的特征向量。
86.在对训练文本对应的拼接结果中的每个拼接单元进行独热编码时,可根据构建的状态集,对训练文本对应的拼接结果中的每个拼接单元进行独热编码。其中,状态集为由指定字符和训练文本所属语种包含的字符组成的字符集合,指定字符包括上述实施例提及的分词符“_”、词干词缀分隔符“|”和无词缀提示符“*”。对于训练文本对应的拼接结果中的每个拼接单元,根据构建的状态集对其进行独热编码后,会得到维度为《t,n+3》的特征向量,
其中,t为该拼接单元所包含字符的数量,n为训练文本所属语种包含的字符的数量。
87.示例性的,训练文本为俄语文本,俄语共有33个俄语小写字母,因此,状态集包括33个俄语小写字母,以及分词符“_”、词干词缀分隔符“|”和无词缀提示符“*”,即状态集中总共包含36个字符。对于训练文本对应的拼接结果中的每个拼接单元,根据包含36个字符的状态集对其进行独热编码后,会得到维度为《t,36》的特征向量,假设拼接单元为“_я_лся”,则对其进行独热编码后,会得到维度为《6,36》的特征向量,假设拼接单元为“*_просну|лся_ом”,则对其进行独热编码后,会得到维度为《15,36》的特征向量。
88.步骤s2042、将每个拼接单元的编码结果输入重音预测模型,得到每个拼接单元中每个字符处为重音位置的概率。
89.步骤s2043、根据每个拼接单元中每个字符处为重音位置的概率以及训练文本标注的重音标识符,确定重音预测模型的预测损失。
90.具体的,可根据每个拼接单元中每个字符处为重音位置的概率以及训练文本标注的重音标识符计算交叉熵损失,作为重音预测模型的预测损失。
91.步骤s2044、根据预测损失对重音预测模型进行参数更新。
92.按上述方式对重音预测模型进行多次迭代训练,直至满足训练结束条件,训练结束后得到的模型即为建立的重音预测模型。
93.经由上述过程可建立能够进行重音位置预测的重音预测模型。在建立重音预测模型时,由于针对训练文本的每个分词单元引入了前后语境信息(即,针对训练文本的每个分词单元引入了相邻分词单元的词缀信息),因此,建立的重音预测模型在一定程度上具备区分同形异音词的能力,另外,使重音预测模型的输入包含分词单元的相邻分词单元的词缀信息,能够降低模型的学习难度,提高模型对于重音预测的准确度,此外,引入分词单元的相邻分词单元的词缀信息,而非引入整个相邻分词单元,可以降低模型的参数量和复杂度。
94.第三实施例
95.上述实施例提供了构建重音预测模型的实现过程,在此基础上,本实施例对利用预先构建的重音预测模型和文本数据对应的拼接结果,预测文本数据中每个分词单元的重音位置”的实现过程进行介绍。
96.请参阅图3,示出了利用预先构建的重音预测模型和文本数据对应的拼接结果,预测文本数据中每个分词单元的重音位置的流程示意图,可以包括:
97.步骤s301:对文本数据对应的拼接结果中的每个拼接单元进行独热编码。
98.具体的,根据构建的状态集,对文本数据对应的拼接结果中的每个拼接单元进行独热编码。其中,状态集为由指定字符和文本数据所属语种包含的字符组成的字符集合,指定字符包括分词符、词干词缀分隔符和无词缀提示符。
99.步骤s302:将文本数据对应的拼接结果中每个拼接单元的编码结果输入预先建立的重音预测模型,得到文本数据对应的拼接结果中每个拼接单元对应的重音预测结果。
100.其中,重音预测结果用于指示对应的拼接单元所包含的每个字符处是否为重音位置。可选的,重音预测结果可以为由0和1组成的序列,序列长度为对应的拼接单元的长度,假设一拼接单元的长度为6,即包括6个字符,则该拼接单元对应的重音预测结果为长度为6的0-1序列,其中,若0-1序列中的第一个字符为0,则表示对应的拼接单元中的第一个字符为非重读字符,若 0-1序列中的第一个字符为1,则表示对应的拼接单元中的第一个字符为
重读字符,若0-1序列中的第二个字符为0,则表示对应的拼接单元中的第二个字符为非重读字符,若0-1序列中的第二个字符为1,则表示对应的拼接单元中的第二个字符为重读字符,其它依次类推。
101.步骤s303:根据每个拼接单元对应的重音预测结果,确定文本数据中每个分词单元的重音位置。
102.示例性的,文本数据“я проснулся утром(我早上醒来)”对应的拼接结果为“_я_лся*_просну|лся_ом лся_утр|ом_”,其中,拼接单元“_я_лся”对应的重音预测结果为“010000”,拼接单元“*_просну|лся_ом”对应的重音预测结果为“000000010000000”,拼接单元“лся_утр|ом_”对应的重音预测结果为“00001000000”,拼接单元“_я_лся”对应的重音预测结果为“010000”说明,“_я_лся”中第二个字符“я(我)”为重读字符,拼接单元“*_просну|лся_ом”对应的重音预测结果为“000000010000000”说明,“*_просну|лся_ом”的第八个字符“у”为重读字符,拼接单元“лся_утр|ом_”对应的重音预测结果为“00001000000”说明,“лся_утр|ом_”中的第五个字符“у”为重读字符。
103.在根据文本数据对应的拼接结果预测出文本数据中每个分词单元的重音位置后,还可根据文本数据中每个分词单元的重音位置,在文本数据上添加重音标识符,以得到包含重音标识符的文本数据。
104.对于文本数据“я проснулся утром(我早上醒来)”而言,由于字符“я(我)”为重读字符,“проснулся(醒来)”中的“у”为重读字符,“утром(早上)”中的“у”为重读字符,因此,为这几个重读字符添加重音标识符,最终得到包含重音标识符的文本数据“я'просну'лсяу'тром”。
105.在利用重音预测模型针对文本数据进行重音位置预测时,由于引入的文本数据的每个分词单元的相邻分词单元的词缀信息(即文本数据的每个分词单元的语境信息),因此,重音预测模型能够区分同形异音词,从而预测出准确的重音位置。
106.第四实施例
107.本技术实施例还提供了一种重音预测装置,下面对本技术实施例提供的重音预测装置进行描述,下文描述的重音预测装置与上文描述的重音预测方法可相互对应参照。
108.请参阅图4,示出了本技术实施例提供的重音预测装置的结构示意图,可以包括:文本数据获取模块401、文本数据处理模块402和信息预测模块403。
109.文本数据获取模块401,用于获取待预测重音的文本数据。
110.文本数据处理模块402,用于对所述文本数据进行分词,得到分词单元,对每个分词单元进行词干词缀切分,并将每个分词单元与前后相邻分词单元的词缀进行拼接,得到所述文本数据对应的拼接结果。
111.信息预测模块403,用于根据所述文本数据对应的拼接结果,预测所述文本数据中每个分词单元的重音位置。
112.可选的,信息预测模块403,在根据所述文本数据对应的拼接结果,预测所述文本数据中每个分词单元的重音位置时,具体用于:
113.利用预先建立的重音预测模块和所述文本数据对应的拼接结果,预测所述文本数据中每个分词单元的重音位置。
114.可选的,重音预测模块为重音预测模型,所述重音预测模型采用标注有重音标识符的训练文本训练得到。
115.可选的,本技术实施例提供的重音预测装置还可以包括:模型训练模块。模型训练模块,用于:
116.对所述训练文本进行分词,以得到分词单元;对所述训练文本的每个分词单元进行词干词缀切分,并将所述训练文本的每个分词单元与前后相邻分词单元的词缀进行拼接,得到所述训练文本对应的拼接结果;以所述训练文本对应的拼接结果作为训练样本,以所述训练文本标注的重音标识符作为样本标签,训练重音预测模型。
117.可选的,信息预测模块403包括:编码子模块、重音位置预测子模块和重音位置确定子模块。
118.编码子模块,用于对所述文本数据对应的拼接结果中的每个拼接单元进行独热编码。
119.重音位置预测子模块,用于将所述每个拼接单元的编码结果输入预先构建的重音预测模块,得到所述每个拼接单元对应的重音预测结果,其中,所述重音预测结果用于指示对应的拼接单元所包含的每个字符处是否为重音位置。
120.重音位置确定子模块,用于根据所述每个拼接单元对应的重音预测结果,确定所述文本数据中每个分词单元的重音位置。
121.可选的,编码子模块在对所述文本数据对应的拼接结果中的每个拼接单元进行独热编码时,具体用于:
122.根据构建的状态集,对所述文本数据对应的拼接结果中的每个拼接单元进行独热编码;其中,所述状态集为由指定字符和所述文本数据所属语种包含的字符组成的字符集合,所述指定字符包括分词符、词干词缀分隔符和无词缀提示符。
123.可选的,文本数据处理模块402,在将每个分词单元与前后相邻分词单元的词缀进行拼接时,具体用于:
124.针对所述文本数据中的每个分词单元:若该分词单元之前不存在可拼接词缀,该分词单元之后存在可拼接词缀,则将该分词单元之后的可拼接词缀拼接在该分词单元的后面;若该分词单元之前存在可拼接词缀,该分词单元之后不存在可拼接词缀,则将该分词单元之前的可拼接词缀拼接在该分词单元的前面;若该分词单元之前存在可拼接词缀,该分词单元之后存在可拼接词缀,则将该分词单元之前的可拼接词缀拼接在该分词单元的前面,将该分词单元之后的可拼接词缀拼接在该分词单元的后面。
125.可选的,本技术实施例提供的重音预测装置还可以包括:重音标识符添加模块。
126.重音标识符添加模块,用于根据所述文本数据中每个分词单元的重音位置,在所述文本数据上添加重音标识符,得到包含重音标识符的文本数据。
127.本技术实施例提供的重音预测装置,在获得待预测重音的文本数据后,首先对文本数据进行分词,以得到分词单元,然后对分词得到的每个分词单元进行词干词缀切分,接着将每个分词单元与前后相邻分词单元的词缀进行拼接,以得到文本数据对应的拼接结果,最后根据文本数据对应的拼接结果,预测文本数据中每个分词单元的重音位置。本技术实施例提供的重音预测装置将文本数据的每个分词单元与前后相邻分词单元的词缀进行拼接,相当于针对文本数据中的每个分词单元引入了语境信息,在对每个分词单元进行重
音预测时,引入语境信息能够较好的区分同形异音词,进而准确地预测出重音位置。
128.第五实施例
129.本技术实施例还提供了一种重音预测设备,请参阅图5,示出了该重音预测设备的结构示意图,该重音预测设备可以包括:至少一个处理器501,至少一个通信接口502,至少一个存储器503和至少一个通信总线504;
130.在本技术实施例中,处理器501、通信接口502、存储器503、通信总线504 的数量为至少一个,且处理器501、通信接口502、存储器503通过通信总线504 完成相互间的通信;
131.处理器501可能是一个中央处理器cpu,或者是特定集成电路asic (application specific integrated circuit),或者是被配置成实施本发明实施例的一个或多个集成电路等;
132.存储器503可能包含高速ram存储器,也可能还包括非易失性存储器 (non-volatile memory)等,例如至少一个磁盘存储器;
133.其中,存储器存储有程序,处理器可调用存储器存储的程序,所述程序用于:
134.获取待预测重音的文本数据;
135.对所述文本数据进行分词,得到分词单元;
136.对每个分词单元进行词干词缀切分,并将每个分词单元与前后相邻分词单元的词缀进行拼接,得到所述文本数据对应的拼接结果;
137.根据所述文本数据对应的拼接结果,预测所述文本数据中每个分词单元的重音位置。
138.可选的,所述程序的细化功能和扩展功能可参照上文描述。
139.第六实施例
140.本技术实施例还提供一种可读存储介质,该可读存储介质可存储有适于处理器执行的程序,所述程序用于:
141.获取待预测重音的文本数据;
142.对所述文本数据进行分词,得到分词单元;
143.对每个分词单元进行词干词缀切分,并将每个分词单元与前后相邻分词单元的词缀进行拼接,得到所述文本数据对应的拼接结果;
144.根据所述文本数据对应的拼接结果,预测所述文本数据中每个分词单元的重音位置。
145.可选的,所述程序的细化功能和扩展功能可参照上文描述。
146.最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
147.本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
148.对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。