文本的规范化方法、装置、存储介质和电子设备与流程

1.本技术涉及任务型文本规范化技术领域，具体而言，涉及一种文本的规范化方法、装置、存储介质和电子设备。


背景技术：

2.相关技术中，文本规范化(tn，text normalization)是语音合成系统的重要组成部分，是将书面形式词(written-form words)转化为朗读形式词(spoken-form words)以消除歧义的过程，主要功能是将文本中的数字、符号、缩写等转换成语言文字，例如“2022年”需转化为“二零二二年”。由于对于输入文本的特殊字符，例如
“‑”
的转化可能歧义，因此，亟需一种快速有效的方式实现文本规范化。


技术实现要素：

3.本技术旨在至少解决相关技术中存在的技术问题之一。
4.为此，本技术的第一个方面在于提出一种文本的规范化方法。
5.本技术的第二个方面在于提出一种文本的规范化装置。
6.本技术的第三个方面在于提出另一种文本的规范化装置。
7.本技术的第四个方面在于提出一种可读存储介质。
8.本技术的第五个方面在于提出一种电子设备。
9.本技术的第六个方面在于提出一种计算机程序产品。
10.有鉴于此，根据本技术的一个方面，提出了一种文本的规范化方法，该规范化方法包括：获取输入文本；将输入文本输入至第一模型，确定输入文本中字符的标注数据；根据标注数据，通过第二模型对输入文本进行文本规范化处理，确定输出文本；其中，第一模型为预先训练的神经网络模型，第二模型为加权有限状态转换机，标注数据包括输入文本中字符的序列标注数据和输入文本中特殊字符的不同含义的概率分布。
11.需要说明的是，本技术所提出的文本的规范化方法的执行主体可以是文本的规范化装置，为了更加清楚的对本技术提出的文本的规范化方法进行说明，下面技术方案中以文本的规范化方法的执行主体为文本的规范化装置进行示例性说明。
12.在该技术方案中，上述第一模型表示预先训练神经网络模型得出的能够对输入文本进行文本序列标注的模型，上述第二模型表示定义规则后的加权有限状态转换机，上述标注数据包括输入文本中字符的序列标注数据和输入文本中特殊字符的不同含义的概率分布。
13.具体地，规范化装置首先获取上述输入文本，具体而言，该输入文本表示待进行文本规范化的文本。
14.进一步地，规范化装置将上述输入文本输入到上述第一模型中，以确定上述标注数据。具体而言，第一模型可以对输入文本中的字符进行文本序列标注，可以预测输入文本中的特殊字符的不同含义的概率分布，可以预测输入文本中多音字和数字的读法，因此，规
范化装置可以通过上述第一模型确定出对于输入文本中的字符的标注数据。
15.进一步地，规范化装置根据上述标注数据，基于第二模型对输入文本进行规范化处理，以得出文本规范化后的输入文本，即上述输出文本。
16.在该技术方案中，规范化装置能够通过第一模型确定输入文本的标注数据，能够通过第二模型根据标注数据对输入文本进行处理确定输出文本。在本技术的技术方案中，对输入文本的规范化过程中，考虑了第一模型确定的标注数据，避免了对于输入文本的特殊字符规范化过程中，出现歧义的情况，保证了确定出的输入文本的准确性。
17.此外，由于上述第一模型是通过训练神经网络模型得出的，上述第二模型是对加权有限状态转换机定义规则得到的，使得本技术提出的文本的规范化方法在进行文本规范化的过程中，结合了模型和定义规则，提高了其范化能力，避免了仅采用模型不定义规则可能出现错误的情况。
18.此外，根据本发明的上述技术方案提出的文本的规范化方法，还可以具有以下附加技术特征：
19.在上述技术方案中，根据标注数据，通过第二模型对输入文本进行文本规范化处理，确定输出文本的步骤具体包括：调用第二模型的标签函数，根据标注数据对输入文本进行标注，确定第一文本；根据第一文本确定输出文本。
20.在该技术方案中，上述标签函数表示加权有限状态转换机(即上述第二模型)的tagger函数，该标签函数能够根据标注数据对输入文本进行标注；上述第一文本表示经过标签函数标注后的文本。
21.在该技术方案中，规范化装置可以通过调用上述第二模型中的标签函数，基于标注数据标注输入文本，确定出第一文本，然后根据第一文本确定输出文本。这样，使得确定输出文本的过程中，可以充分利用第一模型预测的标注数据，保证了确定出的输出文本的准确性。
22.在上述技术方案中，根据第一文本确定输出文本的步骤具体包括：调用第二模型的解码路径函数对第一文本中的字符进行解析和位置调整，确定第二文本；根据第二文本确定输出文本。
23.在该技术方案中，由于经过上述标签函数得出的第一文本中的字符的位置相比于输入文本中原始字符位置可能会发生改变，这可能会导致确定出的输出文本不准确。所以，在本技术的技术方案中，规范化装置需要调用解码路径函数对第一文本进行处理，这样，保证了确定出的输出文本的准确性。
24.在上述技术方案中，根据第二文本确定输出文本的步骤具体包括：调用第二模型的语言化函数对第二文本进行转换，确定输出文本。
25.在该技术方案中，上述语言化函数表示第二模型，即加权有限状态转换机的verbalizer(语言化)函数。
26.在该技术方案中，规范化装置可以通过调用语言化函数将第二文本中的标注数据带到输出中，保证了确定出的输出文本的准确性。
27.在上述技术方案中，特殊字符包括符号、数字、缩写字符和多音字中的一种或多种。
28.在上述技术方案中，确定输出文本之后，文本的规范化方法还包括：将输入文本转
换为可播放语音进行输出。
29.在该技术方案中，规范化装置在确定出输出文本后，还需要将该输出文本转换成可播放的语音，以使用户能够得到与该输入文本相对应的可播放语音。
30.在该技术方案中，规范化装置还可以将输出文本转成可播放语音，使得用户可以通过收听语音的方式了解上述输入文本中的内容。
31.在上述技术方案中，在获取输入文本之前，规范化方法还包括：获取训练数据集；根据训练数据集对预设模型进行训练，确定第一模型；其中，预设模型为神经网络模型。
32.在该技术方案中，上述预设模型表示神经网络模型，上述训练数据集表示通过人工或者设定规则后的加权有限状态转换机对输入文本进行文本序列标注后的训练文本。
33.在该技术方案中，在获取上述输入文本前，规范化装置还可以获取训练数据集训练预设模型确定第一模型。这样，使得本技术通过第一模型即可快速确定出关于输入文本的标注数据，保证了标注数据确定的效率和准确性，进而保证了确定出的输出文本的准确性。
34.在上述技术方案中，获取输入文本之前，规范化方法还包括：根据预设规则设置第二模型对于输入文本和输出文本的转换规则。
35.在该技术方案中，规范化装置通过预设规则设置第二模型的转换规则，可以保证通过标签函数确定出的第一文本的准确性，可以保证通过解码路径函数确定出的第二文本的准确性，可以保证通过语言化函数确定出的输出文本的准确性。
36.根据本发明的第二个方面，提出了一种文本的规范化装置，该文本的规范化装置包括：获取模块，用于获取输入文本；第一处理模块，用于将输入文本输入至第一模型，确定输入文本中字符的标注数据；第二处理模块，用于根据标注数据，通过第二模型对输入文本进行文本规范化处理，确定输出文本；其中，第一模型为预先训练的神经网络模型，第二模型为加权有限状态转换机，标注数据包括输入文本中字符的序列标注数据和输入文本中特殊字符的不同含义的概率分布。
37.在该技术方案中，上述第一模型表示预先训练神经网络模型得出的能够对输入文本进行文本序列标注的模型，上述第二模型表示定义规则后的加权有限状态转换机，上述标注数据包括输入文本中字符的序列标注数据和输入文本中特殊字符的不同含义的概率分布。
38.具体地，首先获取模块获取上述输入文本，具体而言，该输入文本表示待进行文本规范化的文本。
39.进一步地，第一处理模块将上述输入文本输入到上述第一模型中，以确定上述标注数据。具体而言，第一模型可以对输入文本中的字符进行文本序列标注，可以预测输入文本中的特殊字符的不同含义的概率分布，可以预测输入文本中多音字和数字的读法，因此，第一处理模块可以通过上述第一模型确定出对于输入文本中的字符的标注数据。
40.进一步地，第二处理模块根据上述标注数据，基于第二模型对输入文本进行规范化处理，以得出文本规范化后的输入文本，即上述输出文本。
41.在该技术方案中，第一处理模块能够通过第一模型确定输入文本的标注数据，第二处理模块能够通过第二模型根据标注数据对输入文本进行处理确定输出文本。在本技术的技术方案中，对输入文本的规范化过程中，考虑了第一模型确定的标注数据，避免了对于
输入文本的特殊字符规范化过程中，出现歧义的情况，保证了确定出的输入文本的准确性。
42.此外，由于上述第一模型是通过训练神经网络模型得出的，上述第二模型是对加权有限状态转换机定义规则得到的，使得本技术提出的文本的规范化装置在进行文本规范化的过程中，结合了模型和定义规则，提高了其范化能力，避免了仅采用模型不定义规则可能出现错误的情况。
43.根据本技术第三个方面，提出了另一种文本的规范化装置，包括：存储器，存储器中存储有程序或指令；处理器，处理器执行存储在存储器中的程序或指令以实现如本技术上述技术方案提出的文本的规范化方法的步骤，因而具有本技术上述技术方案提出的文本的规范化方法的全部有益技术效果，在此不再做过多赘述。
44.根据本技术的第四个方面，提出了一种可读存储介质，其上存储有程序或指令，程序或指令被处理器执行时实现如本技术上述技术方案提出的文本的规范化方法的步骤，因而具有本技术上述技术方案提出的文本的规范化方法的全部有益技术效果，在此不再做过多赘述。
45.根据本技术的第五个方面，提出了一种电子设备，包括如本发明上述技术方案提出的文本的规范化装置，和/或如本发明上述技术方案提出的可读存储介质，因此，该电子设备具备本发明上述技术方案提出的文本的规范化装置和/或本发明上述技术方案提出的可读存储介质的全部有益效果，在此不再赘述。
46.根据本技术的第六个方面，提出了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现如本技术上述技术方案提出的文本的规范化方法的步骤，因而具有本技术上述技术方案提出的文本的规范化方法的全部有益技术效果，在此不再做过多赘述。
47.本技术的附加方面和优点将在下面的描述部分中变得明显，或通过本技术的实践了解到。
附图说明
48.本技术的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
49.图1示出了本技术实施例的文本的规范化方法的流程示意图之一；
50.图2示出了本技术实施例的第二模型的示意图之一；
51.图3示出了本技术实施例的第二模型的示意图之二；
52.图4示出了本技术实施例的文本的规范化方法的流程示意图之二；
53.图5示出了本技术实施例的文本的规范化方法的流程示意图之三；
54.图6示出了本技术实施例的第二模型的示意图之三；
55.图7示出了本技术实施例的文本的规范化方法的流程示意图之四；
56.图8示出了本技术实施例的文本的规范化装置的示意框图之一；
57.图9示出了本技术实施例的文本的规范化装置的示意框图之二。
具体实施方式
58.为了能够更清楚地理解本技术的上述目的、特征和优点，下面结合附图和具体实
施方式对本技术进行进一步的详细描述。需要说明的是，在不冲突的情况下，本技术的实施例及实施例中的特征可以相互组合。
59.在下面的描述中阐述了很多具体细节以便于充分理解本技术，但是，本技术还可以采用其他不同于在此描述的其他方式来实施，因此，本技术的保护范围并不限于下面公开的具体实施例的限制。
60.下面结合图1至图9，通过具体的实施例及其应用场景对本技术实施例提供的一种文本的规范化方法、装置、存储介质和电子设备进行详细地说明。
61.实施例一：
62.图1示出了本技术实施例的文本的规范化方法的流程示意图，该规范化方法包括：
63.s102，获取输入文本；
64.s104，将输入文本输入至第一模型，确定输入文本中字符的标注数据；
65.s106，根据标注数据，通过第二模型对输入文本进行文本规范化处理，确定输出文本。
66.其中，第一模型为预先训练的神经网络模型，第二模型为加权有限状态转换机，标注数据包括输入文本中字符的序列标注数据和输入文本中特殊字符的不同含义的概率分布。
67.需要说明的是，本技术所提出的文本的规范化方法的执行主体可以是文本的规范化装置，为了更加清楚的对本技术提出的文本的规范化方法进行说明，下面实施例中以文本的规范化方法的执行主体为文本的规范化装置进行示例性说明。
68.在该实施例中，上述第一模型表示经过训练之后的神经网络模型，其能够对输入文本进行文本序列标注，上述第二模型表示定义规则后的加权有限状态转换机。
69.具体地，规范化装置首先获取上述输入文本，具体而言，该输入文本表示待进行文本规范化的文本。
70.进一步地，规范化装置将上述输入文本输入到上述第一模型中，以确定上述标注数据。具体而言，第一模型可以对输入文本中的字符进行文本序列标注，可以预测输入文本中的特殊字符的不同含义的概率分布，可以预测输入文本中多音字和数字的读法，因此，规范化装置可以通过上述第一模型确定出对于输入文本中的字符的标注数据。
71.进一步地，规范化装置根据上述标注数据，基于第二模型对输入文本进行规范化处理，以得出文本规范化后的输入文本，即上述输出文本。
72.示例性地，以输入文本为“1-9之间”为例，规范化装置首先会将文本“1-9之间”输入到第一模型中确定出标注数据：“1，cardinal”、
“‑
，不同含义的概率分布的负对数”、“9，cardinal”、“之，self”、“间，self”，其中，cardinal表示数字，self表示不转化，不同含义的概率分布的负对数表示符号
“‑”
不同含义的概率，例如，
“‑”
表示含义为“比”的概率分布的负对数为152.807，表示含义为“到”的概率分布的负对数为2.9802e-06等。
73.进一步地，规范化装置会通过第二模型，基于上述标注数据对输入文本进行处理，其示意图如图2所示，图2中，1:1表示输入为1输出为1，ε表示跳转符号，即图2中可以直接从第一步跳转至第三步。具体地，设置跳转符号ε的目的为将数字与特殊符号或者数字与文字进行分离处理，例如，在“1-9之间”在“9”和“之”的中间添加空格。
74.具体地，第二模型基于标注数据计算求解输出文本的最短路径，即0、1、3、4、6、7、
9、10、11，在3至4的步骤中会选取概率分布的负对数最小的路径，确定出输出文本为“1到9之间”。
75.示例性地，以输入文本为“比分1-9”为例，规范化装置首先会将文本“比分1-9”输入到第一模型中确定出标注数据：“比，self”、“分，self”，“1，cardinal”、
“‑
，不同含义的概率分布的负对数”、“9，cardinal”，其中，cardinal表示数字，self表示不转化，不同含义的概率分布的负对数表示符号
“‑”
不同含义的概率，例如，
“‑”
表示含义为“比”的概率分布的负对数为3.0994e-06，表示含义为“到”的概率分布的负对数为13.658等。
76.进一步地，规范化装置会通过第二模型，基于上述标注数据对输入文本进行处理，其示意图如图3所示，图3中，“比：比”表示输入为“比”输出为“比”，ε表示跳转符号，即图3中可以直接从第一步跳转至第三步。具体地，第二模型基于标注数据计算求解输出文本的最短路径，即0、1、3、4、6、7、8、9在7至8的步骤中会选取概率分布的负对数最小的路径，确定出输出文本为“比分1比9”。
77.在该实施例中，规范化装置能够通过第一模型确定输入文本的标注数据，能够通过第二模型根据标注数据对输入文本进行处理确定输出文本。在本技术的实施例中，对输入文本的规范化过程中，考虑了第一模型确定的标注数据，避免了对于输入文本的特殊字符规范化过程中，出现歧义的情况，保证了确定出的输入文本的准确性。
78.此外，由于上述第一模型是通过训练神经网络模型得出的，上述第二模型是对加权有限状态转换机定义规则得到的，使得本技术提出的文本的规范化方法在进行文本规范化的过程中，结合了模型和定义规则，提高了其范化能力，避免了仅采用模型不定义规则可能出现错误的情况。
79.图4示出了本技术实施例的文本的规范化方法的流程示意图，该规范化方法包括：
80.s402，获取输入文本；
81.s404，将输入文本输入至第一模型，确定输入文本中字符的标注数据；
82.s406，调用第二模型的标签函数，根据标注数据对输入文本进行标注，确定第一文本；
83.s408，根据第一文本确定输出文本。
84.在该实施例中，上述标签函数表示加权有限状态转换机(即上述第二模型)的tagger函数，该标签函数能够根据标注数据对输入文本进行标注；上述第一文本表示经过标签函数标注后的文本。
85.具体地，确定输出文本的过程为：规范化装置首先会调用上述第二模型中的标签函数，将输入文本和标注数据输入到该函数中，以使标签函数根据上述标注数据标注上述输入文本，以确定出上述第一文本。
86.进一步地，规范化装置根据上述第一文本确定输出文本。具体而言，根据第一文本可以明确输入文本中的每个字符是否需要转换，以及输入文本中特殊字符不同含义的概率，因此，规范化装置可以根据上述第一文本确定出上述输出文本。
87.示例性地，上述第一文本如表1所示：
88.表1
[0089][0090]
具体地，表1中cardinal表示数字，tokens表示标签，integer表示整数，name表示一般字符串的含义，通过第一文本可以看出，确定输出文本的过程中，需要对输入文本进行哪些转换，因此，规范化装置可以根据上述第一文本确定出上述输出文本。
[0091]
在该实施例中，规范化装置可以通过调用上述第二模型中的标签函数，基于标注数据标注输入文本，确定出第一文本，然后根据第一文本确定输出文本。这样，使得确定输出文本的过程中，可以充分利用第一模型预测的标注数据，保证了确定出的输出文本的准确性。
[0092]
图5示出了本技术实施例的文本的规范化方法的流程示意图，该规范化方法包括：
[0093]
s502，获取输入文本；
[0094]
s504，将输入文本输入至第一模型，确定输入文本中字符的标注数据；
[0095]
s506，调用第二模型的标签函数，根据标注数据对输入文本进行标注，确定第一文本；
[0096]
s508，调用第二模型的解码路径函数对第一文本中的字符进行解析和位置调整，确定第二文本；
[0097]
s510，根据第二文本确定输出文本。
[0098]
具体地，确定输出文本的过程为：规范化装置首先会调用上述第二模型中的解码路径函数，将上述第一文本输入到该函数中进行处理，对该文本中的每个字符进行解析以及位置调整，使其与原始的输入文本中的字符序列的位置相一致，确定出上述第二文本，这样，可以避免确定出的输出文本的准确性。
[0099]
进一步地，规范化装置根据上述第二文本确定输出文本。具体而言，第二文本表示对第一文本中的字符位置进行适应性调整后的文本，所以，根据第二文本也可以明确输入文本中的每个字符是否需要转换，以及输入文本中特殊字符不同含义的概率，因此，规范化装置可以根据上述第二文本确定出上述输出文本。
[0100]
示例性地，由于输入文本中的特殊字符可能包括多种含义，所以会产生多条解码路径，因此，需要通过规范化装置求解出多条解码路径中的最短路径。如图6所示，解码得出其最短路径为0、1、4、6、7，即(a:d)-》(b:e)-》(c:ε)-》(d:a)，其对应的输入为abcd，对应的输出为dea，由于ε表示跳转字符，根据路径(a:d)-》(b:e)-》(c:ε)-》(d:a)可以得到输出字符的原始位置为d-》0，e-》1，a-》3。
[0101]
具体而言，以输入文本为“身高(空格)176”为例，其对应的输出为身高一七六，根
据路径(身：身)-》(高：高)-》(空格:ε)-》(1:一)-》(7:七)-》(6:六)可以得到输出字符的原始位置为：身-》0，高-》1，一-》3，七-》4，六-》5。
[0102]
在该实施例中，由于经过上述标签函数得出的第一文本中的字符的位置相比于输入文本中原始字符位置可能会发生改变，这可能会导致确定出的输出文本不准确。所以，在本技术的实施例中，规范化装置需要调用解码路径函数对第一文本进行处理，这样，保证了确定出的输出文本的准确性。
[0103]
图7示出了本技术实施例的文本的规范化方法的流程示意图，该规范化方法包括：
[0104]
s702，获取输入文本；
[0105]
s704，将输入文本输入至第一模型，确定输入文本中字符的标注数据；
[0106]
s706，调用第二模型的标签函数，根据标注数据对输入文本进行标注，确定第一文本；
[0107]
s708，调用第二模型的解码路径函数对第一文本中的字符进行解析和位置调整，确定第二文本；
[0108]
s710，调用第二模型的语言化函数对第二文本进行转换，确定输出文本。
[0109]
在该实施例中，上述语言化函数表示第二模型，即加权有限状态转换机的verbalizer(语言化)函数。
[0110]
具体地，确定上述输出文本的过程为：规范化装置通过调用上述语言化函数将上述第二文本转化成输出文本。具体而言，语言化函数可以将第二文本中的标注数据带到输出中，例如多音字或者数字的读法等。
[0111]
在该实施例中，规范化装置可以通过调用语言化函数将第二文本中的标注数据带到输出中，保证了确定出的输出文本的准确性。
[0112]
在上述实施例中，特殊字符包括符号、数字、缩写字符和多音字中的一种或多种。
[0113]
在该实施例中，上述特殊字符包括但不限于多音字、符号、缩写字符和数字。
[0114]
在上述实施例中，确定输出文本之后，文本的规范化方法还包括：将输入文本转换为可播放语音进行输出。
[0115]
在该实施例中，规范化装置在确定出输出文本后，还需要将该输出文本转换成可播放的语音，以使用户能够得到与该输入文本相对应的可播放语音。
[0116]
在该实施例中，规范化装置还可以将输出文本转成可播放语音，使得用户可以通过收听语音的方式了解上述输入文本中的内容。
[0117]
在上述实施例中，在获取输入文本之前，规范化方法还包括：获取训练数据集；根据训练数据集对预设模型进行训练，确定第一模型；其中，预设模型为神经网络模型。
[0118]
在该实施例中，上述预设模型表示神经网络模型，上述训练数据集表示通过人工或者设定规则后的加权有限状态转换机对输入文本进行文本序列标注后的训练文本。
[0119]
具体地，在获取上述输入文本前，规范化装置还用于获取训练数据集，对预设模型进行训练，以确定出能够对输入文本进行文本序列标注，预测输入文本中的特殊字符的不同含义的概率分布，预测输入文本中多音字和数字读法的第一模型。
[0120]
具体而言，训练数据集中包括有标注数据和输入文本。在训练过程中，规范化装置需要先将输入文本中输入至预设模型中，确定预设模型的输出结果。然后比较输出结果与标注的差异值，并根据差异值至持续优化预设模型，直至预设模型的输出结果与标注数据
的匹配度大于设定阈值。
[0121]
在该实施例中，在获取上述输入文本前，规范化装置还可以获取训练数据集训练预设模型确定第一模型。这样，使得本技术通过第一模型即可快速确定出关于输入文本的标注数据，保证了标注数据确定的效率和准确性，进而保证了确定出的输出文本的准确性。
[0122]
在上述实施例中，获取输入文本之前，规范化方法还包括：根据预设规则设置第二模型对于输入文本和输出文本的转换规则。
[0123]
在该实施例中，在获取上述输入文本前，规范化装置还需要根据预设的规则设置第二模型的转换规则，例如，规范化装置根据用户输入的信息设置第二模型的标签函数的标签规则，设置第二模型的解码路径函数分析和位置调整的规则，设置第二模型的语言化函数的转换规则等。
[0124]
具体而言，通过预设规则设置第二模型的转换规则后，可以保证通过标签函数确定出的第一文本的准确性，可以保证通过解码路径函数确定出的第二文本的准确性，可以保证通过语言化函数确定出的输出文本的准确性。
[0125]
实施例二：
[0126]
图8示出了本技术实施例的文本的规范化装置的示意框图，该文本的规范化装置800包括：获取模块802，用于获取输入文本；第一处理模块804，用于将输入文本输入至第一模型，确定输入文本中字符的标注数据；第二处理模块806，用于根据标注数据，通过第二模型对输入文本进行文本规范化处理，确定输出文本；其中，第一模型为预先训练的神经网络模型，第二模型为加权有限状态转换机，标注数据包括输入文本中字符的序列标注数据和输入文本中特殊字符的不同含义的概率分布。
[0127]
在该实施例中，上述第一模型表示预先训练神经网络模型得出的能够对输入文本进行文本序列标注的模型，上述第二模型表示定义规则后的加权有限状态转换机，上述标注数据包括输入文本中字符的序列标注数据和输入文本中特殊字符的不同含义的概率分布。
[0128]
具体地，首先获取模块802获取上述输入文本，具体而言，该输入文本表示待进行文本规范化的文本。
[0129]
进一步地，第一处理模块804将上述输入文本输入到上述第一模型中，以确定上述标注数据。具体而言，第一模型可以对输入文本中的字符进行文本序列标注，可以预测输入文本中的特殊字符的不同含义的概率分布，可以预测输入文本中多音字和数字的读法，因此，第一处理模块804可以通过上述第一模型确定出对于输入文本中的字符的标注数据。
[0130]
进一步地，第二处理模块806根据上述标注数据，基于第二模型对输入文本进行规范化处理，以得出文本规范化后的输入文本，即上述输出文本。
[0131]
在该实施例中，第一处理模块804能够通过第一模型确定输出文本的标注数据，第二处理模块806能够通过第二模型根据标注数据对输入文本进行处理确定输出文本。在本技术的实施例中，对输入文本的规范化过程中，考虑了第一模型确定的标注数据，避免了对于输入文本的特殊字符规范化过程中，出现歧义的情况，保证了确定出的输入文本的准确性。
[0132]
此外，由于上述第一模型是通过训练神经网络模型得出的，上述第二模型是对加权有限状态转换机定义规则得到的，使得本技术提出的文本的规范化装置800在进行文本
规范化的过程中，结合了模型和定义规则，提高了其范化能力，避免了仅采用模型不定义规则可能出现错误的情况。
[0133]
在上述实施例中，第二处理模块806具体用于调用第二模型的标签函数，根据标注数据对输入文本进行标注，确定第一文本；第二处理模块806具体用于根据第一文本确定输出文本。
[0134]
在该实施例中，第二处理模块806可以通过调用上述第二模型中的标签函数，基于标注数据标注输入文本，确定出第一文本，然后根据第一文本确定输出文本。这样，使得确定输出文本的过程中，可以充分利用第一模型预测的标注数据，保证了确定出的输出文本的准确性。
[0135]
在上述实施例中，第二处理模块806具体用于调用第二模型的解码路径函数对第一文本中的字符进行解析和位置调整，确定第二文本；第二处理模块806具体用于根据第二文本确定输出文本。
[0136]
在该实施例中，由于经过上述标签函数得出的第一文本中的字符的位置相比于输入文本中原始字符位置可能会发生改变，这可能会导致确定出的输出文本不准确。所以，在本技术的实施例中，第二处理模块806需要调用解码路径函数对第一文本进行处理，这样，保证了确定出的输出文本的准确性。
[0137]
在上述实施例中，第二处理模块806具体用于调用第二模型的语言化函数对第二文本进行转换，确定输出文本。
[0138]
在该实施例中，第二处理模块806可以通过调用语言化函数将第二文本中的标注数据带到输出中，保证了确定出的输出文本的准确性。
[0139]
在上述实施例中，上述特殊字符包括符号、数字、缩写字符和多音字中的一种或多种。
[0140]
在上述实施例中，第二处理模块806还用于将输入文本转换为可播放语音进行输出。
[0141]
在该实施例中，第二处理模块806还可以将输出文本转成可播放语音，使得用户可以通过收听语音的方式了解上述输入文本中的内容。
[0142]
在上述实施例中，获取模块802还用于获取训练数据集；第一处理模块804还用于根据训练数据集对预设模型进行训练，确定第一模型；其中，预设模型为神经网络模型。
[0143]
在该实施例中，在获取上述输入文本前，第一处理模块804还可以根据获取模块802获取的训练数据集训练预设模型确定第一模型。这样，使得本技术通过第一模型即可快速确定出关于输入文本的标注数据，保证了标注数据确定的效率和准确性，进而保证了确定出的输出文本的准确性。
[0144]
在上述实施例中，第一处理模块804还用于根据预设规则设置第二模型对于输入文本和输出文本的转换规则。
[0145]
在该实施例中，第一处理模块804通过预设规则对第二模型的转换规则进行设置，可以保证通过标签函数确定出的第一文本的准确性，可以保证通过解码路径函数确定出的第二文本的准确性，可以保证通过语言化函数确定出的输出文本的准确性。
[0146]
实施例三：
[0147]
图9示出了本技术实施例的另一种文本的规范化装置900的示意框图，该文本的规
范化装置900包括：存储器902，存储器902中存储有程序或指令；处理器904，处理器904执行存储在存储器902中的程序或指令以实现如本技术上述实施例提出的文本的规范化方法的步骤，因而具有本技术上述实施例提出的文本的规范化方法的全部有益技术效果，在此不再做过多赘述。
[0148]
实施例四：
[0149]
根据本技术的第四个实施例，提出了一种可读存储介质，其上存储有程序或指令，程序或指令被处理器执行时实现如本技术上述实施例提出的文本的规范化方法的步骤，因而具有本技术上述实施例提出的文本的规范化方法的全部有益技术效果，在此不再做过多赘述。
[0150]
实施例五：
[0151]
根据本技术的第五个实施例，提出了一种电子设备，包括如本发明上述实施例提出的文本的规范化装置，和/或如本发明上述实施例提出的可读存储介质，因此，该电子设备具备本发明上述实施例提出的文本的规范化装置和/或本发明上述实施例提出的可读存储介质的全部有益效果，在此不再赘述。
[0152]
实施例六：
[0153]
根据本技术的第六个实施例，提出了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现如本技术上述实施例提出的文本的规范化方法的步骤，因而具有本技术上述实施例提出的文本的规范化方法的全部有益技术效果，在此不再做过多赘述。
[0154]
在本说明书的描述中，术语“第一”、“第二”仅用于描述的目的，而不能理解为指示或暗示相对重要性，除非另有明确的规定和限定；术语“连接”、“安装”、“固定”等均应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本技术中的具体含义。
[0155]
在本说明书的描述中，术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0156]
另外，本技术各个实施例之间的实施例可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当实施例的结合出现相互矛盾或无法实现时应当认为这种实施例的结合不存在，也不在本技术要求的保护范围之内。
[0157]
以上仅为本技术的优选实施例而已，并不用于限制本技术，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。