多模态标点符号添加方法、设备及计算机可读介质与流程

本申请涉及信息，尤其涉及一种多模态标点符号添加方法、设备及计算机可读介质。

背景技术：

1、语音识别（speech recognition，sr）是指让计算机系统能够识别并理解人类语音中的内容，将语音信号转换为文本信息的技术。但是目前的语音识别技术仅能够识别语音中包含的文本，无法为文本组成的语句准确添加标点符号，往往需要对识别到文本再进行标点符号的预测。目前的标点符号预测方案一般都是基于文本信息来实现，由于仅包含文本这一模态的输入信息，因此预测结果无法利用到实际输入语音中的语气变换、停顿等内在信息，导致标点符号预测的准确性不足，无法在语音识别时为识别到的文本语句准确地添加标点符号。

技术实现思路

1、本申请的一个目的是提供一种多模态标点符号添加方法、设备及计算机可读介质，用以解决现有方案中准确性不足的问题。

2、为实现上述目的，本申请实施例提供了一种多模态标点符号添加方法，所述方法包括：

3、根据输入语音获取对应的语音特征矩阵，并根据识别文本获取对应的文本特征矩阵，所述识别文本为对所述输入语音进行语音识别所得到的文本；

4、基于语音特征矩阵和文本特征矩阵，计算获得权重特征矩阵；

5、利用所述权重特征矩阵，对所述文本特征矩阵的特征信息进行增强表示，获取增强特征矩阵；

6、对所述增强特征矩阵和语音特征矩阵进行特征融合，获取模态融合特征矩阵；

7、对所述模态融合特征矩阵进行空间映射，获取标点概率矩阵，所述标点概率矩阵的形状为（n，x），n为所述识别文本中的字符数量，x为备选标点符号的数量，所述标点概率矩阵中的元素（n，x）表示识别文本中的第n个字符位置处需要添加第x种标点符号的概率；

8、根据所述标点概率矩阵，在所述识别文本的对应字符位置处添加对应的标点符号。

9、进一步地，根据输入语音获取对应的语音特征矩阵，包括：

10、将输入语音输入至conformer模型，利用所述conformer模型获取对应的语音特征矩阵。

11、进一步地，根据识别文本获取对应的文本特征矩阵，包括：

12、将识别文本输入至bert模型，利用所述bert模型获取对应的文本特征矩阵。

13、进一步地，所述语音特征矩阵的形状为（m，y），所述文本特征矩阵的形状为（n，y），其中，m与输入语音的长度正相关，n为所述识别文本中的字符数量，y为特征的嵌入维度；

14、基于语音特征矩阵和文本特征矩阵，计算获得权重特征矩阵，包括：

15、将所述文本特征矩阵与转置处理后的所述语音特征矩阵进行矩阵乘法运算，获得形状为（n，m）的中间结果矩阵；

16、对所述中间结果矩阵中的每个元素采用预设的第一激活函数进行计算，获得形状为（n，m）的权重系数矩阵；

17、将所述权重系数矩阵与所述语音特征矩阵进行矩阵乘法运算，获得形状为（n，y）的权重特征矩阵。

18、进一步地，利用所述权重特征矩阵，对所述文本特征矩阵的特征信息进行增强表示，获取增强特征矩阵，包括：

19、将所述文本特征矩阵与所述权重特征矩阵进行矩阵加法运算，获取增强特征矩阵。

20、进一步地，对所述增强特征矩阵和语音特征矩阵进行特征融合，获取模态融合特征矩阵，包括：

21、将所述增强特征矩阵作为变换器模型的解码器的q向量特征，将所述语音特征矩阵作为变换器模型的解码器的k向量特征和 v向量特征，输入至变换器模型的解码器，获取模态融合特征矩阵。

22、进一步地，对所述模态融合特征矩阵进行空间映射，获取标点概率矩阵，包括：

23、利用多层感知机模型和预设的第二激活函数，对所述模态融合特征矩阵进行空间映射，获取标点概率矩阵。

24、进一步地，所述备选标点符号包括一个非标点标记和多种标点符号。

25、本申请的一些实施例还提供了一种多模态标点符号添加设备，其中，该设备包括用于存储计算机程序指令的存储器和用于执行计算机程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发所述设备执行前述的多模态标点符号添加方法。

26、本申请的另一些实施例还提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令可被处理器执行以实现所述多模态标点符号添加方法。

27、相较于现有技术，本申请实施例提供的一种多模态标点符号添加方案中，首先根据输入语音和识别文本分别得到对应的语音特征矩阵和文本特征矩阵，然后基于语音特征矩阵和文本特征矩阵，计算获得权重特征矩阵，利用所述权重特征矩阵，对所述文本特征矩阵的特征信息进行增强表示，获取增强特征矩阵后，并对所述增强特征矩阵和语音特征矩阵进行特征融合，获取模态融合特征矩阵，而后可以利用所述模态融合特征矩阵进行空间映射，获取标点概率矩阵，标点概率矩阵能够预测识别文本中的各个字符位置处对应特定标点符号的概率，因此可以根据所述标点概率矩阵，在所述识别文本的对应字符位置处添加对应的标点符号。由于在处理过程中，除了利用识别文本本身包含的文本语义特征之外，还通过合适的方式结合了语音中包含的音频特征，由此实现了多模态的特征信息融合，可以在预测标点符号时进一步利用到实际输入语音中的语气变换、停顿等内在信息，从而有效提升标点符号预测的准确性，从而为识别到的文本语句准确地添加标点符号。

技术特征：

1.一种多模态标点符号添加方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，根据输入语音获取对应的语音特征矩阵，包括：

3.根据权利要求1所述的方法，其特征在于，根据识别文本获取对应的文本特征矩阵，包括：

4.根据权利要求1所述的方法，其特征在于，所述语音特征矩阵的形状为（m，y），所述文本特征矩阵的形状为（n，y），其中，m与输入语音的长度正相关，n为所述识别文本中的字符数量，y为特征的嵌入维度；

5.根据权利要求4所述的方法，其特征在于，利用所述权重特征矩阵，对所述文本特征矩阵的特征信息进行增强表示，获取增强特征矩阵，包括：

6.根据权利要求1所述的方法，其特征在于，对所述增强特征矩阵和语音特征矩阵进行特征融合，获取模态融合特征矩阵，包括：

7.根据权利要求1所述的方法，其特征在于，对所述模态融合特征矩阵进行空间映射，获取标点概率矩阵，包括：

8.根据权利要求1所述的方法，其特征在于，所述备选标点符号包括一个非标点标记和多种标点符号。

9.一种多模态标点符号添加设备，其中，该设备包括用于存储计算机程序指令的存储器和用于执行计算机程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发所述设备执行权利要求1至8中任一项所述的方法。

10.一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令可被处理器执行以实现如权利要求1至8中任一项所述的方法。

技术总结
本申请实施例提供了一种多模态标点符号添加方法、设备及计算机可读介质，该方案在处理过程中，除了利用识别文本本身包含的文本语义特征之外，还通过合适的方式结合了语音中包含的音频特征，由此实现了多模态的特征信息融合，可以在预测标点符号时进一步利用到实际输入语音中的语气变换、停顿等内在信息，从而有效提升标点符号预测的准确性，从而为识别到的文本语句准确地添加标点符号。

技术研发人员：刘玉龙,孔欧,刘益东
受保护的技术使用者：上海蜜度科技股份有限公司
技术研发日：
技术公布日：2024/5/29