基于留言的语言翻译方法、系统、计算机程序和手持终端与流程

本发明涉及一种基于留言的语言翻译方法、系统、计算机程序和手持终端，属于语音数据处理技术领域。

背景技术：

对于移动终端，传统的接打电话功能仅限于用户之间通过语音进行交流，若通信双方用户使用不同的语种或者方言，经常不理解对方的语义，交流困难，甚至产生误解，经常给商务造成损失。

技术实现要素：

本发明公开一种基于留言的语言翻译方法、系统、计算机程序和手持终端，其能够将对端所使用的各种语种和/或方言翻译为本端用户所能理解的标准语言，使交流非常方便。

为实现所述发明目的，本发明提供一种基于留言的语言翻译方法,其特征在于，包括：

在步骤s201中，向对端发送去电请求并等待回应；

在步骤s202中，若没接到对端的回应，提示本端用户是否进入留言模式，并根据用户的选择，确定是否进入留言模式；

在步骤s203中，收到对端的回应后，提示本端用户是否进入语种翻译模式，并根据本端用户的选择确定是否进入语种翻译模式，而后选择语种翻译类型，所述语种翻译类型至少包括人工选择模式和ai自动识别模式；确定处于留言模式的语种翻译模式的人工选择模式时，根据用户的选择进行语种翻译，将对端的语音语种和/或方言翻译为所选择的语种和/或标准语，通过显示模块转换为文字和/或通过声音模块转换为语音；或确定处于留言模式的语种翻译模式的ai自动识别模式时，识别对方回应的语音使用的语种和/或方言，并将对端所使用语种和/或方言转换为本端用户所使用的语种和标准语而后通过语音模块转换为声音和/或通过显示模块转换为文字。

优选地，基于留言的语言翻译方法还包括确定是否接收到结束语种翻译模式的指令,若接收到,结束语种翻译处理,进入普通的接听，若没有接收到结束语种翻译模式的指令，则继续根据之前的选择的语种翻译类型，对接收到的语音语种和/或方言进行处理。

优选地，基于留言的语言翻译方法还包括在接听留言中,确定是否接收到更改语种翻译类型的指令,若接收到,根据更改后所选择的翻译类型对接收到的语音语种和/或方言进行处理；若没接收到，则继续根据之前的选择的语种翻译类型，对接收到的语音语种和/或方言进行处理。

优选地，基于留言的语言翻译方法还包括：利用编码单元将各种语种和/或方言的单词词音进行编码生成各语种单词词音/编码表并存储于存储器中，不同语种的同一词义的单词对应相同的编码；将留言的语音进行分词并对分词后的单词音根据单词词音/编码表进行编码生成码串；通过语种识别模型识别留言所使用的语种；通过语种模型单元查找单词-词音-编码表，将码串变换为所选择的语种使用的语种单词语音串并调整语音串词序将对端所使用的语种/方言语音转换为本端所使用的语种/方言语音。该方法能够利用计算机语言编成处理器可执行的源程序代码，并能够存储于存储介质中，所述存储介质至少包括存储器.

为实现的述发明目的，本发明还提供一种基于留言的语言翻译系统，其包括：请求模块，被配置为向对端发送去电请求并等待回应,其特征在于,还包括:判断模块，被配置为是否接收到对端回应，若没接到对端的回应，提示本端用户是否进入留言模式，并根据用户的选择，确定是否进入留言模式；翻译模块，被配置为，接收到对端回应后,提示本端用户是否进入语种翻译模式，并根据本端用户的选择确定是否进入语种翻译模式，而后选择语种翻译类型，所述语种翻译类型至少包括人工选择模式和ai自动识别模式；确定处于留言模式的语种翻译模式的人式选择模式时，根据用户的选择进行语种翻译，收到对端的回应后将对端的语音语种和/或方言翻译为所选择的语种和/或标准语；或确定处于留言模式的语种翻译模式的ai模式时，识别对方回应的语音使用的语种和/或方言,并将对端所使用语种和/或方言转换为本端用户所使用的语种和标准语；输出模块，被配置为将将翻译后的语种和/或方言转换为声音和/或通过显示模块转换为文字。

优选地，所述系统还包括结束模块，被配置为在接听留言中,确定是否接收到结束语种翻译模式的指令,若接收到,结束语种翻译处理,进入普通的接听，若没有接收到结束语种翻译模式的指令，则继续根据之前的选择的语种翻译类型，对接收到的语种和/或方言进行翻译处理.。

优选地，所述系统还包括更改模块，被配置为在接听留言中,确定是否接收到更改语种翻译类型的指令,若接收到,根据更改后的翻译类型对接收到的语种和/或方言进行翻译处理；若没接收到，则继续根据之前的选择的语种翻译类型，对接收到的语种和/或方言进行翻译处理。

优选地，翻译模块包括：编码单元、语音语义库、分词单元、种识别模型和语种单元，其中，编码单元将各种语种和/或方言的单词词音进行编码生成各语种单词-词音-编码表并存储于语音语义库中，不同语种的同一词义的单词对应相同的编码；分词单元将留言的语音进行分词并对分词后的单词词音根据单词-词音-编码表进行编码生成码串；语种识别模型识别留言所使用的语种；语种模型单元查找单词-词音-编码表将码串变换为所选择的语种使用的语种单词语音串并调整语音串词序将对端所使用的语种/方言语音转换为本端所使用的语种/方言语音。

为实现所述发明目的，本发明还提供一种计算机程序，其特征在于，将上述所述的方法利用计算机语言编成处理器可执行的源程序代码，并能够存储于存储介质中。

为实现所述发明目的，本发明还提供一种手持终端，其包括处理器和存储器，其特征在于，所述存储器至少存储有上述的计算机程序，处理器调用该计算机程序，并能够实现权上述方法。

本公开的实施例提供的技术方案可以包括以下有益效果：能够将对端所使用的各种语种和/或方言翻译为用户所能理解的标准语言或者文字，使交流和显示非常方便。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是本发明第一实施例提供的基于实时通话的语言翻译方法的流程图；

图2图是本发明第一实施例提供的翻译模块的工作流程图；

图3是本发明第二实施例提供的基于留言的语言翻译方法的流程图；

图4图是本发明第二实施便提供的翻译模块的工作流程图；

图5是现有技术的手持终端的组成框图。

具体实施方式

为了更清楚地说明本发明具体实施方式中的技术方案，下面将对具体实施方式描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

本公开实施例提供的技术方案，能够将对端所使用的各种语音语种和/或方言翻译为用户所选择的标准语音和/或者文字，使交流非常方便。

第一实施例

图1是根据一示例性实施例示出的一种基于实时通话的语言翻译方法的流程图，如图1所示，所述基于实时通话的语言翻译方法包括以下步骤s101-s103：

在步骤s101中，接收对端发来的来电请求并回应以建立通信链路；

在步骤s102中，在建立通信链路的同时，提示本端用户是否进入语种翻译模式，并根据本端用户的选择确定是否进入语种翻译模式，而后选择语种翻译类型，所述语种翻译类型至少包括人工选择模式和ai自动识别模式，人工选择模式为，建立通信链路后且确定处于语种翻译模式时，根据用户的选择进行语种翻译，而后通过语音模块转换为声音或通过显示模块转换为文字；ai自动识别模式为，建立通信链路后且确定处于语种翻译模式时，识别通信双方所使用的语音语种，并将对端所使用语音语种转换为本端所使用的语种语音而后通过语音模块转换为声音和/或通过显示模块转换为文字。

在步骤s103中，建立通信链路后且确定处于语种翻译模式的人工选择模式时，根据用户的选择的翻译类型将接收到的语音语种和/或方言翻译为所选择的语种语音和/或标准语并将翻译后的语种和/或标准语通过语音模块转换为声音和/或通过显示模块转换为文字；ai自动识别模式为，建立通信链路后且确定处于语种翻译模式时，识别通信双方所使用的语种和/或方言，并将收到的语种转换为用户所使用的语种和/或方言通过语音模块转换为声音和/或通过显示模块转换为文字。

在该实施例中，能够提供用户进行语种翻译模式的选择，正常情况下可不选择进行语种翻译模式，即直接使用语音进行双向通信，在听不懂对方的语种或者方言时，可选择使用语种翻译模式功能，将收到的语种和/或方言转为用户熟悉的话种或标准语言，并通过听筒或外放设备进行播放或者通过显示屏显示为文字。

在一个实施例中，所述基于实时通话的语言翻译方法还包括确定进入语种翻译模式的步骤：.根据用户的设置，默认建立通信链路后自动进入语种翻译模式；或，在接收到对端发送来的来电请求进行来电提示，并在向对端回应以建立通信链路的同时，提示是否进入语种翻译模式，并根据用户的选择确定是否进入语种翻译模式；或，在与对端建立通信链路后，根据用户的选择，进入语种翻译模式。在该实施例中，可支持用户在任何时间选择进入语种翻译模式。

在一个实施例中，所述方法还包括结束语种翻译模式的步骤，仍如图1所示，所述方法包括以下步骤s104-s105：

在步骤s104中,在通话中,确定是否接收到结束语种翻译模式的指令,若接收到种翻译模式的指令,结束语种翻译处理,进入普通的通话，若没有接收到结束语种翻译模式的指令，则继续根据之前的选择的语种翻译类型，对接收到的语种语音和/或方言进行处理。

在步骤s105中，在通话中,确定是否接收到更改语种翻译类型的指令,若接收到,根据更改后的翻译类型对接收到的语种和/或方言进行处理；若没接收到，则返回到步骤s104；

在步骤s105中，在通话中,确定是否接收到结束通话的指令,若接收到,则结束语种翻译处理；若没接收到，则返回到步骤s104。

在该实施例中，可支持用户结束使用语种翻译功能，且支持用户随时根据收到的结束语种翻译模式的指令结束使用语种翻译功能，以应对用户的实际应用需要。比如，可在与对端通过通信链路进行通信的过程中收到结束语种翻译模式的指令时，结束语种翻译功能，也可以在结束与对端的通信时结束使用语种到译功能。

在该实施例中，还可支持用户更改语种翻译类型的功能，且支持用户随时根需要更改语种翻译类型，以应对用户的实际应用需要。比如，若确定处于语种翻译模式的人工选择模式的互译模式时，可以根据需要转换为单译模式，还可转换为ai智能识别模式。

根据本发明第一实施例，还提供一种计算机程序，其将上述的方法利用计算机语言编成处理器可执行的源程序代码，并能够存储于存储介质中，所述存储介质至少包括存储器。

根据本发明一个实施例，本发明还提供一种与上述方法相应的基于实时通信的语言翻译系统，其包括：通信链路建立模块，被配置为与对端建立通信链路；语言翻译系统还包括：判断模块，被配置为在建立通信链路的同时，判断是否进入语种翻译模式，并根据用户的选择确定是否进入语种翻译模式，而后选择语种翻译类型，所述语种翻译类型至少包括人工选择模式和ai自动识别模式；翻译模块，被配置为建立通信链路后且确定处于语种翻译模式人工选择模式时，根据用户的选择进行语种翻译，人工选择模式包括单译模式和互译模式，单译模式为将对端的语种翻译为本端所选择的语种，互译模式为将通信双方所选择的语种进行互译；或建立通信链路后且确定处于语种翻译模式的ai自动识别模式时，识别通信双方所使用的语种，并将对端所使用语种转换为本种所使用的语种；输出模块，被配置为将翻译后的语种内容通过语音模块转换为声音和/或通过显示模块转换为文字。

根据本发明一个实施例，基于实时通话的语言翻译系统还包括结束模块，被配置为：在语种翻译模式时，收到结束语种翻译模式的指令时结束语种翻译模式。

根据本发明一个实施例，基于实时通话的语言翻译系统还包括结束模块，被配置为在语种翻译模式时，收到通信结束的指令时结束语种翻译模式。

图2图是本发明第一实施例提供的翻译模块的工作流程图，如图2所示，本发明提供的翻译模块包括：编码单元、语种语义库、文本串生成单元和通过语种模型单元，其中，利用编码单元将各种语种和/或方言的单词词音进行编码生成各语种单词-词音-编码表并存储于语音语义库中，不同语种的同一词义的单词和词音对应相同的编码；通过语种识别模块识别通信双方的语音语种并将接收的对端的语音进行分词形成多个词音；通过文本串生成单元对分词后的词音根据单词-词音-编码表进行编码生成文本码串；通过语种模型单元查找单词-词音-编码表，将文本码串变换为本端语种单词串和/或词音串并调整单词串和/或词音串中的单词和/或词音顺序将对端语音的语种/方言语音转换为本端所能理解的语种/方言的文本和/或语音。

该实施例中，采集世界各国的多种语言或者方言的单词语音，各语种中具有相同或相近词义的单词采用相的的编码，并存储于语音语义库中。例如，需要将第一种语言翻译翻译成第二种语言时，将第一种语言的语音进行分词形成多个词音，并对其进行编码生成文本码串；而后根据码串从语音语义库查找对应于第二种语言的读音或文本，最后调整单词读音顺序转换成第二种语言的语音或文本。如此，可加快处理器的处理速度，进而提高了翻译速度。

本发明还提供一种计算机程序，其将上述任一方法利用计算机语言编成处理器可执行的源程序代码，并能够存储于存储介质中，所述存储介质至少包括存储器。

第二实施例

图3是根据一示例性实施例示出的一种基于留言模式的语言翻译方法的流程图，如图3所示，所述基于留言模式的的语言翻译方法包括以下步骤s201-s203：

在步骤s201中，向对端发送去电请求并等待回应；

在步骤s202中，若没接到对端的回应，提示本端用户是否进入留言模式，并根据用户的选择，确定是否进入留言模式；

在步骤s203中，收到对端回应后，提示本端用户是否进入语种翻译模式，并根据本端用户的选择确定是否进入语种翻译模式，而后选择语种翻译类型，所述语种翻译类型至少包括人工选择模式和ai自动识别模式，单译模式为将对端的语种翻译为本端所选择的语种，互译模式为将通信双方所选择的语种进行互译，处于留言模式的语种翻译模式时，人工选择模式为，确定处于留言模式的语种翻译模式时，根据用户的选择进行语种翻译，收到对端的回应后将对端的语音语种和/或方言翻译为所需要的语种和/或标准语，通过显示模块转换为文字和/或通过声音模块转换为语音；ai自动识别模式为，确定处于留言模式的语种翻译模式时，识别对方回应的语音使用的语种和/或方言，并将对端所使用语音语种和/或方言转换为本端用户所使用的语种和标准语而后通过语音模块转换为声音和/或通过显示模块转换为文字。

在该实施例中，在未收到对端回应情况下，可以给对端留言，并将对端的回的语音语种和/或方言转为换本端用户熟悉的语音语种和标准语，大大提高了用户的方便性。

在一个实施例中，所述基于手持终端的语言翻译方法还包括确定进入语种翻译模式的步骤：.根据用户的设置，默认留言模式下自动进入语种翻译模式；或，在接收到对端发送来的留言时，提示是否进入语种翻译模式，并根据用户的选择确定是否进入语种翻译模式。在该实施例中，可支持用户在任何时间选择进入语种翻译模式。

在一个实施例中，所述方法还包括结束语种翻译模式的步骤，仍如图3所示，所述方法包括以下步骤s204-s205：

在步骤s204中,在接听留言中,确定是否接收到结束语种翻译模式的指令,若接收到,结束语种翻译处理,进入普通的接听，若没有接收到结束语种翻译模式的指令，则继续根据之前的选择的语种翻译类型，对接收到的语种和/或方言进行处理。

在步骤s205中，在接听留言中,确定是否接收到更改语种翻译类型的指令,若接收到,根据更改后的翻译类型对接收到的语种和/或方言进行处理；若没接收到，则返回到步骤s204；

在步骤s205中，在接听留言中,判断是否留言是否结束,若结束,则结束语种翻译处理；若没结束，则返回到步骤s204。

在该实施例中，可支持用户结束使用语种翻译功能，且支持用户随时根据收到的结束语种翻译模式的指令结束使用留言模式下的语种翻译功能，以应对用户的实际应用需要。

在该实施例中，还可支持用户更改语种翻译类型的功能，且支持用户随时根需要更改语种翻译类型，以应对用户的实际应用需要。比如，若确定处于语种翻译模式的人工选择模式时，还可转换为ai智能识别模式。

根据本发明一个实施例，本发明还提供一种与上述方法相应的语言翻译系统，其包括：请求模块，被配置为向对端发送去电请求并等待回应；判断模块，被配置为是否接收到对端回应，若没接到对端的回应，提示本端用户是否进入留言模式，并根据用户的选择，确定是否进入留言模式；

翻译模块，被配置为收到对端回应后，提示本端用户是否进入语种翻译模式，并根据本端用户的选择确定是否进入语种翻译模式，而后选择语种翻译类型；若收到对端回应，则建立通信链路，而后执行第一实施例的方式，所述语种翻译类型至少包括人工选择模式和ai自动识别模式；确定处于留言模式的语种翻译模式的人式选择模式时，根据用户的选择进行语种翻译，收到对端的回应后将对端的语种和/或方言翻译为所需要的语种和/若标准语；或确定处于留言模式的语种翻译模式的ai翻译模式时，识别对方回应的语音使用的语种和/或方言。

输出模块，被配置为将将翻译后的语种和/或方言转换为声音和/或通过显示模块转换为文字

在该实施例中，在未收到对端回应情况下，可以给对端留言，并将对端的回的语音语种和/或方言转为换本端用户熟悉的语种语音和标准语，大大提高了用户的方便性。

在一个实施例中，所述基于留言模式的语言翻译系统还包括配置模块，被配置为根据用户的设置，默认留言模式下自动进入语种翻译模式；或，在接收到对端发送来的留言时，提示是否进入语翻译模式，并根据用户的选择确定是否进入语种翻译模式。在该实施例中，可支持用户在任何时间选择进入语种翻译模式。

在一个实施例中，所述系统还包括结束模块，被配置为：在接听留言中,确定是否接收到结束语种翻译模式的指令,若接收到,结束语种翻译处理,进入普通的接听，若没有接收到结束语种翻译模式的指令，则继续根据之前的选择的语种翻译类型，对接收到的语种和/或方言进行翻译处理；

所述系统还包括更改模块，被配置为在接听留言中,确定是否接收到更改语种翻译类型的指令,若接收到,根据更改后的翻译类型对接收到的语种和/或方言进行翻译处理；若没接收到，则继续根据之前的选择的语种翻译类型，对接收到的语种和/或方言进行翻译处理。

所述系统还包括结束模块，被配置为在接听留言中,判断是否留言是否结束,若结束,则结束语种翻译处理；若没结束，则对接收到的语种和/或方言进行翻译处理。

图4图是本发明第二实施例提供的翻译模块的工作流程图，如图4所示，本发明第二实施例提供的提供翻译模块翻译模块的工作流程包括：利用编码单元将各种语种和/或方言的单词词音进行编码生成各语种单词词音/编码表并存储于存储器中，不同语种的同一词义的单词对应相同的编码；将留言的语音进行分词并对分词后的单词音根据单词词音/编码表进行编码生成码串；通过语种识别模型识别留言所使用的语种；通过语种模型单元查找单词-词音-编码表，将码串变换为所选择或所识别的语种单词语音串并调整语音串词序将对端所使用的语种/方言语音转换为本端所使用的语种/方言语音。该方法能够利用计算机语言编成处理器可执行的源程序代码，并能够存储于存储介质中，所述存储介质至少包括存储器。

本发明中，语种模型单元中通过下列模型调整语音串词序:

式中,p(wi|wi-1)为以前一单词wi-1、第k个语种模型的第i-1个中间层输出si-1^k、第k个语种模型的模型参数θk为输入的当前单词wi的概率；k是语种数量；λk为第k个语种模型的混合权重,k种语种的混合权重存在如下的约束:

混合权重λk可根据em算法,根据下式采用递归法求出：

式中,w1,…,wi,…wl是自适应数据的词音序列,si-1^k是第k个语种模型的第i-1个中间层输出,θk是第k个语种模型的模型参数；等式右侧的λk为前一次求出的混合权重，等式左边的λk为更新后的混合权重，在em算法中，初始混合权重通常等于所有混合权重。l为词音串长度，其为词音串中单词的数量。

本发明中提供的语言翻译方法和系统可用于各种手持终端，如手机、pad等。

图5是现有技术提供的手持终端的组成框图。如图5所示，手持终端包括通信子系统和应用子系统，所述通信子系统包括天线、射频收发器、模拟基带处理器、数字基带处理器和sim接口；应用子系统包括主处理器、音频编解码器、功率放大器、扬声器、传声器、耳机、显示器，触摸屏、键盘、蓝牙、gps模块、摄像头、存储器和sd卡。其中，主处理器能够调用存储器的存储的各种应用程序，并以完成显示、电话呼叫、数据通信、摄像、录音、翻译相关联的操作；gps用于获得手持终端的位置信息和时间信息；触摸屏和键盘用于用户输入指令。存储器被配置为存储各种类型的数据和计算机应用程序以支持在手持终端的操作。这些数据的示例至少包括语音语义库数据。存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)、电可擦除可编程只读存储器(eeprom)、可擦除可编程只读存储器(eprom)、可编程只读存储器(prom)，只读存储器(rom)、磁存储器、快闪存储器磁盘等。将本发明提供的翻译方法利用计算机语言编成处理器可执行的源程序代码，并能够存储于手持终端的存储器中，处理器运行该计算机程序，手持终端的用户界面上显示语种翻译模式及相关内容的相应图标，供用户根据需要进行选择。

触摸屏可以接收来自用户的输入信号，其包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

摄像头包括一个前置摄像头和/或后置摄像头。当手持终端处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

当手持终端处于操作模式，如呼叫模式、记录模式和语音识别模式时，传声器被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器或经由通信子系统发送。扬声器和耳机用于输出音频信号。

手持终端还包括i/o接口(图5中未示)，其为主处理器和外围接口模块之间提供接口，上述外围接口模块可以是键盘、点击轮、按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器器模块包括一个或多个传感器，用于为手持终端提供各个方面的状态评估。例如，传感器模块可以检测到手持终端的打开/关闭状态，组件的相对定位，例如所述组件为手持终端的显示器和小键盘，传感器模块还可以检测手持终端或手持终端一个组件的位置改变，用户与手持终端接触的存在或不存在，手持终端方位或加速/减速和手持终端的温度变化。传感器组件可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。

通信子系统被配置为便于手持终端和其他设备之间有线或无线方式的通信。手持终端可以接入基于通信标准的无线网络，如3g、4g、5g或它们的组合。蓝牙模块为近场通信模块，以促进短程通信。

在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，当所述存储介质中的指令由手持终端的处理器执行时，使得手持终端能够执行上述语言翻译方法。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。