多用户多语种协同语音翻译系统与方法与流程

1.本发明属于语音智能翻译技术领域，尤其涉及一种多用户多语种协同语音翻译系统与方法。


背景技术：

2.在ai语音翻译中，传统的模块包括语音识别
‑
将源语言的声学信号转换为文字
‑
机器翻译
‑
将源语言文字转换为目标语言文字以及语音合成
‑
将目标语文字转换为目标语言语音。
3.在特定环境和领域里，以计算机信息处理技术为代表的人工智能一定程度上可以媲美人脑的处理能力。人工智能翻译的出现和发展为翻译行业带来了巨大的变革。但是，人类的语言具有极大的复杂性和多样性，加上在不同的翻译环境下，演讲者的表达方式，翻译主题的专业性、现场声量和噪音干扰等因素都会影响翻译的质量，在多语种多用户的环境中尤其如此。
4.此前，针对多语种文本翻译，由武汉传神信息技术有限公司提交的发明专利申请cn201410499790.2提出一种多用户多语种邮件翻译前置处理系统及方法，包括前置处理服务端系统和客户端系统。前置处理服务端系统包括邮件收取模块、过滤处理模块、邮件分发模块、第一存储区、第二存储区和过滤规则数据库；邮件收取模块收取外部邮件；过滤处理模块逐个读取外部邮件，根据过滤规则过滤掉无需翻译的邮件和重复邮件，找到需翻译邮件对应的译员帐户；转发模块将该邮件发送到对应译员帐户登录的客户端系统。前置处理客户端系统用于译员登录，接收邮件分发模块转发的外部邮件。该发明通过规则过滤、重复邮件判断和语种过滤几道关口的过滤，将外部邮件准确定向分发到对应的译员，同时阻隔了重复无效邮件对译员困扰，大大提高了译员工作效率。
5.针对多语种语音翻译，经检索，中国发明专利申请cn202011162634.9提出一种多语种语音交互方法，包括：响应于获取的音频，将所述音频送入混合语言模型进行识别，其中，所述混合语言模型中训练了多种语种的切换语种命令词并存储在本地；基于所述识别结果，判断所述音频中是否存在切换语种命令词；若存在切换语种命令词，基于所述切换语种命令词确定切换后的语种；基于所述切换后的语种设置在线默认语言模型并将所述在线默认语言模型同步至服务端，其中，所述服务端包括多种单一语言模型。通过在客户端使用切换语种命令词的混合语言模型和在服务端使用多个单一语言模型，从而可以实现降低了训练混合语言模型的昂贵费用，提升了语音交互的稳定性。
6.然而，在多人多语种语音场景下，除了需要机器翻译的参与外，往往还需要人工翻译对机译内容进行校验审核，从而降低了实用效率。


技术实现要素：

7.为解决上述技术问题，本发明提出一种多用户多语种协同语音翻译共识方法与系统。所述系统包括：用于接入多个用户终端获取语音输入信号的用户接入模块：用于将所述
多个用户终端的语音输入信号进行分组的用户分组模块；分组翻译模块、翻译共识模块以、翻译差异识别模块以及差异结果广播模块。所述差异结果广播模块将满足差异记录条件的语音输入信号及其分组翻译结果广播给协同用户终端；所述协同用户终端为输入语音输入信号与所述满足差异记录条件的语音输入信号语种相同的用户终端。
8.本发明还公开基于所述系统实现的一种多用户多语种协同语音翻译方法。
9.具体而言，本发明的一种多用户多语种协同语音翻译系统实现如下：
10.所述系统包括用户接入模块、用户分组模块、分组翻译模块、翻译共识模块、翻译差异识别模块以及差异结果广播模块；
11.所述用户接入模块用于接入多个用户终端，获取所述多个用户终端的语音输入信号；
12.所述用户分组模块连接所述用户接入模块，用于将所述用户接入模块获取的所述多个用户终端的语音输入信号进行分组；
13.所述分组翻译模块包括多个不同类别的第一翻译引擎，所述分组翻译模块获取所述用户分组模块输出的多个分组语音输入信号，将每个所述分组语音输入信号分配至对应类别的第一翻译引擎；
14.所述翻译共识模块包括多个不同类别的第二翻译引擎，所述翻译共识模块将所述分组翻译模块的所述第一翻译引擎输出的分组翻译结果所述第二翻译引擎的输入，并基于所述第二翻译引擎的输出和所述语音输入信号得出翻译共识结果；
15.所述翻译差异识别模块基于所述翻译共识结果，识别出满足差异记录条件的语音输入信号及其分组翻译结果，将所述满足差异记录条件的语音输入信号及其分组翻译结果发送至所述差异结果广播模块；
16.所述差异结果广播模块将所述满足差异记录条件的语音输入信号及其分组翻译结果广播给协同用户终端；
17.所述协同用户终端为输入语音输入信号与所述满足差异记录条件的语音输入信号语种相同的用户终端。
18.在本发明中，所述多个不同类别的第一翻译引擎和所述多个不同类别的第二翻译引擎的翻译方向对称相反。
19.所述翻译共识模块基于所述第二翻译引擎的输出和所述语音输入信号得出翻译共识结果，具体包括：
20.所述翻译共识模块计算第二翻译引擎的输出结果和语音输入信号的相似度值，将所述相似度值作为所述翻译共识结果。
21.所述翻译差异识别模块基于所述翻译共识结果，识别出满足差异记录条件的语音输入信号及其分组翻译结果，具体包括：
22.所述翻译差异识别模块判断第二翻译引擎的输出结果和语音输入信号的相似度值是否低于预定标准阈值；
23.如果是，则所述语音输入信号及其分组翻译结果满足差异记录条件。
24.在此基础上，本发明提出的基于所述系统实现的一种多用户多语种协同语音翻译方法包括：
25.s800：接收多个不同用户终端发送的语音输入信号，所述语音输入信号包含所述
用户终端的位置信息；
26.s810：基于所述位置信息，对所述语音输入信号进行分组；
27.s820：基于所述分组，将对应分组的语音输入信号发送至对应类别的第一翻译引擎，每个类别的第一翻译引擎输出对应的第一分组翻译结果；
28.s830：将所述第一分组翻译结果作为对应类别的第二翻译引擎的输入；
29.s840：判断所述第二翻译引擎的输出翻译结果与对应的语音输入信号的相似度值是否满足预定记录条件；
30.如果是，则进入步骤s850：
31.s850：将所述对应的语音输入信号及其分组翻译结果广播给协同用户终端；
32.其中，所述协同用户终端为输入语音输入信号与所述对应的语音输入信号语种相同的用户终端。
33.所述步骤s800和步骤s810均通过第一进程实现；所述步骤s820通过第二进程实现；
34.所述第二进程和所述第一进程通过单向数据管道通信。
35.所述步骤s830进一步包括：
36.从所述第一分组翻译结果中选择部分分组翻译结果，作为对应类别的第二翻译引擎的输入。
37.本发明的技术方案充分利用多语种翻译引擎实现自适应的协同语音翻译结果判断。
38.本发明的进一步优点将结合说明书附图在具体实施例部分进一步详细体现。
附图说明
39.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
40.图1是本发明一个实施例的一种多用户多语种协同语音翻译共识系统的主体架构图
41.图2是图1所述系统获得第一分组翻译结果的流程示意图
42.图3是图1所述系统执行翻译共识的流程示意图
43.图4是图1所述系统中翻译引擎的翻译方向对称相反的示意图
44.图5是基于图1所述系统实现的一种多用户多语种协同语音翻译共识方法的主体流程图
45.图6是图5所述方法的进一步优选实施例
具体实施方式
46.下面，结合附图以及具体实施方式，对发明做出进一步的描述。
47.参见图1，是本发明一个实施例的一种多用户多语种协同语音翻译共识系统的主体架构图。
48.图1中，所述系统包括用户接入模块、用户分组模块、分组翻译模块、翻译共识模块、翻译差异识别模块以及差异结果广播模块。
49.所述用户接入模块用于接入多个用户终端，获取所述多个用户终端的语音输入信号；
50.所述用户分组模块连接所述用户接入模块，用于将所述用户接入模块获取的所述多个用户终端的语音输入信号进行分组；
51.所述分组翻译模块包括多个不同类别的第一翻译引擎，所述分组翻译模块获取所述用户分组模块输出的多个分组语音输入信号，将每个所述分组语音输入信号分配至对应类别的第一翻译引擎；
52.所述翻译共识模块包括多个不同类别的第二翻译引擎，所述翻译共识模块将所述分组翻译模块的所述第一翻译引擎输出的分组翻译结果所述第二翻译引擎的输入，并基于所述第二翻译引擎的输出和所述语音输入信号得出翻译共识结果；
53.所述翻译差异识别模块基于所述翻译共识结果，识别出满足差异记录条件的语音输入信号及其分组翻译结果，将所述满足差异记录条件的语音输入信号及其分组翻译结果发送至所述差异结果广播模块；
54.所述差异结果广播模块将所述满足差异记录条件的语音输入信号及其分组翻译结果广播给协同用户终端；
55.所述协同用户终端为输入语音输入信号与所述满足差异记录条件的语音输入信号语种相同的用户终端。
56.在图1基础上，参见图2。
57.图2是图1所述系统获得第一分组翻译结果的流程示意图。
58.所述用户终端包括语音接收端，所述语音接收端对用户输入的语音信号进行预处理后发送至所述用户接入模块；
59.所述预处理包括将当前用户终端的地理位置信息嵌入至所述用户输入的语音信号中。
60.在图2中，所述地理位置信息基于所述用户终端发送所述用户输入的语音信号时使用的网络ip地址确定。
61.基于此，所述用户分组模块基于所述语音输入信号包含的地理位置信息对所述用户终端的语音输入信号进行分组。
62.更具体的，所述用户分组模块基于所述语音输入信号包含的地理位置信息确定所述语音输入信号的待翻译语种类别；
63.将待翻译语种类别相同的语音输入信号分为同一组。
64.此时，所述语音接收端接收的语音输入数据已经至少包含位置信息，则可以基于预置的位置信息
‑
语种对应关系数据库，直接判定出所述语语音输入数据的语种类别。
65.这种判断和识别方式尤其适用于在特殊环境下的远程视频/语音会议，即参会者位于各自本地，通过远程语音系统参与会议的情形。
66.不同于现有技术需要采用复杂的语音识别等技术才能判断输入语种的情形，本实施例可以避免复杂识别导致的语音翻译识别和延迟。
67.基于所述分组，将对应分组的语音输入信号发送至对应类别的第一翻译引擎，每
个类别的第一翻译引擎输出对应的第一分组翻译结果。
68.接下来参见图3。图3是图1所述系统执行翻译共识的流程示意图。
69.图3中，将所述第一分组翻译结果作为对应类别的第二翻译引擎的输入；
70.判断所述第二翻译引擎的输出翻译结果与对应的语音输入信号的相似度值是否满足预定记录条件；
71.如果是，将所述对应的语音输入信号及其分组翻译结果广播给协同用户终端；其中，所述协同用户终端为输入语音输入信号与所述对应的语音输入信号语种相同的用户终端。
72.所述翻译共识模块基于所述第二翻译引擎的输出和所述语音输入信号得出翻译共识结果，具体包括：
73.所述翻译共识模块计算第二翻译引擎的输出结果和语音输入信号的相似度值，将所述相似度值作为所述翻译共识结果。
74.作为一个示例，所述待输入语音信号为中文语音序列，所述第一翻译引擎为中译英语音翻译引擎；第一分组翻译结果为所述中文语音序列的英文语音翻译结果。
75.所述第二翻译引擎为英译中文本翻译引擎，所述第二翻译引擎的输出翻译结果，为所述英文语音翻译结果对应的中文文本翻译序列。
76.在上述序列基础上，所述第二翻译引擎的输出翻译结果与对应的语音输入信号的相似度值计算，可以将待输入语音信号直接转化为中文文本后，计算所述英文语音翻译结果对应的中文文本翻译序列与所述中文文本的相似度。
77.发明人注意到，文本翻译技术的准确度远高于语音翻译技术，因此通过上述关键技术手段完成所述翻译共识判断和识别，这是本发明的翻译反向协同的具体关键技术手段之一。
78.因此，在上述实施例中，所述多个不同类别的第一翻译引擎和所述多个不同类别的第二翻译引擎的翻译方向对称相反，例如，一个是中译英，一个是英译中。
79.图4则给出图1所述系统中翻译引擎的翻译方向对称相反的示意图。
80.在上述实施例中，所述翻译共识模块基于所述第二翻译引擎的输出和所述语音输入信号得出翻译共识结果，具体包括：
81.所述翻译共识模块计算第二翻译引擎的输出结果和语音输入信号的相似度值，将所述相似度值作为所述翻译共识结果。
82.所述翻译差异识别模块基于所述翻译共识结果，识别出满足差异记录条件的语音输入信号及其分组翻译结果，具体包括：
83.所述翻译差异识别模块判断第二翻译引擎的输出结果和语音输入信号的相似度值是否低于预定标准阈值；
84.如果是，则所述语音输入信号及其分组翻译结果满足差异记录条件。
85.在上述实施例的基础上，进一步参见图5
‑
图6。
86.图5是基于图1所述系统实现的一种多用户多语种协同语音翻译共识方法的主体流程图，图6是图5所述方法的进一步优选实施例。
87.在图5中，所述方法包括如下步骤：
88.s800：接收多个不同用户终端发送的语音输入信号，所述语音输入信号包含所述
用户终端的位置信息；
89.s810：基于所述位置信息，对所述语音输入信号进行分组；
90.s820：基于所述分组，将对应分组的语音输入信号发送至对应类别的第一翻译引擎，每个类别的第一翻译引擎输出对应的第一分组翻译结果；
91.s830：将所述第一分组翻译结果作为对应类别的第二翻译引擎的输入；s840：判断所述第二翻译引擎的输出翻译结果与对应的语音输入信号的相似度值是否满足预定记录条件；
92.如果是，则进入步骤s850：
93.s850：将所述对应的语音输入信号及其分组翻译结果广播给协同用户终端；
94.其中，所述协同用户终端为输入语音输入信号与所述对应的语音输入信号语种相同的用户终端。
95.图5中，所述步骤s800和步骤s810均通过第一进程实现；所述步骤s820通过第二进程实现；
96.所述第二进程和所述第一进程通过单向数据管道通信。
97.所述步骤s830进一步包括：
98.从所述第一分组翻译结果中选择部分分组翻译结果，作为对应类别的第二翻译引擎的输入。
99.值得强调的是，本发明首次在多语种协同翻译系统中采用数据管道技术。
100.数据管道技术原本是用于不同数据库(数据源)之间的数据转移的技术，例如数据备份、数据还原等，采用数据管道技术，可以避免进程阻塞或者使用第三方代理进行数据传输。例如申请号为cn2020107749026的中国发明专利申请就利用了数据管道技术读取待备份数据进行数据备份，数据管道即是将不同进程连接起来用于数据传输。
101.本发明首次将数据管道技术应用于多语种不同翻译引擎的协同翻译系统中，确保数据传输在不同线程之间形成单向以及稳定多通道，降低数据传输延迟。
102.图6展现了所述单向数据管道的示意图。
103.本发明的技术方案至少具有如下有益效果：
104.(1)通过语音位置嵌入技术保证了实时语音翻译的结果输出实时性，包括分组实时、翻译引擎识别实时等操作；
105.(2)通过采用(单向)数据管道(data pipeline)进行数据传输，使得数据传输延迟降低，进一步确保了实时输出；
106.(3)通过翻译共识模块自动化识别出机器翻译引擎可能存在的歧义和进行校验审核，提高了技术方案的适用性。
107.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。