低延迟邻近群组翻译的制作方法

本公开涉及群组翻译，并且具体地，涉及利用本地无线联网在说不同语言的三个或更多个用户之间建立多语言翻译群组的方法、装置和计算机可读介质。

背景技术：

1、实时翻译通常用于使说不同语言的人能够参与对话。就这一点而言，实时翻译是指与对话基本同时地执行的并且希望在一个人说一种语言的话语的时间与向另一用户提供另一种语言的该话语的文本或口头表示的时间之间的延迟最小的翻译。在许多情况下，通过在线服务执行语言之间的翻译，该在线服务从听者的设备接收发言者的语音的音频流(例如，由听者的移动设备的麦克风捕获)、执行到听者期望的语言的翻译并且然后返回翻译的话语的音频流，或替代地，返回翻译的话语的文本表示，以在听者的设备上回放和/或显示。然而，已经发现，在在线连接性受限或不存在的许多情况下，特别是当在移动设备上捕获并回放音频时，可能需要翻译。

2、此外，在许多情况下，要求用户明确指定用于执行翻译的“从”和“到”语言。但是，存在说两种以上语言的人的群组试图彼此交谈的许多场合，这可能导致与在其间要执行翻译的正确的语言之间进行选择和切换相关联的附加困难。作为示例，当导游带领来自许多不同国家的人的群组时，即使特定选择了导游的母语以其来执行翻译，但是该群组中的其他人可能会以该人不能理解的各种不同的语言问问题。

技术实现思路

1、本公开总体上涉及利用本地无线联网在说不同语言的三个或更多个用户之间建立多语言翻译群组的方法、装置和计算机可读介质(暂时性和非暂时性)，使得当一个用户对其相应的计算设备(例如，移动设备)发言时，该用户的计算设备可以执行自动语音识别，并且在某些情况下，执行到不同语言的翻译，以生成随后可以被传送给多语言翻译群组中其他用户的计算设备的非音频数据(例如，文本数据)。其他用户的计算设备继而可以使用传送给其他用户的计算设备的非音频数据来生成适合其相应用户的口头音频输出。在其他用户的计算设备上生成口头音频输出还可以包括执行到相应用户的期望语言的翻译，从而使每个用户都能够响应于来自另一用户的语音输入，以其期望的语言接收口头音频输出，而与语音输入的原始语言无关。

2、因此，与一些实施方式一致，群组翻译方法可以包括：在第一用户的且被配置为输出第一语言的口头音频的第一计算设备中，通过建立到第二用户的第二计算设备和第三用户的第三计算设备中的一个或两个的本地无线网络连接而加入附加地包括第二用户和第三用户的多语言翻译群组，其中，第二计算设备和第三计算设备分别被配置为输出第二语言和第三语言的口头音频，并且其中，第一语言、第二语言和第三语言彼此不同；和在第一计算设备中，并响应于在第二计算设备处接收的且针对多语言翻译群组的第二语言的语音输入：接收与语音输入关联的非音频数据；和从与语音输入关联的非音频数据生成第一语言的且针对第一用户的口头音频输出。

3、一些实施方式可以进一步包括：在第三计算设备中，并响应于在第二计算设备处接收的且针对多语言翻译群组的第二语言的语音输入：接收与语音输入关联的非音频数据；和从与语音输入关联的非音频数据生成第三语言的且针对第三用户的第二口头音频输出。一些实施方式还可以包括：在第二计算设备中：接收语音输入；对语音输入执行自动语音识别以生成与语音输入关联的非音频数据；和通过多语言翻译群组将与语音输入关联的非音频数据发送到第一计算设备和第三计算设备。另外，一些实施方式还可以包括：在第二计算设备中：接收语音输入；对语音输入执行自动语音识别，并将自动语音识别的输出从第二语言本地地翻译成不同语言，以生成与语音输入关联的非音频数据；和通过多语言翻译群组将与语音输入关联的非音频数据发送到第一计算设备和第三计算设备。

4、另外，在一些实施方式中，在第一计算设备中生成口头音频输出包括将与语音输入关联的非音频数据本地地翻译成第一语言。一些实施方式还可以包括：在第一计算设备中：从第一用户接收第二语音输入；对第二语音输入执行自动语音识别以生成与第二语音输入关联的第二非音频数据；和通过多语言翻译群组将与第二语音输入关联的第二非音频数据发送到第二计算设备和第三计算设备。一些实现可以进一步包括，在第一计算设备中：从第一用户接收第二语音输入；对第二语音输入执行自动语音识别，并将自动语音识别的输出从第一语言本地地翻译成不同语言，以生成与第二语音输入关联的第二非音频数据；和通过多语言翻译群组将与第二语音输入关联的第二非音频数据发送到第二计算设备和第三计算设备。

5、此外，在一些实施方式中，与语音输入关联的非音频数据包括与语音输入关联的文本数据。另外，在一些实施方式中，与语音输入关联的非音频数据包括与语音输入关联的一个或多个特征向量。此外，在一些实施方式中，本地无线网络连接包括蓝牙连接、个域网连接、无线网状网络连接、近场连接(nfc)或无线局域网(wlan)连接。另外，在一些实施方式中，本地无线连接使用第一无线网络，其中，通过第一无线网络执行加入多语言翻译群组并通过第二无线网络执行接收与语音输入关联的非音频数据。

6、一些实施方式还可以包括在第一计算设备中，将与语音输入关联且从第二计算设备接收的非音频数据传递到第三计算设备。另外，在一些实施方式中，在由第二计算设备生成的广播消息中接收与语音输入关联的非音频数据。此外，在一些实施方式中，在由第二计算设备生成并寻址到第一计算设备的点对点消息中接收与语音输入关联的非音频数据。

7、另外，一些实施方式还可以包括通过以下步骤来发起多语言翻译群组：从第一计算设备和第二计算设备中的一个广播公告消息；和在第一计算设备和第二计算设备中的该一个处接收来自第一计算设备和第二计算设备中的另一个的对公告消息的响应。在一些实施方式中，第一计算设备包括移动设备，并且其中，由驻留在移动设备上的app执行加入多语言翻译群组、接收与语音输入关联的非音频数据和生成口头音频输出。此外，在一些实施方式中，第一计算设备还包括与移动设备无线通信的无线头戴式受话器，并且该方法还包括：通过无线头戴式受话器回放口头音频输出。在一些实施方式中，app在移动设备的显示器上生成聊天室显示，并且该方法还包括：在聊天室显示中以第一语言显示口头音频输出的文本表示。

8、另外，在一些实施方式中，语音输入是由第二用户选择的预存储消息。此外，在一些实施方式中，语音输入是由虚拟助手生成的消息。

9、与一些实施方式一致，群组翻译方法可以包括：在第一用户的且被配置为输出第一语言的口头音频的第一计算设备中，通过建立到第二用户的第二计算设备和第三用户的第三计算设备中的一个或两个的本地无线网络连接而加入附加地包括第二用户和第三用户的多语言翻译群组，其中，第二计算设备和第三计算设备分别被配置为输出第二语言和第三语言的口头音频，并且其中，第一语言、第二语言和第三语言彼此不同；和在第一计算设备中：从第一用户接收第一语言的语音输入；对语音输入执行自动语音识别以生成语音识别数据；使用语音识别数据生成与语音输入关联的非音频数据；和通过多语言翻译群组将与语音输入关联的非音频数据发送到第二计算设备和第三计算设备，以使第二计算设备和第三计算设备分别生成第二语言和第三语言的且并分别针对第二用户和第三用户的相应的口头音频输出。

10、在一些实施方式中，生成与语音输入关联的非音频数据包括将语音识别数据本地地翻译成与第一语言不同的语言。另外，在一些实施方式中，生成与语音输入关联的非音频数据包括将语音识别数据本地地翻译成第二和第三语言中的每一种。此外，在一些实施方式中，与语音输入关联的非音频数据包括与语音输入关联的文本数据或与语音输入关联的一个或多个特征向量。此外，在一些实施方式中，发送与语音输入关联的非音频数据包括：向第二计算设备和第三计算设备发送广播消息。

11、在一些实施方式中，发送与语音输入关联的非音频数据包括发送分别寻址到第二计算设备和第三计算设备的单独的消息。一些实施方式还可包括通过以下步骤来发起多语言翻译群组：从第一计算设备和第二计算设备中的一个广播公告消息；和在第一计算设备和第二计算设备中的该一个处接收来自第一计算设备和第二计算设备中的另一个的对公告消息的响应。在一些实施方式中，第一计算设备包括移动设备，并且其中，由驻留在移动设备上的app执行加入多语言翻译群组、对语音输入执行自动语音识别和生成与语音输入关联的非音频数据。此外，在一些实施方式中，app在移动设备的显示器上生成聊天室显示，并且该方法还包括：在聊天室显示中以第一语言显示口头音频输出的文本表示。

12、与一些实施方式一致，第一计算设备可以被配置为向第一用户输出第一语言的口头音频，并包括一个或多个处理器和与一个或多个处理器可操作地联接的存储器，其中，存储器存储指令，响应于一个或多个处理器对指令的执行，指令使一个或多个处理器：通过建立到第二用户的第二计算设备和第三用户的第三计算设备中的一个或两个的本地无线网络连接而加入附加地包括第二用户和第三用户的多语言翻译群组，其中，第二计算设备和第三计算设备分别被配置为输出第二语言和第三语言的口头音频，并且其中，第一语言、第二语言和第三语言彼此不同；和响应于在第二计算设备处接收的且针对多语言翻译群组的第二语言的语音输入：接收与语音输入关联的非音频数据；和从与语音输入关联的非音频数据生成第一语言的且针对第一用户的口头音频输出。

13、在一些实施方式中，第一计算设备包括移动设备，并且其中，指令定义多个软件组件，多个软件组件包括：本地翻译组件，被配置为从与语音输入关联的非音频数据生成第一语言的文本；和文本到语音组件，被配置为从由本地翻译组件生成的文本生成口头音频输出。此外，在一些实施方式中，多个软件组件还包括：与本地翻译组件和文本到语音组件中的每一个通信的多语言群组翻译app；与多语言群组翻译app通信并被配置为识别口头输入的自动语音识别组件；和与多语言群组翻译app通信并配置为在移动设备的显示器上生成聊天室显示和在聊天室显示中以第一语言显示口头音频输出的文本表示的聊天室组件。此外，在一些实施方式中，多个软件组件还包括被配置为建立和维护与第二计算设备的无线网络连接的联网组件。

14、与一些实施方式一致，第一计算设备可以被配置为向第一用户输出第一语言的口头音频，并包括一个或多个处理器和与一个或多个处理器可操作地联接的存储器，其中，存储器存储指令，响应于一个或多个处理器对指令的执行，指令使一个或多个处理器：通过建立到第二用户的第二计算设备和第三用户的第三计算设备中的一个或两个的本地无线网络连接而加入附加地包括第二用户和第三用户的多语言翻译群组，其中，第二计算设备和第三计算设备分别被配置为输出第二语言和第三语言的口头音频，并且其中，第一语言、第二语言和第三语言彼此不同；从第一用户接收第一语言的语音输入；对语音输入执行自动语音识别以生成语音识别数据；使用语音识别数据生成与语音输入关联的非音频数据；和通过多语言翻译群组将与语音输入关联的非音频数据发送到第二计算设备和第三计算设备，以使第二计算设备和第三计算设备分别生成第二语言和第三语言的且并分别针对第二用户和第三用户的相应的口头音频输出。

15、与一些实施方式一致，至少一种非暂时性计算机可读介质包括指令，响应于被配置为向第一用户输出第一语言的口头音频的第一计算设备的一个或多个处理器对指令的执行，指令使一个或多个处理器：通过建立到第二用户的第二计算设备和第三用户的第三计算设备中的一个或两个的本地无线网络连接而加入附加地包括第二用户和第三用户的多语言翻译群组，其中，第二计算设备和第三计算设备分别被配置为输出第二语言和第三语言的口头音频，并且其中，第一语言、第二语言和第三语言彼此不同；和响应于在第二计算设备处接收的且针对多语言翻译群组的第二语言的语音输入：接收与语音输入关联的非音频数据；和从与语音输入关联的非音频数据生成第一语言的且针对第一用户的口头音频输出。

16、与一些实施方式一致，至少一种非暂时性计算机可读介质包括指令，响应于被配置为向第一用户输出第一语言的口头音频的第一计算设备的一个或多个处理器对指令的执行，指令使一个或多个处理器：通过建立到第二用户的第二计算设备和第三用户的第三计算设备中的一个或两个的本地无线网络连接而加入附加地包括第二用户和第三用户的多语言翻译群组，其中，第二计算设备和第三计算设备分别被配置为输出第二语言和第三语言的口头音频，并且其中，第一语言、第二语言和第三语言彼此不同；从第一用户接收第一语言的语音输入；对语音输入执行自动语音识别以生成语音识别数据；使用语音识别数据生成与语音输入关联的非音频数据；和通过多语言翻译群组将与语音输入关联的非音频数据发送到第二计算设备和第三计算设备，以使第二计算设备和第三计算设备分别生成第二语言和第三语言的且并分别针对第二用户和第三用户的相应的口头音频输出。

17、其他实施方式可以包括非暂时性计算机可读存储介质，其存储可由处理器执行以执行例如上述方法中的一个或多个的方法的指令。又另一实施方式可以包括一种系统，该系统包括存储器和一个或多个处理器，该一个或多个处理器可进行操作以执行存储在存储器中的指令，以实现一个或多个模块或引擎，这些模块或引擎单独或共同地执行例如上述方法中的一个或多个的方法。

18、应当理解，本文中更详细描述的前述概念和附加概念的所有组合被认为是本文公开的主题的一部分。例如，出现在本公开的结尾处的要求保护的主题的所有组合被认为是本文公开的主题的一部分。