一种多语言翻译电话系统及翻译方法与流程

本发明属于通信和人工智能技术领域，具体地说，是涉及一种多语言翻译电话系统及翻译方法。

背景技术：

对于承接国际游客的星级酒店来说，来自不同国家的游客入住酒店后，存在通过电话呼叫前台、客房服务、点餐等服务的需求。

通常，酒店服务人员仅能够使用本地语言和英语提供服务咨询，导致很多游客因语言不通而无法方便的呼叫服务。

技术实现要素：

本发明的目的在于提供一种多语言翻译电话系统及翻译方法，在不改变酒店现有的电话系统结构的基础上，增加翻译服务器和翻译云平台，在住客发起翻译请求后，能够提供住客和酒店服务点人员的即时翻译功能，解决现有酒店服务存在的上述技术问题。

为解决上述技术问题，本发明采用以下技术方案予以实现：

提出一种多语言翻译电话系统，包括：用户电话、目标点电话和电话交换机；还包括：翻译服务器，与所述电话交换机连接，用于在通过所述电话交换机接收到用户电话发出的翻译请求后，注册翻译通话事件并创建语音通道，控制用户语音流、目标点语音流以及经翻译云平台翻译的翻译语音流在所述语音通道中传输；翻译云平台，用于将用户语音流和/或目标点语音流转换成翻译语音流推送至所述翻译服务器；所述电话交换机，用于基于创建的语音通道为用户电话和目标点电话建立连接通路。

进一步的，所述翻译服务器包括：流媒体服务单元，包括语音通道管理模块和语音翻译服务模块；所述语音通道管理模块，用于创建、维持和释放所述语音通道；所述语音翻译服务模块，用于将需要翻译的用户语音流或目标点语音流发送给所述翻译云平台；并在接收到所述翻译云平台的翻译语音流后，控制其通过所述语音通道发送至用户电话或目标点电话；控制单元，用于在通过所述电话交换机接收到用户电话发出的翻译请求后，在所述电话交换机注册翻译通话事件；以及，在接收到监听事件后，驱动所述语音通道管理模块创建或释放所述语音通道；并将创建的语音通道地址发送给所述电话交换机，以使得所述电话交换机基于创建的所述语音通道为用户电话和目标点电话建立连接通路；其中，所述监听事件包括呼叫事件和挂机事件。

进一步的，所述语音通道管理模块在创建所述语音通道时，具体包括：为注册的翻译通话事件创建四条语音通道：用户电话到翻译服务器的第一语音通道、翻译服务器到用户电话的第二语音通道、翻译服务器到目标点电话的第三语音通道和目标点电话到翻译服务器的第四语音通道；所述语音翻译服务模块，具体用于：从所述第一语音通道获取用户语音流发送至所述翻译云平台；从所述翻译云平台接收所述用户语音流的翻译语音流，通过所述第三语音通道发送至所述目标点电话；从所述第四语音通道获取目标点语音流发送至所述翻译云平台；从所述翻译云平台接收所述目标点语音流的翻译语音流，通过所述第二语音通道发送至所述用户电话。

进一步的，所述流媒体服务单元，还包括：翻译目标语言识别模块，用于获取用户国籍信息，基于国籍信息确定用户语种；所述语音翻译服务模块从所述翻译目标语言识别模块获取确定的用户语种并存储；以及，在所述语音翻译服务模块将所述用户语音流发送至所述翻译云平台时，将目标点语种发送至所述翻译云平台，以使得所述翻译云平台以所述目标点语种为目标语种翻译所述用户语音流；在所述语音翻译服务模块将所述目标点语音流发送至所述翻译云平台时，将所述用户语种发送至所述翻译云平台，以使得所述翻译云平台以所述用户语种为目标语种翻译所述目标点语音流。

进一步的，所述翻译云平台包括：语音识别单元，用于对用户语音流或目标点语音流进行识别，确定要翻译的目标语种、通话内容文本信息以及声纹特征信息；文本翻译单元，用于根据所述要翻译的目标语种和所述通话内容文本信息，翻译出目标语种文本；语音合成单元，基于所述目标语种文本和所述声纹特征信息合成翻译语音流。

进一步的所述控制单元还用于：在所述翻译目标语言识别模块确定了用户语种之后，还将用户语种推送给所述电话交换机；所述电话交换机，用于将与所述用户语种适配的提示语音流推送至所述用户电话；所述提示语音流提示用户选择目标点电话，以使得用户根据所述提示语音流的引导选择目标点电话。。

提出一种多语言翻译方法，包括：翻译服务器在通过电话交换机接收到用户电话发出的翻译请求后，注册翻译通话事件并创建语音通道；所述电话交换机基于创建的语音通道为用户电话和目标点电话建立连接通路；所述翻译服务器通过所述语音通道从所述电话交换机接收所述用户电话发出的用户语音流，或所述目标点电话发出的目标点语音流后，将所述用户语音流或所述目标点语音流发送给翻译云平台；所述翻译服务器在接收到所述翻译云平台将所述用户语音流或所述目标点语音流转换成的翻译语音流后，将翻译语音流通过所述语音通道发送至所述电话交换机；所述电话交换机基于连接通路将所述翻译语音流发送给目标点电话或用户电话。

进一步的，所述翻译服务器创建语音通道，具体包括：创建用户电话到翻译服务器的第一语音通道；创建翻译服务器到用户电话的第二语音通道；创建翻译服务器到目标点电话的第三语音通道；创建目标点电话到翻译服务器的第四语音通道；所述翻译服务器从所述第一语音通道获取用户语音流发送至所述翻译云平台；从所述翻译云平台接收所述用户语音流的翻译语音流，通过所述第三语音通道发送至所述目标点电话；从所述第四语音通道获取目标点语音流发送至所述翻译云平台；从所述翻译云平台接收所述目标点语音流的翻译语音流，通过所述第二语音通道发送至所述用户电话。

进一步的，所述方法还包括：获取用户国籍信息，基于国籍信息确定用户语种；在所述翻译服务器将所述目标点语音流发送至所述翻译云平台时，将所述用户语种发送至所述翻译云平台；以及，在所述翻译服务器将所述用户语音流发送至所述翻译云平台时，将目标点语种发送至所述翻译云平台。

进一步的，在确定用户语种之后，所述方法还包括：所述翻译服务器将所述用户语种推送给所述电话交换机，以使得所述电话交换机将与所述用户语种适配的提示语音流推送给所述电话交换机；所述电话交换机将所述提示语音流推送至所述用户电话；其中，所述提示语音流提示用户选择目标点电话，以使得用户根据所述提示语音流的引导选择目标点电话。

与现有技术相比，本发明的优点和积极效果是：本发明提出的多语言翻译电话系统及翻译方法中，在现有电话系统的基础上增加翻译服务器和翻译云平台，无需更改现有的电话系统，也无需更换现有的电话终端；在用户通过用户电话发起翻译请求后，翻译服务器创建并维护该通电话的语音通道，用户和目标点的语音流被翻译服务器接收，翻译服务器请求翻译云平台翻译，在从翻译云平台得到翻译语音流后，通过语音通道传送到目标电话，从而完成用户和目标点之间的语言翻译；翻译云平台接收翻译服务器上传的原始语音流，经过语音识别、特征提取、文本翻译、语音合成后输出翻译语音流反馈给翻译服务器。

本发明提出的多语言翻译电话系统可实现用户与目标点之间通话的即时翻译功能，具有如下的优势：1、无需更改现有电话系统的线路，无需更换电话终端；2、自动识别用户语种，无需手工设置翻译语言；3、基于客户语种的翻译过程融合在呼叫和通话过程中，保证了用户体验。

结合附图阅读本发明实施方式的详细描述后，本发明的其他特点和优点将变得更加清楚。

附图说明

图1为本发明提出的多语言翻译电话系统的系统架构图；

图2为本发明提出的多语言翻译方法的方法流程图；

图3为本发明提出的多语言翻译电话系统执行多语言翻译的实施例流程图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步详细的说明。

如图1所示，本发明提出的多语言翻译电话系统，包括用户电话1、目标点电话2、电话交换机3、翻译服务器4和翻译云平台5。其中，用户电话1、目标点电话2和电话交换机3为现有电话系统架构，执行现有电话系统功能，本发明不予具体限定和说明。

本发明中的翻译服务器4，与电话交换机3连接，用于在通过电话交换机3接收到用户电话1发出的翻译请求后，注册翻译通话事件并创建语音通道，控制用户语音流、目标点语音流以及经翻译云平台翻译的翻译语音流在语音通道中传输；翻译云平台5，用于将用户语音流和/或目标点语音流转换成翻译语音流推送至翻译服务器4；电话交换机3则基于创建的语音通道为用户电话1和目标点电话2建立连接通路。

翻译云平台5接收翻译服务器的翻译请求，通过语音识别、语音特征提取、文本翻译和语音合成，产生能够保持说话人声音特征的翻译语音流推送至翻译服务器，具体包括语音识别单元51、文本翻译单元52和语音合成单元53；语音识别单元51用于对用户语音流或目标点语音流进行识别，确定要翻译的目标语种、通话内容文本信息以及声纹特征信息；文本翻译单元52用于根据要翻译的目标语种和通话内容文本信息，翻译出目标语种文本；语音合成单元53基于目标语种文本和声纹特征信息合成翻译语音流。这里的文本翻译单元可以引用第三方翻译服务来实现。

翻译服务器4包括流媒体服务单元41和控制单元42；其中，流媒体服务单元41包括语音通道管理模块411和语音翻译服务模块412。

语音通道管理模块411用于创建、维持和释放语音通道；语音翻译服务模块412用于将需要翻译的用户语音流或目标点语音流发送给翻译云平台5；并在接收到翻译云平台5的翻译语音流后，控制其通过语音通道发送至用户电话1或目标点电话2。

控制单元42，用于在通过电话交换机3接收到用户电话1发出的翻译请求后，在电话交换机3上注册针对该次通话的翻译通话事件；这里的翻译请求为用户操作用户电话1上的设定按键发起，电话交换机3产生消息通知翻译服务器4。

控制单元42在接收到监听事件后，驱动语音通道管理模块411创建或释放语音通道；并将创建的语音通道地址发送给电话交换机3，以使得电话交换机3基于创建的语音通道为用户电话和目标点电话建立连接通路。

这里的监听事件包括呼叫事件和挂机事件；在发生呼叫时间时，控制单元42驱动语音通道管理模块411创建语音通道，在发生挂机事件时，控制单元42驱动语音通道管理模块412释放语音通道。

在本发明的一些实施例中，语音通道管理模块411在创建语音通道时，

为该次通话注册的翻译通话事件创建四条语音通道：1、用户电话到翻译服务器的第一语音通道；2、翻译服务器到用户电话的第二语音通道；3、翻译服务器到目标点电话的第三语音通道；4、目标点电话到翻译服务器的第四语音通道。第一语音通道用于传输用户语音流；第二语音通道用于传输经翻译云平台5翻译目标点语音流后的翻译语音流；第三语音通道用于传输经翻译云平台5翻译用户语音流后的翻译语音流；第四语音通道用于传输目标点语音流。

语音翻译服务模块412从第一语音通道获取用户语音流发送至翻译云平台5；从翻译云平台5接收用户语音流的翻译语音流，通过第三语音通道发送至目标点电话2；从第四语音通道获取目标点语音流发送至翻译云平台5；从翻译云平台5接收目标点语音流的翻译语音流，通过第二语音通道发送至用户电话1。

在本发明的一些实施例中，语音通道管理模块411在创建语音通道之后，还负责激活语音翻译服务模块412。

在本发明的一些实施例中，流媒体服务单元41还包括翻译目标语言识别模块413，该翻译目标语言识别模块413用于在用户使用用户电话1发起翻译请求，但还未开口说话时，从系统的服务软件中获取用户的国籍信息，基于国籍信息确定用户语种，语音翻译服务模块412从该翻译目标语言识别模块413获取确定的用户语种并进行存储，用于后续的翻译过程。

当用户开口说话后，在语音翻译服务模块412将用户语音流发送至翻译云平台5的同时，将已设定的目标点语种一并发送至翻译云平台5，以使得翻译云平台5以目标点语种为目标语种翻译用户语音流；在语音翻译服务模块412将目标点语音流发送至翻译云平台5时，将存储的用户语种一并发送至翻译云平台5，以使得翻译云平台5以用户语种为目标语种翻译目标点语音流。

也即，在用户电话1至目标点电话2通话的过程中，语音翻译服务模块412将用户语音流作为第一参数，将目标点语种作为第二参数，两个参数一并发送给翻译云平台5；翻译云平台5将用户语音流翻译成目标点语种的翻译语音流；该目标点语种的翻译语音流返回语音翻译服务模块412；语音翻译服务模块412通过第三语音通道将其发送给目标点电话2。

在目标点电话2至用户电话1通话的过程中，语音翻译服务模块412将目标点语音流作为第一参数，用户语种作为第二参数，两个参数一并发送给翻译云平台5；翻译云平台5将目标点语音流翻译成用户语种的翻译语音流；该用户语种的翻译语音流返回语音翻译服务模块412；语音翻译服务模块412通过第二语音通道将其发送给用户电话1。

在本发明的一些实施例中，控制单元42还用于在翻译目标语言识别模块413确定了用户语种之后，将用户语种的提示语音流推送给电话交换机3，电话交换机3将于该用户语种适配的提示语音流推送至用户电话，该提示语音流用于提示用户选择目标点电话，以使得用户根据提示语音流的引导选择目标点电话。

基于上述提出的多语言翻译系统，本发明还提出一种多语言翻译方法，如图2所示，包括如下步骤：

步骤s21：翻译服务器在通过电话交换机接收到用户电话发出的翻译请求后，注册翻译通话事件并创建语音通道。

翻译服务器与电话交换机连接，在用户电话通过交换器向翻译服务器发起翻译请求后，翻译服务器在电话交换机上针对此次通话注册翻译通话事件，并针对该次通话建立四条语音通道。

具体包括：创建用户电话到翻译服务器的第一语音通道；创建翻译服务器到用户电话的第二语音通道；创建翻译服务器到目标点电话的第三语音通道；创建目标点电话到翻译服务器的第四语音通道。

步骤s22：电话交换机基于创建的语音通道为用户电话和目标点电话建立连接通路。

翻译服务器在电话交换机上注册了翻译通话事件后，将语音通道的地址发送给电话交换机，电话交换机根据语音通道地址为其分配用户电话和目标点电话之间的连接通路。

步骤s23：翻译服务器通过语音通道从电话交换机接收用户电话发出的用户语音流，或目标点电话发出的目标点语音流后，将用户语音流或目标点语音流发送给翻译云平台。

翻译服务器从第一语音通道接收用户语音流后发送给翻译云平台，从第四语音通道接收目标点语音流后发送给翻译云平台。

步骤s24：翻译服务器在接收到翻译云平台将用户语音流或目标点语音流转换成的翻译语音流后，将翻译语音流通过语音通道发送至电话交换机。以及，

步骤s25：电话交换机基于连接通路将翻译语音流发送给目标点电话或用户电话。

翻译服务器经第三语音通道向电话交换机发送经翻译云平台根据目标点语种和用户语音流翻译的翻译语音流，电话交换机将其通过建立的连接通路发送给目标点电话；翻译服务器经第二语音通道向电话交换机发送经翻译云平台根据用户语种和目标点语音流翻译的翻译语音流，电话交换机将其通过建立的连接通路发送给用户电话。

上述，在用户电话发起翻译请求，翻译服务器在电话交换机上注册翻译通话事件后，系统为该次翻译通话事件分配有别于其他翻译通话事件的唯一标识，该唯一标识跟随各种语音流，以便于识别所属的语音通道以及电话交换机连接通路等。

在本发明的一些实施例中，在步骤s22之后s23之前，还执行如下步骤：

获取用户国籍信息，基于国籍信息确定用户语种。则在步骤s23和步骤s24中，当翻译服务器将目标点语音流发送至翻译云平台时，一并将用户语种发送至翻译云平台，使得翻译云平台获知翻译的目标语种，将目标点语音流翻译成客户语种的翻译语音流；以及，在翻译服务器将用户语音流发送至翻译云平台时，一并将目标点语种发送至翻译云平台，使得翻译云平台获知翻译的目标语种，将用户语音流翻译成目标点语种的翻译语音流。

在本发明的一些实施例中，当确定用户语种之后，翻译服务器将用户语种推送给电话交换机，以使得电话交换机将与用户语种相适配的提示语音流推送给用户电话，该提示语音流用于提示用户选择目标点电话，以使得用户根据自身语种的提示语音流的引导选择目标点电话，实现用户与目标点之间的无缝对接，使用户完全摆脱语言不通的困扰。

下面，本发明以一个具体的实施例对上述提出的多语言翻译电话系统及其翻译方法做出详细说明。

本实施例以一个英国人卡特入住酒店后，使用客房电话（用户电话）与前台电话（目标点电话）进行通话为例；双方通话即时原声语音翻译的过程如图3所示：

卡特在酒店前台办理入住，前台服务员对卡特国籍信息、身份信息核实登记完毕后为卡特办理入住酒店608房间，卡特入住后发现客房里面没有茶杯，于是使用客房电话发起翻译请求：卡特拿起客房电话拨号123。

客房电话与电话交换机接通，电话交换机将翻译请求发送给翻译服务器，翻译服务器在电话交换机注册此次翻译通话事件。

翻译服务器为此次翻译通话事件分配唯一标识（例如608房间代码）、开启事件监听、从酒店服务软件中获取住客国籍确定住客语种为英语、并将住客语种对应的英语语种信息推送给电话交换机，电话交换机将与英语语种适配的英语提示语音流推送给客房电话，该英语提示语音流提示该住客选择目标点电话，卡特听到英语播报的提示语音：pressthe1keytothefrontdesk，pressthe2keyrestaurant，press3forroomservice。

卡特按下了客房电话上的1键选择目标点电话为前台电话，电话交换机分配客房户电话与前台电话之间的专属连接通路，并呼叫前台电话。

同时，翻译服务器为此次翻译通话事件创建四条语音通道：608客房电话到翻译服务器的第一语音通道，翻译服务器到608客房电话的第二语音通道，翻译服务器到前台电话的第三语音通道和前台电话到翻译服务器的第四语音通道，并启动语音翻译服务模块等待实时语音流传入。

608客房电话与前台电话接通后，卡特使用英语说他需要一个茶杯，该携带有唯一标识的英文语音流通过第一语音通道到达语音翻译服务模块，语音翻译服务模块将该英文语音流连同中文语种的信息，一并发送给翻译云平台；翻译云平台对英文语音流进行识别、语音特征提取和文本翻译，在结合文本翻译以及语音特征合成带有卡特语音特点的中文语音流返回给翻译服务器，翻译服务器通过第三语音通道将该中文语音流发送给电话交换机，电话交换机则基于连接通路将其发送给前台服务电话。

前台服务员听到中文语音的客户需求后，使用中文给予回应，该中文语音流通过电话交换机经第四语音通道发送给语音翻译服务模块，语音翻译服务模块将该中文语音流连同英语语种的信息，一并发送给翻译云平台；翻译云平台对中文语音流进行识别、语音特征提取和文本翻译，再结合文本翻译以及语音特征合成带有前台服务员语音特点的英文语音流返回给翻译服务器，翻译服务器通过第二语音通道将该英文语音流发送给电话交换机，电话交换机则基于连接通路将其发送给608客房电话。

卡特挂机，通话结束。

应该指出的是，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的普通技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。