一种基于人脸识别的翻译系统及其方法与流程

本发明涉及翻译系统及其方法，特别是涉及一种基于人脸识别的翻译系统及其方法。

背景技术：

现有技术的翻译系统通常采用智能手机安装翻译软件，进行在线或离线翻译，专业翻译设备一般采用内置翻译引擎的翻译机。不论是手机翻译还是专业翻译机翻译，都需要一人手持翻译设备，输入需要翻译的信息，将信息翻译成对方的语言播放或显示给对方，这种用户之间的信息交互使用的翻译手段比较原始，首先翻译语言的选择需要询问对方，而且双方的信息交互都需要输入在一个翻译设备里更会造成使用的不便。有的技术方案是采用信息交互的用户双方各自都使用同一种翻译设备，如翻译耳机，采用诸如蓝牙的无线通讯方式进行通讯连接，在同一信道上有多个用户时需要抢话语权，使用中有很大的局限，造成了很大的不便。

技术实现要素：

本发明需要解决的技术问题是提供一种基于人脸识别的翻译系统及其方法，克服了现有技术中存在的问题。所述技术方案如下：

一种基于人脸识别的翻译系统，包括用户的客户端设备和系统服务器，其特征在于：

所述系统包括摄像模块、人脸检测模块、人脸识别模块、翻译模块、信息交互模块、通讯模块和数据库。

所述摄像模块设置客户端设备，用于获取现实场景中的图像。

所述人脸检测模块设置在客户端设备，用于检测现实场景的图像中用户的人脸图像及获取人脸数据。

所述人脸识别模块设置在客户端设备或系统服务器，用于识别对比人脸检测模块所获取的当前用户的人脸数据是否为系统用户。

所述翻译模块设置在客户端设备或系统服务器，用于翻译用户之间的会话。

所述信息交互模块用于播放或显示用户通过客户端设备摄像模块获取并通过人脸识别模块识别出的当前的系统用户头像、昵称以及所使用的语言至少其中之一，并通过所述信息交互模块及所述翻译模块与所述当前的系统用户进行语音或文字的信息交互。

所述数据库，设置在客户端设备或系统服务器，用于存储用户的人脸数据或注册信息。

所述通讯模块安装在客户端设备上，用于通过系统服务器实现用户之间的通讯连接，以及与用户的另一设备之间的通讯连接。

所述客户端设备为手机、平板电脑、智能眼镜、智能耳机中的一种或两种组合使用。

对于一个用户使用两个客户端设备的，所述通讯模块安装在智能眼镜或智能耳机上，与手机的通讯模块进行通讯连接。

所述一个用户使用两个客户端设备，其中之一与系统服务器进行通讯连接。

所述信息交互模块还包括语音拾取模块和语音播放模块，安装在所述客户端设备上。

所述信息交互模块还包括信息输入模块和显示模块，安装在所述客户端设备上。

一种基于人脸识别的翻译系统的翻译方法，其特征在于：

步骤s00，用户注册，注册系统的每个用户至少将自己的人脸信息、所使用的语言、昵称、头像中的人脸信息和所使用的语言在系统中注册，保存在数据库中。

步骤s01，系统用户a通过其客户端设备摄像头获取当前场景的人脸图像，提取人脸特征数据。

步骤s02，系统将所提取的人脸特征数据与数据库中的人脸特征数据进行对比匹配，是否为系统用户，若是，则进入下一步骤，若不是，则返回上一步。

步骤s03，当对比匹配结果为系统用户b，则提取所述用户b所使用的语言、昵称、头像中至少提取所使用的语音和/或昵称发送给用户a。

步骤s04，用户a通过信息交互模块输入发送给用户b的语音或文字信息，发送给翻译模块。

步骤s05，翻译模块根据所述用户b所使用的语言将所述用户a所输入的语音或文字翻译成所述用户b所使用的语言向所述用户b发送。

步骤s06，所述用户b接收所述用户a发送的语音或文字信息，以所述用户b所使用的语言播放或显示。

或，上述步骤s04至步骤s06用以下步骤s04至步骤s07所替代：

步骤s04，用户a通过信息交互模块输入发送给用户b的语音或文字信息，发送给翻译模块。

步骤s05，翻译模块根据所述用户b所使用的语言将所述用户a所输入的信息翻译成用户b所使用的语言，向服务器请求发送给用户b。

步骤s06，服务器接受请求，将所述信息发送给用户b。

步骤s07，所述用户b接收所述用户a发送的语音或文字信息，以所述用户b所使用的语言播放或显示。

或，上述之上述步骤s04至步骤s06用以下步骤s04至步骤s07所替代：

步骤s04，用户a通过信息交互模块输入发送给用户b的语音或文字信息，向服务器请求将所述信息发送给用户b。

步骤s05，服务器接受请求，将所述信息发送给用户b。

步骤s06，所述用户b客户端设备接收所述用户a发送的语音或文字信息，传输给翻译模块。

步骤s7，所述翻译模块识别所述用户a所使用的语言，将所述用户a的信息翻译成用户b所使用的语言，播放或显示。

翻译模块自动识别接收到的系统用户a或用户b的语音或文字信息，翻译成所述用户b或用户a所使用的语言，并通过用户b或用户a的客户端设备的信息交互模块播放或显示。

所述用户a客户端设备摄像头获取到用户b的人脸图像并人脸识别出当前用户为用户b时，则所述用户a的客户端设备信息交互模块与用户b连接，播放或显示或用户b的昵称及头像，用户a与用户b通过系统翻译模块进行语音或文字交互。

当用户所述用户a客户端设备摄像头转向用户c，人脸识别出当前用户为用户c时，则所述用户a的客户端设备信息交互模块与用户c建立连接，播放或显示或用户c的昵称及头像，用户a与用户c通过系统翻译模块进行语音或文字交互。

当用户所述用户a客户端设备摄像头转向用户c，人脸识别出当前用户为用户c时，则所述用户a的客户端设备信息交互模块与用户c建立连接，但并不中断与用户b的连接，播放或显示或用户c的昵称及头像，用户a与用户c通过系统翻译模块进行语音或文字交互，同时，用户b也接收通过翻译模块翻译的用户b所使用的语言的同样内容的信息并播放或显示。

进一步，用户所述用户a客户端设备摄像头转向用户d，人脸识别出当前用户为用户d时，则所述用户a的客户端设备信息交互模块与用户d建立连接，但并不中断与用户b以及与用户c的连接，播放或显示或用户d的昵称及头像，用户a与用户d通过系统翻译模块进行语音或文字交互，同时，用户b和用户c也接收通过翻译模块翻译的用户b和用户c所使用的语言的同样内容的信息并播放或显示，直到用户a关闭与所述用户b、c、d的信息交互为止。

所述用户a与超过所述用户b、c、d的更多的用户进行信息交互，原理与上述相同，与2个及2个以上的用户则可组成即时翻译的信息交互群。

一种基于人脸识别的翻译系统的会议群的翻译方法，其特征在于：

在一个场景或会议中的系统用户，通过客户端设备摄像头扫这个场景或会议中的一个或多个群用户的人脸，或扫这个场景或会议中的群二维码，则进入这个场景或会议的用户群。

当用户在所述场景或会议的用户群中，所述用户客户端设备的信息交互模块与所述会议群建立连接。

系统获取会议群的用户所使用的语言种类，根据用户的语言种类，将所述会议群正在发言或演讲的用户的语音或文字通过翻译模块翻译成各个用户使用的语言，发送给各个用户并通过信息交互模块播放或显示。

本发明提供的一种基于人脸识别的翻译系统及其方法，包括摄像模块、人脸检测模块、人脸识别模块、翻译模块、信息交互模块、通讯模块和数据库，系统的每个用户至少将自己的人脸信息、所使用的语言、昵称、头像中的人脸信息和所使用的语言在系统中注册，保存在数据库中；系统用户a通过其客户端设备摄像头获取当前场景的人脸图像，提取人脸特征数据；系统将所提取的人脸特征数据与数据库中的人脸特征数据进行对比匹配，是否为系统用户，若是，则进入下一步骤，若不是，则返回上一步；当对比匹配结果为系统用户b，则提取所述用户b所使用的语言、昵称、头像中至少提取所使用的语音和/或昵称发送给用户a；用户a通过信息交互模块输入发送给用户b的语音或文字信息，发送给翻译模块；翻译模块根据所述用户b所使用的语言将所述用户a所输入的语音或文字翻译成所述用户b所使用的语言向所述用户b发送；所述用户b接收所述用户a发送的语音或文字信息，以所述用户b所使用的语言播放或显示。

本发明还给出了多种不同的实施方式及实施例，以适用于各种不同的翻译设备以及翻译系统的方案设计、实施以及应用，来满足用户在各种场景下的信息交互的翻译需求。

本发明与现有技术对比更有益的效果就是通过人脸识别技术和智能手机以及智能眼镜和智能耳机的结合，使用户更方便地识别当前场景下系统用户所使用的语言以及昵称，通过信息交互模块以及翻译模块直接与该用户进行信息交互。使用户之间的信息交互的翻译更直接、更精准、更迅速、更方便，解决了现有技术存在的问题，满足了用户的需求。智能手机作为系统的通用翻译设备可更广泛的普及使用，而具有摄像模块的智能眼镜、智能耳机的使用，因摄像头与人的视线相同，用户看到什么场景就能获取该场景的系统用户的人脸特征数据以及进一步通过人脸识别连接该用户进行信息交互的翻译，实现了只要用户用他的摄像头“看”到对方就能够直接迅速地和对方进行无语言障碍的信息交互，使用更加方便。因此，本发明与现有技术相比具有显著的技术进步。

附图说明

图1是本发明的原理框图一。

图2是本发明的原理框图二。

图3是本发明的原理框图三。

图4是本发明的原理框图四。

图5是本发明的原理框图五。

图6是本发明的原理框图六。

图7是本发明的原理框图七。

图8是本发明的原理框图八。

图9是本发明的原理框图九。

图10是本发明的原理框图十。

图11是本发明的原理框图十一。

图12是本发明的流程图一。

图13是本发明的流程图二。

图14是本发明的流程图三。

具体实施方式

下面结合附图和实施方式对本发明做进一步的描述。

本发明的一种基于人脸识别的翻译系统，包括用户的客户端设备和系统服务器，其特征在于：

如图1至图10所示，所述系统包括摄像模块101、人脸检测模块102、人脸识别模块103(或203)、翻译模块106(或206)、信息交互模块104、通讯模块105和数据库104-5(或207)。所述摄像模块101设置客户端设备100，用于获取现实场景中的图像。所述人脸检测模块102设置在客户端设备100，用于检测现实场景的图像中用户的人脸图像及获取人脸数据。所述人脸识别模块103(或203)设置在客户端设备100或系统服务器200，用于识别对比人脸检测模块所获取的当前用户的人脸数据是否为系统用户。所述翻译模块106(或206)设置在客户端设备100或系统服务器200，用于翻译用户之间的会话。所述信息交互模块104用于播放或显示用户通过客户端设备100摄像模块101获取并通过人脸识别模块识别出的当前的系统用户头像、昵称以及所使用的语言至少其中之一，并通过所述信息交互模块104及所述翻译模块106与所述当前的系统用户进行语音或文字的信息交互。所述数据库104-5(或207)，设置在客户端设备100或系统服务器200，用于存储用户的人脸数据或注册信息。所述通讯模块105安装在客户端设备100上，用于通过系统服务器200实现用户之间的通讯连接，以及与用户的另一设备之间的通讯连接。

图4至图4为本发明用户客户端设备的四种不同实施例，图8和图就为本发明系统服务器的两种不同实施例，配合后面将要描述的本发明的方法，可实现不同的实施方式以满足系统平台以及用户的需求。

本发明所述客户端设备为手机、平板电脑、智能眼镜、智能耳机中的一种或两种组合使用。

如图11所示，对于一个用户使用两个客户端设备的，所述通讯模块安装在智能眼镜或智能耳机上，与手机的通讯模块进行通讯连接。所述一个用户使用两个客户端设备，其中之一与系统服务器进行通讯连接，如图11中描述的用户手机100与系统服务器200通讯连接。

如图5至图7所示，本发明所述信息交互模块104还包括语音拾取模块104-2和语音播放模块104-3，安装在所述客户端设备100上。

如图5至图7所示，所述信息交互模块104还包括信息输入模块104-1和显示模块104-4，安装在所述客户端设备100上。

如图5至图7所示，本发明还包括微处理器104c，被描述在信息交互模块104中，用于连接及运行处理信息交互模块104中的各个模块的工作，也运行处理来自摄像模块101、人脸检测模块102、翻译模块106以及通讯模块105的数据。对于智能手机作为用户端设备来说，微处理器104c的工作由手机内的cpu完成。

如图8至图10所示，本发明还包括手机及客户端app200，与智能耳机无线通讯连接；所述手机及客户端app200至少包括人脸识别模块202、信息交互模块201中的信息交互模块201；所述人脸识别模块用于识别匹配当前用户是否为注册用户；所述信息交互模块201用于显示用户通过智能耳机100获取的并通过人脸识别模块202识别出的当前的注册用户的头像及昵称，点击用户头像弹出消息窗口，通过所述消息窗口发送消息以及接收消息。

本发明发一种基于人脸识别的翻译系统的翻译方法，其特征在于以下步骤：

如图12为本发明方法的第一实施例：

步骤s00，用户注册，注册系统的每个用户至少将自己的人脸信息、所使用的语言、昵称、头像中的人脸信息和所使用的语言在系统中注册，保存在数据库中；步骤s01，系统用户a通过其客户端设备摄像头获取当前场景的人脸图像，提取人脸特征数据；步骤s02，系统将所提取的人脸特征数据与数据库中的人脸特征数据进行对比匹配，是否为系统用户，若是，则进入下一步骤，若不是，则返回上一步；步骤s03，当对比匹配结果为系统用户b，则提取所述用户b所使用的语言、昵称、头像中至少提取所使用的语音和/或昵称发送给用户a；步骤s04，用户a通过信息交互模块输入发送给用户b的语音或文字信息，发送给翻译模块；步骤s05，翻译模块根据所述用户b所使用的语言将所述用户a所输入的语音或文字翻译成所述用户b所使用的语言向所述用户b发送；步骤s06，所述用户b接收所述用户a发送的语音或文字信息，以所述用户b所使用的语言播放或显示；

如图13为本发明方法的第二实施例，与第一实施例不同的是，第一实施例的步骤s04至步骤s06用以下步骤s04至步骤s07所替代：

步骤s04，用户a通过信息交互模块输入发送给用户b的语音或文字信息，发送给翻译模块；步骤s05，翻译模块根据所述用户b所使用的语言将所述用户a所输入的信息翻译成用户b所使用的语言，向服务器请求发送给用户b；步骤s06，服务器接受请求，将所述信息发送给用户b；步骤s07，所述用户b接收所述用户a发送的语音或文字信息，以所述用户b所使用的语言播放或显示。

如图13为本发明方法的第三实施例，与第一实施例不同的是，第一实施例的步骤s04至步骤s06用以下步骤s04至步骤s07所替代：

步骤s04，用户a通过信息交互模块输入发送给用户b的语音或文字信息，向服务器请求将所述信息发送给用户b；步骤s05，服务器接受请求，将所述信息发送给用户b；步骤s06，所述用户b客户端设备接收所述用户a发送的语音或文字信息，传输给翻译模块；步骤s7，所述翻译模块识别所述用户a所使用的语言，将所述用户a的信息翻译成用户b所使用的语言，播放或显示。

本发明所述的翻译模块还可自动识别接收到的系统用户a或用户b的语音或文字信息，翻译成所述用户b或用户a所使用的语言，并通过用户b或用户a的客户端设备的信息交互模块播放或显示。

本发明所述方法的具体实施方如下：

所述用户a客户端设备摄像头获取到用户b的人脸图像并人脸识别出当前用户为用户b时，则所述用户a的客户端设备信息交互模块与用户b连接，播放或显示或用户b的昵称及头像，用户a与用户b通过系统翻译模块进行语音或文字交互。

当用户所述用户a客户端设备摄像头转向用户c，人脸识别出当前用户为用户c时，则所述用户a的客户端设备信息交互模块与用户c建立连接，播放或显示或用户c的昵称及头像，用户a与用户c通过系统翻译模块进行语音或文字交互。

当用户所述用户a客户端设备摄像头转向用户c，人脸识别出当前用户为用户c时，则所述用户a的客户端设备信息交互模块与用户c建立连接，但并不中断与用户b的连接，播放或显示或用户c的昵称及头像，用户a与用户c通过系统翻译模块进行语音或文字交互，同时，用户b也接收通过翻译模块翻译的用户b所使用的语言的同样内容的信息并播放或显示。

进一步，用户所述用户a客户端设备摄像头转向用户d，人脸识别出当前用户为用户d时，则所述用户a的客户端设备信息交互模块与用户d建立连接，但并不中断与用户b以及与用户c的连接，播放或显示或用户d的昵称及头像，用户a与用户d通过系统翻译模块进行语音或文字交互，同时，用户b和用户c也接收通过翻译模块翻译的用户b和用户c所使用的语言的同样内容的信息并播放或显示，直到用户a关闭与所述用户b、c、d的信息交互为止。

所述用户a与超过所述用户b、c、d的更多的用户进行信息交互，原理与上述相同，与2个及2个以上的用户则可组成即时翻译的信息交互群。

本发明还包括一种基于人脸识别的翻译系统的会议群的翻译方法，其特征在于以下步骤：

在一个场景或会议中的系统用户，通过客户端设备摄像头扫这个场景或会议中的一个或多个群用户的人脸，或扫这个场景或会议中的群二维码，则进入这个场景或会议的用户群；当用户在所述场景或会议的用户群中，所述用户客户端设备的信息交互模块与所述会议群建立连接；系统获取会议群的用户所使用的语言种类，根据用户的语言种类，将所述会议群正在发言或演讲的用户的语音或文字通过翻译模块翻译成各个用户使用的语言，发送给各个用户并通过信息交互模块播放或显示。

本发明所述的通讯模块为wifi或蓝牙模块或4g或5g通讯模块以及物联网通讯模块，也可以是现有技术的其他无线通讯模块。还可以采用有线通讯接口通过传输线连接到手机端。

本发明所述的用户设备为手机、平板电脑、智能眼镜、智能耳机、以及其他智能穿戴设备。

以上所述的仅是本发明的优选实施方式，应当指出，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。