一种基于人脸识别的翻译系统及其方法与流程

文档序号:25423794发布日期:2021-06-11 21:36阅读:来源:国知局

技术特征:

1.一种基于人脸识别的翻译系统,包括用户的客户端设备和系统服务器,其特征在于:

所述系统包括摄像模块、人脸检测模块、人脸识别模块、翻译模块、信息交互模块、通讯模块和数据库;

所述摄像模块设置客户端设备,用于获取现实场景中的图像;

所述人脸检测模块设置在客户端设备,用于检测现实场景的图像中用户的人脸图像及获取人脸数据;

所述人脸识别模块设置在客户端设备或系统服务器,用于识别对比人脸检测模块所获取的当前用户的人脸数据是否为系统用户;

所述翻译模块设置在客户端设备或系统服务器,用于翻译用户之间的会话;

所述信息交互模块用于播放或显示用户通过客户端设备摄像模块获取并通过人脸识别模块识别出的当前的系统用户头像、昵称以及所使用的语言至少其中之一,并通过所述信息交互模块及所述翻译模块与所述当前的系统用户进行语音或文字的信息交互。

所述数据库,设置在客户端设备或系统服务器,用于存储用户的人脸数据或注册信息;

所述通讯模块安装在客户端设备上,用于通过系统服务器实现用户之间的通讯连接,以及与用户的另一设备之间的通讯连接。

2.如权利要求1所述的翻译系统,其特征在于:

所述客户端设备为手机、平板电脑、智能眼镜、智能耳机中的一种或两种组合使用;

对于一个用户使用两个客户端设备的,所述通讯模块安装在智能眼镜或智能耳机上,与手机的通讯模块进行通讯连接;

所述一个用户使用两个客户端设备,其中之一与系统服务器进行通讯连接。

3.如权利要求1或2所述的翻译系统,其特征在于:

所述信息交互模块还包括语音拾取模块和语音播放模块,安装在所述客户端设备上。

4.如权利要求1或2所述的翻译系统,其特征在于:

所述信息交互模块还包括信息输入模块和显示模块,安装在所述客户端设备上。

5.一种基于人脸识别的翻译系统的翻译方法,其特征在于:

步骤s00,用户注册,注册系统的每个用户至少将自己的人脸信息、所使用的语言、昵称、头像中的人脸信息和所使用的语言在系统中注册,保存在数据库中;

步骤s01,系统用户a通过其客户端设备摄像头获取当前场景的人脸图像,提取人脸特征数据;

步骤s02,系统将所提取的人脸特征数据与数据库中的人脸特征数据进行对比匹配,是否为系统用户,若是,则进入下一步骤,若不是,则返回上一步;

步骤s03,当对比匹配结果为系统用户b,则提取所述用户b所使用的语言、昵称、头像中至少提取所使用的语音和/或昵称发送给用户a;

步骤s04,用户a通过信息交互模块输入发送给用户b的语音或文字信息,发送给翻译模块;

步骤s05,翻译模块根据所述用户b所使用的语言将所述用户a所输入的语音或文字翻译成所述用户b所使用的语言向所述用户b发送;

步骤s06,所述用户b接收所述用户a发送的语音或文字信息,以所述用户b所使用的语言播放或显示;

或,上述步骤s04至步骤s06用以下步骤s04至步骤s07所替代:

步骤s04,用户a通过信息交互模块输入发送给用户b的语音或文字信息,发送给翻译模块;

步骤s05,翻译模块根据所述用户b所使用的语言将所述用户a所输入的信息翻译成用户b所使用的语言,向服务器请求发送给用户b;

步骤s06,服务器接受请求,将所述信息发送给用户b;

步骤s07,所述用户b接收所述用户a发送的语音或文字信息,以所述用户b所使用的语言播放或显示;

或,上述之上述步骤s04至步骤s06用以下步骤s04至步骤s07所替代:

步骤s04,用户a通过信息交互模块输入发送给用户b的语音或文字信息,向服务器请求将所述信息发送给用户b;

步骤s05,服务器接受请求,将所述信息发送给用户b;

步骤s06,所述用户b客户端设备接收所述用户a发送的语音或文字信息,传输给翻译模块;

步骤s7,所述翻译模块识别所述用户a所使用的语言,将所述用户a的信息翻译成用户b所使用的语言,播放或显示。

6.如权利要求5所述的方法,其特征在于:

翻译模块自动识别接收到的系统用户a或用户b的语音或文字信息,翻译成所述用户b或用户a所使用的语言,并通过用户b或用户a的客户端设备的信息交互模块播放或显示。

7.如权利要求5所述的方法,其特征在于:

所述用户a客户端设备摄像头获取到用户b的人脸图像并人脸识别出当前用户为用户b时,则所述用户a的客户端设备信息交互模块与用户b连接,播放或显示或用户b的昵称及头像,用户a与用户b通过系统翻译模块进行语音或文字交互;

当用户所述用户a客户端设备摄像头转向用户c,人脸识别出当前用户为用户c时,则所述用户a的客户端设备信息交互模块与用户c建立连接,播放或显示或用户c的昵称及头像,用户a与用户c通过系统翻译模块进行语音或文字交互。

8.如权利要求5所述的方法,其特征在于:

当用户所述用户a客户端设备摄像头转向用户c,人脸识别出当前用户为用户c时,则所述用户a的客户端设备信息交互模块与用户c建立连接,但并不中断与用户b的连接,播放或显示或用户c的昵称及头像,用户a与用户c通过系统翻译模块进行语音或文字交互,同时,用户b也接收通过翻译模块翻译的用户b所使用的语言的同样内容的信息并播放或显示;

进一步,用户所述用户a客户端设备摄像头转向用户d,人脸识别出当前用户为用户d时,则所述用户a的客户端设备信息交互模块与用户d建立连接,但并不中断与用户b以及与用户c的连接,播放或显示或用户d的昵称及头像,用户a与用户d通过系统翻译模块进行语音或文字交互,同时,用户b和用户c也接收通过翻译模块翻译的用户b和用户c所使用的语言的同样内容的信息并播放或显示,直到用户a关闭与所述用户b、c、d的信息交互为止。

9.如权利要求8所述的方法,其特征在于:

所述用户a与超过所述用户b、c、d的更多的用户进行信息交互,原理与上述相同,与2个及2个以上的用户则可组成即时翻译的信息交互群。

10.一种基于人脸识别的翻译系统的会议群的翻译方法,其特征在于:

在一个场景或会议中的系统用户,通过客户端设备摄像头扫这个场景或会议中的一个或多个群用户的人脸,或扫这个场景或会议中的群二维码,则进入这个场景或会议的用户群;

当用户在所述场景或会议的用户群中,所述用户客户端设备的信息交互模块与所述会议群建立连接;

系统获取会议群的用户所使用的语言种类,根据用户的语言种类,将所述会议群正在发言或演讲的用户的语音或文字通过翻译模块翻译成各个用户使用的语言,发送给各个用户并通过信息交互模块播放或显示。


技术总结
本发明涉及本发明提供的一种基于人脸识别的翻译系统及其方法,包括摄像模块、人脸检测模块、人脸识别模块、翻译模块、信息交互模块、通讯模块和数据库。系统用户至少将自己的人脸信息、所使用的语言、昵称、头像中的人脸信息和所使用的语言在系统中注册,保存在数据库中。当用户通过其客户端设备摄像头获取当前场景的其他用户人脸图像,通过与数据库中的人脸特征数据进行对比匹配,获得当前用户所使用的语言及昵称,并通过信息交互模块和翻译模块与该用户进行信息交互。

技术研发人员:金德奎
受保护的技术使用者:金德奎
技术研发日:2019.12.11
技术公布日:2021.06.11
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1