一种多人唇语交互方法及装置与流程

本申请属于唇语交互领域，尤其涉及一种多人唇语交互方法及装置。

背景技术：

1、在日常的交互方式中，语音是交互与沟通最高效的方式。然而，在某些特定的业务场景，如消防救援、火灾救援以及军事行动等，由于环境中存在噪声以及有害气体的干扰，传统的语音交互方式的效果会大打折扣。为了在这些复杂环境下提升交互效率，唇语交互作为图形图像技术和模式识别的一个新型应用方向，逐渐得到了关注和应用。

2、唇语交互技术通过捕捉并分析用户的唇部动作，将其转化为可理解的指令或信息，从而实现了在噪声环境下或无法进行语音交流时的有效沟通。该技术不仅能够有效提升复杂环境下的语音交互效果，完善这些特定场景的交互方式，而且对于终端用户而言，唇语交互的操作性简单，易于上手，学习成本低，是一个友好且实用的交互技术。

3、然而，现有唇语交互技术在实际应用中仍存在一些缺陷和不足。由于需要在客户设备端引入对应的人工智能算法模型进行识别推理操作，这会导致客户设备端的算力负担加重，同时对网络通信的要求也较高。在网络波动的情况下，唇语交互的效果可能会受到较大影响，导致通信不稳定或信息传输失败。

技术实现思路

1、本申请的目的在于克服上述现有技术中存在的问题，提供一种多人唇语交互方法及装置。

2、本申请提供一种多人唇语交互方法，包括：

3、基于netty框架搭建部署websocket服务；

4、基于所述websocket服务，多个客户设备端发起websocket连接请求，与服务端连接；

5、所述客户设备端接受用户发出的唇语指令信息，所述唇语指令信息通过人工智能模型识别唇语指令含义，包括：若未识别出指令含义，做特殊标记处理；若识别出指令含义，将唇语指令构建websocket消息体；

6、对所述websocket消息体简化为数字代码；

7、所述客户设备端发送websocket消息体到服务端，上报当前数字代码；

8、所述服务端处理接收、解码所述websocket消息体，获取所述数字代码；

9、所述服务端根据所述数字代码确定并像其他所述客户设备端发送语音或提示。

10、可选地，还包括：

11、所述服务端或者客户设备端发起断开连接的指令，断开该设备的连接。

12、可选地，多个客户设备端发起websocket连接请求，与服务端连接，包括：

13、如果连接失败，则发出语音报警提示。

14、可选地，多个客户设备端发起websocket连接请求，与服务端连接，包括：

15、连接成功后，服务端记录已上线的设备消息并做出上线提醒。

16、可选地，多个客户设备端发起websocket连接请求，与服务端连接，连接成功后包括：

17、所述客户设备端通过websocket服务定时向所述服务端发送心跳信息；

18、所述服务端收到消息后更新所述客户设备端的心跳时间；

19、所述服务端定时扫描已连接的设备信息，如果发现超过5秒没有收到心跳信息和指令消息，则认为所述客户设备端已下线，发出报警信息。

20、本申请还提供一种多人唇语交互装置，包括：

21、服务模块，用于基于netty框架搭建部署websocket服务；

22、连接模块，用于基于所述websocket服务，多个客户设备端发起websocket连接请求，与服务端连接；

23、处理模块，用于所述客户设备端接受用户发出的唇语指令信息，所述唇语指令信息通过人工智能模型识别唇语指令含义，包括：若未识别出指令含义，做特殊标记处理；若识别出指令含义，将唇语指令构建websocket消息体；

24、简化模块，用于对所述websocket消息体简化为数字代码；

25、上报模块，用于所述客户设备端发送websocket消息体到服务端，上报当前数字代码；

26、解码模块，用于所述服务端处理接收、解码所述websocket消息体，获取所述数字代码；

27、转发模块，用于所述服务端根据所述数字代码确定并像其他所述客户设备端发送语音或提示。

28、可选地，还包括：

29、断开模块，用于所述服务端或者客户设备端发起断开连接的指令，断开该设备的连接。

30、可选地，所述连接模块将多个客户设备端发起websocket连接请求，与服务端连接，包括：

31、如果连接失败，则发出语音报警提示。

32、可选地，所述连接模块将多个客户设备端发起websocket连接请求，与服务端连接，包括：

33、连接成功后，服务端记录已上线的设备消息并做出上线提醒。

34、可选地，所述连接模块将多个客户设备端发起websocket连接请求，与服务端连接，连接成功后包括：

35、所述客户设备端通过websocket服务定时向所述服务端发送心跳信息；

36、所述服务端收到消息后更新所述客户设备端的心跳时间；

37、所述服务端定时扫描已连接的设备信息，如果发现超过5秒没有收到心跳信息和指令消息，则认为所述客户设备端已下线，发出报警信息。

38、本申请的有益效果是：

39、本申请提供一种多人唇语交互方法，包括：基于netty框架搭建部署websocket服务；基于所述websocket服务，多个客户设备端发起websocket连接请求，与服务端连接；所述客户设备端接受用户发出的唇语指令信息，所述唇语指令信息通过人工智能模型识别唇语指令含义，包括：若未识别出指令含义，做特殊标记处理；若识别出指令含义，将唇语指令构建websocket消息体；对所述websocket消息体简化为数字代码；所述客户设备端发送websocket消息体到服务端，上报当前数字代码；所述服务端处理接收、解码所述websocket消息体，获取所述数字代码；所述服务端根据所述数字代码确定并像其他所述客户设备端发送语音或提示。本发明通过websocket服务和数字代码，为复杂环境下的唇语交互提供了更加可靠、高效的解决方案。

技术特征：

1.一种多人唇语交互方法，其特征在于，包括：

2.根据权利要求1所述的多人唇语交互方法，其特征在于，还包括：

3.根据权利要求1所述的多人唇语交互方法，其特征在于，多个客户设备端发起websocket连接请求，与服务端连接，包括：

4.根据权利要求1所述的多人唇语交互方法，其特征在于，多个客户设备端发起websocket连接请求，与服务端连接，包括：

5.根据权利要求1所述的多人唇语交互方法，其特征在于，多个客户设备端发起websocket连接请求，与服务端连接，连接成功后包括：

6.一种多人唇语交互装置，其特征在于，包括：

7.根据权利要求6所述的多人唇语交互装置，其特征在于，还包括：

8.根据权利要求6所述的多人唇语交互装置，其特征在于，所述连接模块将多个客户设备端发起websocket连接请求，与服务端连接，包括：

9.根据权利要求6所述的多人唇语交互装置，其特征在于，所述连接模块将多个客户设备端发起websocket连接请求，与服务端连接，包括：

10.根据权利要求6所述的多人唇语交互装置，其特征在于，所述连接模块将多个客户设备端发起websocket连接请求，与服务端连接，连接成功后包括：

技术总结
本申请提出一种多人唇语交互方法及装置，该方法利用Netty框架部署WebSocket服务，实现多设备间实时连接。用户唇语指令经AI识别后，若成功则转为WebSocket消息体并简化为数字代码发送至服务端。服务端解码并据此向其他设备发送语音或提示。未识别指令则特殊处理。此方案通过WebSocket与数字编码，为复杂环境提供稳定高效的唇语交互解决方案。

技术研发人员：张兴坤,马其浩,王志广,卢鑫,武嘉琛
受保护的技术使用者：新兴际华科技（天津）有限公司
技术研发日：
技术公布日：2024/11/18