环境感知智能辅助方法、装置、眼镜及存储介质与流程

本发明涉及语音识别，尤其涉及一种环境感知智能辅助方法、装置、眼镜及存储介质。

背景技术：

1、听力障碍是一种常见的健康问题，影响着全球数以百万计的人们。对于这些人来说，日常生活中与他人的沟通以及理解周围环境可能会变得困难。因此，为了改善听力障碍者的生活质量，需要为其提供用于环境感知的辅助设备。

2、目前的环境感知辅助设备通常从听力角度入手，一种方式是，通过助听器将声音信号进行放大，使得听力障碍者能够更好地听见声音，但这种方式对于严重听力障碍者的效果并不明显；另一种方式是通过人工耳蜗将声音信号转换为电信号直接刺激听觉神经，使得听力障碍者能够感知声音，但人工耳蜗的手术和植入过程复杂，同时存在一些并发症。

3、上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

1、本发明的主要目的在于提供了一种环境感知智能辅助方法、装置、眼镜及存储介质，旨在解决现有技术中对听力障碍者的辅助设备局限性较大的技术问题。

2、为实现上述目的，本发明提供了一种环境感知智能辅助方法，所述方法包括以下步骤：

3、获取环境语音；

4、对所述环境语音进行识别，获得语音识别结果；

5、可视化显示所述语音识别结果至用户，以使用户感知环境状态。

6、可选地，所述对所述环境语音进行识别，获得语音识别结果的步骤，包括：

7、对所述环境语音进行第一分类检测，确定所述环境语音的语音类型；

8、在所述语音类型为第一类型时，确定所述环境语音的第一语音识别结果，所述第一语音识别结果为所述环境语音对应的文字和/或图像；

9、在所述语音类型为第二类型时，确定所述环境语音的第二语音识别结果，所述第二语音识别结果为所述环境语音对应的图像。

10、可选地，所述在所述语音类型为第二类型时，确定所述环境语音的第二语音识别结果的步骤，包括：

11、在所述语音类型为第二类型时，通过异常声音分类模型对所述环境语音进行第二分类检测，确定所述环境语音所属的预设类型；

12、根据所述环境语音所属的预设类型确定所述环境语音对应的图像。

13、可选地，所述在所述语音类型为第一类型时，确定所述环境语音的第一语音识别结果的步骤，包括：

14、在所述语音类型为第一类型时，通过声纹识别模型确定所述环境语音的声纹特征；

15、若所述声纹特征为预设声纹库中的已有声纹特征，确定所述环境语音对应的文字。

16、可选地，所述若所述声纹特征为预设声纹库中的已有声纹特征，对所述环境语音对应的文字进行可视化显示的步骤，包括：

17、若所述声纹特征为预设声纹库中的已有声纹特征，通过语音识别模型对所述环境语音进行语音识别，获得所述环境语音对应的文字。

18、可选地，所述在所述语音类型为第一类型时，通过声纹识别模型确定所述环境语音的声纹特征的步骤之后，还包括：

19、若所述声纹特征不为预设声纹库中的已有声纹特征，确定所述环境语音的预设类型为非特定人声；

20、确定非特定人声的所述环境语音对应的图像。

21、可选地，所述获取环境语音的步骤之前，还包括：

22、获取训练数据；

23、将所述训练数据输入至初始神经网络模型进行训练，获得训练模型；

24、其中，所述初始神经网络模型包括：初始异常声音分类模型、初始声纹识别模型以及初始语音识别模型；

25、相应地，所述初始异常声音分类模型对应的训练数据为异常声音训练数据，对应的训练模型为所述异常声音分类模型；

26、所述初始声纹识别模型对应的训练数据为声纹训练数据，对应的训练模型为所述声纹识别模型；

27、所述初始语音识别模型对应的训练数据为语音识别训练数据，对应的训练模型为初始语音识别模型。

28、此外，为实现上述目的，本发明还提出一种环境感知智能辅助装置，所述环境感知智能辅助装置包括：

29、声音获取模块，用于获取环境语音；

30、声音识别模块，用于对所述环境语音进行识别，获得语音识别结果；

31、结果显示模块，用于可视化显示所述语音识别结果至用户，以使用户感知环境状态。

32、此外，为实现上述目的，本发明还提出一种环境感知智能辅助眼镜，所述眼镜包括：声音采集器、可视化显示模块、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的环境感知智能辅助程序，所述环境感知智能辅助程序配置为实现如上文所述的环境感知智能辅助方法的步骤。

33、此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有环境感知智能辅助眼镜，所述环境感知智能辅助眼镜被处理器执行时实现如上文所述的环境感知智能辅助眼镜方法的步骤。

34、本发明通过获取环境语音；对所述环境语音进行识别，获得语音识别结果；可视化显示所述语音识别结果至用户，以使用户感知环境状态。由于是通过获取环境语音进行识别，并将语音识别结果通过可视化显示至用户，以使用户感知环境状态，将听觉感官转换为视觉感官，实现了对现实的增强，使得听力障碍者可以从视觉角度更好地感知环境状态，避免了传统的助听器、人工耳蜗等设备的局限。

技术特征：

1.一种环境感知智能辅助方法，其特征在于，所述方法包括：

2.如权利要求1所述的环境感知智能辅助方法，其特征在于，所述对所述环境语音进行识别，获得语音识别结果的步骤，包括：

3.如权利要求2所述的环境感知智能辅助方法，其特征在于，所述在所述语音类型为第二类型时，确定所述环境语音的第二语音识别结果的步骤，包括：

4.如权利要求2所述的环境感知智能辅助方法，其特征在于，所述在所述语音类型为第一类型时，确定所述环境语音的第一语音识别结果的步骤，包括：

5.如权利要求4所述的环境感知智能辅助方法，其特征在于，所述若所述声纹特征为预设声纹库中的已有声纹特征，对所述环境语音对应的文字进行可视化显示的步骤，包括：

6.如权利要求4所述的环境感知智能辅助方法，其特征在于，所述在所述语音类型为第一类型时，通过声纹识别模型确定所述环境语音的声纹特征的步骤之后，还包括：

7.如权利要4-6任一项所述的环境感知智能辅助方法，其特征在于，所述获取环境语音的步骤之前，还包括：

8.一种环境感知智能辅助装置，其特征在于，所述环境感知智能辅助装置包括：

9.一种环境感知智能辅助眼镜，其特征在于，所述眼镜包括：声音采集器、可视化显示模块、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的环境感知智能辅助程序，所述环境感知智能辅助程序配置为实现如权利要求1至7中任一项所述的环境感知智能辅助方法的步骤。

10.一种存储介质，其特征在于，所述存储介质上存储有环境感知智能辅助程序，所述环境感知智能辅助程序被处理器执行时实现如权利要求1至7任一项所述的环境感知智能辅助方法的步骤。

技术总结
本发明涉及语音识别领域，公开一种环境感知智能辅助方法、装置、眼镜及存储介质，该方法通过获取环境语音；对所述环境语音进行识别，获得语音识别结果；可视化显示所述语音识别结果至用户，以使用户感知环境状态。由于是通过获取环境语音进行识别，并将语音识别结果通过可视化显示至用户，以使用户感知环境状态，将听觉感官转换为视觉感官，实现了对现实的增强，使得听力障碍者可以从视觉角度更好地感知环境状态，避免了传统的助听器、人工耳蜗等设备的局限。

技术研发人员：宫春伟,黄烈超,陈信文,赵于成
受保护的技术使用者：西安通立软件开发有限公司
技术研发日：
技术公布日：2024/5/8