基于画面和声音同步的预警方法及相关设备与流程

文档序号:25869530发布日期:2021-07-13 16:31阅读:来源:国知局

技术特征:

1.一种基于画面和声音同步的预警方法,其特征在于,所述方法包括:

获取多个声音采集设备采集的音频数据;

对所述音频数据进行分析,基于敏感词过滤从所述多个声音采集设备中确定出目标声音采集设备;

调整视频监控设备的角度以对所述目标声音采集设备所采集的对象的现场画面进行采集;

利用所述目标声音采集设备采集的目标音频数据和所述现场画面预测所述对象的行为;

在所述行为为预设行为的情况下,输出预警信息。

2.根据权利要求1所述的方法,其特征在于,所述音频数据由所述多个声音采集设备对采集到的声音进行前向纠错编码得到;所述对所述音频数据进行分析,基于敏感词过滤从所述多个声音采集设备中确定出目标声音采集设备,包括:

对所述音频数据进行前向纠错解码,得到对应的音频信号;

将所述音频信号转为文本信息;

基于敏感词过滤从所述文本信息中确定出目标文本信息;

将所述目标文本信息对应的所述音频数据确定为所述目标音频数据;

查询所述目标音频数据对应的声音采集设备标识;

根据所述声音采集设备标识从所述多个声音采集设备中确定出所述目标声音采集设备。

3.根据权利要求2所述的方法,其特征在于,所述基于敏感词过滤从所述文本信息中确定出目标文本信息,包括:

对所述文本信息进行分词和词性标注,保留名词、形容词和动词,由分词和词性标注后得到的名词、形容词和动词构成候选关键词集;

以所述候选关键词集构建候选关键词图;所述候选关键词图中的每个节点表示所述候选关键词集中的每个候选关键词;

计算所述关键词图中所述每个候选关键词在所述文本信息中的权重;

基于所述权重对所述候选关键词图中的节点进行加权随机采样得到目标候选关键词;

计算所述目标候选关键词与预设第一敏感词集、预设第二敏感词集和预设第三敏感词集中每个单词之间的匹配度;

将所述匹配度大于或等于预设值的所述目标候选关键词确定为敏感词;

将包含所述敏感词的所述文本信息确定所述目标文本信息。

4.根据权利要求2或3所述的方法,其特征在于,在输出预警信息之前,所述方法还包括:

基于所述目标文本信息得到待发送信息;所述待发送信息用于对所述对象进行预警;

将所述待发送信息转换为数字信号;

对所述数字信号进行前向纠错编码得到所述预警信息。

5.根据权利要求2或3所述的方法,其特征在于,所述利用所述目标声音采集设备采集的目标音频数据和所述现场画面预测所述对象的行为,包括:

基于所述目标音频数据对应的所述目标文本信息得到所述对象的第一情绪标签;

对所述现场画面进行图像帧抽取,得到多个图像帧序列;

基于所述多个图像帧序列得到所述对象的第二情绪标签;

基于所述多个图像帧序列获取待分类特征图;

将所述第一情绪标签、所述第二情绪标签以及所述待分类特征图组成待分类矩阵;

对所述待分类矩阵进行分类得到所述对象的行为。

6.根据权利要求5所述的方法,其特征在于,所述基于所述多个图像帧序列得到所述对象的第二情绪标签,包括:

对所述多个图像帧序列中的每帧图像进行人脸检测,基于人脸检测从所述每帧图像中裁剪出人脸区域图像;

对所述人脸区域图像进行人脸动作单元识别;

根据人脸动作单元识别结果得到所述第二情绪标签。

7.一种基于画面和声音同步的预警装置,其特征在于,所述装置包括:

音频获取模块,用于获取多个声音采集设备采集的音频数据;

音频分析模块,用于对所述音频数据进行分析,基于敏感词过滤从所述多个声音采集设备中确定出目标声音采集设备;

同步模块,用于调整视频监控设备的角度以对所述目标声音采集设备所采集的对象的现场画面进行采集;

行为预测模块,用于利用所述目标声音采集设备采集的目标音频数据和所述现场画面预测所述对象的行为;

告警模块,用于在所述行为为预设行为的情况下,输出预警信息。

8.根据权利要求7所述的装置,其特征在于,在对所述音频数据进行分析,基于敏感词过滤从所述多个声音采集设备中确定出目标声音采集设备方面,所述音频分析模块具体用于:

对所述音频数据进行前向纠错解码,得到对应的音频信号;

将所述音频信号转为文本信息;

基于敏感词过滤从所述文本信息中确定出目标文本信息;

将所述目标文本信息对应的所述音频数据确定为所述目标音频数据;

查询所述目标音频数据对应的声音采集设备标识;

根据所述声音采集设备标识从所述多个声音采集设备中确定出所述目标声音采集设备。

9.一种电子设备,包括输入设备和输出设备,其特征在于,还包括:

处理器,适于实现一条或多条指令;以及,

计算机存储介质,所述计算机存储介质存储有一条或多条指令,所述一条或多条指令适于由所述处理器加载并执行如权利要求1-6任一项所述的方法。

10.一种计算机存储介质,其特征在于,所述计算机存储介质存储有一条或多条指令,所述一条或多条指令适于由处理器加载并执行如权利要求1-6任一项所述的方法。


技术总结
本申请提供了一种基于画面和声音同步的预警方法及相关设备,该方法包括:获取多个声音采集设备采集的音频数据;对所述音频数据进行分析,基于敏感词过滤从所述多个声音采集设备中确定出目标声音采集设备;调整视频监控设备的角度以对所述目标声音采集设备所采集的对象的现场画面进行采集;利用所述目标声音采集设备采集的目标音频数据和所述现场画面预测所述对象的行为;在所述行为为预设行为的情况下,输出预警信息。本申请实施例有利于提高预警信息输出的及时性,防止安防隐患发生。

技术研发人员:唐军
受保护的技术使用者:深圳市冠标科技发展有限公司
技术研发日:2021.03.30
技术公布日:2021.07.13
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1