面向不当行为的跨媒体感知方法、装置、设备及存储介质与流程

本发明涉及安全检测，具体涉及一种面向不当行为的跨媒体感知方法、装置、设备及存储介质。

背景技术：

1、当前大部分场所安装了一些监控摄像机辅助保安进行监管，这种安全监管方式能解决部分安全问题，如翻围墙等行为，但是对一些复杂行为的安全问题无法监管。

2、传统的监控设备存在拍摄死角，自动识别不当行为困难，部署成本高等问题，而且不适合安装于一些隐私性较高的地方。因此，需要采用检测覆盖无死角、无隐私问题以及部署成本低的方案，结合传统视频监控系统完成安全行为监控，预防并降低不当行为的发生。

技术实现思路

1、本发明针对现有的技术的不足，提供了一种面向不当行为的跨媒体感知方法、装置、设备及存储介质。

2、本发明的第一方面，提供了一种面向不当行为的跨媒体感知方法，具体是：

3、通过毫米波雷达动态点位跟踪算法计算监视场景中人员的实时坐标位置；通过人员之间距离关系判断是否存在聚集；

4、采用声音定位算法以及雷达探测的人员位置坐标确定最高发声人员位置；基于声音传播能量损失方法估算原始声音能量，实现声音能量的复原处理；

5、对复原声音采用基于能量切分算法进行分段，对每个片断识别是否为人声；对人声提取声纹进行聚类，并采用情感识别模型识别每个人员声音片断的情绪；

6、结合毫米波雷达探测人员位置关系进行综合判断场景中是否出现不当行为。

7、本发明的第二方面，提供了一种面向不当行为的跨媒体感知装置，包括：

8、聚集判断模块，用于通过毫米波雷达动态点位跟踪算法计算监视场景中人员的实时坐标位置；通过人员之间距离关系判断是否存在聚集；

9、声音复原模块，用于采用声音定位算法以及雷达探测的人员位置坐标确定最高发声人员位置；基于声音传播能量损失方法估算原始声音能量，实现声音能量的复原处理；

10、情绪识别模块，用于对复原声音采用基于能量切分算法进行分段，对每个片断识别是否为人声；对人声提取声纹进行聚类，并采用情感识别模型识别每个人员声音片断的情绪；

11、不当行为判别模块，用于结合毫米波雷达探测人员位置关系进行综合判断场景中是否出现不当行为。

12、本发明的第三方面，提供了面向不当行为的跨媒体感知设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现上述面向不当行为的跨媒体感知方法。

13、本发明的第四方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述面向不当行为的跨媒体感知方法。

14、本发明的有益效果：

15、本发明通过雷达和声音，解决了在特殊场所下的人员隐私保护问题，避免监控视频受视觉盲区、遮挡、光线等因素影响，提高了监视场所覆盖范围以及不当行为的检测能力。

16、本发明通过使用多种异构感知方式以及跨媒体数据融合技术满足不同应用场景的需求。

17、本发明充分发挥不同感知方式的优势，可以不受天气条件和遮挡影响，满足不同场所对隐私的要求。

技术特征：

1.一种面向不当行为的跨媒体感知方法，其特征在于包括如下步骤：

2.根据权利要求1所述的一种面向不当行为的跨媒体感知方法，其特征在于：所述毫米波雷达感知器对所检测到的人员距离和方位，采用二维坐标点进行描述；

3.根据权利要求1所述的一种面向不当行为的跨媒体感知方法，其特征在于：根据最高声音分贝值，定位声源方向，结合人员位置坐标，确定发声最高人员的位置。

4.根据权利要求1所述的一种面向不当行为的跨媒体感知方法，其特征在于：采用音频转换图像算法将声音数据转换为频谱包络线图和梅尔频率倒谱系数图，提取融合特征，输入情感识别模型，识别声音数据中情绪信息。

5.根据权利要求4所述的一种面向不当行为的跨媒体感知方法，其特征在于：所述的频谱包络线图采用改进的频谱包络线方式获得，该方式是对声音异常部分绘制包络线，对非异常部分采用背景噪音均值替换，并将曲线图减去平均值，得到改进后的频谱包络线图。

6.根据权利要求1至5中任一项所述的一种面向不当行为的跨媒体感知方法，其特征在于：当出现打骂、叫喊、哭泣、凌辱相关的语言情绪，则发出警告广播，同时调动关联摄像机抓取监视范围内的出现相关人员信息并存储。

7.根据权利要求6所述的一种面向不当行为的跨媒体感知方法，其特征在于：所述人员信息为人体生物信息，包括身形和人脸。

8.一种面向不当行为的跨媒体感知装置，其特征在于，包括：

9.面向不当行为的跨媒体感知设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现上述权利要求1-7任一所述的面向不当行为的跨媒体感知方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-7任一所述的面向不当行为的跨媒体感知方法。

技术总结
本发明公开了一种面向不当行为的跨媒体感知方法、装置、设备及存储介质。本发明通过毫米波雷达人员动态点位跟踪算法计算监视场景中人员的实时坐标位置，以及人员之间距离关系。采用声音定位算法以及雷达探测的人员位置坐标确定最高发声人员位置。针对目标位置人员声音进行复原，并采用基于能量切分算法进行分段，对每个片断识别是否为人的声音。对人声则提取声纹特征进行聚类，并采用情感识别模型识别每个人员声音片断的情绪，结合毫米波雷达探测人员位置关系综合判断监测场景中是否出现不当行为。本发明通过雷达和声音解决了在特殊场所下的人员隐私保护问题，提高了监视场所覆盖范围以及不当行为的检测能力。

技术研发人员：刘燕,叶良忠,叶利华
受保护的技术使用者：杭州海宴科技有限公司
技术研发日：
技术公布日：2024/4/29