利用声阵列和多光谱摄像头的复合视听感知和定位系统

本技术属于阵列信号处理和机器视觉领域，更具体地，涉及一种利用声阵列和多光谱摄像头的复合视听感知和定位系统。

背景技术：

1、在气体泄漏探测方面，国内外目前通常使用声学探测与光学成像结合，主要的设备为声学成像仪。声学成像仪的原理是利用传声器阵列测量一定范围内的声场分布的专用设备。通过阵列信号处理算法，处理传声器采集到的声压信号，可以得到被测物体表面的噪声源位置和强度，并以云图方式显示出直观的图像。现代的声学照相机多与摄像头结合，能够直接在物体的光学图像上显示声源分布。现代的声学照相机多与摄像头结合，能够直接在物体的光学图像上显示声源分布。中国实用新型专利cn218937673u中公开了一种便携式声学成像仪，该声学成像仪设有插杆和支撑杆，可以拆卸，使人工使用和运输更加便捷；声学成像仪能够转动在插杆上，从而能够进行角度调整；专利申请wo2021215595a1公开了一种可视地显示声学照相机的改进的声学信息的方法和声学照相机，将具有不同尺寸的声学参数绝对电平分配给具有不同颜色的色彩元素，对声学探测的可视化方法进行了改进。目前的声学成像仪尚未实现全自动化监测，消耗人力资源；实现三维空间识别较为困难，且声学定位的准确度还有待提高。

2、在火灾探测方面，目前基于双目视觉的火灾感知与定位技术主要是在场站的多个点设置可见光双目摄像机或近红外双目摄像机，采集监控区域的图像。对采集到的图像进行预处理，通过阈值分割得到二值化图像。然后计算图像中的圆形度、矩形度和尖角数量，根据这些特征对图像进行火焰识别。如果检测区域有火焰，就发出火灾报警信号，并融合温度、烟雾、二氧化碳、一氧化碳、氧气和红外传感器的信息，以提高报警的准确性。通过双目摄像机对火源进行测距，结合摄像机的位置对火源进行定位，并输出火源的位置信息，控制火源附近的灭火装置进行灭火。中国实用新型专利cn215691228u公开了一种消防救援机器人，用于利用双目摄像头采集室内火灾现场影像，然后根据立体视觉匹配进行火灾现场三维地图的绘制。然而仅使用双目识别在温湿度、粉尘、干扰光源等复杂环境中容易定位不准确或出现误报。

3、基于上述分析，目前亟需提出一种复合试听感知和定位系统，用以解决声阵列三维空间定位的局限性和复杂环境对双目识别的限制性，使得在诸如气体泄漏探测和火灾探测等视听感知和定位应用场景下的识别和定位准确度提高。

技术实现思路

1、针对现有技术的以上缺陷或改进需求，本实用新型提供了一种利用声阵列和多光谱摄像头的复合视听感知和定位系统，其目的在于将声阵列组件和多光谱摄像装置结合，由此解决声阵列三维空间定位的局限性和复杂环境对双目识别的限制性的技术问题。

2、为实现上述目的，按照本实用新型的一个方面，提供了一种利用声阵列和多光谱摄像头的复合视听感知和定位系统，该系统包括主体、声阵列组件、多光谱摄像装置和旋转组件；所述声阵列组件包括两个结构相同的声阵列装置，两个声阵列装置对称设置于所述主体的顶部；所述多光谱摄像装置设置于主体上部的正前方，多光谱摄像装置包括红外摄像机、可见摄像机和热像摄像机，所述热像摄像机位于所述多光谱摄像装置中心，所述红外摄像机和可见摄像机对称设置于热像摄像机的两侧；所述主体的底部连接所述旋转组件。

3、优选地，两个声阵列装置分别通过支撑柱焊接于所述主体的顶部，且两个声阵列装置与所述主体所在平面存在夹角。

4、优选地，所述声阵列装置的表面设有多个圆形孔，所述圆形孔内安装有麦克风咪头。

5、优选地，多个圆形孔沿所述声阵列装置表面中心向四周呈多臂螺旋状分布。

6、优选地，所述夹角为120°～170°。

7、优选地，所述旋转组件包括连接柱和底座，所述连接柱的一端与所述主体底部螺纹连接，连接柱的另一端可旋转连接于所述底座。

8、优选地，所述主体两侧对称设有圆孔，所述圆孔内部可安装喷头。

9、优选地，所述多光谱摄像装置下方设有语音报警装置，在所述语音报警装置的下方设有光谱传感器。

10、总体而言，通过本实用新型所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

11、1、本实用新型提出的利用声阵列和多光谱摄像头的复合视听感知和定位系统，将声阵列组件和多光谱摄像装置结合，实现了声学探测和双目识别相互配合的复合视听感知和定位系统，使得能够更好地实现三维空间的探测，识别定位更加准确，对多种复杂环境的适应性更强。

12、2、本实用新型提出的利用声阵列和多光谱摄像头的复合视听感知和定位系统，该系统中多光谱摄像装置采用了复合探测方式，将远红外热成像、近红外光谱成像、可见光视频图像三者复合分析，使得对复杂环境条件的适应性更强，识别和定位的反应更加迅速。而双目识别定位技术则具有测量更高效，三维重建还原和定位精度高，系统简单等优点。

13、3、本实用新型提出的利用声阵列和多光谱摄像头的复合视听感知和定位系统，该系统中声阵列组件采用多臂螺旋式麦克风阵列结构，相对于其他阵列结构有空域滤波性能更优，有效抑制混叠效应，同时可以在保持较窄的主瓣的前提下，获得较低的旁瓣级，从而声成像效果更优。

14、4、本实用新型提出的利用声阵列和多光谱摄像头的复合视听感知和定位系统，该系统可固定安装或搭载于智能机器人之上，实现全自动化监测等功能，能够及时预警并及时将数据上传云平台，节省了人力资源，为诸如消防安全等多种应用场景下的监测提供了一种可靠的解决方案。

技术特征：

1.一种利用声阵列和多光谱摄像头的复合视听感知和定位系统，其特征在于，该系统包括主体(1)、声阵列组件、多光谱摄像装置(12)和旋转组件；所述声阵列组件包括两个结构相同的声阵列装置(3)，两个声阵列装置(3)对称设置于所述主体(1)的顶部；所述多光谱摄像装置(12)设置于主体(1)上部的正前方，多光谱摄像装置(12)包括红外摄像机(120)、可见摄像机(122)和热像摄像机(121)，所述热像摄像机(121)位于所述多光谱摄像装置(12)中心，所述红外摄像机(120)和可见摄像机(122)对称设置于热像摄像机(121)的两侧；所述主体(1)的底部连接所述旋转组件。

2.根据权利要求1所述的利用声阵列和多光谱摄像头的复合视听感知和定位系统，其特征在于，两个声阵列装置(3)分别通过支撑柱(31)焊接于所述主体(1)的顶部，且两个声阵列装置(3)与所述主体(1)所在平面存在夹角。

3.根据权利要求2所述的利用声阵列和多光谱摄像头的复合视听感知和定位系统，其特征在于，所述声阵列装置(3)的表面设有多个圆形孔(30)，所述圆形孔(30)内安装有麦克风咪头。

4.根据权利要求3所述的利用声阵列和多光谱摄像头的复合视听感知和定位系统，其特征在于，多个圆形孔(30)沿所述声阵列装置(3)表面中心向四周呈多臂螺旋状分布。

5.根据权利要求2或4所述的利用声阵列和多光谱摄像头的复合视听感知和定位系统，其特征在于，所述夹角为120°～170°。

6.根据权利要求1所述的利用声阵列和多光谱摄像头的复合视听感知和定位系统，其特征在于，所述旋转组件包括连接柱(2)和底座(4)，所述连接柱(2)的一端与所述主体(1)底部螺纹连接，连接柱(2)的另一端可旋转连接于所述底座(4)。

7.根据权利要求1所述的利用声阵列和多光谱摄像头的复合视听感知和定位系统，其特征在于，所述主体(1)两侧对称设有圆孔(13)，所述圆孔(13)内部可安装喷头。

8.根据权利要求1所述的利用声阵列和多光谱摄像头的复合视听感知和定位系统，其特征在于，所述多光谱摄像装置(12)下方设有语音报警装置(11)，在所述语音报警装置(11)的下方设有光谱传感器(10)。

技术总结
本技术公开了一种利用声阵列和多光谱摄像头的复合视听感知和定位系统，属于阵列信号处理和机器视觉领域。包括主体、声阵列组件、多光谱摄像装置和旋转组件；声阵列组件包括两个结构相同的声阵列装置，两个声阵列装置对称设置于主体的顶部；多光谱摄像装置设置于主体上部的正前方，多光谱摄像装置包括红外摄像机、可见摄像机和热像摄像机，热像摄像机位于所述多光谱摄像装置中心，红外摄像机和可见摄像机对称设置于热像摄像机的两侧；主体的底部连接所述旋转组件。本技术实现了声学探测和双目识别相互配合的复合视听感知和定位系统，使得能够更好地实现三维空间的探测，识别定位更加准确，对多种复杂环境的适应性更强。

技术研发人员：夏明阳,朱明,王兆鹏
受保护的技术使用者：华中科技大学
技术研发日：20240326
技术公布日：2024/11/7