专利名称：基于声像一体化野生鸟类识别技术的远程无线监测系统的制作方法
技术领域：
本发明涉及生态监测技术领域，特别是涉及一种基于声像一体化野生鸟类识别技 术的远程无线监测系统。
背景技术：
有着“地球之肾”之称的湿地，其对于生态环境保护和利用的重要性受到越来越多 的关注。例如，鄱阳湖湿地是我国第一大淡水湖生态湿地，对于鄱阳湖湿地的监测是江西 鄱阳湖区植被、水文、鸟类和生态圈保护，以及血吸虫跟踪统计的基础。现有的鄱阳湖生态 环境监测一般采用遥感技术，使用多源遥感影像数据获取湖区的大尺度生态环境信息，结 合野外实地调查采样，辅以历年数据，得到各类湿地生态信息。遥感技术面向大尺度空间应 用，适合于区域统计信息收集，不适合局部、小尺度、精度高的观测需求；而且由于遥感卫星 一般在某个固定时间段出现在相应区域，因此无法实现连续观测，例如在汶川地震中，采用 遥感技术无法在短时间内搜索到失事救援飞机。随着无线技术的蓬勃发展，无线网络为湿地生态环境的小尺度高精度连续监测提 供了新的方法和技术支持。远程无线监测适宜于生态监测，例如适宜于鄱阳湖湿地环境，远程无线监测的使 用不仅能减少野外实地调查采样的人力劳动，获取野外环境连续观测数据，作为遥感信息 的验证和补充；而且能在低成本情况下，针对局域监测需求，例如对鄱阳湖区湿地进行小尺 度高精度的远程生态监测。目前，江西省正着力建设鄱阳湖生态经济区，鄱阳湖保护区总面 积为2M00公顷，1年的湿地生态经济价值为1500亿元左右。生态经济的建设必须以良好 的生态环境为基础，当生态环境发生改变时，需要及时地获取信息并进行跟踪，大尺度空间 的监测显示不能满足快速精确地捕获湿地生态变化信息的要求。对基于无线传输的远程视频监测系统的研究和开发，可以实现从单纯依靠遥感技 术到多尺度多视角高精度监测，从人工采样到自动远程连续观测，从有线传输到无线传输， 从单纯的数据采集到音视频多信息收集的跨越式发展，推动如鄱阳湖等各生态经济区的建 设和发展，也为以统计学为基础的生态环境和生态经济研究提供了新的思路。目前，国内有关小尺度高精度生态环境监测方面的技术主要分为三类。第一类是 基于Zigbee技术，将通过传感器获取的生态参数通过无线方式传输到基站并进行处理。此 方式能耗较低，但是传输距离近，带宽小，不能处理音视频数据。第二类是基于微波技术，将 生态参数通过无线方式传输到基站。此方式传输距离较远，但是带宽小，不能进行视频监 测。第三类是通过通用分组无线业务GRPS对多种生态监测信息进行远程传输。虽然移动 业务可以覆盖整个鄱阳湖湖面，但是此方式的缺点也是带宽小，不能进行视频监测。目前， 虽然重要的国家级自然保护区内也有采用远程无线方式进行视频监视的例子，但是稳定性 和可靠性都有待提高。在国外，野外环境下的高带宽远程生态监测一般属于多载荷平台传感器网络的研 究范畴，其节点价格较高。
发明内容
为解决上述问题而完成本发明，本发明可以采用如下技术方案。一种基于声像一体化野生鸟类识别技术的远程无线监测系统，其用于远程生态监 测，所述远程无线监测系统包括鸣声录制模块、视频录制模块、音视频数据处理模块、音视 频流传输模块和音视频数字文件存储模块，所述鸣声录制模块录制野外鸟类的声音，将录制的鸣声通过抽样、量化转化为数 字信号；所述视频录制模块主要通过摄像头录制生态环境的影像，将录制的影像通过抽样、 量化转化为数字信号；所述音视频数据处理模块将音视频进行联合编码；所述数据传输模 块将联合编码后的数据流通过无线方式传输到观测站；所述文件存储模块将接收到的数据 流以文件形式存储在观测站服务器中。所述基于声像一体化野生鸟类识别技术的远程无线监测系统可以还还包括显示 控制模块，所述显示控制模块在客户端实时显示被观测点的音视频情况。优选地，所述基于声像一体化野生鸟类识别技术的远程无线监测系统可以采用低 功耗、小体积的嵌入式开发环境。优选地，所述鸣声录制模块采用驻级体式电容话筒，麦克风的频响范围应该为 20Hz 20KHz，采样频率为40KHz以上。优选地，所述音视频流传输模块在802. Ilg协议代码基础上，改进WiFi的CSMA/CA 机制，以适应长距离的无线传输，并且分别采用正交频分复用多址、频分时分多址结合两种 机制作为无线链路访问控制协议。优选地，所述音视频流传输采用定制的基于Athros芯片的无线大功率网卡，采用 抛物线天线，分别在多个场合进行测试，根据带宽、音视频传输清晰程度的测试结果调整协 议参数和天线。优选地，所述音视频数据处理模块包括基于无线音视频网络的运动目标提取模 块，用于实现视频数据的运动目标动态跟踪。优选地，在所述音视频数据处理模块的处理过程中，首先采用混合高斯背景模型 进行背景建模，再检测出前景，再用形态学滤波法对前景进行去噪，然后用连通区标记目 标，再用卡尔曼滤波进行预测跟踪，其中，在前端获取视频数据前，对所述视频录制模块的 摄像机进行了标定，将用标定参数和跟踪结果来对目标位置重建。优选地，所述音视频数据处理模块包括鸟声识别模块，用于鸟声自动识别，进而自 动识别鸟的种类，其识别方法采用模式识别方法。优选地，所述识别方法如下首先利用K均值法得到信号与噪声的能量分割阈值，根据该阈值对音频文件进行 分割，将鸟声部分提取出来；然后对每个鸟声提取特征，并且用Mel倒谱系数特征表征该特征；将提取出的特征用于训练高斯混合模型，最终利用训练好的模型来识别鸟声的种类。本发明弥补了遥测技术监测精度不高、不能快速反映生态变化的技术缺陷，突破 了不适宜布线的野外环境下的高带宽远距离监测技术瓶颈。
本本发明针对背景技术中的三类系统的优缺点，研究和开发具有高带宽(不仅能 传输数据，并且能传输多媒体流)、远距离O公里以及以上)的声像一体化无线监测系统， 例如可以用于鄱阳湖湿地这一特殊环境下的生态监测。本发明可以大大降低节点硬件成本。
图1是根据本发明的一个实施方式的远程无线监测系统的系统框架图。图2是根据本发明的一个实施方式的模块实现流程图。图3是根据本发明的一个实施方式的运动目标三维视频跟踪流程图。图4A和图4B分别示出根据本发明的一个实施方式的原始图片与经过处理后图 片。图5示出根据本发明的一个实施方式的鸟声识别模块的实现流程图。图6A示出根据本发明的一个实施方式的待识别的鸟声音频文件。图6B示出根据本发明的一个实施方式的识别后的鸟声音频文件。图7示出根据本发明的一个实施方式的人机交互界面。
具体实施例方式下面将参考附图，详细说明用于实施本发明的典型实施方式。本发明主要包括两个部分。一是硬件，集成一套适用于湿地生态系统声像连续监 测的地面无线传感器网络硬件和实验平台。一是软件，开发一套基于上述网络控制及信息 采集、处理湿地植被、野生鸟类、家畜和水条件的软件。一、硬件部分1、系统框架参见图1，本发明的远程无线监测系统主要包括鸟类鸣声录制模块11、鸟类视频 录制模块12、音视频数据处理模块13、音视频流传输模块14、音视频数字文件存储模块15。 当然，该系统还可以包括显示控制模块16。鸣声录制模块11主要通过麦克风录制野外鸟类的声音，将录制的鸣声(模拟信 号)通过抽样、量化转化为数字信号；视频录制模块12主要通过摄像头录制生态环境(草、 鸟类、螺类)的影像，将录制的影像通过抽样、量化转化为数字信号；音视频数据处理模块 13将音视频进行联合编码；数据传输模块14将联合编码后的数据流通过无线方式传输到 观测站；文件存储模块15将接收到的数据流以文件形式存储在观测站服务器中；显示控制 模块16在客户端实时显示被观测点的音视频情况。2、硬件平台简介本发明的系统应用于野外环境下，适合采用低功耗、小体积的嵌入式开发环境。由 于需要对长距离高速高带宽的无线传输以及音视频流的支持，因此优选采用基于Atheros AR7100芯片进行嵌入式硬件平台开发，该系列芯片支持高带宽的音视频流的无线应用。同 时开发有音频接口、视频接口、高速无线网络接口(PCI无线网卡接口)、以太网接口和高速 USB接口等。3、音视频采集和处理
野外鸣声采集对麦克风的要求是音质清晰、小巧轻便、低功耗(尽量不用馈送电 源)。根据以上要求，优选地，可选择驻级体式电容话筒，这种话筒采用了驻级体材料制作话 筒振膜电极，不需要外加极化电压即可工作，简化了结构，同时还具有电容话筒灵敏度高， 频率响应好，音质好的特点。根据鸟类鸣声的频率特点，麦克风的频响范围应该为20Hz 20KHz。根据鸟类鸣声的特点和现有文献资料，鸟类鸣声的最高音频为fm = 20KHz，根据 奈奎斯特采样定理，采样频率fc为fc ^ 2fm因此，采样频率至少为40KHz，即可以选择最高采样频率至少为44. IKHz的DA采样 芯片。由于鸟类鸣声时重要的鸟类辨识基础，因此音频部分不进行压缩。由于对视频录制的清晰度要求不高，可以进行比较高比例的压缩。但是视频监视 范围广，因此需要采用视距远的摄像头。4、无线传输协议的开发在以前所开发的802. Ilg协议代码基础上，改进WiFi的CSMA/CA机制，以适应长 距离的无线传输。分别采用正交频分复用多址、频分时分多址结合两种机制作为无线链路 访问控制协议。5、长距离传输协议的开发采用定制的基于Athros芯片的无线大功率网卡，采用抛物线天线，分别在多个场 合进行测试，根据带宽、音视频传输清晰程度的测试结果调整协议参数和天线。二、软件部分1、无线传输协议采用改进的正交频分复用多址的方法作为无线链路访问控制协议。2、基于无线音视频网络的运动目标提取模块本模块主要实现视频数据(例如.avi)的运动目标动态跟踪，首先采用混合高斯 背景模型进行背景建模，再检测出前景即运动目标，再用形态学滤波法对前景进行去噪，然 后用连通区标记目标，再用卡尔曼滤波进行预测跟踪。在前端获取视频数据前，对摄像机进 行了标定，将用标定参数和跟踪结果来对目标位置重建。图2是根据本发明的一个实施方式的模块实现流程图，其中，上半部分为前端无 线视频获取部分，下半部分为后端视频序列数据处理流程部分。图3是根据本发明的一个实施方式的运动目标三维视频跟踪流程图。图4A和图4B分别示出根据本发明的一个实施方式的原始图片与经过处理后图 片。3、鸟声识别模块鸟声是表征鸟类的基本特征。鸟声识别模块的主要功能是鸟声自动识别，进而自 动识别鸟的种类。主要方法是模式识别方法。首先利用K均值法得到信号与噪声的能量分 割阈值，根据该阈值对音频文件进行分割，将鸟声部分提取出来。然后对每个鸟声提取特 征，经过多次试验，发现Mel倒谱系数特征(MFCC)能够很好地表征特征。将提取出的特征 用于训练高斯混合模型(GMM)，最终利用训练好的模型来识别鸟声的种类。图5示出根据本发明的一个实施方式的鸟声识别模块的实现流程图。
图6A示出根据本发明的一个实施方式的待识别的鸟声音频文件。通过运行本模块“BirdSoimd”之后，就显示出识别结果。结果包括鸟声的起始和 终止标记，以及该鸟声的种类编号。如图6B所示，图6B示出根据本发明的一个实施方式的 识别后的鸟声音频文件，其中，2是鸟声的种类编号。本模块还提供方便的专家目视解译人机交互界面。如图7所示，便于建立鸟声专 家库。尽管已经参考典型实施方式对本发明进行了说明，应该理解，本发明不局限于所 公开的典型实施方式。所附的权利要求书的范围与符合最宽泛的解释，从而包括所有这些 变型、等同结构及功能。
权利要求
1.一种基于声像一体化野生鸟类识别技术的远程无线监测系统，其用于远程生态监 测，所述远程无线监测系统包括鸣声录制模块、视频录制模块、音视频数据处理模块、音视 频流传输模块和音视频数字文件存储模块，所述鸣声录制模块录制野外鸟类的声音，将录制的鸣声通过抽样、量化转化为数字信 号；所述视频录制模块主要通过摄像头录制生态环境的影像，将录制的影像通过抽样、量化 转化为数字信号；所述音视频数据处理模块将音视频进行联合编码；所述数据传输模块将 联合编码后的数据流通过无线方式传输到观测站；所述文件存储模块将接收到的数据流以 文件形式存储在观测站服务器中。
2.根据权利要求1所述的远程无线监测系统，其特征在于，还包括显示控制模块，所述 显示控制模块在客户端实时显示被观测点的音视频情况。
3.根据权利要求1所述的远程无线监测系统，其特征在于，所述远程无线监测系统采 用低功耗、小体积的嵌入式开发环境。
4.根据权利要求1至3中任一项所述的远程无线监测系统，其特征在于，所述鸣声录 制模块采用驻级体式电容话筒，麦克风的频响范围应该为20Hz 20KHz，采样频率为40KHz 以上。
5.根据权利要求1至3中任一项所述的远程无线监测系统，其特征在于，所述音视频流 传输模块在802. Ilg协议代码基础上，改进WiFi的CSMA/CA机制，以适应长距离的无线传 输，并且分别采用正交频分复用多址、频分时分多址结合两种机制作为无线链路访问控制 协议。
6.根据权利要求1至3中任一项所述的远程无线监测系统，其特征在于，所述音视频流 传输采用定制的基于Athros芯片的无线大功率网卡，采用抛物线天线，分别在多个场合进 行测试，根据带宽、音视频传输清晰程度的测试结果调整协议参数和天线。
7.根据权利要求1至3中任一项所述的远程无线监测系统，其特征在于，所述音视频数 据处理模块包括基于无线音视频网络的运动目标提取模块，用于实现视频数据的运动目标 动态跟踪。
8.根据权利要求7所述的远程无线监测系统，其特征在于，在所述音视频数据处理模 块的处理过程中，首先采用混合高斯背景模型进行背景建模，再检测出前景，再用形态学滤 波法对前景进行去噪，然后用连通区标记目标，再用卡尔曼滤波进行预测跟踪，其中，在前 端获取视频数据前，对所述视频录制模块的摄像机进行了标定，将用标定参数和跟踪结果 来对目标位置重建。
9.根据权利要求1至3中任一项所述的远程无线监测系统，其特征在于，所述音视频数 据处理模块包括鸟声识别模块，用于鸟声自动识别，进而自动识别鸟的种类，其识别方法采 用模式识别方法。
10.根据权利要求9所述的远程无线监测系统，其特征在于，所述识别方法如下首先利用K均值法得到信号与噪声的能量分割阈值，根据该阈值对音频文件进行分 割，将鸟声部分提取出来；然后对每个鸟声提取特征，并且用Mel倒谱系数特征表征该特征；将提取出的特征用于训练高斯混合模型，最终利用训练好的模型来识别鸟声的种类。
全文摘要
一种基于声像一体化野生鸟类识别技术的远程无线监测系统，其用于远程生态监测，所述系统包括鸣声录制模块、视频录制模块、音视频数据处理模块、音视频流传输模块和音视频数字文件存储模块。鸣声录制模块录制野外鸟类的声音，将录制的鸣声通过抽样、量化转化为数字信号；视频录制模块主要通过摄像头录制生态环境的影像，将录制的影像通过抽样、量化转化为数字信号。本发明弥补了遥测技术监测精度不高、不能快速反映生态变化的技术缺陷，突破了不适宜布线的野外环境下的高带宽远距离监测技术瓶颈。例如可以用于鄱阳湖湿地这一特殊环境下的生态监测。
文档编号H04N7/18GK102065272SQ200910210899
公开日2011年5月18日 申请日期2009年11月13日 优先权日2009年11月13日
发明者吴静, 宫鹏, 应清, 李秀红, 沈少青, 程晓, 陈晓波 申请人:中国科学院遥感应用研究所