一种海岛滨海湿地水鸟识别方法、分布查询系统及介质与流程

1.本发明属于海洋生态环境监测技术领域，尤其涉及一种海岛滨海湿地水鸟识别方法、分布查询系统及介质。


背景技术：

2.目前，随着计算机视觉和机器学习技术的快速发展，基于图像的鸟类识别吸引了越来越多的关注和重视。当前的鸟类识别研究的主流方法主要基于单幅图像。首先在基础性的鸟类数据库建设方面，在国际上影响最大的是加州理工学院和康奈尔大学的视觉实验室联合构建的cub-200-2011鸟类数据库，该数据库共包括200种鸟类和11,788张图像，每幅图像均标注了鸟的整体位置、尺寸、14个鸟体主要部位和28组属性。此外，康奈尔大学鸟类学实验室创建了nabirdsv1数据库，包括400种鸟和48,000张标注图像；哥伦比亚大学和马里兰大学联合构造了包含500种鸟类的birdsnap数据库。在鸟类识别研究方法领域，2013年之前主要采用基于视觉词袋模型—首先在图像中提取局部特征描述子并进行编码，在定位鸟体主要部位基础上在图像空间上进行池化，最后通过支撑向量机等分类器进行训练和分类。近两三年来，以基于深度学习为主导的方法取得了更好的识别效果，成为鸟类识别的主流方法。这类方法一般先通过在大规模数据库上预训练出一个深度卷积神经网络模型(cnn)，然后在特定的鸟类数据库上进行精细训练得到适合该数据库的模型。为了准确识别，一般还需要配合以鸟体的关键部位(例如鸟头、鸟喙、鸟腹、鸟翅和鸟尾等)的准确检测，在这些关键区域中提取深度特征从而进行整体的鸟类识别。基于视频序列进行鸟类识别的研究尚处于起步阶段，这类方法除了提取每帧图像的特征外，还设法在连续多帧图像中通过视频目标跟踪计算得到特征点的轨迹信息用于识别。
3.在国内，基于计算机视觉的鸟类识别研究尚处于起步阶段。在数据库建设方面，目前国内最大的鸟类方面的网站“鸟网”，收录了659个鸟种，但仅包含1900张图片，数量较少且缺少关键部位标注等信息，不适合用于鸟类的精准识别研究。北京航空航天大学的研究人员采集了包含17段视频的红外鸟类数据库，但该数据库的图像中鸟体很小，仅能见到轮廓信息而缺乏颜色或纹理等细节信息，不能进行精准识别。在研究方法层面，国内的鸟类识别主要基于经典方法，例如通过边缘检测和分割等基本图像处理技术对鸟体轮廓进行分割，通过提取底层特征如颜色、纹理和形状等并训练浅层支撑向量机或浅层bp神经网络进行分类。在监测系统方面，湖南工业大学的研究人员开发了武夷山九曲湿地鸟类联网监测及识别系统，通过摄像头、无线网络收集远程数据到服务器，对鸟类图像进行分类。此外，中国科学院遥感应用研究所的研究人员于2009年申报了“基于声像一体化野生鸟类识别技术的远程无线监测系统”的发明专利，在该专利中采用鸣声录制模块将录制的鸟鸣声通过抽样、量化转化为数字信号，采用视频录制模块通过摄像头录制生态环境的影像，将录制的影像通过抽样、量化转化为数字信号，再用音视频数据处理模块将音视频进行联合编码，然后采用数据传输模块将联合编码后的数据流通过无线方式传输到观测站，之后用文件存储模块将接收到的数据流以文件形式存储在观测站服务器中。江西师范大学的研究人员于2014
年申报了“一种能够自动识别跟踪湿地鸟类的监测装置”的实用新型专利(已授权)，在该监测装置中协处理器dm6437分别连接若干个高速图像采集器和主处理器dm355，主处理器dm355通过无线交换机连接监控设备与处理设备，再由处理设备通过电机连接高速图像采集器，通过该装置实现提取湿地鸟类的特性、特征，识别不同鸟类及其运动轨迹规律，实现mpg-4视频压缩、流明体播放、远程云台控制及多种数据的传输。上述技术产品均属于初期研究阶段的成果，难以满足实际应用中的高效性和智能性要求。
4.海岛/滨海湿地是海陆交互作用的代表区域，拥有独特、脆弱的生态系统，因其丰富的生物多样性、显著的生态服务功能受到普遍的关注，也是生态、地理、海洋等多学科研究的热点领域。鸟类是野生动物最具代表性的类群，也是海岛/滨海湿地生态系统重要的组成部分，在促进海岛/滨海湿地物质、能量循环，维护生态平衡中发挥着重要作用，其对栖息生境的高依赖性和对环境的高敏感性，成为海岛/滨海湿地环境质量监测的重要生物指标。在提升海洋生物多样性保护技术水平、强化生态系统服务功能、加强海洋生态系统管控等现实需求下，作为海岛/滨海湿地生态系统的基础性种群——鸟类，对其开展种群调查和监测研究已经成为认知海陆交互生态系统、加强海洋资源环境管理、促进海洋全球治理的重要手段。
5.目前，海岛/滨海湿地鸟类调查多以人工调查方法为主，但因海岛/滨海湿地地处边远，现有的由全球联测、志愿者参与构建鸟类调查和监测网络尚难覆盖这些区域，此类区域鸟类信息及其生境信息相对缺失，对其进行连续观测的人工成本和难度较大。此外，现有鸟类调查技术自动化程度较弱，尽管近年来各类信息化手段为信息快速传递和数据系统管理提供了便利，但在鸟类信息获取方面，仍然缺少快速精准的鸟类识别调查技术手段，对水鸟实施精准识别的方法和技术需进一步提升。总体而言，调查能力难以覆盖，信息获取手段有限等造成海岛/滨海湿地鸟类相关信息缺乏，严重阻碍了对海陆交互作用生态系统的深入了解和全面认识。因此，亟需完善水鸟调查技术手段，及时掌握海岛/滨海湿地重要鸟类情况和变化趋势，加强海岛/滨海湿地重要水鸟的自动化、信息化、连续化信息采集技术研究。
6.对掌握水鸟等珍稀濒危物种保护情况和海岛/滨海湿地生态系统的基本状况和变化趋势等均具有重要意义，有助于实现海岛/滨海湿地重要鸟类及其生境联网在线监测，而且可为将鸟类监测纳入全球海洋观监测网络、服务海洋全球治理提供重要支持。
7.通过上述分析，现有技术存在的问题及缺陷为：
8.(1)现有技术在海洋领域，对水鸟等动态微小目标实施精准识别与跟踪技术的运用较少。不能实现对目标区域内的重要水鸟类别、数量及生境条件和生活状态等的监测与识别。
9.(2)现有技术对水鸟等动态微小目标实施识别中，图像识别正确率低；图像的处理时间长，不能满足实际需要。
10.解决以上问题及缺陷的意义为：
11.本发明旨在解决海岛/滨海湿地重要水鸟的自动检测与识别问题，基于人工智能的海岛/滨海湿地重要水鸟种类调查技术，提供高效的视频目标跟踪、机器学习、目标图像智能检测与识别技术，提出基于计算机视觉技术的水鸟图像在线智能检测与识别系统，构建可用于水鸟精准识别的专业级水鸟图像和动态视频序列数据库。实现对目标区域内的重
要水鸟类别、数量及生境条件和生活状态等的监测与识别。


技术实现要素：

12.为克服相关技术中存在的问题，本发明公开实施例提供了一种海岛滨海湿地水鸟识别方法及分布查询系统。
13.所述技术方案如下：一种海岛滨海湿地水鸟识别方法，运行于客户端，利用新颖的区域卷积网络模型和全卷积网络模型对图像中存在的目标水鸟的整体及其关键部位进行自动检测与定位；并利用深度卷积概率神经网络模型对高层语义特征进行概率建模，增强对图像内容的表达，基于表达后的图像对目标水鸟进行识别。
14.在一个实施例中，所述海岛滨海湿地水鸟识别方法进一步包括：
15.步骤一，构建并充实包含视频、图像信息的基础数据库；
16.步骤二，利用基于图像、视频多模态融合的目标水鸟识别算法，进行目标水鸟识别；
17.步骤三，利用目标水鸟识别后的分类特征、分布关系，构建水鸟生物多样性基础数据集，并建立海岛滨海湿地重要水鸟识别及分布查询系统。
18.在一个实施例中，所述步骤一基础数据库的构建包括：
19.利用野外拍照、摄像以及在网络搜索方式收集目标鸟类影像资料，标注鸟在图像中整体位置，以及鸟体的鸟喙、鸟腹、鸟喉、鸟冠、鸟尾、鸟背、鸟额、鸟颈、鸟眼、鸟翅、鸟胸、鸟头、鸟腿及鸟身，把这些数据作为训练集，其中训练集占所有图片的80％左右，再通过上述获取数据的图形获取数据作为测试集，其中测试集无需打标签，占所有图片20％左右，用来检验训练效果是否达到期望。
20.在一个实施例中所述步骤二进行目标水鸟识别运行于客户端，包括：目标检测之前，首先给训练集打标签进行监督式学习。用户在本鸟类识别系统的训练模块查询训练集，对这些图片上绘制一个或多个矩形框定位图片上的鸟，并定义标签。定义好标签以后进行大规模训练，训练完成将输出一个指定迭代次数的模型。接下来是检验训练输出的模型的识别效果是否良好，在可视化界面选择模型去识别测试集的图片或视频，识别结果包括对鸟类的统计，统计包括出现鸟的种类、每一种鸟出现的次数、识别率大于60％以及大于80％的个数以及显示每只鸟的识别率和预测标签，通过这些批量统计的数据，更加高效地判断该模型的识别效果是否达到期望，如果未达到期望，则将识别后的图片转移到训练集并打标签，执行重新训练的操作，可及时查看训练进度。
21.具体进行目标水鸟识别包括以下步骤：
22.(1)训练模块构建卷积神经网络架构，vgg16网络模型结构包含16层神经网络，其中有13层是卷积和池化操作，最后3层为全连接层。训练包含了临时性识别、校验预测、计算损失值、反向传播更新权重矩阵三个操作。
23.(2)识别模块依赖vgg16网络模型结构用来执行图像识别操作：
24.(2.1)首先把一张图片作为卷积神经网络的输入，转化为rgb通道三维矩阵。
25.(2.2)通过多个过滤器的卷积操作进行特征提取，输出为指定大小的特征图。
26.(2.3)将输出的特征图进行最大池化操作以浓缩特征图包含的特征分布和减少数据的处理。
27.(2.4)反复第二步和第三步的操作。
28.(2.5)执行三层全连接神经网络，全连接之后再对每个输出对每种鸟类的得分矩阵，得分矩阵再通过softmax激活函数输出对每种鸟类的识别概率，筛选识别概率大于60％的分类。
29.(3)构建rpn区域建议网络用来目标检测和定位，具体运作过程以及如下：
30.(3.1)将输入的原图进行特征提取，生成一个w/16*h/16的特征图，特征图的每一个像素点作为感受野，每个感受野对应原图16x16的图像区域。
31.(3.2)设置锚框的放大比率列表为[8,16,32]，并设置长宽比例列表为[0.5,1,2]，使用人为设定的单位锚框乘以放大比率，再调整长宽比例为如上长宽比例列表，在此，每一个感受野对应原图的16x16区域的几何中心将生成9个候选框。最后将生成2万多个候选框。
[0032]
(3.3)通过vgg16网络模型对2万多个候选框进行背景和物体的二分类任务，计算出每个候选框包含的图像区域对背景和物体的得分(或者概率)，预测为背景的概率大于60％则过滤掉该锚框。剩余的锚框被识别为物体。
[0033]
(3.4)将被识别为物体的锚框包含的图像区域对应的矩阵再次代入vgg16网络模型进行预测，这时候进行鸟类的多分类任务，计算出每个锚框对应每个鸟类的得分，得分大于某个值的时候则被识别为某种鸟类。
[0034]
(3.5)非极大值抑制处理，可能存在多个锚框框住同一个物体，一个物体附近的锚框会识别为同一个物体，筛选得分最大的一个锚框，人为可以设置iou值，当其他附近锚框小于设置的iou值则会被剔除，确保一个物体不会被检测出多个物体。
[0035]
(3.6)bounding-box regression边框回归，用来微调锚框的位置和大小。在训练集中，一张图片包含人为设定的框记为gt，在预测的时候，会产生最终的候选框(经过步骤5后留下来的锚框)，记为p，这个候选框p与gt的大小以及锚点位置不同，寻找一个函数f，使得f(px,py,pw,ph)≈gx,gy,gw,gh，其中其中px为候选框p左上角坐标点(x,y)的横坐标，py为候选框p左上角坐标点(x,y)的纵坐标，pw为候选框p左上角坐标点(x,y)的宽，w表示宽；ph为候选框p左上角坐标点(x,y)的高；h表示高；gx,gy,gw,gh的含义以此类推。经过大量的训练过程不断更新函数f的参数，使得函数f对应的损失函数值尽量小，最终达到较好的锚框微调效果。
[0036]
本发明的另一目的在于提供一种海岛滨海湿地重要水鸟识别及分布查询系统，搭载在客户端，包括：
[0037]
目标水鸟图像数据库构建模块，用于通过野外拍照、摄像以及在网络搜索方式收集和整理目标鸟类影像资料；
[0038]
水鸟整体位置及鸟体关键部位检测模块，用于对鸟类目标进行整体检测与定位，并且对鸟体中各关键部位进行检测与定位；
[0039]
水鸟识别模块，用于利用端到端的深度卷积神经网络模型对水鸟进行识别。
[0040]
在一个实施例中，所述目标水鸟图像数据库构建模块还用于标注鸟在图像中整体位置，以及鸟体的鸟喙、鸟腹、鸟喉、鸟冠、鸟尾、鸟背、鸟额、鸟颈、鸟眼、鸟翅、鸟胸、鸟头、鸟腿、鸟身。
[0041]
在一个实施例中，所述水鸟整体位置及鸟体关键部位检测模块包括：
[0042]
基于区域卷积神经网络模型检测模块，用于对鸟类目标的整体检测与定位，在整
幅图像中检测出是否存在鸟体并自动确定出包围鸟体的外接矩形；
[0043]
基于全卷积网络模型检测模块，用于对鸟体的鸟喙、鸟腹、鸟喉、鸟冠、鸟尾、鸟背、鸟额、鸟颈、鸟眼、鸟翅、鸟胸、鸟头、鸟腿、鸟身进行定位。
[0044]
在一个实施例中，所述水鸟识别模块包括：端到端的深度卷积神经网络识别模块，用于融合水鸟整体信息与关键部位信息进行识别；所述深度卷积神经网络的区域卷积神经网络模型、全卷积网络模型在卷基层后建立概率模型对图像中高阶信息进行建模，并送给后面的全连接层；
[0045]
所述区域卷积神经网络模型、全卷积网络模型共享于提取底层特征的卷基层，并进行统一的端到端的训练和学习。
[0046]
在一个实施例中，所述水鸟识别模块进一步包括：
[0047]
深度学习服务器，采用opencv读取视频的每一帧并识别，把识别的结果以json数据格式并以追加的方式写入到txt文本，json数据包含锚框的坐标、识别率、预测标签、当前帧的索引信息；前端随时发起请求读取深度学习服务器txt文本的json数据，并从前端画布中渲染出矩形框，遍历所有需要展示的数据；
[0048]
前端，采用拖动进度条的监听器，监听进度条的变化并做出获取当前进度的帧对应识别后返回数据的操作，渲染到视频表面的画布上并展示识别结果包含的数据，并通过在监听器内部添加的时间间隔为10毫秒的计时器多次触发获取帧的识别数据；
[0049]
统计模块，用于视频识别完成后，对前端请求获取整个视频所有帧的json数据进行全局鸟类信息的统计。
[0050]
具体地，所述水鸟识别模块用于对鸟类进行实时的异步的视频识别、图片识别和统计。对于视频识别，视频文件较大，包含众多帧数的图片，对性能要求高、识别周期长。为了提升用户体验，本系统采用异步的视频识别，无需等待全部视频识别完成，拖动视频进度条即可查看已识别和未识别的帧，并实时展示当前视频进度的鸟类统计数据。识别完成之后可见鸟类信息统计总览。对于图片识别，在线上传图片并识别，及时展示鸟类识别结果，识别结果也包含上述的鸟类信息统计。
[0051]
具体的运行程序包括：
[0052]
(1)首先如何做到视频识别的异步性？于深度学习服务器采用opencv读取视频的每一帧，每识别完一帧的，就把识别的结果以json数据格式并以追加的方式写入到txt文本，json数据包含了锚框的坐标、识别率、预测标签、当前帧的索引等重要信息。服务器端不断地把识别结果写入到txt文本，前端可随时发起请求读取服务器端txt文本的json数据，根据这些json数据就可以从前端画布中渲染出矩形框，遍历所有需要展示的数据。这样，无需等待服务器识别完所有的帧即可返回部分识别结果。
[0053]
(2)如何做到视频识别展示的实时性？前端采用拖动进度条的监听器，监听进度条的变化并做出获取当前进度的帧对应识别后返回数据的操作，渲染到视频表面的画布上并展示识别结果包含的数据，为了细化监听器的监听粒度，确保进度条的所有时间点显示出正确的渲染和展示结果，在监听器内部添加一个时间间隔为10毫秒的计时器，多次触发获取帧的识别数据。这样，客户端无论如何拖动进度条，即可实时渲染和展示当前进度的识别结果。
[0054]
(3)如何统计？指定视频进度所在帧的鸟类统计数据来自于服务器端的json数据，
该json数据包括从服务器中txt文本获取到的指定帧的识别结果、统计的属性，统计属性的内容包当前帧出现多少种鸟、每只鸟的识别率、每种鸟的简介以及出现的数量。视频识别完成之后，前端可请求获取整个视频所有帧的json数据，每一条json数据的统计属性累计起来进行全局鸟类信息的统计。
[0055]
本发明的另一目的在于提供一种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行所述海岛滨海湿地水鸟识别方法。
[0056]
结合上述的所有技术方案，本发明所具备的优点及积极效果为：
[0057]
本发明基于人工智能的大连海岛/滨海湿地重要水鸟种类调查技术，构建并充实包含视频、图像等信息的基础数据库；提出基于图像、视频多模态融合的目标水鸟识别算法，实现精准识别；集成建立大连海岛/滨海湿地重要水鸟精准识别及分布查询系统。
[0058]
本发明基于计算机视觉技术的水鸟图像智能识别系统设计与构建：收集、采集重要水鸟图像数据，构建并充实目标水鸟图像特征库，可进行鸟种、数量、生活状态等自动识别的图像智能识别系统。
[0059]
本发明水鸟多模态信息融合与综合识别系统的提出：基于视频、图像的多模态信息融合算法，通过不同方法互补，建立水鸟综合识别系统，实现目标水鸟的精准识别。
[0060]
本发明进行了水鸟智能识别与分布系统集成与试运行：在水鸟的分类特征、分布等关系分析基础上，构建水鸟生物多样性基础数据集，集成建立大连海岛/滨海湿地重要水鸟精准识别及分布查询系统。
[0061]
相比于现有技术，本发明的优点进一步包括：
[0062]
本发明能够快速、有效地识别大连海岛/滨海湿地重要水鸟，对水鸟数量、生境条件和生活状态等进行调查，有利于对水鸟等珍稀濒危物种的保护；该系统可用于大连市海岛/滨海湿地重要水鸟的调查工作，对掌握海岛/滨海湿地生态系统的基本状况和变化趋势具有重要意义，为海岛/滨海湿地鸟类及其生境保护和修复提供参考。
[0063]
本发明水鸟自动识别技术的利用和集成将在快速、精准生物识别，多手段、多要素生态系统监测，连续、系统生态系统认知方面起到引领作用，对提升水鸟自动调查技术装备的研发能力起到积极作用，为海洋生态环境数据积累提供有力支持。
[0064]
利用本系统提供海岛/滨海湿地重要水鸟的基本信息，可为集成建立国家生态保护和生物多样性数据库及生态环境大数据系统提供有力支持，可为全面深入了解和全面认识海陆交互生态系统提供依据，并可为海洋生态红线划定、海洋主体功能管理、全球海洋治理等提供依据。自动识别系统的提出和应用，可实现水鸟种类、数量的快速自动收集，不仅可为海岛/滨海湿地生态环境监测提供直接支持，而且配合有关智能信息平台的开发和使用，将为观鸟、爱鸟、护鸟等提供有效服务，具有显著的生态和社会效益。
[0065]
当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明的公开。
附图说明
[0066]
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
[0067]
图1是本发明实施例提供的海岛滨海湿地水鸟识别方法流程图。
[0068]
图2是本发明实施例提供的海岛滨海湿地水鸟识别系统框图。
[0069]
图2中：1、目标水鸟图像数据库构建模块；2、水鸟整体位置及鸟体关键部位检测模块；2-1、基于区域卷积神经网络模型检测模块；2-2、基于全卷积网络模型检测模块；3、水鸟识别模块；3-1、端到端的深度卷积神经网络识别模块；3-2、深度学习服务器；3-3、前端；3-4、统计模块。
[0070]
图3是本发明实施例提供的海岛滨海湿地水鸟识别方法技术路线及设计原理图。
具体实施方式
[0071]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。
[0072]
本发明将基于快速区域卷积神经网络模型(fasterr-cnn)对特定目标(水鸟)进行训练和实现。运行依托于深度神经网络框架，软硬件总体环境配置包括专业图像处理显卡、ubuntu16.04lts操作系统、cuda6.0和8.0并行计算处理平台等、编译环境基于caffe的py-faster-rcnn实验平台。
[0073]
针对海岛/滨海湿地重要水鸟的调查技术问题，本发明提出采用基于深度学习和计算机视觉的智能检测与识别方法，分析新颖的区域卷积网络模型和全卷积网络模型实现图像中可能存在的目标水鸟的整体及其关键部位的自动检测与定位；提出深度卷积概率神经网络模型，对高层语义特征进行概率建模以增强对图像内容的表达能力，实现对目标水鸟的精准识别。
[0074]
如图1所示，海岛滨海湿地水鸟识别方法包括：
[0075]
s101，构建并充实包含视频、图像信息的基础数据库；
[0076]
s102，利用基于图像、视频多模态融合的目标水鸟识别算法，进行目标水鸟识别；
[0077]
s103，利用目标水鸟识别后的分类特征、分布关系，构建水鸟生物多样性基础数据集，并建立海岛滨海湿地重要水鸟识别及分布查询系统。
[0078]
在一优选实施例中，所述步骤s101基础数据库的构建包括：
[0079]
利用野外拍照、摄像以及在网络搜索方式收集目标鸟类影像资料，标注鸟在图像中整体位置，以及鸟体的鸟喙、鸟腹、鸟喉、鸟冠、鸟尾、鸟背、鸟额、鸟颈、鸟眼、鸟翅、鸟胸、鸟头、鸟腿及鸟身，把这些数据作为训练集，其中训练集占所有图片的80％左右，再通过上述获取数据的图形获取数据作为测试集，其中测试集无需打标签，占所有图片20％左右，用来检验训练效果是否达到期望。
[0080]
在一优选实施例中所述步骤s102进行目标水鸟识别包括：
[0081]
在一个实施例中所述步骤二进行目标水鸟识别运行于客户端，包括：目标检测之前，首先给训练集打标签进行监督式学习。用户在本鸟类识别系统的训练模块查询训练集，对这些图片上绘制一个或多个矩形框定位图片上的鸟，并定义标签。定义好标签以后进行大规模训练，训练完成将输出一个指定迭代次数的模型。接下来是检验训练输出的模型的识别效果是否良好，在可视化界面选择模型去识别测试集的图片或视频，识别结果包括对鸟类的统计，统计包括出现鸟的种类、每一种鸟出现的次数、识别率大于60％以及大于80％
的个数以及显示每只鸟的识别率和预测标签，通过这些批量统计的数据，更加高效地判断该模型的识别效果是否达到期望，如果未达到期望，则将识别后的图片转移到训练集并打标签，执行重新训练的操作，可及时查看训练进度。
[0082]
具体进行目标水鸟识别包括以下步骤：
[0083]
(1)训练模块构建卷积神经网络架构，vgg16网络模型结构包含16层神经网络，其中有13层是卷积和池化操作，最后3层为全连接层。训练包含了临时性识别、校验预测、计算损失值、反向传播更新权重矩阵三个操作。
[0084]
(2)识别模块依赖vgg16网络模型结构用来执行图像识别操作：
[0085]
(2.1)首先把一张图片作为卷积神经网络的输入，转化为rgb通道三维矩阵。
[0086]
(2.2)通过多个过滤器的卷积操作进行特征提取，输出为指定大小的特征图。
[0087]
(2.3)将输出的特征图进行最大池化操作以浓缩特征图包含的特征分布和减少数据的处理。
[0088]
(2.4)反复第二步和第三步的操作。
[0089]
(2.5)执行三层全连接神经网络，全连接之后再对每个输出对每种鸟类的得分矩阵，得分矩阵再通过softmax激活函数输出对每种鸟类的识别概率，筛选识别概率大于60％的分类。
[0090]
(3)构建rpn区域建议网络用来目标检测和定位，具体运作过程以及如下：
[0091]
(3.1)将输入的原图进行特征提取，生成一个w/16*h/16的特征图，特征图的每一个像素点作为感受野，每个感受野对应原图16x16的图像区域。
[0092]
(3.2)设置锚框的放大比率列表为[8,16,32]，并设置长宽比例列表为[0.5,1,2]，使用人为设定的单位锚框乘以放大比率，再调整长宽比例为如上长宽比例列表，在此，每一个感受野对应原图的16x16区域的几何中心将生成9个候选框。最后将生成2万多个候选框。
[0093]
(3.3)通过vgg16网络模型对2万多个候选框进行背景和物体的二分类任务，计算出每个候选框包含的图像区域对背景和物体的得分(或者概率)，预测为背景的概率大于60％则过滤掉该锚框。剩余的锚框被识别为物体。
[0094]
(3.4)将被识别为物体的锚框包含的图像区域对应的矩阵再次代入vgg16网络模型进行预测，这时候进行鸟类的多分类任务，计算出每个锚框对应每个鸟类的得分，得分大于某个值的时候则被识别为某种鸟类。
[0095]
(3.5)非极大值抑制处理，可能存在多个锚框框住同一个物体，一个物体附近的锚框会识别为同一个物体，筛选得分最大的一个锚框，人为可以设置iou值，当其他附近锚框小于设置的iou值则会被剔除，确保一个物体不会被检测出多个物体。
[0096]
(3.6)bounding-box regression边框回归，用来微调锚框的位置和大小。在训练集中，一张图片包含人为设定的框记为gt，在预测的时候，会产生最终的候选框(经过步骤5后留下来的锚框)，记为p，这个候选框p与gt的大小以及锚点位置不同，寻找一个函数f，使得f(px,py,pw,ph)≈gx,gy,gw,gh，其中其中px为候选框p左上角坐标点(x,y)的横坐标，py为候选框p左上角坐标点(x,y)的纵坐标，pw为候选框p左上角坐标点(x,y)的宽，w表示宽；ph为候选框p左上角坐标点(x,y)的高；h表示高；gx,gy,gw,gh的含义以此类推。经过大量的训练过程不断更新函数f的参数，使得函数f对应的损失函数值尽量小，最终达到较好的锚框微调效果。
[0097]
如图2所示，本发明还提供一种海岛滨海湿地重要水鸟识别及分布查询系统包括：
[0098]
目标水鸟图像数据库构建模块1，用于通过野外拍照、摄像以及在网络搜索方式收集和整理目标鸟类影像资料；
[0099]
水鸟整体位置及鸟体关键部位检测模块2，用于对鸟类目标进行整体检测与定位，并且对鸟体中各关键部位进行检测与定位；
[0100]
水鸟识别模块3，用于利用端到端的深度卷积神经网络模型对水鸟进行识别。
[0101]
在一优选实施例中，所述目标水鸟图像数据库构建模块1还用于标注鸟在图像中整体位置，以及鸟体的鸟喙、鸟腹、鸟喉、鸟冠、鸟尾、鸟背、鸟额、鸟颈、鸟眼、鸟翅、鸟胸、鸟头、鸟腿、鸟身。
[0102]
在一优选实施例中，所述水鸟整体位置及鸟体关键部位检测模块2包括：
[0103]
基于区域卷积神经网络模型检测模块2-1，用于对鸟类目标的整体检测与定位，在整幅图像中检测出是否存在鸟体并自动确定出包围鸟体的外接矩形；
[0104]
基于全卷积网络模型检测模块2-2，用于对鸟体的鸟喙、鸟腹、鸟喉、鸟冠、鸟尾、鸟背、鸟额、鸟颈、鸟眼、鸟翅、鸟胸、鸟头、鸟腿、鸟身进行定位。
[0105]
在一优选实施例中，所述水鸟识别模块3包括：端到端的深度卷积神经网络识别模块3-1，用于融合水鸟整体信息与关键部位信息进行识别；所述深度卷积神经网络的区域卷积神经网络模型、全卷积网络模型在卷基层后建立概率模型对图像中高阶信息进行建模，并送给后面的全连接层；
[0106]
所述区域卷积神经网络模型、全卷积网络模型共享于提取底层特征的卷基层，并进行统一的端到端的训练和学习。
[0107]
在一优选实施例中，所述水鸟识别模块3进一步包括：
[0108]
深度学习服务器3-2，采用opencv读取视频的每一帧并识别，把识别的结果以json数据格式并以追加的方式写入到txt文本，json数据包含锚框的坐标、识别率、预测标签、当前帧的索引信息；前端随时发起请求读取深度学习服务器txt文本的json数据，并从前端画布中渲染出矩形框，遍历所有需要展示的数据；
[0109]
前端3-3，采用拖动进度条的监听器，监听进度条的变化并做出获取当前进度的帧对应识别后返回数据的操作，渲染到视频表面的画布上并展示识别结果包含的数据，并通过在监听器内部添加的时间间隔为10毫秒的计时器多次触发获取帧的识别数据；
[0110]
统计模块3-4，用于视频识别完成后，对前端请求获取整个视频所有帧的json数据进行全局鸟类信息的统计。
[0111]
在一优选实施例中，所述水鸟识别模块用于对鸟类进行实时的异步的视频识别、图片识别和统计。对于视频识别，视频文件较大，包含众多帧数的图片，对性能要求高、识别周期长。为了提升用户体验，本系统采用异步的视频识别，无需等待全部视频识别完成，拖动视频进度条即可查看已识别和未识别的帧，并实时展示当前视频进度的鸟类统计数据。识别完成之后可见鸟类信息统计总览。对于图片识别，在线上传图片并识别，及时展示鸟类识别结果，识别结果也包含上述的鸟类信息统计。
[0112]
具体的运行程序包括：
[0113]
(1)于深度学习服务器采用opencv读取视频的每一帧，每识别完一帧的，就把识别的结果以json数据格式并以追加的方式写入到txt文本，json数据包含了锚框的坐标、识别
率、预测标签、当前帧的索引等重要信息。服务器端不断地把识别结果写入到txt文本，前端可随时发起请求读取服务器端txt文本的json数据，根据这些json数据就可以从前端画布中渲染出矩形框，遍历所有需要展示的数据。这样，无需等待服务器识别完所有的帧即可返回部分识别结果。
[0114]
(2)前端采用拖动进度条的监听器，监听进度条的变化并做出获取当前进度的帧对应识别后返回数据的操作，渲染到视频表面的画布上并展示识别结果包含的数据，为了细化监听器的监听粒度，确保进度条的所有时间点显示出正确的渲染和展示结果，在监听器内部添加一个时间间隔为10毫秒的计时器，多次触发获取帧的识别数据。这样，客户端无论如何拖动进度条，即可实时渲染和展示当前进度的识别结果。
[0115]
(3)指定视频进度所在帧的鸟类统计数据来自于服务器端的json数据，该json数据包括从服务器中txt文本获取到的指定帧的识别结果、统计的属性，统计属性的内容包当前帧出现多少种鸟、每只鸟的识别率、每种鸟的简介以及出现的数量。视频识别完成之后，前端可请求获取整个视频所有帧的json数据，每一条json数据的统计属性累计起来进行全局鸟类信息的统计。
[0116]
下面结合具体实施例对本发明的技术方案作进一步描述。
[0117]
实施例
[0118]
如图3所示，本发明实施例提供的海岛滨海湿地水鸟识别方法技术路线及设计原理包括：
[0119]
(1)建立专业级的目标水鸟图像数据库：通过野外拍照、摄像以及在网络搜索等方式收集和整理目标鸟类影像资料。图像数据覆盖广泛而真实的自然情况，即考虑鸟体姿态各异、大小不一、存在光照变化以及遮挡等各种不利因素。人工或半自动地标注鸟在图像中整体位置，即包围鸟体的外接矩形，以及鸟体的14个主要部位，包括鸟喙、鸟腹、鸟喉、鸟冠、鸟尾、鸟背、鸟额、鸟颈、鸟眼、鸟翅、鸟胸、鸟头、鸟腿、鸟身。
[0120]
(2)水鸟的整体位置及鸟体关键部位的自动检测：鉴于在实际监测环境中，需要首先检测出在监测图像中是否存在鸟类目标，在该处理环节需要对鸟类目标进行整体检测与定位，并且对鸟体中各关键部位进行检测与定位。为此拟研究基于区域卷积神经网络(rcnn)模型的方法来实现对鸟类目标的整体检测与定位，在整幅图像中检测出是否存在鸟体并自动确定出包围鸟体的外接矩形。在整体检测基础上，拟研究基于全卷积网络(fcnn)模型的鸟关键部位的检测，并定位出鸟体的14个关键部位。
[0121]
(3)端到端的深度卷积神经网络模型对水鸟进行精准识别：端到端的深度卷积神经网络融合水鸟整体信息与关键部位信息进行精准识别包含两路卷积网络的识别模型：其中一路模型着重提取鸟各个主要部位信息并将部位信息进行堆叠；另外一路着重建模鸟整体特征，主要通过在卷基层之后建立概率模型对图像中高阶信息进行建模，并送给后面的全连接层。两路卷积网络共享用于提取底层特征的卷基层，并进行统一的端到端的训练和学习。
[0122]
本发明在在神经网络并行处理算法方面进行创新，可以在gpu集群系统上实现的并行深度学习神经网络算法，则可以将计算速度再提高一个量级，从而可以克服深度学习领域所存在的计算复杂度高不易实现实时处理的问题。本发明采用深度学习神经网络解决水鸟图像智能识别问题的方案既可以显著提高识别性能又可以克服计算速度方面的不利
因素，因此该方案是完全可行的。
[0123]
本发明自动识别系统的应用，可实现水鸟种类、数量、生境条件、生活状态等的快速自动收集，不仅可为海岛/滨海湿地生态环境监测提供直接支持，而且配合有关智能信息平台的开发和使用，将为观鸟、爱鸟、护鸟等提供有效服务，具有显著的生态和社会效益。
[0124]
下面结合具体测试实验对本发明的技术方案作进一步描述。
[0125]
1、测试方法：采用四种黑盒测试设计方法，根据测试内容的特点，结合测试的经验灵活应用。对业务流程和数据流的正确性测试，选择有代表性的流程，利用场景法对系统的流程进行分析，通过用例场景并结合路径的触发条件来确定用例。
[0126]
对系统基础数据管理的测试，采用三种方法：
[0127]
等价类划分法，把系统的输入域划分若干部分，从中选取少数有代表性的数据作测试用例。
[0128]
采用边界分析法，检查存在的边界值在实际测试中，基于经验和直觉的错误推测法，有针对地设计测试用例。
[0129]
错误推断法，依靠经验和直觉推测程序中存在的各种错误，从而有针对性的检查编写这些错误的例子。
[0130]
2、测试策略
[0131]
2.1测试目标
[0132]
为了更快更早地将鸟类智能识别系统的缺陷找出来，并促进系统分析人员、设计人员和程序员尽快的解决这些问题。测试是质量保证中不可缺少的一部分。测试人员和整个软件开发团队共同努力，确保及时地向客户或用户提供一个高质量的软件产品，包括正确性、效率、适用性、可维护性、安全性、可靠性、系统性能、兼容性等各方面满足设计或定义的要求，使软件系统最终能满足用户的需求和软件企业的自身需求。
[0133]
2.2测试大体范围
[0134][0135][0136]
2.2测试重点
[0137]
系统所有的功能满足用户的需求，能满足用户稳定长期使用。
[0138]
2.3问题等级描述
[0139]
问题严重程度划分如下：
[0140][0141]
2.4测试环境
[0142]
系统运行环境配置表如下：
[0143]
[0144][0145][0146]
2.5测试工具
[0147]
序号名称版本号生产商/来源用途1zen&tao开源版12.4.4易企天创缺陷跟踪管理工具2excel2010microsoft电子表格3fiddlerv4.6.1.6fiddlerlabs调试抓包
[0148]
3、测试用例
[0149]
3.1鸟类智能识别系统app端
[0150]
鸟类识别(图像)
[0151][0152]
鸟类识别(视频)
[0153]
[0154][0155]
3.2鸟类智能识别系统web端
[0156]
3.2.1图像识别
[0157]
[0158][0159]
3.2.2视频识别
[0160][0161]
3.2.3训练数据
[0162]
[0163][0164]
3.2.4鸟类信息
[0165][0166]
4.测试实施
[0167]
4.1试结束准则包括：
[0168]
功能测试：致命错误数、严重数为0，一般错误率轻微错误率
[0169]
易用性测试：测试项通过率为85％；
[0170]
可靠性测试：要求系统可用度平均失效恢复时间《30分钟，偶然故障率不超过1，初期故障率不超过1；
[0171]
兼容性测试：测试项通过率100％；
[0172]
安全性测试：严重错误数为0，一般错误数少于2个；
[0173]
可维护性测试：测试项通过率100％；
[0174]
4.2测试结果
[0175]
该用例设计采用了等价类划分法、边界值分析法和错误推断法，用例设计的结构安排合理清晰，覆盖了测试业务需求的所有功能点，测试用例的具体描述有很好的可执行性。
[0176]
问题严重程度：
[0177]
首次测试过程中，发现的问题如下：
[0178][0179]
5.测试结论
[0180]
功能性：本次系统测试在分析了功能点的基础上采用等边界值法、等价类划分法、错误推测法、场景法和经验法等方法，完全包含了每个功能点的正例数据、边界数据和反例数据，并通过了评审，测试用例具有有效性。同时，在测试过程中达到了100％的用例覆盖率。
[0181]
测试过程中记录的缺陷全部修改完善，达到了测试结束的要求的目的，系统的功能基本实现需求文档的各项指标，能够及时的正式上线。
[0182]
易用性：被测系统易理解、易学习、易操作、界面清晰美观，符合用户对界面的要求，各元素分布合理，界面风格、字体、颜色、操作方式等一致，可给用户一种良好的感观效果。
[0183]
[0184][0185]
可靠性：对被测系统运行中出现的各种异常情况和突发事件有相应的应急手段，系统能可靠地运行。
[0186]
[0187][0188]
兼容性：被测系统与需求规格说明书中规定的环境及内外部系统进行交互能稳定运行。
[0189][0190]
安全性：被测系统有完整的用户认证机制、权限管理机制、用户管理机制以及数据管理机制，可实现备份和恢复，有良好的安全性。
[0191][0192]
可维护性：系统可跟踪到每个用户的详细操作、易于分析，系统开发过程及维护文档清晰、易理解，具有较好的可维护性。
[0193][0194]
稳定性：系统在个业务场景下，系统能长时间稳定运行。
[0195][0196]
测试结果：鸟类智能识别系统从功能性、易用性、可靠性、兼容性、安全性、可维护性、稳定性等七方面进行测试满足系统的需求，系统的开发已达到预定目标，可以交付使用。
[0197]
下面结合实验结果对本发明的积极效果做进一步描述。
[0198]
1)对全部提供的55景数据全部进行测试，可有效识别图像中的鸟类，在海水、沙滩、天空、树林和峭壁岩石等不同背景中正确率在85％-100％之间，如果图像中存在人类、其他动物、人类构筑物等干扰对象，均不会干扰鸟类识别，具有较好测试性能。最低正确率可以随着样本数量增加得到大幅增加，最低正确率预期可以提高到90％-95％之间。
[0199]
2)对单景图像的处理时间为0.16～0.17s，基本可满足实时处理。目前机器配置是thinkstationp510，e5-2620v4处理器，2t硬盘，24g内存，quadrop2000专业显卡，一般图像工作站都可以达到。
[0200]
1.软硬件环境配置：
[0201]
本发明是基于快速区域卷积神经网络模型(fasterr-cnn)对特定目标(海鸟)进行训练和实现的。工程运行依托于深度神经网络框架。
[0202]
2.硬件配置：专业图像处理显卡，目前采用p2000入门级gpu显卡软件配置：
[0203]
·
ubuntu16.04lts操作系统
[0204]
●
cuda6.0和8.0并行计算处理平台
[0205]
·
opencv3.2图像处理软件平台
[0206]
·
anaconda2.7编译环境
[0207]
·
基于caffe的py-faster-rcnn实验平台。
[0208]
3.学习样本制作
[0209]
3.1数据集制作前准备
[0210]
a.下载voc2007标准数据集：
[0211]
a)ubuntu控制台下载命令：
[0212]
wgethttp://host.robots.ox.ac.uk/pascal/voc/voc2007/voctrainval_06-nov-2007.tar
[0213]
wgethttp://host.robots.ox.ac.uk/pascal/voc/voc2007/voctest_06-nov-2007.tar
[0214]
wgethttp://host.robots.ox.ac.uk/pascal/voc/voc2007/vocdevkit_08-jun-2007.tar
[0215]
b)解压后，将vocdevkit复制到py-faster-rcnn文件夹下的data文件夹内。
[0216]
b.将海岛鸟类图片格式转换为.jpg格式，并将序号改为从“000001.jpg”开始，目前提供55景测试数据.
[0217]
c.下载labelimg软件，网址:https://github.com/tzutalin/labelimg
[0218]
a)安装labelimg软件，ubuntu命令(python2环境下)：
[0219]
i.sudoapt-getinstallpyqt4-dev-tools
[0220]
ii.sudopipinstalllxml
[0221]
iii.makeqt4py2
[0222]
iv.pythonlabelimg.py
[0223]
b)或在windows系统内安装anaconda3后使用如下命令：
[0224]
i.condainstallpyqt＝5
[0225]
ii.pyrcc5-oresources.pyresources.qrc
[0226]
iii.pythonlabelimg.py.
[0227]
3.2制作海岛鸟类数据集：在anacondaprompt中使用命令pythonlabelimg.py打开数据集制作软件，选择opendir打开转换好格式并重新命名的海鸟文件夹,包括：
[0228]
对图片中鸟类进行标注：标注完所有图片后，每张图片后会跟随有一个.xml文件，包含了图片的名称、路径、类别和框体坐标。
[0229]
3.3生成训练集，测试集文档：生成test.xt测试集t，train.txt训练集，val.txt验证集，trainval.txt训练和验证集，四个文档。文档内容为图片名称(无后缀)。
[0230]
3.4替换voc2007原有数据：将所有.xml文件转移到名称为“annotations”的文件夹内、图像文件转移到新建“jpegimages”文件夹内。train.txt训练集，val.txt验证集，trainval.txt训练和验证集，四个文档转移到“main”文件夹内并替换原有文件。
[0231]
下面结合仿真实验对本发明的技术方案作进一步描述。
[0232]
fasterr-cnn仿真实验：
[0233]
1、在py-faster-rcnn文件夹内使用./data/scripts/fetch_imagenet_models.sh命令下载预训练模型。
[0234]
2、在py-faster-rcnn目录下运行./experiments/scripts/faster_rcnn_alt_opt.sh0zfpascal_voc开始进行训练。
[0235]
3、训练结果：训练结束后会在
[0236]
py-faster-rcnn-master/output/faster_rcnn_alt_opt/voc_2007_trainval/
[0237]
下会有zf_faster_rcnn_final.caffemodel，这就是本发明用自己的数据集训练得到的最终模型。
[0238]
4、鸟类识别定位实验：
[0239]
4.1在终端中运行“pythonpy-faster-rcnn/tools/demo.py”，显示基于p2000gpu(算力等同于gtx1060)识别每张图片大约需要0.16～0.17s。
[0240]
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。
[0241]
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围应由所附的权利要求来限制。