技术特征：
1.一种海岛滨海湿地水鸟识别方法，其特征在于，运行于客户端，所述海岛滨海湿地水鸟识别方法利用新颖的区域卷积网络模型和全卷积网络模型对图像中存在的目标水鸟的整体及其关键部位进行自动检测与定位；并利用深度卷积概率神经网络模型对高层语义特征进行概率建模，增强对图像内容的表达，基于表达后的图像对目标水鸟进行识别。2.根据权利要求1海岛滨海湿地水鸟识别方法，其特征在于，所述海岛滨海湿地水鸟识别方法进一步包括：步骤一，构建并充实包含视频、图像信息的基础数据库；步骤二，利用基于图像、视频多模态融合的目标水鸟识别算法，进行目标水鸟识别；步骤三，利用目标水鸟识别后的分类特征、分布关系，构建水鸟生物多样性基础数据集，并建立海岛滨海湿地重要水鸟识别及分布查询系统。3.根据权利要求2海岛滨海湿地水鸟识别方法，其特征在于，所述步骤一基础数据库的构建包括：利用野外拍照、摄像以及在网络搜索方式收集目标鸟类影像资料，标注鸟在图像中整体位置，以及标注鸟体的鸟喙、鸟腹、鸟喉、鸟冠、鸟尾、鸟背、鸟额、鸟颈、鸟眼、鸟翅、鸟胸、鸟头、鸟腿及鸟身，将标注的鸟喙、鸟腹、鸟喉、鸟冠、鸟尾、鸟背、鸟额、鸟颈、鸟眼、鸟翅、鸟胸、鸟头、鸟腿及鸟身数据作为训练集，训练集占所有图片的80％，再通过获取数据的图形获取数据作为测试集，测试集无需打标签，占所有图片20％，用来检验训练效果是否达到期望。4.根据权利要求2海岛滨海湿地水鸟识别方法，其特征在于，所述步骤二进行目标水鸟识别包括：目标检测前，首先给训练集打标签进行监督式学习；用户在客户端中本鸟类识别系统的训练模块查询训练集，对这些图片上绘制一个或多个矩形框定位图片上的鸟，并定义标签；定义标签以后进行训练，并输出指定迭代次数的模型；在检验训练输出的指定迭代次数的模型的识别效果是否良好，在可视化界面选择指定迭代次数的模型识别测试集的图片或视频，识别结果包括对鸟类的统计，统计包括出现鸟的种类、每一种鸟出现的次数、识别率大于60％以及大于80％的个数以及显示每只鸟的识别率和预测标签，通过批量统计的数据，判断指定迭代次数的模型的识别效果是否达到期望，如果未达到期望，则将识别后的图片转移到训练集并打标签，执行重新训练的操作。5.根据权利要求4海岛滨海湿地水鸟识别方法，其特征在于，所述进行目标水鸟识别具体包括以下步骤：(1)训练模块构建卷积神经网络架构，vgg16网络模型结构包含16层神经网络，其中有13层是卷积和池化操作，最后3层为全连接层；训练包含临时性识别、校验预测、计算损失值、反向传播更新权重矩阵操作；(2)识别模块依赖vgg16网络模型结构用来执行图像识别操作：(2.1)首先把一张图片作为卷积神经网络的输入，转化为rgb通道三维矩阵；(2.2)通过多个过滤器的卷积操作进行特征提取，输出为指定大小的特征图；(2.3)将输出的特征图进行最大池化操作以浓缩特征图包含的特征分布；(2.4)循环步骤(2.2)和步骤(2.3)的操作；(2.5)执行三层全连接神经网络，全连接后再对每个输出对每种鸟类的得分矩阵，得分矩阵再通过softmax激活函数输出对每种鸟类的识别概率，筛选识别概率大于60％的分类；(3)构建rpn区域建议网络用于目标检测和定位：
(3.1)将输入的原图进行特征提取，生成一个w/16*h/16的特征图，特征图的每一个像素点作为感受野，每个感受野对应原图16x16的图像区域；(3.2)设置锚框的放大比率列表为[8,16,32]，并设置长宽比例列表为[0.5,1,2]，使用人为设定的单位锚框乘以放大比率，再调整长宽比例为长宽比例列表[0.5,1,2]，每一个感受野对应原图的16x16区域的几何中心将生成9个候选框；最后将生成2万多个候选框；(3.3)通过vgg16网络模型对2万多个候选框进行背景和物体的二分类任务，计算出每个候选框包含的图像区域对背景和物体的得分，预测为背景的概率大于60％则过滤掉该锚框；剩余的锚框被识别为物体；(3.4)将被识别为物体的锚框包含的图像区域对应的矩阵再次代入vgg16网络模型进行预测，进行鸟类的多分类任务，计算出每个锚框对应每个鸟类的得分，得分大于某个值的时候则被识别为某种鸟类；(3.5)非极大值抑制处理，存在多个锚框框住同一个物体，一个物体附近的锚框识别为同一个物体，筛选得分最大的一个锚框，设置iou值，当附近锚框小于设置的iou值则被剔除；(3.6)bounding-box regression边框回归，用来调整锚框的位置和大小；在训练集中，一张图片包含设定的框记为gt，在预测时，产生最终的候选框记为p，候选框p与gt的大小以及锚点位置不同，寻找一个函数f，使得f(px,py,pw,ph)≈gx,gy,gw,gh，其中px为候选框p左上角坐标点(x,y)的横坐标，py为候选框p左上角坐标点(x,y)的纵坐标，pw为候选框p左上角坐标点(x,y)的宽，w表示宽；ph为候选框p左上角坐标点(x,y)的高；h表示高；经过训练过程不断更新函数f的参数，使得函数f对应的损失函数值达到锚框调整效果。6.一种实施权利要求1～5任意一项所述海岛滨海湿地水鸟识别方法的海岛滨海湿地重要水鸟识别及分布查询系统，其特征在于，搭载在客户端，所述海岛滨海湿地重要水鸟识别及分布查询系统包括：目标水鸟图像数据库构建模块，用于通过野外拍照、摄像以及在网络搜索方式收集和整理目标鸟类影像资料；水鸟整体位置及鸟体关键部位检测模块，用于对鸟类目标进行整体检测与定位，并且对鸟体中各关键部位进行检测与定位；水鸟识别模块，用于利用端到端的深度卷积神经网络模型对水鸟进行识别。7.根据权利要求6所述海岛滨海湿地重要水鸟识别及分布查询系统，其特征在于，所述目标水鸟图像数据库构建模块还用于标注鸟在图像中整体位置，以及鸟体的鸟喙、鸟腹、鸟喉、鸟冠、鸟尾、鸟背、鸟额、鸟颈、鸟眼、鸟翅、鸟胸、鸟头、鸟腿、鸟身；所述水鸟整体位置及鸟体关键部位检测模块包括：基于区域卷积神经网络模型检测模块，用于对鸟类目标的整体检测与定位，在整幅图像中检测出是否存在鸟体并自动确定出包围鸟体的外接矩形；基于全卷积网络模型检测模块，用于对鸟体的鸟喙、鸟腹、鸟喉、鸟冠、鸟尾、鸟背、鸟额、鸟颈、鸟眼、鸟翅、鸟胸、鸟头、鸟腿、鸟身进行定位。8.根据权利要求6所述海岛滨海湿地重要水鸟识别及分布查询系统，其特征在于，所述水鸟识别模块包括：端到端的深度卷积神经网络识别模块，用于融合水鸟整体信息与关键部位信息进行识别；所述深度卷积神经网络的区域卷积神经网络模型、全卷积网络模型在
卷基层后建立概率模型对图像中高阶信息进行建模，并送给后面的全连接层；所述区域卷积神经网络模型、全卷积网络模型共享于提取底层特征的卷基层，并进行统一的端到端的训练和学习。9.根据权利要求6所述海岛滨海湿地重要水鸟识别及分布查询系统，其特征在于，所述水鸟识别模块进一步包括：深度学习服务器，采用opencv读取视频的每一帧并识别，把识别的结果以json数据格式并以追加的方式写入到txt文本，json数据包含锚框的坐标、识别率、预测标签、当前帧的索引信息；前端随时发起请求读取深度学习服务器txt文本的json数据，并从前端画布中渲染出矩形框，遍历所有需要展示的数据；前端，采用拖动进度条的监听器，监听进度条的变化并做出获取当前进度的帧对应识别后返回数据的操作，渲染到视频表面的画布上并展示识别结果包含的数据，并通过在监听器内部添加的时间间隔为10毫秒的计时器多次触发获取帧的识别数据；统计模块，用于视频识别完成后，对前端请求获取整个视频所有帧的json数据进行全局鸟类信息的统计。10.一种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行权利要求1～5任意一项所述海岛滨海湿地水鸟识别方法。
技术总结
本发明属于海洋生态环境监测技术领域，公开了一种海岛滨海湿地水鸟识别方法、分布查询系统及介质。利用新颖的区域卷积网络模型和全卷积网络模型对图像中存在的目标水鸟的整体及其关键部位进行自动检测与定位；并利用深度卷积概率神经网络模型对高层语义特征进行概率建模，增强对图像内容的表达，基于表达后的图像对目标水鸟进行识别。本发明基于人工智能的海岛/滨海湿地重要水鸟种类调查技术，提供高效的视频目标跟踪、机器学习、目标图像智能检测与识别技术，提出基于计算机视觉技术的水鸟图像在线智能检测与识别系统，实现对目标区域内的重要水鸟类别、数量及生境条件和生活状态等的监测与识别。态等的监测与识别。态等的监测与识别。
技术研发人员：康婧 李方 付元宾 张安国 雷威 袁蕾
受保护的技术使用者：国家海洋环境监测中心
技术研发日：2022.01.19
技术公布日：2022/4/22