一种基于铁塔视频的自然资源监测方法及系统与流程

1.本发明属于自然资源监测监管领域，具体涉及一种基于铁塔视频的自然资源监测方法及系统。


背景技术：

2.近年来，自然资源违规/违法滥用现象突出，各种不合理的占用或破坏自然资源问题日益严重，如城市开发非法建设、违规占用耕地、保护地等行为，轻则耕地受损、森林破坏，重则引发生态失衡、自然资源灾害、粮食危机等实际问题。目前对自然资源的智能化监测方法多基于遥感卫星影像数据，但此方法存在监测频率不够高、监测粒度不够细，且容易受阴雨天气影响等问题。
3.铁塔视频是一种近地、实时的对地监测手段，可有效补充卫星遥感监测的不足，实现对自然资源高频率、精粒度的监测。铁塔摄像头可通过云台控制其视场的范围、角度和观测目标的远近大小，但随着铁塔摄像头俯仰角度和焦距缩放倍数的变化，待检测的目标物在视频中呈现出跨越多个尺度范围的特点，尤其是当俯仰角度小（视线远）、缩放尺度小时，目标物往往较小，这为目标检测工作增加了难度。


技术实现要素：

4.本发明为了解决上述问题，提出了一种基于铁塔视频的智能化自然资源监测方法，该方法通过使用基于改进yolov5s网络模型的小目标提取和变化检测功能，快速发现铁塔视频的疑似违规/违法占用/破坏自然资源行为。所述方法具体包括：训练改进yolov5s网络模型，首先将yolov5s网络模型input模块中的mosaic图像增强方法改进为mosaic-9增强方式，其次在yolov5s网络模型backbone模块之后嵌入sknet注意力机制模块，形成改进后yolov5s网络模型，最后将训练集样本送入进后yolov5s网络模型中进行训练，得到最优模型；实时获取铁塔视频，确定待检测目标；选取t1时间点预置点位的铁塔视频图像，使用所述最优模型对所述待检测目标进行检测，得到第一目标检测结果，并将第一目标检测结果保存入库；选取t2时间点预置点位的铁塔视频图像，使用所述最优模型对所述待检测目标进行检测，得到第二目标检测结果；将所述第一目标检测结果与所述第二目标检测结果进行自动差值化处理，得到新增和/或减少的检测目标，并生成疑似违规、违法占用以及破坏自然资源行为检测结果。
5.进一步的，所述改进yolov5s网络模型包括input模块、backbone模块、sknet注意力机制模块、neck模块、head模块。
6.进一步的，所述将yolov5s网络模型input模块中的mosaic图像增强方法改进为mosaic-9增强方式，是将随机选取的9个检测目标进行随机裁剪并拼接，形成新的样本数据；
进一步的，所述在yolov5s网络模型backbone模块之后嵌入sknet注意力机制模块，backbone模块包含focus模块、csp模块、sppf模块、sknet模块，所述csp模块用于提取输入样本中的主要信息；sppf模块通过最大池化串联并将其concat，增加了感受野；sknet模块对特征通道进行重要性加权，提高小目标检测精度。
7.进一步的，所述sknet注意力机制模块由三部分组成：split部分是对原特征图经过不同大小的卷积核部分进行卷积的过程，得到；fuse部分使用门整合来自所有分支信息，将两部分的特征求和，得到；select部分是使用a和b两个权重矩阵对进行加权操作，再进行相加得到输出v。
8.进一步的，所述的训练集样本包含工程车辆、塔吊、打桩机，以及人工推堆、挖掘地表目标。
9.本发明还提出了一种基于铁塔视频的自然资源监测系统，所述系统包括模型训练模块、视频获取模块、第一目标检测模块、第二目标检测模块、执行变化检测模块。
10.所述模型训练模块，训练改进yolov5s网络模型，首先将yolov5s网络模型input模块中的mosaic图像增强方法改进为mosaic-9增强方式，其次在yolov5s网络模型backbone模块之后嵌入sknet注意力机制模块，形成改进后yolov5s网络模型，最后将训练集样本送入进后yolov5s网络模型中进行训练，得到最优模型；所述视频获取模块，实时获取铁塔视频，确定待检测目标；所述第一目标检测模块，选取t1时间点预置点位的铁塔视频图像，使用所述最优模型对所述待检测目标进行检测，得到第一目标检测结果，并将第一目标检测结果保存入库；所述第二目标检测模块，选取t2时间点预置点位的铁塔视频图像，使用所述最优模型对所述待检测目标进行检测，得到第二目标检测结果；所述执行变化检测模块，将所述第一目标检测结果与所述第二目标检测结果进行自动差值化处理，得到新增和/或减少的检测目标，并生成疑似违规、违法占用以及破坏自然资源行为检测结果。
11.本发明具备基于视频的自然资源变化检测能力，其使用的改进yolov5s网络模型通过input模块中的mosaic-9，极大丰富样本多样性，增强小目标检测，同时在yolov5s网络模型的backbone部分特征提取后嵌入sknet注意力机制模块，可对提取的特征进行重要性加权，提高目标的检测精度，改善检测识别性能，可快速发现铁塔视频的疑似违规、违法占用、破坏自然资源等行为，可极大完善、支撑违规/违法占用/破坏自然资源行为的“早发现、早制止、严查处”工作机制。
附图说明
12.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
13.图1为基于铁塔视频的智能化自然资源监测方法流程图。
14.图2为改进yolov5s网络模型图。
15.图3为mosaic-9原理图。
16.图4为sknet注意力机制模块图。
17.图5a为小目标检测效果示例。
18.图5b为大目标检测效果示例。
19.图6为基于最优模型的自然资源变化检测流程图。
20.图7a为基期目标检测结果。
21.图7b为第二目标检测结果。
22.图7c为变化检测结果。
23.图8为一种基于铁塔视频的自然资源监测系统框图。
具体实施方式
24.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用于解释本技术，并不用于限定本技术。
25.图1为基于铁塔视频的智能化自然资源监测方法流程图，该方法通过使用基于改进yolov5s网络模型训练的目标提取和变化检测功能，快速发现铁塔视频的疑似违规/违法占用/破坏自然资源行为，所述方法具体包括：第一步，训练改进yolov5s网络模型。
26.首先将yolov5s网络模型input模块中的mosaic图像增强方法改进为mosaic-9增强方式，其次在yolov5s网络模型backbone模块之后嵌入sknet注意力机制模块，形成改进后yolov5s网络模型，最后将训练集样本送入进后yolov5s网络模型中进行训练，得到最优模型。
27.图2为改进yolov5s网络模型，包括input模块、backbone模块、sknet注意力机制模块、neck模块、head模块，其中所述input模块中使用mosaic-9对输入图像进行数据增强，将随机选取的9个输入图像数据进行随机裁剪并拼接，形成新的样本数据，可以丰富样本多样性，增强小目标检测，降低模型对于多样性学习的难度。所述sknet注意力机制模块嵌入于backbone模块之后，对特征通道进行重要性加权。
28.由于选用了工程车辆、塔吊、打桩机，以及人工推堆、挖掘地表作为检测目标，类别多且不均衡，使用mosaic-9进行数据增强，所述mosaic-9数据增强方法是yolov5s模型中mosaic方式的增强版，如图3所示，其将九张图片进行随机裁剪、缩放后，混合形成一张图进行训练，可增加数据信息及小目标物体的数量，在进行归一化操作时，会计算九张图片，并不依赖批处理参数，减轻计算量。
29.所述sknet注意力机制模块是通过一种非线性的多核信息聚合方法实现神经元的自适应感受野大小的算法，是一个基于通道域注意力的轻量级嵌入式模块。sknet模块可以对特征通道进行重要性加权，使最终得到的特征图更加关注对检测识别等任务有用的特征通道，并且该模块会自动选择调整最优的卷积算子，因此在特征提取后嵌入sknet，可对特征通道进行重要性加权，再送入目标检测层，在理论上可以改善检测识别的性能。如图4所
示，sknet由split、fuse、select三部分组成。所述split是对原特征图经过不同大小的卷积核部分进行卷积的过程，为了进一步提高效率，将5x5核替换为3x3核、步距为2的膨胀卷积，得到；所述fuse基本思想是使用门来控制信息从携带不同信息尺度的多个分支流入下一层的神经元，使得神经元根据刺激信号自适应调整感受野大小，为了实现这个目的，门需要整合来自所有分支信息，将两部分的特征求和，图4中为全局平均池化操作，即沿着h和w维度求平均值，最终得到了关于通道的信息，是一个c
×1×
1的一维向量；为先降维再升维的两层全连接层，即对通道（channel）维度的信息提取，然后使用softmax进行归一化，这时候每个通道（channel）对应一个权重系数，输出的两个权重矩阵a和b，代表其通道（channel）的重要程度。其中矩阵b为冗余矩阵，在图4两个分支的情况下b=1-a；所述select是使用跨通道的软注意自适应地选择不同的信息空间尺度，按照通道（channel）的方向使用softmax函数计算每个卷积核的权重，使用a和b两个权重矩阵对进行加权操作，再进行相加得到输出v。
30.使用训练样本对改进yolov5s网络模型进行训练，得到最优模型，基于最优模型进行目标检测，所述最优模型对大目标和小目标均有较好的检测效果，如图5a、图5b所示。
31.第二步，实时获取铁塔视频，确定待检测目标。
32.为实现对更多自然资源场景的监测，选取工程车辆、塔吊、打桩机，以及人工推堆、挖掘地表为监测目标作为监测疑似违规、违法占用、破坏自然资源行为的检测目标，提高模型监测自然资源的适用性，既可监测使用工程车辆、塔吊等机械设备的大型工程违规/违法占用/破坏自然资源行为，也可监测小范围、轻型工程违规/违法占用/破坏自然资源行为。
33.所述的铁塔视频图像是指铁塔摄像头指定ptz方的图像，称为预置点位，每个摄像头可指定多个预置点位，通过指定的预置点位可自动获取对应位置的图片。每个时间点获取的图像自动命名为：摄像头id_pitizi_t1，如430103500000001617_p315t10z4_20220427100200.jpg。
34.第三步，选取t1时间点预置点位的铁塔视频图像，使用所述最优模型对所述待检测目标进行检测，得到第一目标检测结果，作为基期目标检测结果，并将第一目标检测结果保存入库。
35.第三步，获取t2时间点预置点位的铁塔视频图像，使用所述最优模型对所述待检测目标进行检测，得到第二目标检测结果。
36.第四步，将第二目标检测结果与基期目标检测结果进行自动差值化处理，得到新增和/或减少的检测目标，并得到疑似违规、违法占用以及破坏自然资源行为。
37.图6为基于最优模型的自然资源变化检测流程图，其中基于两个时间点的目标检测结果，通过自动差值化处理进行变化检测，快速发现铁塔视频的疑似违规/违法占用/破坏自然资源行为。所述自动差值化处理，是以图像名称为搜索条件，将第二目标检测结果自动配对基期目标检测结果，并计算第二目标检测结果与基期目标检测结果的面积交并比，当面积交并比小于40%则认定为变化，并输出新增和/或减少的检测目标，得到疑似违规、违法占用以及破坏自然资源行为检测结果，如图7a、图7b、图7c所示。
38.图8为一种基于铁塔视频的自然资源监测系统框图，所述系统包括模型训练模块、
视频获取模块、第一目标检测模块、第二目标检测模块、执行变化检测模块。
39.所述模型训练模块，训练改进yolov5s网络模型，首先将yolov5s网络模型input模块中的mosaic图像增强方法改进为mosaic-9增强方式，其次在yolov5s网络模型backbone模块之后嵌入sknet注意力机制模块，形成改进后yolov5s网络模型，最后将训练集样本送入进后yolov5s网络模型中进行训练，得到最优模型；所述视频获取模块，实时获取铁塔视频，确定待检测目标；所述第一目标检测模块，选取t1时间点预置点位的铁塔视频图像，使用所述最优模型对所述待检测目标进行检测，得到第一目标检测结果，并将第一目标检测结果保存入库；所述第二目标检测模块，选取t2时间点预置点位的铁塔视频图像，使用所述最优模型对所述待检测目标进行检测，得到第二目标检测结果；所述执行变化检测模块，将所述第一目标检测结果与所述第二目标检测结果进行自动差值化处理，得到新增和/或减少的检测目标，并生成疑似违规、违法占用以及破坏自然资源行为检测结果。
40.依照本发明的实施例如上文所述，这些实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施例。根据以上描述，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地利用本发明以及在本发明基础上的修改使用。本发明仅受权利要求书及其全部范围和等效物的限制。