基于偏移卷积核的广角镜头生物目标检测方法与流程

本发明涉及生物目标检测，特别涉及一种基于偏移卷积核的广角镜头生物目标检测方法。

背景技术：

1、目前，环境与生态保护是现代经济社会可持续发展的重要议题，因此对于制造行业、能源行业以及其他人类生产活动场所的生态影响评估成为重要需求。使用技术手段监测场所当地生态目标情况是一种广泛应用的实践，其中，图像和视频数据中生物目标检测是一种重要手段。随着人工智能技术的发展，以机器学习模型替代人类专家进行监测成为一种趋势。经典的神经网络构架在普通的图像或视频数据上能够实现良好的效果，但是在广角镜头或鱼眼镜头拍摄的大畸变图像或视频数据上，经典卷积神经网络构架所使用的固定形状卷积核基于平移不变性的先验导致其在大畸变部分失效。同时在进行识别时，均使用同一场景识别模型，无法根据场景的不同进行调整，导致识别的不准确。因此，本发明提出一种基于偏移卷积核的广角镜头生物目标检测方法，以解决该问题。

技术实现思路

1、本发明旨在至少一定程度上解决上述技术中的技术问题之一。为此，本发明的目的在于提出一种基于偏移卷积核的广角镜头生物目标检测方法，针对广角镜头或鱼眼镜头拍摄的大畸变图像或视频数据，首先确定目标场景检测模型，便于根据不同的场景进行模型的调整，其次基于偏移卷积核设计可以模拟广角图像中的畸变现象并抵消其影响，便于提高了识别的准确性。

2、为达到上述目的，本发明实施例提出了一种基于偏移卷积核的广角镜头生物目标检测方法，包括：

3、基于广角镜头获取待检测视频，对待检测视频进行分帧处理，得到若干帧待检测图像；

4、根据若干帧待检测图像确定目标场景检测模型；

5、构造偏移卷积核并添加至目标场景检测模型中，得到识别模型；

6、从若干帧待检测图像中确定目标图像，并将目标图像输入识别模型中进行生物目标检测处理。

7、根据本发明的一些实施例，根据若干帧待检测图像确定目标场景检测模型，包括：

8、基于训练好的神经网络分别对若干帧待检测图像进行特征提取，确定每帧待检测图像对应的特征信息，所述特征信息包括各个特征元素及各个特征元素的位置；

9、统计若干帧待检测图像中包括的特征元素的种类及每种特征元素对应的待检测图像的数量，并根据数量从大到小进行排序；

10、在排序队列中，选取前预设数量个特征元素，作为目标特征元素；

11、根据目标特征元素确定目标场景检测模型。

12、根据本发明的一些实施例，根据目标特征元素确定目标场景检测模型，包括：

13、确定目标特征元素包括的特征像素点，将特征像素点与场景总图中的像素点进行匹配，在匹配一致时，激活场景总图中的像素点；在匹配不一致时，将不匹配的特征像素点作为待构造像素点；

14、根据场景总图中的像素点确定第一场景检测模型；

15、对待构造像素点进行解析，确定场景信息，并对构建的初始模型进行训练，直至初始模型输出的信息与场景信息一致，得到第二场景检测模型；

16、将第一场景检测模型与第二场景检测模型进行融合，得到目标场景检测模型。

17、根据本发明的一些实施例，基于训练好的神经网络分别对若干帧待检测图像进行特征提取，确定每帧待检测图像对应的特征信息，包括：

18、确定待检测图像的整体卷积特征，

19、对整体卷积特征进行池化处理，对池化处理后的整体卷积特征进行多个层次的残差处理后再次进行池化处理，得到待检测图像的整体特征；

20、根据整体特征进行图像分割，确定若干个局部特征，将若干个局部特征作为每帧待检测图像对应的特征信息。

21、根据本发明的一些实施例，构造偏移卷积核的方法，包括：

22、设定经典卷积核某一点wi，j的采样位置为(xi，yi)；

23、确定偏移卷积核采样点位置偏移(δxi，δyi)，则偏移卷积核中点wij的采样位置为(xi+δxi，yi+δyi)；

24、根据采样位置设计卷积层，得到偏移卷积核。

25、根据本发明的一些实施例，所述目标图像为包含特征元素数量最多的待检测图像。

26、根据本发明的一些实施例，在将目标图像输入识别模型中进行生物目标检测处理前，还包括：对目标图像进行去除背景非均匀性噪声处理及光照归一化处理。

27、根据本发明的一些实施例，将目标图像输入识别模型中进行生物目标检测处理，包括：

28、基于识别模型在目标图像中标注各个识别框，并基于识别模型中的偏移卷积核对各个识别框进行卷积处理，得到多个中间特征图；

29、对多个中间特征图进行通道连接处理，确定多个输出特征图；

30、将输出特征图与数据库中的预设特征图进行匹配，根据匹配结果确定各个识别框对应的物体类别的概率，并选出概率最高的物体类别作为对应识别框的物体类别。

31、根据本发明的一些实施例，在将目标图像输入识别模型中进行生物目标检测处理后，还包括：

32、基于处理结果，选取特定目标；

33、在若干帧待检测图像中选择包括特定目标的待检测图像，作为处理图像；

34、确定处理图像中特定目标的位置信息，并基于拍摄顺序进行组合，确定特定目标的移动轨迹。

35、根据本发明的一些实施例，确定偏移卷积核采样点位置偏移(δxi，δyi)，包括：

36、基于广角镜头所引起的图像桶形畸变进行经验性设计或多组随机参数，在数据集上进行训练验证后优选。

37、本发明提出的基于偏移卷积核的广角镜头生物目标检测方法，针对广角镜头或鱼眼镜头拍摄的大畸变图像或视频数据，首先确定目标场景检测模型，便于根据不同的场景进行模型的调整，其次基于偏移卷积核设计可以模拟广角图像中的畸变现象并抵消其影响，便于提高了识别的准确性。

38、本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。

39、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

技术特征：

1.一种基于偏移卷积核的广角镜头生物目标检测方法，其特征在于，包括：

2.如权利要求1所述的基于偏移卷积核的广角镜头生物目标检测方法，其特征在于，根据若干帧待检测图像确定目标场景检测模型，包括：

3.如权利要求2所述的基于偏移卷积核的广角镜头生物目标检测方法，其特征在于，根据目标特征元素确定目标场景检测模型，包括：

4.如权利要求2所述的基于偏移卷积核的广角镜头生物目标检测方法，其特征在于，基于训练好的神经网络分别对若干帧待检测图像进行特征提取，确定每帧待检测图像对应的特征信息，包括：

5.如权利要求1所述的基于偏移卷积核的广角镜头生物目标检测方法，其特征在于，构造偏移卷积核的方法，包括：

6.如权利要求2所述的基于偏移卷积核的广角镜头生物目标检测方法，其特征在于，所述目标图像为包含特征元素数量最多的待检测图像。

7.如权利要求1所述的基于偏移卷积核的广角镜头生物目标检测方法，其特征在于，在将目标图像输入识别模型中进行生物目标检测处理前，还包括：对目标图像进行去除背景非均匀性噪声处理及光照归一化处理。

8.如权利要求1所述的基于偏移卷积核的广角镜头生物目标检测方法，其特征在于，将目标图像输入识别模型中进行生物目标检测处理，包括：

9.如权利要求1所述的基于偏移卷积核的广角镜头生物目标检测方法，其特征在于，在将目标图像输入识别模型中进行生物目标检测处理后，还包括：

10.如权利要求5所述的基于偏移卷积核的广角镜头生物目标检测方法，其特征在于，确定偏移卷积核采样点位置偏移(δxi，δyi)，包括：

技术总结
本发明公开了一种基于偏移卷积核的广角镜头生物目标检测方法，包括：基于广角镜头获取待检测视频，对待检测视频进行分帧处理，得到若干帧待检测图像；根据若干帧待检测图像确定目标场景检测模型；构造偏移卷积核并添加至目标场景检测模型中，得到识别模型；从若干帧待检测图像中确定目标图像，并将目标图像输入识别模型中进行生物目标检测处理。针对广角镜头或鱼眼镜头拍摄的大畸变图像或视频数据，首先确定目标场景检测模型，便于根据不同的场景进行模型的调整，其次基于偏移卷积核设计可以模拟广角图像中的畸变现象并抵消其影响，便于提高了识别的准确性。

技术研发人员：莫敏玲
受保护的技术使用者：彩虹鱼科技（广东）有限公司
技术研发日：
技术公布日：2024/1/13