一种图像中小目标检测方法、系统、存储介质及终端与流程

文档序号:24241558发布日期:2021-03-12 13:16阅读:来源:国知局

技术特征:

1.一种图像中小目标检测方法,其特征在于,所述方法包括:

当从待检测的图像中检测小目标时,加载预先训练的小目标检测模型;

剔除所述小目标检测模型中的反转注意力模块后,生成剔除后的小目标检测模型;其中,所述小目标检测模型是基于fasterrcnn检测网络、ssd检测器以及反转注意力模块创建的,所述反转注意力模块用于实现模型训练时将不同维度下生成的特征图进行融合;

将所述待检测的目标图像输入所述剔除后的小目标检测模型中,提取至少一个小目标特征;

对所述至少一个小目标特征进行分类和边框回归处理后,生成处理后的小目标。

2.根据权利要求1所述的方法,其特征在于,所述生成处理后的小目标检测框之后,还包括:

输出所述处理后的小目标,并将所述小目标进行展示。

3.根据权利要求1所述的方法,其特征在于,还包括按照下述方法生成所述预先训练的小目标检测模型,包括:

设计小目标检测网络;

从图像数据库采集多个训练数据样本;

将所述多个训练数据样本输入所述创建的小目标检测网络进行训练,输出所述小目标检测网络的损失值;

当所述损失值到达预设最小阈值时,网络训练结束并生成预先训练的小目标检测模型。

4.根据权利要求3所述的方法,其特征在于,所述方法还包括:

当所述损失值未到达预设最小阈值时,优化所述创建的小目标检测网络的模型参数;以及

继续执行所述将所述多个训练数据样本输入所述创建的小目标检测网络进行训练的步骤。

5.根据权利要求3所述的方法,其特征在于,所述设计小目标检测网络,包括:

利用fasterrcnn检测网络和ssd检测器构建成多个检测网络;

采用注意力神经网络以及网络权重更新算法创建反转注意力模块;

将所述反转注意力模块添加到所述多个检测网络中,生成小目标检测网络。

6.根据权利要求3所述的方法,其特征在于,所述小目标检测网络包括目标特征提取模块、候选区域生成模块、目标区域池化模块、候选目标检测模块、反转注意力模块以及更新特征图模块;

所述将所述多个训练数据样本输入所述创建的小目标检测网络进行训练,输出所述小目标检测网络的损失值,包括:

目标特征提取模块通过vgg和/或resnet卷积神经网络提取所述多个训练样本中每张图片的多个特征图;

候选区域生成模块通过候选区域生成网络从所述多个特征图中计算出所述多个特征图对应的小目标区域候选框;

目标区域池化模块将所述多个特征图对应的小目标区域候选框中感兴趣的目标区域进行池化操作,生成池化后的多个小目标区域候选框对应的特征图;

候选目标检测模块将所述多个训练样本中每张图片上的目标候选框对应的roi特征进行分类并在原图上对边框进行回归操作,生成池化后的多个小目标区域候选框对应的分类损失和回归损失;

反转注意力模块基于多个小目标区域候选框对应的分类损失计算所述池化后的多个小目标区域候选框对应的特征图的特征图梯度,并基于所述多个小目标区域候选框对应的特征图的特征图梯度生成注意力反转增强模板图;

更新特征图模块将所述注意力反转增强模板图与所述池化后的多个小目标区域候选框对应的特征图进行逐元素乘积,生成融合后的特征图,根据所述融合后的特征图进行前向传播以计算检测损失,并输出所述小目标检测网络的损失值。

7.根据权利要求6所述的方法,其特征在于,所述基于所述多个小目标区域候选框对应的特征图的特征图梯度生成注意力反转增强模板图,包括:

对所述特征图梯度进行全局平均池化得到第一权重向量;

对所述池化后的多个小目标区域候选框对应的特征图进行全局平均池化得到第二权重向量;

将所述第一权重向量和所述第二权重向量逐元素相乘得到目标注意力权重向量;

将所述目标注意力权重向量和所述池化后的多个小目标区域候选框对应的特征图逐通道相乘并求和得到注意力反转增强图;

将所述注意力反转增强图阈值化并求反得到注意力反转增强后的模板图(m);

将所述目标注意力权重向量经过归一化操作后得到向量(vb),并对所述向量(vb)阈值化并求反生成注意力反转增强后的模板图(vm);

根据所述注意力反转增强后的模板图(vm)元素取值,当所述(vm)中某个元素为0时,将所述模板图(m)作为注意力反转增强模板图;以及当(vm)为1,将所述池化后的多个小目标区域候选框对应的特征图作为注意力反转增强模板图。

8.一种图像中小目标检测系统,其特征在于,所述系统包括:

模型加载模块,用于当从待检测的图像中检测小目标时,加载预先训练的小目标检测模型;

反转注意力模块剔除模块,用于剔除所述小目标检测模型中的反转注意力模块后,生成剔除后的小目标检测模型;其中,所述小目标检测模型是基于fasterrcnn检测网络、ssd检测器以及反转注意力模块创建的,所述反转注意力模块用于实现模型训练时将不同维度下生成的特征图进行融合;

小目标特征提取模块,用于将所述待检测的目标图像输入所述剔除后的小目标检测模型中,提取至少一个小目标特征;

小目标特征处理模块,用于对所述至少一个小目标特征进行分类和边框回归处理后,生成处理后的小目标。

9.一种计算机存储介质,其特征在于,所述计算机存储介质存储有多条指令,所述指令适于由处理器加载并执行如权利要求1~7任意一项的方法步骤。

10.一种终端,其特征在于,包括:处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行如权利要求1~7任意一项的方法步骤。


技术总结
本发明公开了一种图像中小目标检测方法、系统、存储介质及终端,该方法包括:当从待检测的图像中检测小目标时,加载预先训练的小目标检测模型;剔除小目标检测模型中反转注意力模块生成剔除后的小目标检测模型;其中,小目标检测模型是基于Faster RCNN检测网络、SSD检测器以及反转注意力模块创建的,所述反转注意力模块用于实现模型训练时将不同维度下生成的特征图进行融合;将待检测的目标图像输入剔除后的小目标检测模型中提取至少一个小目标特征;对至少一个小目标特征进行分类和边框回归处理后,生成处理后的小目标检测框。因此,采用本申请实施例,可以降低图像中的小目标、小人脸的检测难度,提升图像中小目标检测精度。

技术研发人员:赵磊
受保护的技术使用者:特斯联科技集团有限公司
技术研发日:2020.11.19
技术公布日:2021.03.12
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1