一种基于生成式对抗网络的行人检测数据扩充方法与流程

文档序号:22967454发布日期:2020-11-19 21:41阅读:来源:国知局

技术特征:

1.一种基于生成式对抗网络的行人检测数据扩充方法,其特征在于,包括:

s1、搭建三层级联生成式对抗神经网络模型,并设定模型训练的目标函数;每层生成式对抗神经网络均采用bicyclegan的结构,生成器采用残差u-net结构,后一层的网络的输入为行人实例掩码图片和前一层网络的输出;

s2、训练数据预处理;

s3、采用预处理后的数据训练三层级联生成式对抗神经网络模型;

s4、通过三层级联生成式对抗神经网络模型完成行人检测数据的扩充。

2.根据权利要求1所述的基于生成式对抗网络的行人检测数据扩充方法,其特征在于,所述s1中,搭建三层级联生成式对抗神经网络模型具体过程包括:

s11、构建残差u-net结构的生成器,生成器的编码器部分加入多尺度残差块,生成器的解码器部分加入通道注意力残差块;所述生成器在第一层、第二层、第三层网络中包含的基本块个数分别为n1=12,n2=14,n3=16,在每层的第j个和第n-j个基本块之间跳连;所述基本块包括多尺度残差块和通道注意力残差块;

s12、基于patchgan的判别器进行构建判别器;

s13、基于残差网络构建编码器;

s14、级联网络每一层采用s11、s12、s13构建的生成器、判别器和编码器,第一层输入的图片分辨率为64*64,第二层为128*128,第三层为256*256;两层生成式对抗网络之间通过一个卷积层相连,形成三层级联生成式对抗神经网络;

s15、基于bicyclegan的目标函数加入基于vgg-19的感知损失作为三层级联生成式对抗神经网络模型的目标函数。

3.根据权利要求2所述的基于生成式对抗网络的行人检测数据扩充方法,其特征在于,所述步骤11中,生成器的编码器部分的每个中间层注入一个16维的隐层向量z,所述隐层向量z经过行人实例掩码遮掩。

4.根据权利要求3所述的基于生成式对抗网络的行人检测数据扩充方法,其特征在于,所述步骤15中三层级联生成式对抗神经网络模型的目标函数具体为:

其中,g*,e*分别代表生成器和编码器,dwhole是全局判别器,dlocal是局部判别器,和lgan(·)分别代表bicyclegan网络结构中的cvae-gan和clr-gan的对抗损失目标函数;是l1损失,它使生成器的输入尽可能与行人样本图片相似;也是l1损失,它使编码器的输出尽可能贴近高斯分布;lkl是clr-gan中的kl距离,lvgg是感知损失;λ、λkl、λlatent、λvgg是超参数,控制对应项的权重。

5.根据权利要求1或4所述的基于生成式对抗网络的行人检测数据扩充方法,其特征在于,所述s2的具体包括:

s21、从cityscapes数据集从取出每层生成对抗网络所需像素大小的行人样本图,得到行人样本图集合;

s22、根据cityscapes的实例标签图集合和步骤s1得到的行人样本图集合,获取每张行人样本图对应的实例标签图,将每个标签图与对应样本图对齐并剪裁,重复该过程,得到行人样本图集合对应的实例标签图集合l;

s23、将每张实例标签图中最中间的行人的像素点值置为1,其他像素点值置为0,得到每张样本图的行人实例掩码m;

s24、利用得到的行人实例掩码对对应行人样本图进行处理,得到经行人实例掩码后的图像bm;

s25、将cityscapes数据集的实例标签图与步骤s1获得的行人样本图集合对齐,将实例标签图中实例与实例的交界处像素值置为1,实例内的像素值置为0,则得到对应的实例边缘图e;

s26、将步骤s22、s23、s24、s25得到的集合中每张图片所对应的bm,m,l,e依次拼接,获得三层级联生成式对抗神经网络模型输入集合a,a={bm,m,l,e}。

6.根据权利要求5所述的基于生成式对抗网络的行人检测数据扩充方法,其特征在于,所述步骤21中,针对每层生成对抗式神经网格提取不同的行人样本图,

对于第一层网络,取出数据集中高度在[64,256]像素的行人样本,每一个行人样本是一张正方形图片,边长与行人等高,图片的中心为行人的中心,调整取出图片的大小(resize)为64*64像素;

对于第二层网络,取出高度在[100,1024]像素的行人样本,调整图片大小到128*128像素;

对于第三层网络,取出高度在[150,1024]像素的行人样本,调整图片大小到256*256像素。

7.根据权利要求6所述的基于生成式对抗网络的行人检测数据扩充方法,其特征在于,所述s3的具体包括:在训练级联网络时,训练n轮,

第一层网络的目标是学习生成器g1和编码器e1的权重,训练第一层时,目标函数不使用感知损失;

训练第二层时,前n/2轮固定生成器g1和编码器e1的权重,只更新生成器g2和编码器e2的权重,后n/2轮同时更新生成器g1、g2和编码器e1、e2的权重。

训练第三层时,前n/2轮固定生成器g1、g2和编码器e1、e2的权重,只更新生成器g3和编码器e3的权重,后n/2轮同时更新生成器g1、g2、g3和编码器e1、e2、e3的权重。

其中,g1、g2、g3分别指第一层、第二层、第三层生成式对抗神经网络的生成器;e1、e2、e3分别指第一层、第二层、第三层生成式对抗神经网络的编码器。

8.根据权利要求7所述的基于生成式对抗网络的行人检测数据扩充方法,其特征在于,s3中,采用adam优化方法更新权重,其学习率为wh-i*lr,其中lr是基础学习率,h是级联的总层数,i是当前所训练层的序数,w是权重参数。

9.根据权利要求8所述的基于生成式对抗网络的行人检测数据扩充方法,其特征在于,所述s4的具体包括:

s41、建立图片中行人高度ph与行人位置ppos的线性关系;

s42、根据数据集提供的实例标签标注,得到路面位置坐标集合;

s43、统计数据集提供的实例标签中已有行人的行人框底边10*10像素内的位置坐标,得到行人位置坐标集合;

s44、对于一张给定的需要生成行人的图片i,随机从路面位置坐标集合和行人位置坐标集合中选择一个数据集,再随机从这两个数据集中选一个位置,作为生成行人的位置ppos,根据步骤s41的线性关系,计算出新生成行人的高度ph;

从图片i中剪裁出一个ph*ph大小的背景图片ibg,其中心与生成的新的行人的中心一致;从行人实例掩码数据集中随机选择一个掩码m,以及它对应的实例掩码l和边缘图片e,根据ibg和掩码m计算得到经掩码后的图片bm,将掩码m、实例掩码l、边缘图片e以及经掩码后的图片bm一起输入训练好的三层级联生成式对抗神经网络模型,得到生成图片iped,在图片i中将背景图片ibg逐像素替换为生成图片iped,完成一次数据扩充;

s45、重复步骤41,得到大量扩充数据。

10.根据权利要求9所述的基于生成式对抗网络的行人检测数据扩充方法,其特征在于,所述s1中,行人高度ph与行人位置ppos的线性关系的具体为:

phglobal=aglobal*pposglobal+bglobal

其中,phglobal为整个数据集中行人高度ph的统计值,pposglobal为整个数据集中行人位置ppos的统计值。


技术总结
本发明涉及一种基于生成式对抗网络的行人检测数据扩充方法,包括:S1、搭建三层级联生成式对抗神经网络模型,并设定模型训练的目标函数;每层生成式对抗神经网络均采用BicycleGAN的结构,生成器采用残差U‑net结构,后一层的网络的输入为行人实例掩码图片和前一层网络的输出;S2、训练数据预处理;S3、采用预处理后的数据训练三层级联生成式对抗神经网络模型;S4、通过三层级联生成式对抗神经网络模型完成行人检测数据的扩充。采用本发明的方案生成的行人与背景融合更加自然,通过生成器的U‑net结构进行改进,使生成的行人细节更加精细;基于级联结构生成多尺度的行人图片,提高了大尺寸、高分辨率行人图片的质量;能够生成多样化的行人,提高了数据扩充的效率。

技术研发人员:彭滢;吴杰
受保护的技术使用者:中国电子科技网络信息安全有限公司
技术研发日:2020.06.28
技术公布日:2020.11.17
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1