基于生成对抗网络的人体步态图像视角转化方法与流程

文档序号:24485621发布日期:2021-03-30 21:09阅读:来源:国知局

技术特征:

1.基于生成对抗网络的人体步态图像视角转化方法,包括以下步骤:

步骤1:基于高斯背景模型对步态视频序列进行背景建模,通过背景提取得到二值化的步态前景轮廓图;对步态前景图轮廓图进行范围归一化处理,随后利用图像形态学操作对轮廓图进行进一步处理,最后对处理后且位于单位步态周期的步态轮廓图进行平均处理,得到步态图像;

步骤2:根据预设目标角度,将步态图像与目标视角输入视角转化网络,视角转化网络输出目标视角下步态图像;

所述视角转化网络为具有多个判别器的生成对抗网络,包括:图像生成器g、图像真假判别器drf、步态图像视角判别器dview、跨视角身份保持判别器dcr与同视角身份保持判别器dca;

所述图像生成器g由相互对称的cnn网络(卷积神经网络)和tcnn网络(转置卷积神经网络)组成,且cnn网络和tcnn网络中对称层短路连接;其中,cnn网络和tcnn网络均包括4层卷积层;

所述图像真假判别器drf由cnn网络和fc网络组成;其中,cnn网络包括5层卷积层,fc网络包括4层全连接层;

所述步态图像视角判别器dview由cnn网络和fc网络组成,其中,cnn网络与图像真假判别器drf中cnn网络相同,fc网络包括3层全连接层;

所述跨视角身份保持判别器dcr与同视角身份保持判别器dca结构相同、均由局部信息判别分支和全局信息判别分支构成,为了方便表述,将dcr和dca的全局信息判别分支分别令为dcrg和dcag,局部信息判别分支分别令为dcrl和dcal。其中,局部信息判别分支由cnn网络组成、包括4层卷积层;全局信息判别分支由cnn网络和fc网络组成,cnn网络包括5层卷积层,fc网络与图像真假判别器drf中fc网络结构相同。

2.按权利要求1所述基于生成对抗网络的人体步态图像视角转化方法,其特征在于,所述图像生成器g中,cnn网络和tcnn网络的每层卷积层的卷积核大小为4、步长为2;所述cnn网络中第1层卷积层的输入通道数为1,第1层~第4层卷积层的输出通道数依次为96、192、384、768;所述tcnn网络与cnn网络对称设置。

3.按权利要求1所述基于生成对抗网络的人体步态图像视角转化方法,其特征在于,所述图像真假判别器drf中,cnn网络的每层卷积层的卷积核大小为3,第1层~第4层卷积层的步长为2、第5层的卷积层的步长为1,第1层卷积层的输入通道数为1,第1层~第5层卷积层的输出通道数依次为32、64、128、256、512;fc网络的第1层全连接层的输入通道数为512,第1层~第4层全连接层的输出通道数依次为100、50、10、1。

4.按权利要求1所述基于生成对抗网络的人体步态图像视角转化方法,其特征在于,所述步态图像视角判别器dview中,fc网络的第1层全连接层的输入通道数为512,第1层~第3层全连接层的输出通道数依次为100、50、q,q表示步态图像视角总数。

5.按权利要求1所述基于生成对抗网络的人体步态图像视角转化方法,其特征在于,所述跨视角身份保持判别器dcr中,局部信息判别分支中cnn网络的每层卷积层的步长为2,第1层~第3层卷积层的卷积核大小为2、第4层卷积层的卷积核大小为1,第1层卷积层的输入通道数为2,第1层~第4层卷积层的输出通道数依次为32、64、128、1;

全局信息判别分支中cnn网络的每层卷积层的卷积核大小为3,第1层~第4层卷积层的步长为2、第五层的卷积层的步长为1,第1层卷积层的输入通道数为2,第1层~第5层卷积层的输出通道数依次为32、64、128、256、512。

6.按权利要求1所述基于生成对抗网络的人体步态图像视角转化方法,其特征在于,所述视角转化网络的训练过程如下:

s1:构建训练集,采用与步骤1相同的数据预处理得到步态图像,并按照(步态图像,视角,身份标签)构建训练样本,进而构成训练集;

s2:从训练集中随机抽取一定数量的训练样本、作为本次训练迭代过程的输入图像集合iv,i,再通过随机数的方式确定本次训练迭代过程中视角转化的目标视角vt,并从训练集中选取具有该目标视角且与集合iv,i中步态图像身份标签相对应的图像、作为本次训练迭代过程的真值图像集合

从训练集中再次抽取一定数量的训练样本,构成步态图像集合为所述步态图像集合为中步态图像的视角均为vt、且其对应的身份标签与集合iv,i中任意一张步态图像的身份标签都不相同;

从集合iv,i中选取三组图像子集,分别记为iv,a、iv,p和iv,n,其中,集合iv,a和iv,p中对应步态图像应具有相同的身份标签;集合iv,a和iv,n中对应的步态图像应具有不同的身份标签;

s3:更新图像真假判别器drf的网络参数;设置损失函数lrf,采用反向传播算法和梯度下降法更新网络参数,所述损失函数lrf为:

其中,代表期望;drf(x)代表以图像x作为输入时判别器drf的输出;g(y,vt)代表以图像y作为输入、vt作为目标视角时图像生成器g的输出;

将更新后图像真假判别器drf中cnn网络的参数共享复用于步态图像视角判别器dview中cnn网络中;

s4:更新步态图像视角判别器dview的网络参数;设置损失函数lview,采用反向传播算法和梯度下降法更新网络参数,所述损失函数lview为:

其中,lce(·)代表交叉熵损失函数,drf(x)代表以图像x作为输入时判别器dview的输出;

将更新后步态图像视角判别器dview中cnn网络的参数反向共享复用于图像真假判别器drf中cnn网络中;

s5:更新跨视角身份保持判别器dcr的网络参数;设置损失函数lcr,采用反向传播算法和梯度下降法更新网络参数,所述损失函数lcr为:

lcr=(lcrg+lcrl)/2

其中,dcrg(x,y)表示图像对(x,y)作为输入时跨视角身份保持判别器dcr中全局信息判别分支dcrg的输出,相似地,dcrl(x,y)表示图像对(x,y)作为输入时跨视角身份保持判别器dcr中局部信息判别分支dcrl的输出;

s6:更新同视角身份保持判别器dca的网络参数;设置损失函数lca,采用反向传播算法和梯度下降法更新网络参数,所述损失函数lca为:

lca=(lcag+lcal)/2

其中,dcag(x,y)表示图像对(x,y)作为输入时同视角身份保持判别器dca中全局信息判别分支dcag的输出,相似地,dcal(x,y)表示图像对(x,y)作为输入时同视角身份保持判别器dca中局部信息判别分支dcal的输出;

s7:更新图像生成器g的网络参数;设置损失函数lg,采用反向传播算法和梯度下降法更新网络参数,所述损失函数lg为:

其中,α、β和m为超参数,d(·,·)代表两图像之间的欧式距离;

s8:再次更新图像生成器g的网络参数θg;设置损失函数采用反向传播算法和梯度下降法更新网络参数,所述损失函数为:

其中,γ、η和k均为超参数,且γ=α、η=β、k=m;

s9:循环重复步骤s2到s8,直到以上所有损失函数趋于稳定,完成训练。


技术总结
本发明属于步态识别技术领域,具体提供一种基于生成对抗网络的人体步态图像视角转化方法。本发明通过在训练过程中引入多种不同类型的判别器,并通过合理设置训练策略,从而使得该视角转化方法可以将输入视角下步态图像转化到多个不同目标视角,并且在转化的过程中有效避免身份信息的丢失。该视角转化方法可以被有效应用在跨视角步态识别场景中,通过将不同视角的步态图像转化到多个统一的视角,一方面,消除了视角差异对于步态识别准确率的影响,另一方面,相比于其他方法只转化到一个统一视角,本方法通过转化到多个统一视角,为后续身份识别提供了更加丰富的数据,可以有效提升跨视角步态识别准确率。

技术研发人员:刘欣刚;孙睿成;韩硕;江浩杨;曾昕;代成
受保护的技术使用者:电子科技大学
技术研发日:2020.12.03
技术公布日:2021.03.30
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1