1.基于生成对抗网络的人体步态图像视角转化方法,包括以下步骤:
步骤1:基于高斯背景模型对步态视频序列进行背景建模,通过背景提取得到二值化的步态前景轮廓图;对步态前景图轮廓图进行范围归一化处理,随后利用图像形态学操作对轮廓图进行进一步处理,最后对处理后且位于单位步态周期的步态轮廓图进行平均处理,得到步态图像;
步骤2:根据预设目标角度,将步态图像与目标视角输入视角转化网络,视角转化网络输出目标视角下步态图像;
所述视角转化网络为具有多个判别器的生成对抗网络,包括:图像生成器g、图像真假判别器drf、步态图像视角判别器dview、跨视角身份保持判别器dcr与同视角身份保持判别器dca;
所述图像生成器g由相互对称的cnn网络(卷积神经网络)和tcnn网络(转置卷积神经网络)组成,且cnn网络和tcnn网络中对称层短路连接;其中,cnn网络和tcnn网络均包括4层卷积层;
所述图像真假判别器drf由cnn网络和fc网络组成;其中,cnn网络包括5层卷积层,fc网络包括4层全连接层;
所述步态图像视角判别器dview由cnn网络和fc网络组成,其中,cnn网络与图像真假判别器drf中cnn网络相同,fc网络包括3层全连接层;
所述跨视角身份保持判别器dcr与同视角身份保持判别器dca结构相同、均由局部信息判别分支和全局信息判别分支构成,为了方便表述,将dcr和dca的全局信息判别分支分别令为dcrg和dcag,局部信息判别分支分别令为dcrl和dcal。其中,局部信息判别分支由cnn网络组成、包括4层卷积层;全局信息判别分支由cnn网络和fc网络组成,cnn网络包括5层卷积层,fc网络与图像真假判别器drf中fc网络结构相同。
2.按权利要求1所述基于生成对抗网络的人体步态图像视角转化方法,其特征在于,所述图像生成器g中,cnn网络和tcnn网络的每层卷积层的卷积核大小为4、步长为2;所述cnn网络中第1层卷积层的输入通道数为1,第1层~第4层卷积层的输出通道数依次为96、192、384、768;所述tcnn网络与cnn网络对称设置。
3.按权利要求1所述基于生成对抗网络的人体步态图像视角转化方法,其特征在于,所述图像真假判别器drf中,cnn网络的每层卷积层的卷积核大小为3,第1层~第4层卷积层的步长为2、第5层的卷积层的步长为1,第1层卷积层的输入通道数为1,第1层~第5层卷积层的输出通道数依次为32、64、128、256、512;fc网络的第1层全连接层的输入通道数为512,第1层~第4层全连接层的输出通道数依次为100、50、10、1。
4.按权利要求1所述基于生成对抗网络的人体步态图像视角转化方法,其特征在于,所述步态图像视角判别器dview中,fc网络的第1层全连接层的输入通道数为512,第1层~第3层全连接层的输出通道数依次为100、50、q,q表示步态图像视角总数。
5.按权利要求1所述基于生成对抗网络的人体步态图像视角转化方法,其特征在于,所述跨视角身份保持判别器dcr中,局部信息判别分支中cnn网络的每层卷积层的步长为2,第1层~第3层卷积层的卷积核大小为2、第4层卷积层的卷积核大小为1,第1层卷积层的输入通道数为2,第1层~第4层卷积层的输出通道数依次为32、64、128、1;
全局信息判别分支中cnn网络的每层卷积层的卷积核大小为3,第1层~第4层卷积层的步长为2、第五层的卷积层的步长为1,第1层卷积层的输入通道数为2,第1层~第5层卷积层的输出通道数依次为32、64、128、256、512。
6.按权利要求1所述基于生成对抗网络的人体步态图像视角转化方法,其特征在于,所述视角转化网络的训练过程如下:
s1:构建训练集,采用与步骤1相同的数据预处理得到步态图像,并按照(步态图像,视角,身份标签)构建训练样本,进而构成训练集;
s2:从训练集中随机抽取一定数量的训练样本、作为本次训练迭代过程的输入图像集合iv,i,再通过随机数的方式确定本次训练迭代过程中视角转化的目标视角vt,并从训练集中选取具有该目标视角且与集合iv,i中步态图像身份标签相对应的图像、作为本次训练迭代过程的真值图像集合
从训练集中再次抽取一定数量的训练样本,构成步态图像集合为
从集合iv,i中选取三组图像子集,分别记为iv,a、iv,p和iv,n,其中,集合iv,a和iv,p中对应步态图像应具有相同的身份标签;集合iv,a和iv,n中对应的步态图像应具有不同的身份标签;
s3:更新图像真假判别器drf的网络参数;设置损失函数lrf,采用反向传播算法和梯度下降法更新网络参数,所述损失函数lrf为:
其中,
将更新后图像真假判别器drf中cnn网络的参数共享复用于步态图像视角判别器dview中cnn网络中;
s4:更新步态图像视角判别器dview的网络参数;设置损失函数lview,采用反向传播算法和梯度下降法更新网络参数,所述损失函数lview为:
其中,lce(·)代表交叉熵损失函数,drf(x)代表以图像x作为输入时判别器dview的输出;
将更新后步态图像视角判别器dview中cnn网络的参数反向共享复用于图像真假判别器drf中cnn网络中;
s5:更新跨视角身份保持判别器dcr的网络参数;设置损失函数lcr,采用反向传播算法和梯度下降法更新网络参数,所述损失函数lcr为:
lcr=(lcrg+lcrl)/2
其中,dcrg(x,y)表示图像对(x,y)作为输入时跨视角身份保持判别器dcr中全局信息判别分支dcrg的输出,相似地,dcrl(x,y)表示图像对(x,y)作为输入时跨视角身份保持判别器dcr中局部信息判别分支dcrl的输出;
s6:更新同视角身份保持判别器dca的网络参数;设置损失函数lca,采用反向传播算法和梯度下降法更新网络参数,所述损失函数lca为:
lca=(lcag+lcal)/2
其中,dcag(x,y)表示图像对(x,y)作为输入时同视角身份保持判别器dca中全局信息判别分支dcag的输出,相似地,dcal(x,y)表示图像对(x,y)作为输入时同视角身份保持判别器dca中局部信息判别分支dcal的输出;
s7:更新图像生成器g的网络参数;设置损失函数lg,采用反向传播算法和梯度下降法更新网络参数,所述损失函数lg为:
其中,α、β和m为超参数,d(·,·)代表两图像之间的欧式距离;
s8:再次更新图像生成器g的网络参数θg;设置损失函数
其中,γ、η和k均为超参数,且γ=α、η=β、k=m;
s9:循环重复步骤s2到s8,直到以上所有损失函数趋于稳定,完成训练。