生成对抗网络优化方法及电子设备与流程

文档序号:32296010发布日期:2022-11-23 03:03阅读:42来源:国知局
1.本技术涉及生成对抗网络
技术领域
:,具体涉及一种生成对抗网络优化方法及电子设备。
背景技术
::2.生成对抗网络(generativeadversarialnetwork,gan)由生成器和判别器构成,通过生成器和判别器的对抗训练来使得生成器产生的样本服从真实数据分布。训练过程中,生成器根据输入的随机噪声生成样本图像,其目标是尽量生成真实的图像去欺骗判别器。判别器学习判别样本图像的真伪,其目标是尽量分辨出真实样本图像与生成器生成的样本图像。3.然而,生成对抗网络的训练自由度太大,在训练不稳定时,生成器和判别器很容易陷入不正常的对抗状态,发生模式崩溃(modecollapse),导致生成样本图像的多样性不足。技术实现要素:4.鉴于此,本技术提供一种生成对抗网络优化方法及电子设备,能够平衡生成器和判别器的损失,使得生成器和判别器具有相同的学习能力,从而提高生成对抗网络的稳定性。5.本技术的生成对抗网络优化方法包括:确定生成器的第一权重与判别器的第二权重,所述第一权重与所述第二权重相等,所述第一权重用以表示所述生成器的学习能力,所述第二权重用以表示所述判别器的学习能力;交替迭代训练所述生成器与所述判别器,直至所述生成器与所述判别器均收敛。6.在本技术实施例中,所述学习能力与所述第一权重或所述第二权重呈正相关关系。7.本技术的电子设备包括存储器及处理器,所述存储器用以存储计算机程序,所述计算机程序被所述处理器调用时,实现本技术的生成对抗网络优化方法。8.本技术通过梯度下降法迭代更新生成器的第一权重与判别器的第二权重,随着训练周期的加长动态调整生成器与判别器的学习率,直至所述生成器的损失函数与所述判别器的损失函数均收敛,从而得到最优的权重。所述第一权重与所述第二权重相等,使得所述生成器和所述判别器具有相同的学习能力,从而提高生成对抗网络的稳定性。附图说明9.图1是生成对抗网络的示意图。10.图2是神经网络的示意图。11.图3是生成对抗网络优化方法的流程图。12.图4是电子设备的示意图。neuralnetwork,rnn)或深度神经网络(deepneuralnetworks,dnn)等。34.在生成对抗网络10的训练过程中,生成器11与判别器12是交替迭代训练,且均通过各自的代价函数(cost)或损失函数(loss)优化各自的网络。例如,当训练生成器11时,固定判别器12的权重,更新生成器11的权重;当训练判别器12时,固定生成器11的权重,更新判别器12的权重。生成器11与判别器12均极力优化各自的网络,从而形成竞争对抗,直到双方达到一个动态的平衡,即纳什均衡。此时,生成器11生成的第一图像与从数据样本x中获取的第二图像完全相同,判别器12无法判别第一图像与第二图像的真假,输出的概率d为0.5。35.在本技术实施例中,权重是指神经网络的权重数量,表征神经网络的学习能力,所述学习能力与所述权重呈正相关关系。36.参照图2,图2为神经网络20的示意图。神经网络20的学习过程由信号的正向传播与误差的反向传播两个过程组成。当信号正向传播时,数据样本x从输入层传入,经隐藏层逐层处理后,向输出层传播。若输出层的输出y与期望输出不符,则转向误差的反向传播阶段。误差的反向传播是将输出误差以某种形式通过隐藏层向输入层逐层反向传播,并将误差分摊给各层的所有神经单元,从而获得各层神经单元的误差信号,此误差信号作为修正权重w的依据。37.在本技术实施例中,神经网络包括输入层、隐藏层及输出层。所述输入层用于接收来自于神经网络外部的数据,所述输出层用于输出神经网络的计算结果,除输入层和输出层以外的其它各层均为隐藏层。所述隐藏层用于把输入数据的特征,抽象到另一个维度空间,以线性划分不同类型的数据。38.所述神经网络20的输出y如公式(1)所示:39.y=f3(w3*f2(w2*f1(w1*x)))ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(1)40.其中,x为数据样本,f1(z1)、f2(z2)、f3(z3)分别为隐藏层输入z1、z2、z3的激活函数,w1、w2、w3均为层与层之间的权重。41.采用梯度下降法更新权重w如公式(2)所示:[0042][0043]其中,w+为更新后的权重,w为更新前的权重,loss为损失函数,η为学习率,所述学习率是指权重w更新的幅度。[0044]在本技术实施例中,损失函数的作用是衡量判别器对生成图像判断的能力。损失函数的值越小,说明在当前迭代中,判别器能够有较好的性能,辨别生成器的生成图像;反之,则说明判别器的性能较差。[0045]请一并参阅图1至图3,图3为生成对抗网络优化方法的流程图。所述生成对抗网络优化方法包括如下步骤:[0046]s31,确定生成器的第一权重与判别器的第二权重,所述第一权重与所述第二权重相等。[0047]在本技术实施例中,确定所述第一权重与所述第二权重的方法包括但不限于xavier初始化、kaiming初始化、fixup初始化、lsuv初始化或转移学习等。[0048]所述第一权重与所述第二权重相等,说明所述生成器与所述判别器具有相同的学习能力。[0049]s32,训练生成器并更新第一权重。[0050]所述第一权重的更新与生成器的学习率及损失函数相关,学习率根据训练次数动态设置,损失函数lg如公式(3)所示:[0051][0052]其中,m为噪声样本z的个数,z(i)是指第i个噪声样本,g(z(i))是指通过噪声样本z(i)生成的图像,d(g(z(i)))是指判别所述图像是否为真的概率,θg为所述第一权重。[0053]生成器的目标是最大化损失函数lg,尽可能地使生成样本分布拟合真实样本分布。[0054]s33,训练判别器并更新第二权重。[0055]所述第二权重的更新与判别器的学习率及损失函数相关,学习率根据训练次数动态设置,损失函数ld如公式(4)所示:[0056][0057]其中,x(i)是指第i个真实图像,d(x(i))是指判别所述真实图像x(i)是否为真的概率,θd为所述第二权重。[0058]判别器的目标是最小化损失函数ld,尽可能地判别输入样本是真实图像还是生成器生成的图像。[0059]s34,重复执行步骤s32与步骤s33,直至生成器与判别器均收敛。[0060]在本技术实施例中,并不限定步骤s32与s33的执行顺序,即在生成器与判别器的交替迭代训练过程中,可以先训练生成器,也可以先训练判别器。[0061]本技术利用梯度下降法迭代更新所述第一权重θg与所述第二权重θd,随着训练周期的加长动态调整生成器与判别器的学习率,直至所述生成器的损失函数lg与所述判别器的损失函数ld均收敛,从而得到最优的权重。[0062]参照图4,图4为电子设备40的示意图。所述电子设备40包括存储器41及处理器42,所述存储器41用以存储计算机程序,所述计算机程序被所述处理器42调用时,实现本技术的生成对抗网络优化方法。[0063]所述电子设备40包括但不限于智能电话、平板、个人计算机(personalcomputer,pc)、电子书阅读器、工作站、服务器、个人数字助理(pda)、便携式多媒体播放器(portablemultimediaplayer,pmp)、mpeg-1音频层3(mp3)播放器、移动医疗设备、相机和可穿戴设备中的至少一个。所述可穿戴设备包括附件类型(例如,手表、戒指、手镯、脚链、项链、眼镜、隐形眼镜或头戴式设备(head-mounteddevice,hmd))、织物或服装集成类型(例如,电子服装)、身体安装类型(例如,皮肤垫或纹身)以及生物可植入类型(例如,可植入电路)中的至少一种。[0064]所述存储器41用于存储计算机程序和/或模块,所述处理器42通过运行或执行存储在所述存储器41内的计算机程序和/或模块,以及调用存储在存储器41内的数据,实现本技术的生成对抗网络优化方法。所述存储器41包括易失性或非易失性存储器件,例如数字多功能盘(dvd)或其它光盘、磁盘、硬盘、智能存储卡(smartmediacard,smc)、安全数字(securedigital,sd)卡、闪存卡(flashcard)等。[0065]所述处理器42包括中央处理单元(centralprocessingunit,cpu)、数字信号处理器(digitalsignalprocessor,dsp)、专用集成电路(applicationspecificintegratedcircuit,asic)、现场可编程门阵列(field-programmablegatearray,fpga)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。[0066]可以理解,当所述电子设备40实现本技术的生成对抗网络优化方法时,所述生成对抗网络优化方法的具体实施方式适用于所述电子设备40。[0067]上面结合附图对本技术实施例作了详细说明,但是本技术不限于上述实施例,在所属
技术领域
:普通技术人员所具备的知识范围内,还可以在不脱离本技术宗旨的前提下做出各种变化。此外,在不冲突的情况下,本技术的实施例及实施例中的特征可以相互组合。当前第1页12当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1