基于双判别器加权混合生成对抗网络的手写数字生成方法与流程

1.本发明属于手写数字生成方法技术领域，具体涉及一种基于双判别器加 权混合生成对抗网络的手写数字生成方法。


背景技术：

2.生成对抗网络(generative adversarial networks，gan)是近几年发 展起来的一种对抗性学习方法。gan由一个生成器g和一个判别器d构成， 采用博弈论的思想，二者互相博弈，其目标是在具有高维参数的连续非凸问 题中找到纳什均衡(nash equilibrium)。gan被证明可以生成逼真的图像， 在数据增强、图像补全方面很有帮助，主要应用在图像超分辨率重建、迁移 学习、图像修复等领域。
3.但在给定一个最优的判别器时，生成器的损失函数等价于最小化真实数 据p
data
(x)与生成样本pg(z)之间的js散度(jensen-shannon)js(p
data
||pg)。在高 维空间中两个分布很难相交，即使相交，其相交部分是高维空间中的一个低 维流形，测度为0，相交部分可以忽略不计，此时，js散度为常数，出现梯 度消失的问题。为解决此问题，goodfellow等人重新定义了生成器的损失函 数-log(d(g(z)))。虽然，梯度消失问题得到了解决，但是，目标函数中存在最 小化kl散度和最大化js散度的矛盾，使生成器训练不稳定，并且生成的样 本大部分是一些重复安全的样本，缺乏多样性，导致生成的图像趋于一致而 多样性降低，生成的样本种类匮乏，从而出现模式崩溃问题。
4.针对gan存在的模式崩溃问题，现有技术中有人提出了d2gan算法，引 入双判别器的思想，试图在目标函数中综合利用kl散度和反向kl散度，以 平衡生成器与判别器的对抗。其目标函数引入了超参数α、β，有两个目的： 一是为了稳定模型的学习，通过减小α、β来分别降低-d1(g(z))和-d2(x)对优 化的影响；二是通过增大α、β，分别鼓励最小化kl散度和反向kl散度。 与gan算法类似，超参数的引入虽然对于模型稳定和模式崩溃具有缓解作用， 但是超参数的减小和增大是矛盾的，使得两个功能是可以相互抵消，从而使 生成器训练不稳定。quan hoang等人提出混合生成对抗网络(mixturegenerative adversarial nets，mgan)，mgan是一个多生成器的解决方案， 它通过多个生成器的混合分布来模拟真实数据的分布，同时最小化多个生成 器生成样本的交叉熵来最大化各个生成器生成样本之间的差异，达到增加生 成器生成样本多样性的目的。但mgan只有一个判别器，只采用js散度容易 发生梯度消失问题而导致模式崩溃。
5.d2gan引入双判别器，试图解决gan的模式崩溃问题，但没有给出超参 数明确的指导性建议，其生成器可以学习到大多数的分布，但仍有部分分布 被遗忘。mgan只采用js散度容易发生梯度消失问题而导致模式崩溃。
6.以上方法，均无法很好地用于手写数字生成方法。


技术实现要素：

7.本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一 种基于双
判别器加权混合生成对抗网络的手写数字生成方法，本发明结合 了多生成器和双鉴别器的优点，重建目标函数，设计模型结构，从网络模 型结构和损失函数角度避免梯度消失的现象出现；结合正向kl散度和反 向kl散度的优势，使生成的模式多样化，改善了gan所出现的模式崩 溃问题。
8.为解决上述技术问题，本发明采用的技术方案是：一种基于双判别器加 权混合生成对抗网络的手写数字生成方法，该方法包括以下步骤：
9.步骤一、获取目标用户的真实手写数字图像；
10.步骤二、将目标用户的真实手写数字图像输入预先训练好的双判别器 加权混合生成对抗网络中；其中，所述双判别器加权混合生成对抗网络的 训练过程为：
11.步骤201、采用mnist数据集作为训练样本；
12.步骤202、搭建双判别器加权混合生成对抗网络模型；所述双判别器 加权混合生成对抗网络模型包括并列设置的生成器g1～g
10
，以及并列连接 在生成器g1～g
10
输出端的判别器d1、判别器d2和分类器c；
13.步骤203、建立生成器、判别器和分类器的损失函数；
14.步骤204、采用训练样本和损失函数，并通过反向传播对双判别器加 权混合生成对抗网络模型进行训练，得到训练好的双判别器加权混合生成 对抗网络；
15.步骤三、所述双判别器加权混合生成对抗网络对目标用户的真实手写 数字图像进行处理，得到手写数字数据。
16.上述的基于双判别器加权混合生成对抗网络的手写数字生成方法，步 骤二中所述双判别器加权混合生成对抗网络的训练过程还包括步骤205、 对训练好的双判别器加权混合生成对抗网络进行理论分析验证，验证在最 优判别器下，通过最小化生成数据与真实数据之间的kl散度和反向kl散 度，生成器生成真实的手写数字数据。
17.上述的基于双判别器加权混合生成对抗网络的手写数字生成方法，步 骤202中所述搭建双判别器加权混合生成对抗网络模型时，所述生成器的 目标函数为：
[0018][0019]
其中，t(gk)为生成器gk的目标函数，k的取值为1～10的自然数，x
'(i)
为 从当前生成器形成的分布中采样得到的第i个生成样本，i的取值为1～m 的自然数，m为当前生成器形成的分布中生成样本的总数量，d1(x
'(i)
)为当输 入为x
'(i)
时判别器d1的输出，d2(x
'(i)
)为当输入为x
'(i)
时判别器d2的输出，ρ为 d1(x
'(i)
)的权值参数且ρ的取值范围为0≤ρ≤1，ω为logd2(x
'(i)
)的权值参数且ω的 取值范围为0≤ω≤1，ρ+ω＝1，β为多样性超参数，为x
'(i)
由第ui个生成 器生成的概率，ui为生成器的编号；
[0020]
所述判别器d1的目标函数为：
[0021][0022]
其中，t(d1)为判别器d1的目标函数，x(i)为从真实数据分布p
data
中采样出 的第i个样本，i的取值为1～m的自然数；d1(x(i))为当输入为x(i)时判别器d1的输出；
[0023]
所述判别器d2的输入输出表达关系式为：
[0024][0025]
其中，t(d2)为判别器d2的目标函数，d2(x(i))为当输入为x(i)时判别器d2的 输出；
[0026]
所述分类器c的目标函数为：
[0027][0028]
其中，t(c)为分类器c的目标函数。
[0029]
上述的基于双判别器加权混合生成对抗网络的手写数字生成方法，步 骤203中建立的所述生成器的损失函数为：
[0030][0031]
其中，为当x服从多生成器形成的分布p
model
时[*]的数学期望，x 为服从多生成器形成的分布p
model
的样本，d1(x)为当输入为x时判别器d1的输 出，d2(x)为当输入为x时判别器d2的输出，πk为混合概率系数，为 当x服从生成器gk分布时[*]的数学期望，ck(x)为x由生成器gk生成的概率；
[0032]
步骤203中建立的所述判别器的损失函数为：
[0033]
loss_d＝loss_d1+loss_d2ꢀꢀꢀꢀꢀꢀ
(f6)
[0034]
其中，loss_d1为判别器d1的损失函数且为：
[0035][0036]
其中，loss_d2为判别器d2的损失函数且为：
[0037][0038]
为当x服从真实数据分布p
data
时[*]的数学期望；
[0039]
步骤203中建立的所述分类器的损失函数为：
[0040][0041]
上述的基于双判别器加权混合生成对抗网络的手写数字生成方法，步 骤204中所述采用训练样本和损失函数，并通过反向传播对双判别器加权 混合生成对抗网络模型进行训练，得到训练好的双判别器加权混合生成对 抗网络的具体过程为：
[0042]
步骤2041、对生成器g1～gk、判别器d1、判别器d2和分类器c进行初 始化；
[0043]
步骤2042、训练分类器c、判别器d1和判别器d2，具体过程为：
[0044]
步骤20421、从mnist数据集中采样得到m个样本，表示为 {x
(1)
、x
(2)
、...、x
(m)
}；
[0045]
步骤20422、从当前生成器g1～gk形成的分布中采样得到m个样本， 表示为{x
'(1)
、x
'(2)
、...、x
'(m)
}，并记录其来自的生成器的编号{u1，u2，...，um}；
[0046]
步骤20423、计算分类器c的损失函数；
[0047]
步骤20424、计算判别器d1的损失函数；
[0048]
步骤20425、计算判别器d2的损失函数；
[0049]
步骤20426、通过adam优化器反向传播更新判别器d1的参数来最大化 判别器d1的
损失函数，使判别器d1最优；
[0050]
步骤20427、通过adam优化器反向传播更新判别器d2的参数来最大 化判别器d2的损失函数，使判别器d2最优；
[0051]
步骤20428、通过adam优化器反向传播更新判别器c的参数来最小化 分类器c的损失函数，使分类器c最优；
[0052]
步骤2043、训练生成器g1～gk，具体过程为：
[0053]
步骤20431、从当前生成器g1～gk形成的分布中采样得到m个样本， 表示为{x
'(1)
、x
'(2)
、...、x
'(m)
}，并记录其来自的生成器的编号{u1，u2，...，um}；
[0054]
步骤20432、计算生成器的损失函数；
[0055]
步骤20433、通过adam优化器反向传播更新生成器的参数来最小化生 成器g1～gk的损失函数，使生成器g1～gk最优。
[0056]
上述的基于双判别器加权混合生成对抗网络的手写数字生成方法，步 骤205中所述对训练好的双判别器加权混合生成对抗网络进行理论分析验 证，验证在最优判别器下，通过最小化生成数据与真实数据之间的kl散 度和反向kl散度，生成器生成真实的手写数字数据的具体过程为：
[0057]
步骤2051、双判别器加权混合生成对抗网络的目标函数分析：
[0058]
双判别器加权混合生成对抗网络的目标函数为：
[0059][0060]
其中，为正向目标函数， 为反向目标函数， 为分类损失；ρ
′
超参数为正向目标函数的权重且ρ
′ꢀ
的取值范围为0≤ρ
′
≤1，，ω
′
超参数为反向目标函数的权重且ω
′
的取值范 围为0≤ω
′
≤1，ρ
′
+ω
′
＝1；β为多样性超参数且β＞0，k为生成器个数；πk为 混合概率系数，为当x服从真实数据分布p
data
时[*]的数学期 望,d1(x)为当输入为x时判别器d1的输出，为当x服从多生成器形 成的分布p
mode
时[*]的数学期望，d2(x)为当输入为x时判别器d2的输出， 为当x服从生成器gk分布时[*]的数学期望，ck(x)为x由生成器gk生成的概率；
[0061]
步骤2052、超参数的意义分析：
[0062]
步骤20521、通过调节ρ
′
、ω
′
能够控制kl散度和反向kl散度的加权和， 能够更好地利用kl散度和反向kl散度的互补特性学习真实数据分布；
[0063]
当ρ
′
＝1且ω
′
＝0时，只考虑双判别器加权混合生成对抗网络的生成器 和判别器，其目标函数变为正向目标函数，即
[0064][0065]
最优判别器为
[0066][0067]
p
data
(x)为真实数据分布p
data
的概率密度函数,p
model
(x)为多生成器形成 的分布p
model
的概率密度函数；
[0068]
基于最优判别器，最优生成器目标函数为
[0069][0070]
kl(p
data
||p
model
)为真实数据分布p
data
和多生成器形成的分布p
model
间的 kl散度；
[0071]
在这种情况下，网络的优化等价于kl散度的优化，有利于产生多模 式分布，但可能会产生潜在的不良样本；
[0072]
当ρ
′
＝0且ω
′
＝1时，只考虑双判别器加权混合生成对抗网络的生成器 和判别器，其目标函数变为反向目标函数，即
[0073][0074]
最优判别器为
[0075][0076]
基于最优判别器，最优生成器目标函数为
[0077][0078]
kl(p
model
||p
data
)为真实数据分布p
data
和多生成器形成的分布p
model
间的 反向kl散度；
[0079]
在这种情况下，网络的优化等价于反向kl散度的优化，有利于更好 地捕获单个模式，但某些模式可能会丢失，出现模式崩溃现象；
[0080]
当双判别器加权混合生成对抗网络同时具有正向目标函数和反向目 标函数时，即ρ
′
+ω
′
＝1且0＜ρ
′
，ω
′
＜1，网络的优化相当于优化kl散度和反 向kl散度的加权和，利用kl散度和反向kl散度的互补特性能够更好地 学习真实数据分布；
[0081]
步骤20522、通过设置β值的大小来控制分类损失对生成器训练的影响，当β较大时，分类损失对生 成器的影响较大，生成器学到的分布模式较多，但可能会出现一些类似过 拟合的情况；当β较小时，分类损失对生成器的影响较小，生成器学到的 分布模式较少，但可能会出现一些类似欠拟合的情况；
[0082]
步骤2053、对双判别器加权混合生成对抗网络进行理论分析，证明存 在最优判别器和分类器，且在最优判别器和分类器下，生成器可以通过最 小化多生成器形成的分布p
model
与真实数据分布p
data
间的kl散度和反向kl 散度来学习到真实数据分布；
[0083]
理论1：固定生成器g1、g2……gk
和它们的混合概率系数π1、π2……
πk， 分别通过最大化和最小化目标函数j(g
1：k
，c，d1，d2)得到最优判别器和 最优分类器c
*
：
[0084][0085]
[0086][0087]
证明：
[0088]
双判别器加权混合生成对抗网络目标函数可以变为：
[0089][0090]
给定x，求得最优判别器和使得j(g
1：k
，c，d1，d2)最大，即
[0091][0092][0093]
分别对j(g
1：k
，d1，d2)的积分内函数求d1，d2的偏导，并使它们等于0可 得：
[0094][0095][0096]
对于变量d1和d2，二阶导数和是非正的，因此可以得 到最优解，即最优判别器
[0097]
给定x，求最优分类器c
*
的过程就是使分类损失 最小的过程，当分类器c为最佳时，分类器能够很 好地进行分类，此时分类损失为0；
[0098]
理论2：给定最佳判别器和最优分类器c
*
，在纳什平衡下，当且 仅当p
model
＝p
data
时，达到最小值。
[0099][0100][0101]
证明：
[0102]
将最优判别器和最佳分类器c
*
代入目标函数j(g
1：k
，c，d1，d2)中，可 得：
[0103][0104]
因ρ
′
+ω
′
＝1，所以
[0105][0106]
由于p
data
和p
model
间的kl散度kl(p
data
||p
model
)，以及p
data
和p
model
间的反 向kl散度kl(p
model
||p
data
)总是非负的，当且仅当p
model
＝p
data
时，它们的值 为0，此时达到最小值，即生成器达到最优，生成器能 够学习到真实数据的全部分布，生成器能够生成真实的手写数字数据。
[0107]
本发明与现有技术相比具有以下优点：
[0108]
1、本发明相较于d2gan网络结构不同、目标函数不同、思想不同， d2gan只有一个生成器能够学习到的数据分布有限容易发生模式崩溃问 题，而d2wmgan采用多生成器形成的联合分布去近似真实数据分布， 可以有效解决模式崩溃问题。d2wmgan还引入加权思想，通过超参数ρ和 ω来加权kl散度和反向kl散度的特性，避免产生单一样本和一些看不见 的样本；而d2gan引入超参数α和β是为了稳定模型，通过减小-d1(g(z)) 和-d2(x)的影响来控制kl散度和反向kl散度对优化的影响，两者约束条 件不同；d2wmgan算法中引入了侧重加权思想，约束条件为ρ＝1,ω＝0， ρ＝0,ω＝1，并考虑侧重点的完备性；d2gan中约束条件为0＜α,β≤1，缺乏 可解释性。
[0109]
2、本发明相较于mgan网络结构不同、目标函数不同、思想不同， mgan只有一个判别器，只采用js散度容易发生梯度消失问题从而导致 模式崩溃，d2wmgan采用两个判别器
结合kl散度和反向kl散度为一 个统一的目标函数，既可以解决梯度消失问题，还可以解决模式崩溃问题。
[0110]
3、本发明优化后的目标函数可向正向和反向kl散度退化， d2wmgan算法在ρ＝1,ω＝0和ρ＝0,ω＝1这两种极端情况可以退化为kl散 度和反向kl散度，有助于实现多种模式生成或者捕获单一模式，可解释 性强；而d2gan中仅要求0＜α,β≤1，目标函数本身决定了它不能向kl和 反向kl散度退化，缺乏可解释性。
[0111]
4、本发明优化后的结果不同；当pg＝p
data
时，d2wgan算法中最优判 别器为d2gan中最优判别器为d
1*
(x)＝α，d
2*
(x)＝β。在最优判别 器基础上优化生成器时，求最优生成器就是在最小化p
data
和p
model
间的正 向kl和反向kl散度时，最大化生成器间的js散度即生成器逐渐学习真实数据的全部分布，当且仅当生成器学到真实数据的 全部分布时，即p
model
＝p
data
时，p
data
和p
model
间的kl散度和反向kl 散度为0。
[0112]
5、本发明针对gan、d2gan和mgan存在的技术问题，提出了一 种基于双判别器加权混合生成对抗网络的手写数字生成方法，本发明结合 了多生成器和双鉴别器的优点，重建目标函数，设计模型结构，从网络模 型结构和损失函数角度避免梯度消失的现象出现；结合正向kl散度和反 向kl散度的优势，使生成的模式多样化，改善了gan所出现的模式崩 溃问题。
[0113]
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
[0114]
图1为本发明实施例1和实施例2的方法流程框图；
[0115]
图2为本发明实施例1和实施例2中双判别器加权混合生成对抗网络 的结构示意图；
[0116]
图3为gan网络的最大最小损失和非饱和损失图；
[0117]
图4为gan网络的线性损失图；
[0118]
图5为gan网络利用mnist数据集生成的手写数字图像效果图；
[0119]
图6为d2gan网络利用mnist数据集生成的手写数字图像效果图；
[0120]
图7为mgan网络利用mnist数据集生成的手写数字图像效果图；
[0121]
图8为本发明d2wmgan网络利用mnist数据集生成的手写数字图像效 果图。
具体实施方式
[0122]
下面结合本发明中的附图，对本发明实施例的技术方案进行清楚、完整 的描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施 例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的 前提下所获得的所有其他实施例，都应属于本发明保护的范围。
[0123]
针对gan存在模式崩溃的问题，生成多样性样本的能力差；本发明提出 双判别器加权混合生成对抗网络，引入多生成器、双判别器和加权思想构建 新的网络结构和目标函数，从网络模型结构和损失函数角度避免梯度消失的 现象出现；结合正向kl散度和反向kl
散度的优势，使生成的模式多样化， 从而避免模式崩溃问题。
[0124]
gan中提出了log(1-d(g(z)))和-log(d(g(z)))两种损失函数来训练生成 器g，而这两种损失函数都存在梯度消失的问题；如图3所示，在早期训练 时，生成器g很差，生成样本与真实样本差别很大，判别器d能很容易识别 出假样本，其输出值d(g(z))趋于0，log(1-d(g(z)))梯度较小无法为训练生 成器提供足够的梯度，而-log(d(g(z)))在训练开始时就会出现饱和；在后期 训练时，生成器g逐渐变好，生成样本与真实样本差别变小，判别器d不能 很容易识别出可以以假乱真的假样本，其输出值d(g(z))趋于1，log(1
‑ꢀ
d(g(z)))梯度越来越大会出现饱和，而-log(d(g(z)))损失函数的梯度越来越 小趋于零，所以log(1-d(g(z)))和-log(d(g(z)))两种损失函数在训练开始和 结束时都会出现梯度消失问题；如图4所示，线性损失函数-d(g(z))的导数 为-1，其梯度在整个训练过程中保持不衰减，可有效缓解梯度消失现象，通 过利用线性损失函数-d(g(z))的线性关系，随机梯度下降法可以快速收敛， 计算速度更快。实践证明，使用线性损失函数-d(
·
)训练生成器生成的样本多 样性更好。
[0125]
实施例1
[0126]
如图1所示，本发明的基于双判别器加权混合生成对抗网络的手写数 字生成方法，该方法包括以下步骤：
[0127]
步骤一、获取目标用户的真实手写数字图像；
[0128]
步骤二、将目标用户的真实手写数字图像输入预先训练好的双判别器 加权混合生成对抗网络(d2wmgan网络)中；其中，所述双判别器加权混 合生成对抗网络(d2wmgan网络)的训练过程为：
[0129]
步骤201、采用mnist数据集作为训练样本；
[0130]
mnist数据集由来自250个不同人手写的数字构，其中50％是高中学 生，50％来自人口普查局(the census bureau)的工作人员，mnist数据集 包含70000张手写数字图片，其中60000张为训练集，10000张为测试集， 分为0-9共10类手写数字图片，都归一化为28*28的灰度图片；
[0131]
步骤202、搭建双判别器加权混合生成对抗网络模型(d2wmgan网络 模型)；所述双判别器加权混合生成对抗网络模型(d2wmgan网络模型) 包括并列设置的生成器g1～g
10
，以及并列连接在生成器g1～g
10
输出端的 判别器d1、判别器d2和分类器c；如图2所示；
[0132]
其中，生成器g1～g
10
用于生成数字0～9；
[0133]
本实施例中，步骤202中所述搭建双判别器加权混合生成对抗网络模 型(d2wmgan网络模型)时，所述生成器的目标函数为：
[0134][0135]
其中，t(gk)为生成器gk的目标函数，k的取值为1～10的自然数，x
'(i)
为 从当前生成器形成的分布中采样得到的第i个生成样本，i的取值为1～m 的自然数，m为当前生成器形成的分布中生成样本的总数量，d1(x
'(i)
)为当输 入为x
'(i)
时判别器d1的输出，d2(x
'(i)
)为当输入为x
'(i)
时判别器d2的输出，ρ为 d1(x
'(i)
)的权值参数且ρ的取值范围为0≤ρ≤1，ω为logd2(x
'(i)
)的权值参数且ω的 取值范围为0≤ω≤1，ρ+ω＝1，β为多样性超参数，
为x
'(i)
由第ui个生成 器生成的概率，ui为生成器的编号；
[0136]
具体实施时，从当前生成器形成的分布中均匀采样得到m个生成样本 {x
(1)
，x
(2)
，...，x
(m)
}，并将其来自的生成器编号记为{u1，u2，...，um}；
[0137]
具体实施时，可以通过设置β值的大小来控制分类损失对生成器训练 的影响，当β较大时，分类损失对生成器的影响较大，生成器学到的分布 模式较多，但可能会出现一些类似过拟合的情况；当β较小时，分类损失 对生成器的影响较小，生成器学到的分布模式较少，但可能会出现一些类 似欠拟合的情况；
[0138]
所述判别器d1的目标函数为：
[0139][0140]
其中，t(d1)为判别器d1的目标函数，x(i)为从真实数据分布p
data
中采样出 的第i个样本，i的取值为1～m的自然数(即从真实数据分布p
data
中采样的 样本总数量与当前生成器形成的分布中生成样本的总数量相等)；d1(x(i))为 当输入为x(i)时判别器d1的输出；
[0141]
所述判别器d2的输入输出表达关系式为：
[0142][0143]
其中，t(d2)为判别器d2的目标函数，d2(x(i))为当输入为x(i)时判别器d2的 输出；
[0144]
所述分类器c的目标函数为：
[0145][0146]
其中，t(c)为分类器c的目标函数。
[0147]
为了比较双判别器加权混合生成对抗网络与生成对抗网络、双判别器 生成对抗网络以及混合生成对抗网络生成手写数字的效果，生成器和判别 器的模型结构设置非常简单，只有一个隐含层；
[0148]
步骤203、建立生成器、判别器和分类器的损失函数；
[0149]
本实施例中，步骤203中建立的所述生成器的损失函数为：
[0150][0151]
其中，为当x服从多生成器形成的分布p
model
时[*]的数学期望，x 为服从多生成器形成的分布p
model
的样本，d1(x)为当输入为x时判别器d1的输 出，d2(x)为当输入为x时判别器d2的输出，πk为混合概率系数(即第k个 生成器在混合分布中的权重)，为当x服从生成器gk分布时[*]的 数学期望，ck(x)为x由生成器gk生成的概率；
[0152]
步骤203中建立的所述判别器的损失函数为：
[0153]
loss_d＝loss_d1+loss_d2ꢀꢀꢀꢀꢀꢀ
(f6)
[0154]
其中，loss_d1为判别器d1的损失函数且为：
[0155][0156]
其中，loss_d2为判别器d2的损失函数且为：
[0157][0158]
为当x服从真实数据分布p
data
时[*]的数学期望；
[0159]
步骤203中建立的所述分类器的损失函数为：
[0160][0161]
步骤204、采用训练样本和损失函数，并通过反向传播对双判别器加 权混合生成对抗网络模型(d2wmgan网络模型)进行训练，得到训练好的 双判别器加权混合生成对抗网络(d2wmgan网络)；
[0162]
本实施例中，步骤204中所述采用训练样本和损失函数，并通过反向 传播对双判别器加权混合生成对抗网络模型(d2wmgan网络模型)进行训 练，得到训练好的双判别器加权混合生成对抗网络(d2wmgan网络)的具 体过程为：
[0163]
步骤2041、对生成器g1～gk、判别器d1、判别器d2和分类器c进行初 始化；
[0164]
步骤2042、训练分类器c、判别器d1和判别器d2，具体过程为：
[0165]
步骤20421、从mnist数据集(真实数据分布p
data
)中采样得到m个样 本，表示为{x
(1)
、x
(2)
、
…
、x
(m)
}；
[0166]
步骤20422、从当前生成器g1～gk形成的分布中采样得到m个样本， 表示为{x
'(1)
、x
'(2)
、
…
、x
'(m)
}，并记录其来自的生成器的编号{u1，u2，...，um}；
[0167]
步骤20423、计算分类器c的损失函数；
[0168]
步骤20424、计算判别器d1的损失函数；
[0169]
步骤20425、计算判别器d2的损失函数；
[0170]
步骤20426、通过adam优化器反向传播更新判别器d1的参数来最大化 判别器d1的损失函数，使判别器d1最优；
[0171]
步骤20427、通过adam优化器反向传播更新判别器d2的参数来最大 化判别器d2的损失函数，使判别器d2最优；
[0172]
步骤20428、通过adam优化器反向传播更新判别器c的参数来最小化 分类器c的损失函数，使分类器c最优；
[0173]
步骤2043、训练生成器g1～gk，具体过程为：
[0174]
步骤20431、从当前生成器g1～gk形成的分布中采样得到m个样本， 表示为{x
'(1)
、x
'(2)
、
…
、x
'(m)
}，并记录其来自的生成器的编号{u1，u2，...，um}；
[0175]
步骤20432、计算生成器的损失函数；
[0176]
步骤20433、通过adam优化器反向传播更新生成器的参数来最小化生 成器g1～gk的损失函数，使生成器g1～gk最优。
[0177]
步骤三、所述双判别器加权混合生成对抗网络(d2wmgan网络)对目 标用户的真实手写数字图像进行处理，得到手写数字数据。
[0178]
实施例2
[0179]
本实施例与实施例1不同的是：步骤二中所述双判别器加权混合生成 对抗网络(d2wmgan网络)的训练过程还包括步骤205、对训练好的双判 别器加权混合生成对抗网络(d2wmgan网络)进行理论分析验证，验证在 最优判别器下，通过最小化生成数据与真实数
据之间的kl散度和反向kl 散度，生成器生成真实的手写数字数据。
[0180]
本实施例中，步骤205中所述对训练好的双判别器加权混合生成对抗 网络(d2wmgan网络)进行理论分析验证，验证在最优判别器下，通过最 小化生成数据与真实数据之间的kl散度和反向kl散度，生成器生成真实 的手写数字数据的具体过程为：
[0181]
步骤2051、双判别器加权混合生成对抗网络的目标函数分析：
[0182]
双判别器加权混合生成对抗网络(d2wmgan网络)的目标函数为：
[0183][0184]
其中，为正向目标函数， 为反向目标函数， 为分类损失；ρ
′
超参数为正向目标函数的权重且ρ
′ꢀ
的取值范围为0≤ρ
′
≤1，，ω
′
超参数为反向目标函数的权重且ω
′
的取值范 围为0≤ω
′
≤1，p
′
+ω
′
＝1；β为多样性超参数且β＞0，k为生成器个数(本 实施例中k的取值为10)；πk为混合概率系数(即第k个生成器在混合分 布中的权重)，为当x服从真实数据分布p
data
时[*]的数学期望,d1(x) 为当输入为x时判别器d1的输出，为当x服从多生成器形成的分 布p
model
时[*]的数学期望，d2(x)为当输入为x时判别器d2的输出，为 当x服从生成器gk分布时[*]的数学期望，ck(x)为x由生成器gk生成的概率；
[0185]
具体实施时，在没有先验信息的情况下，一般设置πk＝1/k且
[0186]
步骤2052、超参数的意义分析：
[0187]
步骤20521、通过调节ρ
′
、ω
′
能够控制kl散度和反向kl散度的加权和， 能够更好地利用kl散度和反向kl散度的互补特性学习真实数据分布；
[0188]
当ρ
′
＝1且ω
′
＝0时，只考虑双判别器加权混合生成对抗网络(d2wmgan 网络)的生成器和判别器，其目标函数变为正向目标函数，即
[0189][0190]
最优判别器为
[0191][0192]
p
data
(x)为真实数据分布p
data
的概率密度函数,p
model
(x)为多生成器形成 的分布p
model
的概率密度函数；
[0193]
基于最优判别器，最优生成器目标函数为
[0194][0195]
kl(p
data
||p
model
)为真实数据分布p
data
和多生成器形成的分布p
model
间的 kl散度；
[0196]
在这种情况下，网络的优化等价于kl散度的优化，有利于产生多模 式分布，但可
能会产生潜在的不良样本；
[0197]
当ρ
′
＝0且ω
′
＝1时，只考虑双判别器加权混合生成对抗网络(d2wmgan 网络)的生成器和判别器，其目标函数变为反向目标函数，即
[0198][0199]
最优判别器为
[0200][0201]
基于最优判别器，最优生成器目标函数为
[0202][0203]
kl(p
model
||p
data
)为真实数据分布p
data
和多生成器形成的分布p
model
间的 反向kl散度；
[0204]
在这种情况下，网络的优化等价于反向kl散度的优化，有利于更好 地捕获单个模式，但某些模式可能会丢失，出现模式崩溃现象；
[0205]
当双判别器加权混合生成对抗网络(d2wmgan网络)同时具有正向目 标函数和反向目标函数时，即ρ
′
+ω
′
＝1且0＜ρ
′
，ω
′
＜1，网络的优化相当于 优化kl散度和反向kl散度的加权和，利用kl散度和反向kl散度的互补 特性能够更好地学习真实数据分布；
[0206]
步骤20522、通过设置β值的大小来控制分类损失对生成器训练的影响，当β较大时，分类损失对生 成器的影响较大，生成器学到的分布模式较多，但可能会出现一些类似过 拟合的情况；当β较小时，分类损失对生成器的影响较小，生成器学到的 分布模式较少，但可能会出现一些类似欠拟合的情况；
[0207]
步骤2053、对双判别器加权混合生成对抗网络(d2wmgan网络)进行 理论分析，证明存在最优判别器和分类器，且在最优判别器和分类器下， 生成器可以通过最小化多生成器形成的分布p
model
与真实数据分布p
data
间 的kl散度和反向kl散度来学习到真实数据分布；
[0208]
理论1：固定生成器g1、g2……gk
和它们的混合概率系数π1、π2……
πk， 分别通过最大化和最小化目标函数j(g
1：k
，c，d1，d2)得到最优判别器和 最优分类器c
*
：
[0209][0210][0211][0212]
证明：
[0213]
双判别器加权混合生成对抗网络目标函数可以变为：
[0214][0215][0216]
给定x，求得最优判别器和使得j(g
1：k
，c，d1，d2)最大，即
[0217][0218][0219]
分别对j(g
1：k
，d1，d2)的积分内函数求d1，d2的偏导，并使它们等于0可 得：
[0220][0221][0222]
对于变量d1和d2，二阶导数和是非正的，因此可以得 到最优解，即最优判别器
[0223]
给定x，求最优分类器c
*
的过程就是使分类损失 最小的过程，当分类器c为最佳时，分类器能够很 好地进行分类，此时分类损失为0；
[0224]
理论2：给定最佳判别器和最优分类器c
*
，在纳什平衡下，当且 仅当p
model
＝p
data
时，达到最小值。
[0225][0226][0227]
表示在多生成器形成的分布p
model
等于真实数据分布 p
data
时的任意x；
[0228]
证明：
[0229]
将最优判别器和最佳分类器c
*
代入目标函数j(c
1：k
，c，d1，d2)中，可 得：
[0230][0231]
因ρ
′
+ω
′
＝1，所以
[0232][0233]
由于p
data
和p
model
间的kl散度kl(p
data
||p
model
)，以及p
data
和p
model
间的反 向kl散度kl(p
model
||p
data
)总是非负的，当且仅当p
model
＝p
data
时，它们的值 为0，此时达到最小值，即生成器达到最优，生成器能 够学习到真实数据的全部分布，生成器能够生成真实的手写数字数据。
[0234]
其余方法均与实施例1相同。
[0235]
为了验证本发明能够产生的技术效果，进行了仿真试验如下：
[0236]
1、实验环境：
[0237]
本发明的仿真实验环境为：处理器为inter xeon e5-2620 v4，操作 系统为64位windows 10，显卡为nvidia geforce rtx 2080ti，使用pycharm 编辑器，使用python3.7版本，使用tensorflow深度学习框架；使用mnist 手写数字图像，数据集包含70000张手写数字图片，其中60000张为训练 集，10000张为测试集，本实验仅用到60000张训练数据集。
[0238]
2、仿真实验内容：
[0239]
分别在原始生成对抗网络、双判别生成对抗网络和混合生成对抗网络 以及双判别器加权混合生成对抗网络上生成手写数字图片，除自身算法外， 网络结构基本保持一致，均包含为一层隐含层，迭代训练相同次数，对生 成手写数字结果进行对比，结果如图5、
图6、图7和图8所示。
[0240]
3、仿真结果分析：
[0241]
从图5和图6可以看出gan和d2gan生成的手写数字没有包含0～9 所有数字，而且生成的数字不清晰，还存在很多噪声和一些无法辨认的样 本。原因在于gan在训练过程中，找到一种较容易骗过判别器的模式，从 而生成这种模式的概率越来越大，导致生成的手写数字类型较少；d2gan 生成了较多类型手写数字，说明它可以学习到大多数的分布，但仍有部分 分布被遗忘；图7和图8为mgan和d2wmgan生成的手写数字，图中每一 行数字样本都由同一个生成器生成，从图7可以看出mgan虽然能够生成 0～9所有数字，但是存在个别生成器生成的一些数字形状相同即发生单个 生成器模式崩溃问题，而从图8可以直观地看出d2wmgan可以生成清晰逼 真的0～9内所有手写数字，且每个生成器基本上都能学习到一种数字分 布，同时每个生成器生成的同一个数字的手写样式也互不相同，说明 d2wmgan生成的多样性更好，验证了该模型能够解决模型崩溃问题。
[0242]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、 或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施 例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个 或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不 限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形 式。
[0243]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程 序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现 流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图 中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、 专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一 个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令 产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多 个方框中指定的功能的装置。
[0244]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处 理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读 存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一 个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0245]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备 上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机 实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现 在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定 的功能的步骤。
[0246]
前述对本发明的具体示例性实施方案的描述是为了说明和例证的目 的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根 据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述 的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术 人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同 的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。
[0247]
以上所述，仅是本发明的较佳实施例，并非对本发明作任何限制，凡 是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效 结构变化，均仍属于本发明
技术方案的保护范围内。