基于高斯混合变分自编码器的图像生成方法

本发明属于深度学习，主要涉及图像的处理，具体是一种基于高斯混合变分自编码器的图像生成方法。

背景技术：

1、机器学习中监督学习是指输入数据中有标签，这类学习方式学习到的模型可以分为生成模型和判别模型，其中生成模型即从某分布中选取若干样本作为训练集，然后由该模型学习模拟其真实概率分布，从其中采样可以得到一些与观测值相似但不相同的数据。图像生成任务就是其应用的一大分支，一直是人工智能及机器学习领域的重要研究内容，而变分自编码器作为一个具有扎实理论基础的生成模型，通过变分近似的方式对极大似然函数进行估计，将求解问题转化为证据下界的极值问题。本发明致力于优化传统变分自编码器的结构，从而解决关于图像生成的问题。

2、目前，国内外很多研究人员及机构都在做图像生成工作，传统的生成模型还有自回归模型，其利用链式法则求解条件概率的连乘积，但是缺点在于后面的元素值依赖于之前的，效率较低，其会造成误差累积；另外，生成对抗网络也是广泛采用的方法，简洁快速效率高，但是训练过程不稳定；还有蒙特卡洛方法等，也存在效率低等缺陷。使用变分自编码器解决生成任务的研究一直经久不衰，与前面提到的方法相比，其具有训练简单结果有效的优点，但是在标准变分自编码器中的假设过于严格，难以达到模拟真实分布的效果，而且存在隐空间解耦不足的问题，使得模型表现性不足，生成图像质量有待提升。

技术实现思路

1、针对现有技术的以上缺陷或改进需求，本发明提供了一种基于高斯混合变分自编码器的图像聚类和生成方法，其目的在于保证真实性和多样性的条件下，解决图像的生成问题，利用变分自编码器模型实现图像的聚类及生成。本发明涉及变分自编码器模型的理论改进和方法推导，在实验效果上取得了一定的进步，不仅在指标上有提升且生成结果更加逼真。

2、为实现上述目的，按照本发明的一个方面，提供了一种基于高斯混合变分自编码器的图像生成方法，包括如下步骤：

3、步骤1，图像数据集准备：根据生成任务采集所需的图像数据，并对所有图像赋予标签；

4、步骤2，构造以高斯混合变分自编码器为基础的生成模型，所述生成模型包括编码器和解码器，编码器包括线性层、二维卷积、归一化层和leakyrelu激活函数，输出隐变量和对应的均值、方差，即：，通过重参数化，表示权重系数，是添加的辅助噪声变量，表示哈达玛积矩阵按位乘法；将其作为解码器的输入，解码器的输出层将输出原始样本的重构样本，即：；解码器与编码器结构对称，同样由线性层、二维卷积层、归一化层和leakyrelu激活函数组成，输入与输出图像大小对齐、通道数一致；

5、步骤3，构建生成模型的损失函数并进行训练，利用训练好的生成模型实现图像生成；

6、所述损失函数包括两个部分，第一部分为优化变分自编码器对数似然函数的近似证据下界，第二部分为fisher判别式作为对训练过程约束的。

7、进一步的，损失函数的具体计算方式如下：

8、编码器和解码器分别用概率函数和近似计算，表示观测到的真实值，表示中间过程产生的隐向量，表示单个子高斯分布，表示子分布的权重系数；假设先验的分布函数服从混合高斯模型，证据下界定义为对数似然函数的期望：

9、

10、为了约束隐空间中的分布及分量，引入fisher正则化项作为优化网络的总损失函数，即：

11、

12、其中，解码器模型的联合概率分布可以分解为若干边缘概率和条件概率的乘积，即

13、，

14、其中的分布与的分布有依赖关系，假设先验服从高斯分布时，令服从标准正态分布，则，可以求出，且在的条件下生成，服从混合高斯分布，在的条件下生成，可以假设为高斯分布或伯努利分布；和为边缘概率，和为条件概率；

15、在编码阶段，在的条件下生成，在w和z的条件下生成，其联合概率密度表示为以下乘积形式：

16、

17、其中，、和均为为条件概率；在实现中， p(*)相关的概率都相当于是真实概率，q(*)相关的概率都是神经网络计算得到的概率。

18、进一步的，损失函数的第一项经由贝叶斯公式、因式分解运算后，分解为以下四项：

19、

20、

21、

22、其中表示子分布的权重系数，当先验项服从高斯分布时，计算为kl散度；当先验项服从均匀分布时，计算为信息熵；条件先验项约束每个子分布之间的距离，重构项可视生成任务采用交叉熵损失函数或均方误差进行计算；第一项为w先验项w-prior，计算假设值与真实值的kl散度，和第二项z先验z-prior共同约束隐变量所服从的高斯混合模型，使其内部的每个子分布与标准高斯分布越接近越好；条件先验项conditional prior约束每个子分布之间的距离；重构项reconstruction term表示生成数据与观测值之间的差距。

23、进一步的，正则化项的计算公式如下：

24、

25、其中，最小化类内距离，最大化类间距离，、表示子分布的均值和方差，表示子分布的权重，k表示子分布个数，假设每个子高斯分布的采样数量相同，表示求矩阵a的迹。

26、进一步的，对第二项z先验项的kl散度计算拆分成以下形式，引出全相关项a，其含义表示隐空间中每个子分布的独立隐变量越分散越好，自然地引入了解耦机制，具体计算方法为：

27、

28、

29、

30、其中b旨在最小化每个子高斯分布生成的推断函数与先验之间的距离，由于表示一组变量而非单个变量，所以可以继续递归地分解，即当包含子变量时，该项可以进一步在形式上相似地分解为：

31、

32、其中k为子分布个数，d为单个子分布中变量维数，总损失函数表示为：

33、

34、。

35、进一步的，步骤1中采集n张输入图像，构成数据集，其中为输入的第张图，为其对应标签，对这些图像进行数据预处理，将用于训练的图像数据都处理成统一的rgb格式，64×64大小。

36、进一步的，步骤1所述的图像数据集中的图像数据属于同一类别且具有不同特征。

37、与现有技术相比，本发明能够取得以下有益效果：

38、（1）本发明是基于高斯混合变分自编码器的图像生成方法，融合了高斯混合模型的多样性和变分自编码器的生成能力，使得网络建模更全面，在重构中保持其还原性，在生成中保持其真实性。

39、（2）采用层次化解耦优化损失函数，使耦合的特征相分离，与传统的变分自编码器解耦方式不同，平衡了各子高斯分布之间和内部各变量间的独立性。

40、（3）引入了费雪判别式作正则，能够控制类内距离和类间距离，在图像生成和聚类中提高对各个类的分辨能力。

技术特征：

1.一种基于高斯混合变分自编码器的图像生成方法，其特征在于，包括如下步骤：

2.如权利要求1所述的一种基于高斯混合变分自编码器的图像生成方法，其特征在于：损失函数的具体计算方式如下：

3.如权利要求2所述的一种基于高斯混合变分自编码器的图像生成方法，其特征在于：损失函数的第一项经由贝叶斯公式、因式分解运算后，分解为以下四项：

4.如权利要求2所述的一种基于高斯混合变分自编码器的图像生成方法，其特征在于：正则化项的计算公式如下：

5.如权利要求3所述的一种基于高斯混合变分自编码器的图像生成方法，其特征在于：对第二项z先验项的kl散度计算拆分成以下形式，引出全相关项a，其含义表示隐空间中每个子分布的独立隐变量越分散越好，自然地引入了解耦机制，具体计算方法为：

6.如权利要求1所述的一种基于高斯混合变分自编码器的图像生成方法，其特征在于：步骤1中采集n张输入图像，构成数据集，其中为输入的第张图，为其对应标签，对这些图像进行数据预处理，将用于训练的图像数据都处理成统一的rgb格式，64×64大小。

7.如权利要求1所述的一种基于高斯混合变分自编码器的图像生成方法，其特征在于：步骤1所述的图像数据集中的图像数据属于同一类别且具有不同特征。

技术总结
本发明公开了一种基于高斯混合变分自编码器的图像生成方法。实现步骤包括：数据集划分与数据预处理；构造以高斯混合变分自编码器为基础的生成模型，在损失函数中引入全相关项的解耦机制和费雪尔正则；训练生成模型；根据上游任务实现图像生成或聚类。本发明采用了更合理的建模方式，对隐空间覆盖更全面，使得重构更加精确，对隐空间的特征解耦使得生成图像在观感上更具多样性，且兼顾人类视角下的特征变化，在生成和先验之间的追求平衡，对分类的样本间距加以约束，内存复杂性低，网络结构简单，在性能和指标上都取得了不错的表现，可应用于高维图像生成任务。

技术研发人员：杜小勤,刘咏琪,周佳爽,文吾琦
受保护的技术使用者：武汉纺织大学
技术研发日：
技术公布日：2024/1/16