混合模型的确定方法及装置的制造方法
【技术领域】
[0001] 本发明涉及统计技术领域，特别涉及一种混合模型的确定方法及装置。
【背景技术】
[0002] 随着统计技术的不断发展，利用混合概率密度函数(或概率分布列)来估计数据密 度，实现复杂分布构建、数据聚类等应用的混合模型被广泛应用于工业实践中。例如，通过 混合模型进行文本分类、手写识别、模糊图像分割、行为检测等等。混合模型是一类概率模 型，种类有多种，包括高斯混合模型和随机关系模型等等。无论哪种混合模型，均可以由隐 变量的变分分布和模型参数确定。隐变量是指不能被直接观测到，而需要通过样本数据推 导得出的变量，隐变量的变分分布用于描述样本数据被聚类到对应类别的概率；模型参数 用于描述每个类别下子模型的参数。随着混合模型的应用范围越来越广，如何确定混合模 型，成为了目前机器学习领域的一个研究热点。
[0003] 目前，文章 Stochastic Variational Inference, Matt Hoffman et al. , Journal of Machine Learning Research, 2013.中给出了一种确定混合模型的方式。该方式下， 首先，获取根据样本数据、隐变量及模型参数确定的对数似然及隐变量的变分分布的对数； 其次，基于随机平均场变分推理理论根据对数似然及隐变量的变分分布的对数推断目标函 数；再次，根据从样本数据中抽取的子样本数据确定收敛的模型参数及隐变量，确定使目标 函数收敛的隐变量的变分分布及模型参数；最后，根据使目标函数收敛的隐变量的变分分 布及模型参数确定混合模型。
[0004] 在实现本发明的过程中，发明人发现现有技术至少存在以下问题：
[0005] 由于目标函数根据对数似然及隐变量的变分分布的对数确定，因而通过该种目标 函数所确定的混合模型的复杂度较高。
【发明内容】
[0006] 为了解决现有技术的问题，本发明实施例提供了一种混合模型的确定方法及装 置。所述技术方案如下：
[0007] 第一方面，提供了一种混合模型的确定方法，所述方法包括：
[0008] 获取根据样本数据、隐变量及组件参数确定的对数似然、正则项及隐变量的变分 分布的对数，并根据所述对数似然、正则项及隐变量的变分分布的对数确定目标函数；
[0009] 根据从所述样本数据中抽取的子样本数据确定使所述目标函数收敛的隐变量的 变分分布及组件参数，根据使所述目标函数收敛的隐变量的变分分布及组件参数确定混合 模型。
[0010] 结合第一方面，在第一方面的第一种可能的实现方式中，根据所述样本数据、隐变 量及组件参数确定的对数似然为：
[0011] logp(xN,ZN| 0)；
[0012] 其中，所述logp 0表示对数似然，所述p表示联合概率密度函数，所述xN为样本 数据，所述N为样本数据个数，所述ZNS隐变量，所述0为组件参数的集合，所述组件参数 包括a、口，所述a为组件混合比率，所述W表示每个组件的子模型参数。
[0013] 结合第一方面，在第一方面的第二种可能的实现方式中，根据所述样本数据、隐变 量及组件参数确定的正则项为：
[0015] 其中，所述N为样本数据个数；所述C为组件个数，所述zn。为隐变量；所述g()为 隐变量的变分分布的近似值；所述a为组件混合比率，所述Da为所述a的维度，所述D。为 所述组件c的子模型参数的维度，L (a，b) =logb+ (a-b) /b，所述a为，所述b为)。
[0016] 结合第一方面，在第一方面的第三种可能的实现方式中，根据所述样本数据、隐变 量及组件参数确定的隐变量的变分分布的对数为：
[0017]logq(ZN)；
[0018] 其中，所述q(ZN)为隐变量ZN的变分分布，所述N为样本数据个数。
[0019] 结合第一方面至第一方面的第三种可能的实现方式中的任一种实现方式，在第一 方面的第四种可能的实现方式中，所述根据所述对数似然、正则项及隐变量的变分分布的 对数确定目标函数，包括：
[0020] 根据所述对数似然的期望值、所述正则项的期望值及所述隐变量的变分分布的对 数的期望值确定目标函数。
[0021] 结合第一方面的第四种可能的实现方式，在第一方面的第五种可能的实现方式 中，根据所述对数似然的期望值、所述正则项的期望值及所述隐变量的变分分布的对数的 期望值确定的目标函数为：
[0023] 结合第一方面的第五种可能的实现方式，在第一方面的第六种可能的实现方式 中，所述根据从所述样本数据中抽取的子样本数据确定使所述目标函数收敛的隐变量的变 分分布及组件参数，包括：
[0024] 根据从所述样本数据中抽取的每个子样本数据获取隐变量的变分分布及组件参 数；
[0025] 根据所述隐变量的变分分布及所述组件参数确定所述目标函数是否收敛，如果所 述目标函数未收敛，则重新根据从所述样本数据中抽取的每个子样本数据获取隐变量的变 分分布及组件参数，直至得到使所述目标函数收敛的隐变量的变分分布及组件参数。
[0026] 结合第一方面的第六种可能的实现方式，在第一方面的第七种可能的实现方式 中，所述根据从所述样本数据中抽取的每个子样本数据获取隐变量的变分分布及组件参 数，包括：
[0027] 根据从所述样本数据中抽取的每个子样本数据获取每个子样本数据对应的隐变 量的变分分布，并根据每个子样本数据对应的隐变量的变分分布获取每个子样本数据对应 的组件参数中间值；
[0028] 根据每个子样本数据对应的组件参数中间值确定组件参数的平均值，并根据所述 组件参数的平均值获取组件参数。
[0029] 结合第一方面的第七种可能的实现方式，在第一方面的第八种可能的实现方式 中，根据从所述样本数据中抽取的每个子样本数据按照如下公式获取每个子样本数据对应 的隐变量的变分分布：
[0030]
[0031] 根据每个子样本数据对应的隐变量的变分分布按照如下公式获取每个子样本数 据对应的组件参数中间值岭和今：
[0035] 根据各个子样本数据对应的组件参数中间值按照如下公式确定组件参数的平均 值夂和戎：
[0037] 根据所述组件参数的平均值按照如下公式获取组件参数<和< :
[0039] 所述t代表当前获取，所述t_l代表上一次获取或初始化，所述P为更新步长，所 述为第c个组件下第I m个子样本数据对应的隐变量的变分分布，所述S为子样本数 据集合，所述为子样本数据集合中的第Im个子样本数据，所述a。为第c个组件的组件 参数 a，所述A为第c个组件的组件参数炉。
[0040] 结合第一方面的第六种至第八种可能的实现方式中任一种可能的实现方式，在第 一方面的第九种可能的实现方式中，所述根据所述隐变量的变分分布及所述组件参数确定 所述目标函数是否收敛，包括：
[0041] 比较根据所述隐变量的变分分布及组件参数确定的目标函数值与上一次得到的 目标函数值之间的距离是否小于阈值，所述上一次得到的目标函数值根据上一次获取到的 隐变量的变分分布及组件参数确定；
[0042] 如果根据所述隐变量的变分分布及组件参数确定的目标函数值与上一次得到的 目标函数值之间的距离小于阈值，则确定所述目标函数收敛。
[0043] 第二方面，提供了一种混合模型的确定装置，所述装置包括：
[0044] 获取模块，用于获取根据样本数据、隐变量及组件参数确定的对数似然、正则项及 隐变量的变分分布的对数；
[0045] 第一确定模块，用于根据所述对数似然、正则项及隐变量的变分分布的对数确定 目标函数；
[0046] 第二确定模块，用于根据从所述样本数据中抽取的子样本数据确定使所述目标函 数收敛的隐变量的变分分布及组件参数；
[0047] 第三确定模块，用于根据使所述目标函数收敛的隐变量的变分分布及组件参数确 定混合模型。
[0048] 结合第二方面，在第二方面的第一种可能的实现方式中，所述获取模块获取到的 对数似然为：
[0049] logp(xN，ZN| 0 );
[0050] 其中，所述logp 0表示对数似然，所述p表示联合概率密度函数，所述xN为样本 数据，所述N为样本数据个数，所述ZN为隐变量，所述0为组件参数的集合，所述组件参数 包括a、炉，所述 a为组件混合比率，所述p表示每个组件的子模型参数。
[0051] 结合第二方面，在第二方面的第二种可能的实现方式中，所述获取模块获取到的 正则项为：
[0053] 其中，所述N为样本数据个数；所述C为组件个数，所述zn。为隐变量；所述5 ()为 隐变量的变分分布的近似值；所述a为组件混合比率，所述Da为所述a的维度，所述D。为 所述组件c的子模型参数的维度，L(a, b)=logb+(a_b)/b，所述a为
[0054] 结合第二方面，在第二方面的第三种可能的实现方式中，所述获取模块获取到的 隐变量的变分分布的对数为：
[0055] logq(ZN)；
[0056] 其中，所述q(ZN)为隐变量ZN的变分分布，所述N为样本数据个数。
[0057] 结合第二方面至第二方面的第三种可能的实现方式中的任一种可能的实现方式， 在第二方面的第四种可能的实现方式中，所述第一确定模块，用于根据所述对数似然的期 望值、所述正则项的期望值及所述隐变量的变分分布的对数的期望值确定目标函数。
[0058] 结合第二方面的第四种可能的实现方式，在第二方面的第五种可能的实现方式 中，所述第一确定模块确定的目标函数％CZ^U/, )为：
[0060] 结合第二方面的第五种可能的实现方式，在第二方面的第六种可能的实现方式 中，所述第二确定模块，包括：
[0061] 获取单元，用于根据从所述样本数据中抽取的每个子样本数据获取隐变量的变分 分布及组件参数；
[0062] 确定单元，用于根据所述隐变量的变分分布及所述组件参数确定所述目标函数是 否收敛；
[0063] 所述获取单元，用于当所述目标函数未收敛时，重新根据从所述样本数据中抽取 的每个子样本数据获取隐变量的变分分布及组件参数，直至得到使所述目标函数收敛的隐 变量的变分分布及组件参数。
[0064] 结合第二方面的第六种可能的实现方式，在第二方面的第七种可能的实现方式 中，所述获取单元，包括：
[0065] 第一获取子单元，用于根据从所述样本数据中抽取的每个子样本数据获取每个子 样本数据对应的隐变量的变分分布；
[0066] 第二获取子单元，用于根据每个子样本数据对应的隐变量的变分分布获取每个子 样本数据对应的组件参数中间值；
[0067] 第一确定子单元，用于根据每个子样本数据对应的组件参数中间值确定组件参数 的平均值；
[0068] 第三获取子单元，用于根据所述组件参数的平均值获取组件参数。
[0069] 结合第二方面的第七种可能的实现方式，在第二方面的第八种可能的实现方式 中，所述第一获取子单元，用于根据从所述样本数据中抽取的每个子样本数据按照如下公 式获取每个子样本