一种基于深度学习的聚类方法
【专利摘要】本发明公开了一种基于深度学习的聚类方法，该方法包括以下步骤：得到深度神经网络的初始网络权重；对样本进行随机分组并映射到特征空间；将原始深度神经网络的目标函数加入特征层的类内约束函数；更新深度神经网络的网络权重，计算得到新的特征层；将每个样本分配至最近聚类中心所在的类组，计算新的聚类中心；以新的聚类中心代替类内约束函数的聚类中心，返回网络权重更新步骤进行迭代，得到并输出最终聚类分组结果。本发明将样本从不易聚类的原始数据空间，通过深度神经网络的非线性映射，得到高度可分的特征用于聚类，并且可以不断优化网络结构得到更好的聚类效果，本发明以较小的内存消耗以及较高的聚类精度优于常规聚类算法。
【专利说明】一种基于深度学习的聚类方法
【技术领域】
[0001]本发明涉及模式识别、机器学习【技术领域】，特别涉及一种基于深度学习的聚类方法。
【背景技术】
[0002]目前，传统聚类算法只是适用于在数据空间线性可分的情形，比如K均值算法。但是，随着数据量的增加以及数据复杂度的增大，传统的聚类算法已经无法胜任复杂大规模数据背景下的聚类任务。虽然最近有一些聚类算法被提出用于解决这种问题，如谱聚类等算法，但是由于此类算法需要极大的内存消耗，以至于无法胜任大数据的背景环境。
[0003]因此，鉴于以往的方法很难满足目前对于大规模复杂数据聚类的需要，本发明提出一种基于深度学习的聚类方法来实现对于大规模复杂数据的聚类，该方法可以将在原始数据空间相互交叠的数据通过非线性映射得到高度可分的特征空间，并可以利用类内约束通过迭代更新非线性映射网络以得到最佳聚类效果。本发明方法既解决了传统聚类方法无法解决的原始数据空间交叠状况下的聚类问题，也解决了最近提出的其他聚类方法大量消耗内存的问题，使得当前复杂的大数据背景下的聚类问题得到很好的解决。
【发明内容】
[0004]为了解决现有技术存在的问题，本发明的目的在于提供一种基于深度学习的聚类方法，本发明将样本从不易聚类的原始数据空间，通过深度神经网络的非线性映射，得到高度可分的特征用于聚类，并且可以不断优化网络结构得到更好的聚类效果，本发明以较小的内存消耗以及较高的聚类精度优于常规聚类算法。
[0005]本发明提出的一种基于深度学习的大规模聚类方法包括以下步骤:
[0006]步骤SI，对于一样本集合，得到深度神经网络的初始网络权重；
[0007]步骤S2，对所述样本集合中所有的样本进行随机分组，得到所述样本集合的初始聚类分组，并为每个样本分配初始聚类标签；
[0008]步骤S3，将所述样本集合中所有的样本通过所述深度神经网络映射到特征空间，并计算所有初始聚类分组的平均值，作为相应聚类分组的新的聚类中心；
[0009]步骤S4，将原始深度神经网络的目标函数加入特征层的类内约束函数，得到新的深度神经网络，使得每个聚类分组中的所有样本在特征层与所述新的聚类中心的距离最小;
[0010]步骤S5，利用所述步骤S4得到的新的深度神经网络更新其网络权重；
[0011]步骤S6，利用所述步骤S5得到的更新网络权重后的深度神经网络，计算得到新的特征层，并基于此与之前的所有聚类中心进行比较，将每个样本分配至与其距离最近的聚类中心所在的类组，并为每个样本分配新的聚类标签；
[0012]步骤S7，对于所述步骤S6中得到的新的聚类分组计算每个分组的均值作为新的聚类中心；[0013]步骤S8，以所述步骤S7中得到的新的聚类中心代替所述步骤S4中类内约束函数的聚类中心；
[0014]步骤S9，返回所述步骤S5进行迭代，直到聚类效果达到最优或者满足迭代次数要求，得到并输出最终聚类分组结果。
[0015] 根据本发明的方法，可以将样本从不易分类的原始数据空间通过深度神经网络的非线性映射将其投影至高度可分的特征空间，并通过在特征空间加入类内约束，使得特征空间的样本类内分布更加紧致，非常适合聚类。本发明既解决了传统聚类方法(如K均值)无法解决的非线性分布的数据聚类问题，也解决了谱聚类等方法的大内存消耗问题。
【专利附图】
【附图说明】
[0016]图1是本发明基于深度学习的聚类方法的流程图。
【具体实施方式】
[0017]为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
[0018]本发明采用深度神经网络的非线性映射的方法进行聚类。传统的聚类主要包括空间映射，选取聚类中心并分组，更新聚类中心等三部分。在此基础上，本发明首先采用深度神经网络的非线性映射将原始数据映射至特征空间，然后在特征空间分组并计算每组均值作为聚类中心，在此基础上对深度神经网络的目标函数加入类内约束继续训练网络，最后利用训练好的网络将数据映射至特征空间并再次聚类，直到聚类效果达到最优。
[0019]图1是本发明基于深度学习的聚类方法的流程图，如图1所示，所述方法包括以下步骤:
[0020]步骤SI，对于一样本集合，利用深度神经网络进行训练得到所述深度神经网络的初始网络权重；
[0021]在本发明一实施例中，利用由四层约束玻兹曼机(RBM, RestrictedBoltzmannMachine)组成的深度神经网络进行训练得到初始网络权重，所述四层深度神经网络的网络结构可表示为N-1000-500-250-10，其中N表示样本维数，其实，所述深度神经网络的初始网络权重也可以随机给定。
[0022]其中，对于神经网络进行训练得到初始网络权重属于本领域的现有技术，在此不作赘述。
[0023]步骤S2，对所述样本集合中所有的样本进行随机分组，得到所述样本集合的初始聚类分组，并为每个样本分配初始聚类标签；
[0024]在本发明一实施例中，将所有的样本随机分为k组，得到每个样本的初始聚类标签L= [I17I2,…，1N]，其中N表示样本的数量，I表示样本的聚类标签，即所属的类组，计算每类样本的均值，并通过所述初始网络权重得到对应的特征层表达作为初始的聚类中心C；
[0025]步骤S3，将所述样本集合中所有的样本通过所述深度神经网络映射到特征空间，并计算所有初始聚类分组的平均值，作为相应聚类分组的新的聚类中心；
[0026]该步骤意为对样本进行非线性映射，得到特征空间，形成适合聚类的分布。在本发明一实施例中，所述四层深度神经网络为自编码auto-encoder网络,所述自编码网络分为编码(encode)和解码(decode)两部分，其中编码部分的映射函数为f(x)，解码部分的映射函数为g(x)，其都是由高度非线性sigmoid函数组成的。
[0027]步骤S4，将原始深度神经网络的目标函数加入特征层的类内约束函数，得到新的深度神经网络，使得每个聚类分组中的所有样本在特征层与所述新的聚类中心的距离最小;
[0028]其中，加入特征层的类内约束函数的新的深度神经网络目标函数表示为:
[0029]
【权利要求】
1.一种基于深度学习的大规模聚类方法，其特征在于，该方法包括以下步骤: 步骤Si，对于一样本集合，得到深度神经网络的初始网络权重； 步骤S2，对所述样本集合中所有的样本进行随机分组，得到所述样本集合的初始聚类分组，并为每个样本分配初始聚类标签； 步骤S3，将所述样本集合中所有的样本通过所述深度神经网络映射到特征空间，并计算所有初始聚类分组的平均值，作为相应聚类分组的新的聚类中心； 步骤S4，将原始深度神经网络的目标函数加入特征层的类内约束函数，得到新的深度神经网络，使得每个聚类分组中的所有样本在特征层与所述新的聚类中心的距离最小； 步骤S5，利用所述步骤S4得到的新的深度神经网络更新其网络权重； 步骤S6，利用所述步骤S5得到的更新网络权重后的深度神经网络，计算得到新的特征层，并基于此与之前的所有聚类中心进行比较，将每个样本分配至与其距离最近的聚类中心所在的类组，并为每个样本分配新的聚类标签； 步骤S7，对于所述步骤S6中得到的新的聚类分组计算每个分组的均值作为新的聚类中心； 步骤S8，以所述步骤S7中得到的新的聚类中心代替所述步骤S4中类内约束函数的聚类中心； 步骤S9，返回所述步骤S5进行迭代，直到聚类效果达到最优或者满足迭代次数要求，得到并输出最终聚类分组结果。
2.根据权利要求1所述`的方法，其特征在于，所述深度神经网络为由四层约束玻兹曼机(RBM)组成的深度神经网络。
3.根据权利要求2所述的方法，其特征在于，所述深度神经网络的网络结构表示为N-1000-500-250-10，其中，N表示样本维数。
4.根据权利要求1所述的方法，其特征在于，所述步骤SI中，利用深度神经网络进行训练得到所述深度神经网络的初始网络权重，或者随机给定所述深度神经网络的初始网络权重。
5.根据权利要求1所述的方法，其特征在于，所述四层深度神经网络为自编码网络。
6.根据权利要求5所述的方法，其特征在于，所述自编码网络分为编码和解码两部分，其中编码部分的映射函数为f(x)，解码部分的映射函数为g(x)，其都是由高度非线性sigmoid函数组成的。
7.根据权利要求1所述的方法，其特征在于，所述步骤S2中，将所有的样本随机分为k组，得到每个样本的初始聚类标签L = [I1,12,..., In],其中N表示样本的数量,I表示样本的聚类标签。
8.根据权利要求1所述的方法，其特征在于，所述步骤S2还包括计算每类样本的均值，并通过所述初始网络权重得到对应的特征层表达作为初始的聚类中心C的步骤。
9.根据权利要求1所述的方法，其特征在于，加入特征层的类内约束函数的新的深度神经网络目标函数表示为:
10.根据权利要求1所述的方法，其特征在于，所述步骤S9中，使用聚类的纯度和标准互信熵作为聚类分组的评价 指标。
【文档编号】G06N3/08GK103530689SQ201310530626
【公开日】2014年1月22日 申请日期:2013年10月31日 优先权日:2013年10月31日
【发明者】谭铁牛, 王亮, 黄永祯, 宋纯锋 申请人:中国科学院自动化研究所