基于特征相关隐式编码的标签空间降维方法及系统的制作方法
【专利摘要】本发明提出一种基于特征相关隐式编码的标签空间降维方法，包括以下步骤：提供训练数据集；根据训练数据集构造特征矩阵和标注矩阵；根据特征矩阵得到降维矩阵与特征矩阵的最优相关函数，并根据标注矩阵得到降维矩阵与标注矩阵的最优恢复误差函数；根据最优相关函数和最优恢复误差函数构造目标函数；应用目标函数优化降维矩阵，并根据优化后的降维矩阵求解出解码矩阵；利用优化后的降维矩阵学习训练以获取预测模型；提取测试实例特征，并利用预测模型预测测试实例在潜语义空间中的表示；以及利用解码矩阵对测试实例在潜语义空间中的表示进行解码，以获取测试实例在原始标签空间的分类结果。本发明的方法，压缩率大、稳定性好、普适性强。
【专利说明】基于特征相关隐式编码的标签空间降维方法及系统
【技术领域】
[0001]本发明涉及计算机软件技术，尤其涉及一种基于特征相关隐式编码的标签空间降维方法及系统。
【背景技术】
[0002]多标签分类技术(Mult1-label classification)主要用于将某个实例划分到一个或者多个类别之中，从而能更加完整、细致地描述实例的特征，而实例所归属的类别亦被称为其所对应的标签(Label)。多标签分类技术在现实中有着十分广泛的应用，诸如多标签文本分类、图像语义标注、音频情感分析等等。近年来，随着网络应用的大量涌现与迅猛发展，多标签分类应用开始面临数据量膨胀所带来的诸多挑战和困难，其中包括标签空间的快速增长等。例如，在图片分享网站Flickr上，用户在上传图片时可以从数以百万计甚至更多的词汇表中选择若干用于描述图片的内容。对于诸如网络图像语义标注等借助于Flickr数据的多标签分类应用而言，这些文本词汇将被视为不同的标签，从而如此庞大的标签数量将给这些应用底层的算法学习过程带来成本上的极大提升。对于多标签分类而言，目前大量方法的基本思想仍然是将其分解为多个二分类问题，即为每一个标签训练相应的预测模型(Predictive model)用于判断一个实例是否属于该标签,最终将该实例所归属的所有标签作为其对应的多个描述。当标签空间急速膨胀，即标签数量十分庞大时，这些方法所需要训练的预测模型数量也急速增加，从而导致其训练成本极大上升。
[0003]标签空间降维的出现为解决标签数量庞大情况下的多标签分类问题指出了一个可行的探索方向，并提供了技术支撑，近几年来逐步成为了研究界的一个热点，并涌现出了若干优秀的降维方法。例如，利用原始标签空间的稀疏性，通过借助压缩感知(Compressedsensing)方法进行标签空间的降维，并利用其对应的解码算法进行从潜语义空间到原始标签空间的恢复。在此方案的基础上有研究者进一步将降维过程与预测模型的学习过程统一到同一个概率模型框架下，进而通过同时优化上述两个过程获得分类性能的提升。另夕卜，有些研究也将主成分分析方法(Principal component analysis)应用到标签空间降维上，称为Principal label space transformation方法。进一步地，有研究者将特征空间与潜语义空间之间的相关性考虑进来，提出了 Feature-ware conditional principallabel space transformation方法,获得了较为明显的性能提升。另有研究者也提出了利用线性的高斯随机投影方向对原始标签空间进行映射，并保留映射后的符号值作为降维结果，而解码过程则是利用一系列基于KL散度(Kullback-Leibler divergence)的假设测试来实现。还有研究者直接通过对训练数据的标注矩阵进行布尔矩阵分解(Boolean matrixdecomposition)，得到降维矩阵和解码矩阵，其中，降维矩阵即为降维结果，而解码矩阵则是将潜语义空间恢复到原始标签空间的线性映射。
[0004]从目前的研究来看，主要的解决方案是预先假定一个显式编码函数，并且通常取为线性函数。但由于高维空间结构的复杂性，显式编码函数可能无法精确地描述原始标签空间到最优的潜语义空间之间的映射关系，从而影响最终的降维结果。此外，尽管有少量工作可以不假定显式编码函数，而是直接学习降维结果，但目前这些工作却没有将潜语义空间与特征空间的相关性考虑进来，可能导致最终得到的降维结果难以被从特征空间上学习到的预测模型所描述，从而导致最终的分类性能不佳。
【发明内容】
[0005]本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的一个目的在于提出一种具有信息考虑充分、分类性能保持度高、标签空间压缩率大、稳定性好、普适性强的基于特征相关隐式编码的标签空间降维方法。
[0006]本发明的另一个目的在于提出一种基于特征相关隐式编码的标签空间降维系统。
[0007]本发明第一方面实施例提出了一种基于特征相关隐式编码的标签空间降维方法，包括以下步骤:提供训练数据集；根据所述训练数据集构造特征矩阵和标注矩阵；根据所述特征矩阵得到降维矩阵与所述特征矩阵的最优相关函数，并根据所述标注矩阵得到所述降维矩阵与所述标注矩阵的最优恢复误差函数；根据所述最优相关函数和所述最优恢复误差函数构造目标函数；应用所述目标函数优化所述降维矩阵，并根据优化后的降维矩阵求解出解码矩阵；利用所述优化后的降维矩阵学习训练以获取预测模型；提取测试实例特征，并利用所述预测模型预测所述测试实例在潜语义空间中的表示；以及利用所述解码矩阵对所述测试实例在所述潜语义空间中的表示进行解码，以获取所述测试实例在原始标签空间的分类结果。
[0008]根据本发明实施例的基于特征相关隐式编码的标签空间降维方法，在学习降维结果的过程中也充分考虑了其与标注矩阵的恢复误差以及与特征空间的相关性，通过优化的过程保证了降维结果能够良好地恢复到标注矩阵，同时也能够被特征空间上学习到的预测模型所描述，从而能够在较低的训练成本下取得较好的多标签分类性能。
[0009]在一些示例中，所述潜语义空间的各个维度相互正交。
[0010]在一些示例中，对所述测试实例在原始标签空间的分类结果进行二值化处理。
[0011]在一些示例中，所述潜语义空间的维数小于所述原始标签空间的维数。
[0012]本发明第二方面的实施例提出一种基于特征相关隐式编码的标签空间降维系统，包括:训练模块，用于根据训练数据集进行学习训练以获取预测模型；预测模块，用于根据所述预测模型获取测试实例在原始标签空间的分类结果。
[0013]根据本发明实施例的基于特征相关隐式编码的标签空间降维系统，在学习降维结果的过程中也充分考虑了其与标注矩阵的恢复误差以及与特征空间的相关性，通过优化的过程保证了降维结果能够良好地恢复到标注矩阵，同时也能够被特征空间上学习到的预测模型所描述，从而能够在较低的训练成本下取得较好的多标签分类性能。
[0014]在一些示例中，所述训练模块具体包括:构造模块，用于根据训练数据构造特征矩阵和标注矩阵；优化模块，用于根据所述特征矩阵得到降维矩阵与所述特征矩阵间的最优相关函数，并且根据所述标注矩阵得到降维矩阵与所述标注矩阵间的最优恢复误差函数；建模模块，用于根据所述最优相关函数和所述最优恢复误差函数构造目标函数，并应用所述目标函数优化所述降维矩阵后，利用优化后的降维矩阵求解出解码矩阵；学习模块，用于利用所述优化后的降维矩阵学习训练以获取预测模型。
[0015]在一些示例中，所述潜语义空间的各个维度相互正交。[0016]在一些示例中，对所述测试实例在原始标签空间的分类结果进行二值化处理。
[0017]在一些示例中，所述潜语义空间的维数小于所述原始标签空间的维数。
[0018]本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
【专利附图】
【附图说明】
[0019]图1是根据本发明实施例的基于特征相关隐式编码的标签空间降维方法的流程图；
[0020]图2是本发明一个实施例的基于特征相关隐式编码的标签空间降维方法的原理图；
[0021]图3是根据本发明实施例的基于特征相关隐式编码的标签空间降维系统的结构框图；和
[0022]图4是本发明一个实施例的训练模块的结构框图。
【具体实施方式】
[0023]下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
[0024]事实上，标签空间降维，其主要目的是压缩高维的原始标签空间(Original labelspace),在保持可接受的算法性能的前提下,将其编码到一个低维的潜语义空间(Latentsemantic space),从而将原来的模型训练过程由从特征空间(Feature space)到原始标签空间的预测模型的学习过程，分解成从特征空间到潜语义空间的预测模型的学习过程以及从潜语义空间到原始标签空间的解码过程。通过降维，从特征空间到潜语义空间所需的预测模型数量，和降维前所需的数量相比，将大幅度减少。并且，如果预测模型足够精确，同时，从潜语义空间到原始标签空间的解码过程也足够精确和高效，那么最终得到的多标签分类性能理论上讲应该仍是可接受的，而与此同时训练成本却得以极大地降低。
[0025]本发明一方面的实施例中提出了一种基于特征相关隐式编码的标签空间降维方法，包括以下步骤:提供训练数据集；根据训练数据集构造特征矩阵和标注矩阵；根据特征矩阵得到降维矩阵与特征矩阵的最优相关函数，并根据标注矩阵得到降维矩阵与标注矩阵的最优恢复误差函数；根据最优相关函数和最优恢复误差函数构造目标函数；应用目标函数优化降维矩阵，并根据优化后的降维矩阵求解出解码矩阵；利用优化后的降维矩阵学习训练以获取预测模型；提取测试实例特征，并利用预测模型预测测试实例在潜语义空间中的表示；以及利用解码矩阵对测试实例在潜语义空间中的表示进行解码，以获取测试实例在原始标签空间的分类结果。
[0026]图1是根据本发明实施例的基于特征相关隐式编码的标签空间降维方法的流程图，图2是本发明一个实施例的基于特征相关隐式编码的标签空间降维方法的原理框架图。结合图1和图2具体描述本发明的基于特征相关隐式编码的标签空间降维方法。
[0027]步骤SlOl:提供训练数据集。
[0028]如图2所示的基于特征相关隐式编码的标签空间降维方法的原理框架图，本发明的方法包括了训练过程和预测过程。在训练过程中，需要给定一定数量的训练数据集。
[0029]步骤S102:根据训练数据集构造特征矩阵和标注矩阵。
[0030]具体地，对给定的包含m个测试实例的训练数据集，根据数据本身的属性选择合适的特征类型，并为其中每一个测试实例抽取相应的特征向量X=IiX1, χ2，...，Xd]，其中，Xi是特征向量X的第i维。在得到所有测试实例的特征向量后，可以以任意顺序按行将其拼接成所需的特征矩阵X，X是mXd的矩阵，其中，d是特征向量的维度。
[0031]与此同时，对包含m个测试实例的训练数据集，统计其中出现的不同标签的数量值k，并根据每一个测试实例的标签归属情况，为其构造出相应的标签向量y=[yi, y2,..., yk]，其中，y」表示该实例是否属于第j个标签。如果是，则取值为1，反之，取值为0，以此类推。同样地，在得到所有测试实例的标签向量后，可以按行将其拼接成标注矩阵Y，这里与特征矩阵的拼接顺序一致，Y是mXk的矩阵。
[0032]步骤S103:根据特征矩阵得到降维矩阵与特征矩阵的最优相关函数，并根据标注矩阵得到降维矩阵与标注矩阵的最优恢复误差函数。
[0033]具体地，一方面根据特征矩阵得到降维矩阵与特征矩阵的最优相关函数。
[0034]在实际操作过程中，结合隐式编码的方法，假定存在降维矩阵C。降维矩阵C与特征矩阵X之间的相关性可以分解为降维矩阵C的各个列与特征矩阵X之间的相关性之和。对于降维矩阵C中的任意一个列C，其与特征矩阵X之间的相关性可以通过余弦相关性来描述，表达成函数形式如下:
[0035]
【权利要求】
1.一种基于特征相关隐式编码的标签空间降维方法，其特征在于，包括以下步骤: 提供训练数据集； 根据所述训练数据集构造特征矩阵和标注矩阵； 根据所述特征矩阵得到降维矩阵与所述特征矩阵的最优相关函数，并根据所述标注矩阵得到所述降维矩阵与所述标注矩阵的最优恢复误差函数； 根据所述最优相关函数和所述最优恢复误差函数构造目标函数； 应用所述目标函数优化所述降维矩阵，并根据优化后的降维矩阵求解出解码矩阵； 利用所述优化后的降维矩阵学习训练以获取预测模型；提取测试实例特征，并利用所述预测模型预测所述测试实例在潜语义空间中的表示；以及 利用所述解码矩阵对所述测试实例在所述潜语义空间中的表示进行解码，以获取所述测试实例在原始标签空间的分类结果。
2.根据权利要求1所述的方法，其特征在于，所述潜语义空间的各个维度相互正交。
3.根据权利要求1所述的方法，其特征在于，对所述测试实例在原始标签空间的分类结果进行二值化处理。
4.根据权利要求1所述的方法，其特征在于，所述潜语义空间的维数小于所述原始标签空间的维数。
5.一种基于特征相关隐式编码的标签空间降维系统，其特征在于，包括: 训练模块，用于根据训练数据集进行学习训练以获取预测模型； 预测模块，用于根据所述预测模型获取测试实例在原始标签空间的分类结果。
6.根据权利要求5所述的系统，其特征在于，所述训练模块具体包括: 构造模块，用于根据训练数据构造特征矩阵和标注矩阵； 优化模块，用于根据所述特征矩阵得到降维矩阵与所述特征矩阵间的最优相关函数，并且根据所述标注矩阵得到降维矩阵与所述标注矩阵间的最优恢复误差函数； 建模模块，用于根据所述最优相关函数和所述最优恢复误差函数构造目标函数，并应用所述目标函数优化所述降维矩阵后，利用优化后的降维矩阵求解出解码矩阵； 学习模块，用于利用所述优化后的降维矩阵学习训练以获取预测模型。
7.根据权利要求5或6任一项所述的系统，其特征在于，所述潜语义空间的各个维度相互正交。
8.根据权利要求5所述的系统，其特征在于，对所述测试实例在原始标签空间的分类结果进行二值化处理。
9.根据权利要求5或6任一项所述的系统，其特征在于，所述潜语义空间的维数小于所述原始标签空间的维数。
【文档编号】G06K9/62GK103761532SQ201410024964
【公开日】2014年4月30日 申请日期:2014年1月20日 优先权日:2014年1月20日
【发明者】丁贵广, 林梓佳, 林运祯 申请人:清华大学