一种基于自适应图扩散的判别多标签特征选择方法

本发明属于人工智能，涉及一种基于自适应图扩散的判别多标签特征选择方法。

背景技术：

1、多标签学习(mll)旨在学习样本与多个标签间的依赖关系，已广泛应用于信息检索、文本分类、情感识别等领域。随着信息技术的快速发展，mll中使用的数据的特征维度正在急剧增长。高维特征不仅增加了学习模型的复杂度和内存消耗，而且降低了模型性能。维数约简是解决上述问题的有效方法，主要包括特征提取和特征选择。前者将原始特征映射到低维子空间，而后者直接从整个特征中选择一部分特征子集。两种方案的区别在于：特征提取创建了新特征，丧失了原始数据的实际意义，特征选择获得的特征子集则可以很好地保留原始特征的实际意义。

2、现有的特征选择方法主要可以分为三种：过滤法、包裹法和嵌入法。过滤方法使用数据本身的信息对特征进行排序，独立于学习算法；包裹法通常对于既定的度量标准使用启发式算法选择性能最佳的特征，复杂度高且对噪声敏感；嵌入式方法将特征选择集成到模型训练中，然后通过优化模型获得最佳特征子集。与过滤法和包裹法相比，嵌入方法能够以较低的计算代价获取判别性高的特征子集。传统的嵌入式特征选择方法主要包括判别投影学习和稀疏正则化两个模块。近年来，稀疏回归已被广泛应用于多标签特征选择，但是现有技术中的方法不仅忽略了样本间的结构性信息，而且不能准确地描述样本和标签间的非线性依赖关系。通过改进，一些技术中的方法所选特征保留了数据的一些结构信息，但仍然存在以下两个问题：①这些方法独立地实施流形学习和特征选择，性能严重依赖于原始特征上预先计算出的相似度矩阵。然而，原始特征通常包含冗余信息甚至噪声，严重破坏了数据的局部流形结构，降低了相似度矩阵的质量。②流形学习中只考虑了样本对间的二阶局部结构信息，忽略了高阶结构信息。事实上，多标签数据包含了多种相关的语义信息，样本间的结构关系远远超出了二阶结构信息所能描述的范围。

技术实现思路

1、本发明的目的在于解决现有技术中的多标签特征选择方法忽略了样本间的高阶结构性信息，并且不能准确地描述样本和标签之间的非线性依赖关系的问题，提供一种基于自适应图扩散的判别多标签特征选择方法。

2、为达到上述目的，本发明采用以下技术方案予以实现：

3、一种基于自适应图扩散的判别多标签特征选择方法，包括以下步骤：

4、获取训练样本的特征矩阵x和标签矩阵y，其中特征矩阵x共n行d列，每行对应一个样本，每列对应一个特征；标签矩阵y为n行c列的0-1矩阵，1表示样本与标签相关，0表示样本与标签不相关；

5、对训练样本的特征矩阵x采用高斯核计算初始相似矩阵s；

6、将特征矩阵x投影至隐空间v，同时对初始相似矩阵s进行自适应图扩散，学得最优相似矩阵a；

7、引入希尔伯特-施密特独立准则，最大化隐表示v与标签y间的依赖性；

8、建立基于自适应图扩散的判别多标签特征选择模型；

9、设计交替优化算法对模型进行求解，输出特征排序。

10、本发明的进一步改进在于：

11、所述对训练样本的特征矩阵x采用高斯核计算初始化相似矩阵s，具体表示为：

12、

13、所述自适应图扩散的判别多标签特征选择模型具体表示为：

14、

15、其中，w表示特征选择矩阵；λ1、λ2、λ3和λ4表示权重因子；h表示中心化矩阵；表示第i个对角元素为的对角矩阵。

16、利用所述交替优化算法对模型进行求解，输出特征排序具体包括以下步骤：

17、引入辅助变量z，对模型进行分离，得到可分离的优化问题，具体表示为：

18、

19、当||wi||2≠0时，||w||2,1＝2tr(wtuw)，是对角矩阵，其第i个对角线元素

20、建立优化问题(2)的增广拉格朗日函数；

21、对特征选择矩阵w、隐表示矩阵v、辅助变量z、最优相似矩阵a和拉格朗日乘数c以及惩罚参数μ交替进行更新，直至算法收敛；

22、根据||wi||2(i＝1,2,...,d)的降序对特征进行排序，输出排序结果。

23、所述可分离优化问题的增广拉格朗日函数具体表示为：

24、

25、其中，是拉格朗日乘数，μ>0是惩罚参数。

26、所述对特征选择矩阵w进行更新时，通过最小化式(4)进行求解：

27、

28、根据最优性条件得到：

29、w＝(xτx+λ1u)-1xtv         (5)

30、其中，λ1表示权重因子。

31、所述对隐表示矩阵v进行更新时，通过求解式(6)进行更新：

32、

33、其中，g＝xtx+λ1u，对矩阵λ2la-λ2hyyth-xg-1xt+i进行特征值分解，选择前r个最小特征值对应的特征向量来构造隐表示，其中r表示隐表示的维数。

34、所述对辅助变量z进行更新时，通过求解式(7)进行更新：

35、

36、通过式(8)进行迭代求解，得式(7)的近似解：

37、

38、其中，ds为对角矩阵，对角线元素

39、所述对待学习的最优相似矩阵a进行更新时，通过求解式(9)进行更新：

40、

41、其中，

42、将式(9)等价描述为：

43、

44、其中，

45、问题(10)等价于以下子问题：

46、

47、可获取问题(11)的闭式解为：

48、

49、其中，m＝(t+tt)/2。

50、所述对拉格朗日乘数c以及惩罚参数μ进行更新时，通过式(13)进行：

51、

52、其中，ρ>1是常数，μ0>0也为常数。

53、与现有技术相比，本发明具有以下有益效果：

54、本发明提出了一种基于自适应图扩散的判别多标签特征选择方法(mfs-agd)。mfs-agd方法构建了一个基于自适应图扩散的增强版谱回归框架，能够同时学习特征选择矩阵、隐表示和相似性图，使得mfs-agd能够自适应地在隐空间中探索样本间的高阶结构信息，避免了原始特征中冗余信息和噪声对数据结构造成的负面影响。其次，mfs-agd中引入hsic准则，以最大化隐表示与类标签之间的依赖性，有效的将标签监督信息融入到特征选择过程中，进一步提升了所选特征子集的判别性能。

技术特征：

1.一种基于自适应图扩散的判别多标签特征选择方法，其特征在于，包括以下步骤：

2.如权利要求1所述的一种基于自适应图扩散的判别多标签特征选择方法，其特征在于，所述对训练样本的特征矩阵x采用高斯核计算初始化相似矩阵s，具体表示为：

3.如权利要求1所述的一种基于自适应图扩散的判别多标签特征选择方法，其特征在于，所述自适应图扩散的判别多标签特征选择模型具体表示为：

4.如权利要求1所述的一种基于自适应图扩散的判别多标签特征选择方法，其特征在于，利用所述交替优化算法对模型进行求解，输出特征排序具体包括以下步骤：

5.如权利要求4所述的一种基于自适应图扩散的判别多标签特征选择方法，其特征在于，所述可分离优化问题的增广拉格朗日函数具体表示为：

6.如权利要求4所述的一种基于自适应图扩散的判别多标签特征选择方法，其特征在于，所述对特征选择矩阵w进行更新时，通过最小化式(4)进行求解：

7.如权利要求1所述的一种基于自适应图扩散的判别多标签特征选择方法，其特征在于，所述对隐表示矩阵v进行更新时，通过求解式(6)进行更新：

8.如权利要求1所述的一种基于自适应图扩散的判别多标签特征选择方法，其特征在于，所述对辅助变量z进行更新时，通过求解式(7)进行更新：

9.如权利要求1所述的一种基于自适应图扩散的判别多标签特征选择方法，其特征在于，所述对待学习的最优相似矩阵a进行更新时，通过求解式(9)进行更新：

10.如权利要求1所述的一种基于自适应图扩散的判别多标签特征选择方法，其特征在于，所述对拉格朗日乘数c以及惩罚参数μ进行更新时，通过式(13)进行：

技术总结
本发明公开了一种基于自适应图扩散的判别多标签特征选择方法，包括获取训练样本的特征矩阵和标签矩阵；对训练样本的特征计算初始相似矩阵；将原始特征投影到隐表示空间，在该隐空间中对初始相似矩阵进行自适应图扩散，以挖掘样本间的高阶结构信息；基于HSIC准则，最大化隐表示与类标签间的依赖性；建立基于自适应图扩散的判别多标签特征选择模型；设计迭代算法求解模型，输出特征排序，选取特征子集。该方法同时学习特征选择矩阵、隐表示和相似图，在隐空间中自动探索样本间的高阶结构信息，避免了原始特征中冗余信息和噪声对数据结构的负面影响。通过最大化隐表示与类标签间的依赖性，将监督信息融入到特征选择过程，提升了所选特征的判别性能。

技术研发人员：马家军,徐飞
受保护的技术使用者：西安工业大学
技术研发日：
技术公布日：2024/1/15