一种基于课程学习的多视图表示学习方法与装置

本技术涉及课程学习和多视图表示学习领域，具体涉及一种基于课程学习的多视图表示学习方法与装置。

背景技术：

1、多视图表示学习和课程学习是计算机领域的重要课题。

2、多视图表示学习是指输入样本具有多个视图的一类学习方法。传统的基于机器学习的多视图表示学习方法如典型成分分析等不能处理较高维的图片，文字等数据。基于深度学习的方法可以分为基于连接和对齐的两类方法，基于连接的方法将不同视图的特征进行拼接，基于对齐的方法将不同视图的特征进行对齐。基于拼接的方法具有冗余问题，基于对齐的方法忽略了视图独有的特征，因此基于共享特征和独有特征的第三类方法也被提出。

3、课程学习的思想是从易到难的进行学习。人在学习课程时,总是先学习较简单的内容，然后学习较难的内容。因此，在模型的训练中，也可以先学习较简单的样本，然后再学习较难的样本。这样的好处有两点。一是可以使得模型的优化过程更为合理。二是可以解决潜在的噪声问题，因为较难学习的样本往往被认为是标注错误的数据或噪声。因此可以提高模型的泛化能力。

4、基于共享特征和独有特征的多视图表示学习方法没有考虑到每个样本的共享特征和独有特征的学习难易程度和噪声问题,而课程学习方法往往用于单视图，而且针对的是样本。

技术实现思路

1、本技术提供一种基于课程学习的多视图表示学习方法、装置、设备及计算机可读存储介质，以解决多视图表示学习中的一些训练问题和噪声问题，有效的提高了多视图表示学习方法的泛化性。

2、第一方面，本技术实施例提供一种基于课程学习的多视图表示学习方法，所述方法包括：

3、获取多视图数据，并对每个视图的独有部分和视图间的共享部分进行建模提取对应的共享特征与独有特征；

4、根据所述每个视图对应的共享特征与独有特征确定样本融合时，共享部分损失、每个视图独有特征损失，得到融合特征分类损失，并根据各类损失的初始权重，所述不同部分的损失与融合特征分类损失确定第一轮总损失；

5、根据第一轮总损失结果，调整独有特征与共享特征权重，根据调整后的独有特征与共享特征权重进行确定下一轮总损失；

6、当达到预设训练轮次时停止训练，输出最后一轮总损失。

7、一些实施例中，所述获取多视图数据，并对每个视图的独有部分和视图间的共享部分进行建模提取对应的共享特征与独有特征，包括：

8、获取多视图数据集

9、使用神经网络对数据集中的第一视图，第二视图进行特征提取，得到提取后的第一视图特征与第二视图特征

10、根据公式：

11、

12、提取第一视图的共享特征gc1为类似卷积-池化-bn层的多层结构；

13、根据公式：

14、

15、提取第二视图的共享特征gc2为类似卷积-池化-bn层的多层结构；

16、根据公式：

17、

18、提取第一视图的独有特征gs1为类似卷积-池化-bn层的多层结构；

19、根据公式：

20、

21、提取第二视图的独有特征gs2为类似卷积-池化-bn层的多层结构。

22、一些实施例中，所述根据所述每个视图对应的共享特征与独有特征确定样本融合时，共享部分损失、每个视图独有特征损失，包括：

23、根据公式：

24、

25、得到样本共享部分损失dot表示内积；

26、根据公式：

27、

28、得到样本第一视图独有特征损失dot表示内积；

29、根据公式：

30、

31、得到样本第二视图独有特征损失,dot表示内积。

32、一些实施例中，所述得到融合特征的分类损失，包括：

33、根据公式：

34、

35、得到融合特征的分类损失其中concat表示将样本i的特征进行拼接,cross_entropy表示交叉熵损失，linear3为线性全连接层。

36、一些实施例中，所述根据所述不同部分的损失与融合特征分类损失确定第一轮总损失，包括：

37、根据公式：

38、

39、得到第一轮总损失loss，其中在第一轮中和的默认值均为1。

40、一些实施例中，所述根据第一轮总损失结果，调整独有特征与共享特征权重，包括：

41、根据公式：

42、

43、得到模型中共享特征的损失权重dot表示内积；

44、根据公式：

45、

46、得到模型中第一视图独有特征的损失权重dot表示内积；

47、根据公式：

48、

49、得到模型中第二视图独有特征的损失权重其中dot表示内积，分别为前一轮模型训练完成后样本i的共享特征和独有特征；

50、根据公式：

51、

52、得到调整后的共享特征的损失权重其中e表示当前轮次，e表示总的轮次；

53、根据公式：

54、

55、得到调整后的第一视图独有特征的损失权重其中e表示当前轮次，e表示总的轮次；

56、根据公式：

57、

58、得到调整后的第二视图独有特征的损失权重其中e表示当前轮次，e表示总的轮次。

59、一些实施例中，所述根据调整后的独有特征与共享特征权重进行确定下一轮总损失，包括：

60、根据公式：

61、

62、得到下一轮总损失lossj。

63、第二方面，本技术实施例提供了一种基于课程学习的多视图表示学习装置，所述装置包括：

64、提取单元，其用于获取多视图数据，并对每个视图的独有部分和视图间的共享部分进行建模提取对应的共享特征与独有特征；

65、计算单元，其用于根据所述每个视图对应的共享特征与独有特征确定样本融合时，共享部分损失、每个视图独有特征损失，得到融合特征分类损失，并根据各类损失的初始权重，所述不同部分的损失与融合特征分类损失确定第一轮总损失；

66、所述计算单元还用于根据第一轮总损失结果，调整独有特征与共享特征权重，根据调整后的独有特征与共享特征权重进行确定下一轮总损失；

67、输出单元，其用于当达到预设训练轮次时停止训练，输出最后一轮总损失。

68、第三方面，提供一种计算机设备包括：处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现第一方面任意一项所述的方法。

69、第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现第一方面任意一项所述的方法。

70、本技术实施例提供的技术方案带来的有益效果包括：

71、通过获取多视图数据，并对每个视图的独有部分和视图间的共享部分进行建模提取对应的共享特征与独有特征；根据所述每个视图对应的共享特征与独有特征确定样本融合时，共享部分损失、每个视图独有特征损失，得到融合特征分类损失，并根据各类损失的初始权重，所述不同部分的损失与融合特征分类损失确定第一轮总损失；根据第一轮总损失结果，调整独有特征与共享特征权重，根据调整后的独有特征与共享特征权重进行确定下一轮总损失；当达到预设训练轮次时停止训练，输出最后一轮总损失。有效了解决了训练问题，提高了模型的泛化能力，同时通过模型的自反馈，动态的对共享特征和独有特征的学习难易程度进行衡量,可以解决一些噪声问题。