一种具有混合卷积和非对称注意力的评论推荐系统及方法

本发明属于信息推荐领域，涉及一种具有混合卷积和非对称注意力的评论推荐系统及方法。

背景技术：

1、目前主流的基于评论文本的推荐方法分为以下两种：一种是文档级方法，它将用户或者项目的所有评论连接成一个长文档，然后对该文档进行建模学习，将文档特征作为用户/项目的表示。这种方法可以有效利用全局语义，具有较强的可解释性。然而，该方法对所有评论一视同仁，采用相同的处理方法，忽视了不同评论的重要性和用户的长期偏好变化，因为评论是不同的用户在不同时间对不同的项目独立进行的。另一种是评论级方法，它基于单个评论进行建模，将每条评论单独学习表示，最后将特征融合起来。这种方法更注重评论信息，能够捕捉更多细粒度的特性，并且可以学习到长期偏好的变化。然而，尽管该方法可以通过注意力机制考虑到不同评论的重要性，但用户的单条评论往往很短，不能充分反映用户的兴趣，可能无法有效地学习到用户和项目的全局特征，从而对于复杂的评级行为缺乏有效的可解释性。

2、过去所有的传统文档级方法都是采用固定大小的卷积核进行提取文档特征，这种卷积神经网络只能关注单一的文档特征。然而，并不是所有的特征都能被固定大小的卷积核完全提取出来，因此只使用单一卷积核的卷积神经网络在提取文档特征时存在一定的限制。

3、并且，用户的评论与商品的评论在本质上是不同的。来自同一用户对于不同的项目的评论，在文本内容上是异质的。然而，对于同一项目，不同用户的评论具有一定的同质性，能够体现出该项目的普遍特征。同时，即便是相同的评论，对于不同的用户或项目，也可能包含不同的信息。因此在从用户或项目的评论中学习表示时，没有采用更加个性化的方法。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种具有混合卷积和非对称注意力的评论推荐系统及方法。解决过去的文档级方法采用固定大小的卷积核提取文档特征，特征提取不充分以及没有考虑到用户评论和项目评论的不同性质，没有进行个性化的处理的技术问题。

2、为达到上述目的，本发明提供如下技术方案：

3、一种具有混合卷积和非对称注意力的评论推荐系统，该系统包括两个并行的子网络和预测模块，两个并行的子网络将最终的输出结果输入预测模块，预测模块对输入的结果进行预测评级；

4、所述两个并行的子网络分别为用户网和项目网，所述用户网和项目网分别并行设置多粒度文档编码模块模块和评论编码模块；

5、所述多粒度文档编码模块依次设有词嵌入层、卷积层i、自适应注意力层和个性化注意力层；

6、所述评论编码模块依次设有嵌入层、卷积层ii、个性化词注意力层和个性化评论注意力层；

7、所述个性化次注意力层和个性化评论注意力层共同构成个性化非对称注意力机制；

8、所述卷积层i中有两组不同尺寸卷积核的滤波器。

9、一种具有混合卷积和非对称注意力的评论推荐方法，该方法包括用户获取评论表示的过程和项目获取评论表示的过程；

10、所述用户获取评论表示的过程具体包括以下步骤：

11、s1：将用户评论输入词嵌入层、嵌入层进行初始化，词嵌入层和嵌入层分别利用单词嵌入函数m→r1×d将评论中的每个单词映射到d维向量，其中，m表示所有用户的所有评论文本中出现的所有单词的词典；

12、给定用户u对项目i的评论，表示为：

13、dui＝{w1,...,wp,...,wt}                          (1)

14、其中，wp是评论中的第p个单词；

15、用户u对项目i的评论的词嵌入矩阵，表示为：

16、xui＝[x1,...,xp,...,xt]                          (2)

17、其中，xp∈r1×d,xui∈rt×d；

18、在词嵌入层中，将用户u写的所有评论合并为一个文档特征，表示为：

19、du＝{du1,...,dui,...,dun}                         (3)；

20、s2：在卷积层i分别使用两组不同尺寸卷积核的滤波器并行提取文档特征，并将每组所有滤波器提取的文档特征进行拼接，输出每组拼接后的文档特征结果；

21、在卷积层ii使用卷积核尺寸固定的滤波器对嵌入矩阵进行卷积操作，提取评论特征；

22、s3：在自适应注意力层将每组拼接的文档特征进行融合，将融合的特征进行平均池化得到评论融合特征，将评论融合特征经过全连接层w0和一层softmax运算，得到各组卷积核提取的特征权重，并通过权重的大小自适应地选择特征，得到整个评论文档的特征，将得到的整个文档的特征传递给一个全连接层w1，得到评论文档；

23、在个性化词注意层对提取的评论特征使用项目id的嵌入来捕获词在不同上下文中的重要性，对捕获的每个单词采用注意力池机制进行表示，将所有单词的特征进行聚合，得到用户u的第i次评论；

24、s4：将得到的评论文档利用个性化注意力层学习每个用户的整个文档特征，将每个用户所有评论特征进行综合，得到每个用户最终评论文档特征；

25、在个性化评论注意力层采用特定于用户的注意力机制，使用目标用户id的嵌入捕捉每个用户的偏好和性格特征，对每个用户所有评论的权重进行聚合，得到每个用户的最终评论特征；

26、s5：将从多粒度编码器中获得的最终评论文档特征和从评论编码模块中获得的最终评论特征进行整合得到每个用户最终潜在特征；

27、所述项目获取评论表示的过程，经过所述s1-s5的步骤得到项目最终潜在特征；

28、s6：将用户获取评论表示的过程得到的用户最终潜在特征和项目获取评论表示过程得到的项目最终潜在特征同时输入预测模块中的潜在预测模型lfm中，得到用户对项目的预测评级；

29、在所述预测模块中使用均方误差mse函数来训练潜在因素模型lfm，得到用户对项目的预测评级的均方误差。

30、进一步的，所述s2中，卷积层i分别使用两组不同尺寸卷积核的滤波器并行提取文档特征，并将每组所有滤波器提取的文档特征进行拼接，输出拼接后的文档特征结果，具体为：

31、在卷积层i中使用卷积核小为t1的滤波器进行卷积操作，

32、其中a表示组别，j∈[1,n]；

33、设置滤波器个数为k；

34、则，第j个滤波器，在du上提取的特征，表示为：

35、

36、其中，*为卷积操作；为第j个卷积核的偏置项；采用relu作为激活函数；

37、输出结果为一个潜在表征序列：

38、使用最大池化操作，计算滤波器输出结果对应的最终特征，表示为：

39、

40、卷积层的输出结果为所有滤波器的拼接，即提取的文档特征表示为：

41、

42、其中，k为模型中卷积核的个数；

43、则，在卷积层i中使用卷积核大小为t2的滤波器提取的文档特征为

44、进一步的，所述s2中，卷积层ii使用卷积核尺寸固定的滤波器对嵌入矩阵进行卷积操作，提取评论特征，具体为：

45、使用卷积核大小为t的滤波器kj∈对嵌入矩阵进行卷积操作，其中，kj∈rt×d；

46、设置滤波器个数为k；

47、则，第j个滤波器在xui上提取的特征，表示为：

48、cj＝relu(xui*kj+bj)      (7)

49、其中，*为卷积操作；bj为第j个卷积核的偏置项；采用relu作为激活函数；c中的每一列记为：zk；zk表示评论中第k个单词的语义特征，其中，zk∈rk。

50、进一步的，所述的s3中，在自适应注意力层将每组拼接的文档特征进行融合，将融合的特征进行平均池化得到评论融合特征，将评论融合特征经过全连接层w0和一层softmax运算，得到各组卷积核提取的特征权重，并通过权重的大小自适应地选择特征，得到整个评论文档的特征，将得到的整个文档的特征传递给一个全连接层w1，得到评论文档的输出，具体为：

51、将提取的文档特征融合后进行平均池化操作得到评论融合特征ou，表示为：

52、

53、将评论融合特征经过全连接层w0和一层softmax运算，得到各组卷积核提取的特征权重，表示为：

54、a＝w0ou+g      (9)

55、b＝1-a       (10)

56、其中，w0，a,b∈rk，bi＝1-ai，i∈[1,k]，a,b的分量ai，bi表示a，b两组卷积核提取的第i个特征的权重；

57、通过权重的大小自适应地选择特征，得到整个评论文档的特征od，表示为：

58、

59、将输出od传递给一个全连接层w1，得到评论文档的输出：

60、

61、其中，gd∈rd。

62、进一步的，所述的s3中，在个性化词注意层对提取的评论特征使用项目id的嵌入来捕获词在不同上下文中的重要性，对捕获的每个单词采用注意力池机制进行表示，将所有单词的特征进行聚合，得到用户u的第i次评论，具体为：

63、给定项目i的id嵌入，利用多层感知器mlp生成项目i的个性化注意向量，表示为：

64、

65、其中，w2为mlp的权重矩阵，b2为偏置项，iid为项目i的id嵌入；

66、对利用mlp生成项目i的个性化注意向量采用注意力池机制，表示为：

67、

68、

69、其中，a2是注意力中的和谐矩阵，是针对项目i的个性化注意力向量，zk表示进行个性化注意向量的第k个单词；

70、对所有单词的特征向量进行聚合，得到用户u的第i次评论的表示：

71、

72、进一步的，所述s4中，将得到的评论文档利用个性化注意力层学习每个用户的整个文档特征，将每个用户所有评论特征进行综合，得到每个用户最终评论文档特征，具体为：

73、给定用户u的id嵌入，利用mlp生成用户u的个性化注意向量，表示为：

74、

75、其中，w1为mlp的权重矩阵，b1为偏置项，uid为用户u的id嵌入；

76、对利用mlp生成用户u的个性化注意向量采用注意力机制，表示为：

77、

78、

79、其中a1是注意力中的和谐矩阵，是针对用户u得到的注意力向量，od是文档特征表示，ak为个性化注意权重；

80、将个性化注意权重ak乘以用户的评论文档特征od，将该用户的所有评论特征进行综合，得到用户u的最终评论文档特征：

81、

82、进一步的，所述s4中，在个性化评论注意力层采用特定于用户的注意力机制，使用目标用户id的嵌入捕捉每个用户的偏好和性格特征，对每个用户的所有评论的权重进行聚合，得到每个用户的最终评论特征，具体为：

83、采用mlp为用户生成个性化评论级注意向量，表示为：

84、

85、其中，w3为mlp的权重矩阵，b3为偏置项，uid为用户u的id嵌入；

86、给定评论集du＝{du1,...,dui,...,dun}，经过以上处理后表示为du＝{eu,1,...,eu,i,...,eu,n}，

87、计算第u个用户的第i次评论的权重hk如下：

88、

89、

90、其中，a3为注意矩阵；为针对用户u的注意力向量，j∈[1,n]；

91、通过对每个用户的所有评论的权重进行聚合，得到每个用户的最终评论特征：

92、

93、进一步的，用户最终潜特征和项目最终潜在特征，分别表示为：

94、

95、

96、其中，为连接运算符，向量u和i分别是用户u和项目i的最终潜在特征。

97、进一步的，所述s6中，

98、潜在因素模型得到用户u对项目i的预测评级，表示为：

99、

100、其中，wt是线性变换矩阵；bu，bi和μ表示在lfm中的用户偏差、项目偏差和全局偏差项；

101、使用均方误差mse函数来训练潜在因素模型lfm，得到用户u对项目i的预测评级的均方误差，表示为：

102、

103、其中，u和i表示用户集和项目集,ru,i是用户u对项目i的真实评级,是由用户u对项目i的预测评级。

104、本发明的有益效果在于：

105、第一，本发明统一了文档及和评论级的方法，使用多粒度文档编码模块和评论编码模块分别提取文档特征和评论特征，而且在此基础上使用混合卷积改进了传统文档编码器的特征提取方式，除此之外，在评论编码模块中引入了一种个性化非对称注意力模块，可以灵活地对用户(项目)的词和评论给予不同程度的关注，从而提高预测的准确性和模型的可解释性。

106、第二，本发明中的多粒度文档编码模块采用混合卷积的方法通过使用不同尺度的卷积核并行处理文档，提取不同粒度的文档特征，然后通过注意力机制调整混合比例；能够对评论文档进行深度挖掘，丰富了用户和项目的表示，解决了传统文档级方法中特征提取过于单一的问题。

107、第三，本发明中的评论编码模块通过引入了一种新的个性化非对称注意机制，用于识别重要的单词和评论。该机制通过获取深入的上下文感知交互特征，该能够个性化地强调关键词和关键评论，提高模型的可解释性。

108、第四，本发明与其他基线方法和较新的方法相比，具有更低的均方误差(mse)值。

109、本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。