基于多模块联合学习的点击率预估方法及模型

本技术涉及互联网应用，尤其涉及一种基于多模块联合学习的点击率预估方法及模型。

背景技术：

1、当今社会电商行业的盛行，不断推动着世界经济向前发展，任何国家都离不开这一经济模式，无论是在各种媒体视频中，还是在其他网购平台、游戏软件的界面中，广告总是无处不在，正因广告信息的植入，带动了货物信息的流通，促进广大消费者购买，从而有效促进各行各业的经济发展。由此可见，广告点击率预估的研究至关重要，即人们看到广告多大概率会进行点击查看操作，对最终的消费结果有着决定性作用。

2、当前推荐算法中的单一网络结构在特征交叉与特征学习方面都存在着各自局限性的问题，无法统筹兼顾同时高效处理低、高阶交叉特征的局限性。

技术实现思路

1、鉴于上述相关技术的不足，本技术的目的在于提供一种基于多模块联合学习的点击率预估方法及模型，能统筹兼顾同时高效处理低、高阶交叉特征，提升点击预测精度，实现精准推荐用户偏好信息。

2、本技术还提供一种基于多模块联合学习的点击率预估方法，包括：

3、输入待预估数据，所述待预估数据包括连续型特征和类别型特征，将类别型特征经过第一数据预处理后转换成高维稀疏的特征向量；

4、将所述连续型特征及所述高维稀疏的特征向量转换成低维稠密特征向量；

5、将所述低维稠密特征向量输入因子分解机得到二阶交叉特征向量和一阶线性特征向量；将所述二阶交叉特征向量输入至注意力网络得到各所述二阶交叉特征向量的注意力权重，将所述二阶交叉特征向量与其对应的注意力权重相乘，经过注意力池化层后得到二阶注意力特征向量，根据所述二阶注意力特征向量与所述一阶线性特征向量，输出浅层处理结果ywide；

6、将所述低维稠密特征向量依次输入特征交叉池化层和深度神经网络中处理后，输出深度处理结果ydeep；

7、将浅层处理结果ywide和深度处理结果ydeep经过加权求和得到第一融合向量，将所述第一融合向量依次输入全连接层与sigmoid函数进行点击率预测，得到点击率预估值。

8、可选的，所述低维稠密特征向量为a(0)，a(0)＝[e1，e2，···，ei，···，em]；

9、ei＝vi*xi；

10、其中，ei表示第i个特征域的嵌入向量；xi表示输入的第i个特征数据；vi表示第i个特征域的嵌入层与输入层之间的参数；m是特征域的个数。

11、可选的，所述将所述二阶交叉特征向量输入至注意力网络得到各所述二阶交叉特征向量的注意力权重，包括以下步骤：

12、所述二阶交叉特征向量经过注意力网络中全连接层和归一化处理，得到各所述二阶交叉特征向量的注意力权重。

13、可选的，所述二阶交叉特征向量为(vi⊙vj)xixj，所述一阶线性特征向量为vixi；

14、所述注意力权重的计算公式为：

15、

16、a′ij＝htrelu(w(vi⊙vj)xixj+b)；

17、其中，h是全连接层到归一化处理后输出层的权重，w为特征交叉层到注意力网络全连接层的权重，b为偏置向量，a′ij是特征组合的注意力得分，aij是注意力网络计算出的注意力权重，⊙表示向量元素的对应位置相乘操作；t是矩阵的转置；relu是激活函数；vi是特征向量xi的隐向量；vj是特征向量xj的隐向量；rx表示实数合集；

18、所述浅层处理结果ywide的计算公式为：

19、

20、其中，w0表示偏置向量，wi为第i个特征的权重，p表示交叉项都为fm中的二阶项，n是特征的总数量。

21、可选的，所述将所述低维稠密特征向量依次输入特征交叉池化层和深度神经网络中处理后，输出深度处理结果ydeep，包括以下步骤：

22、先将所述低维稠密特征向量输入特征交叉池化层，在特征交叉池化层中，将两个所述低维稠密特征向量会进行元素积操作，然后对所有位置的结果求和池化，得到两个所述低维稠密特征向量的交叉向量；

23、再进入深度神经网络中进行参数学习得到一个高阶交叉特征向量，通过线性变换，输出深度处理结果ydeep。

24、可选的，所述交叉向量的计算公式为：

25、

26、所述高阶交叉特征向量的计算公式为：

27、zl＝σl(wlzl-1+bl)；

28、所述深度处理结果ydeep的计算公式为：

29、

30、其中，l表示隐层的数量，σl表示的是l层的激活函数操作，zl表示全连接层l层的输出，wl表示第l层的参数矩阵，w0表示一阶线性函数的偏置向量，bl表示深度神经网络中的偏置向量，是n个特征的权重与输入的特征向量的加权求和结果，h是输出层的权重值。

31、可选的，所述将所述第一融合向量依次输入全连接层与sigmoid函数进行点击率预测，得到点击率预估值，包括以下步骤：

32、根据第一融合向量以及全连接层的权重参数和偏置参数得到第二融合向量；

33、将所述第二融合向量传递给sigmoid函数进行点击率预测，得到点击率预估值。

34、可选的，还包括以下步骤：

35、获取数据集，所述数据集包括广告数据集；

36、将所述数据集进行第二数据预处理后，按照预设比例划分为训练集、测试集和验证集；

37、基于所述训练集和验证集先后对所述基于多模块联合学习的点击率预估模型进行训练和验证，得到训练及验证好的基于多模块联合学习的点击率预估模型；

38、基于所述测试集对所述训练及验证好的基于多模块联合学习的点击率预估模型进行评估，得到最优的基于多模块联合学习的点击率预估模型。

39、可选的，所述评估指标采用auc和logloss函数，其中，当auc越大，logloss越小表明模型性能越好。

40、本技术实施例还提供一种基于多模块联合学习的点击率预估模型，采用所述的基于多模块联合学习的点击率预估方法，所述点击率预估模型包括：

41、输入层，输入待预估数据，所述待预估数据包括连续型特征和类别型特征，将类别型特征经过第一数据预处理后转换成高维稀疏的特征向量；

42、嵌入层，将所述连续型特征及所述高维稀疏的特征向量转换成低维稠密特征向量；

43、网络层，包括：

44、浅层处理模块，将所述低维稠密特征向量输入因子分解机得到二阶交叉特征向量和一阶线性特征向量，将所述二阶交叉特征向量输入至注意力网络得到各所述二阶交叉特征向量的注意力权重，将所述二阶交叉特征向量与其对应的注意力权重相乘，经过注意力池化层后得到二阶注意力特征向量，根据所述二阶注意力特征向量与所述一阶线性特征向量，输出浅层处理结果ywide；

45、深度(deep)处理模块，将所述低维稠密特征向量依次输入特征交叉池化层和深度神经网络中处理后，输出深度处理结果ydeep；

46、输出层，将浅层处理结果ywide和深度处理结果ydeep经过加权求和得到第一融合向量，将所述第一融合向量依次输入全连接层与sigmoid函数进行点击率预测，得到点击率预估值。

47、本发明所述的基于多模块联合学习的点击率预估方法及模型，能够统筹兼顾同时高效处理低、高阶交叉特征，提升了点击预测精度，实现了精准推荐用户偏好信息。