一种基于双层胶囊网络的短视频点击率预测方法与流程

[0001]
本发明属于互联网服务技术领域，尤其是涉及一种基于双层胶囊网络的短视频点击率预测方法。


背景技术：

[0002]
短视频是一种新型的且时间较短的视频。短视频的拍摄不需要使用专业设备，也不需要专业技巧。用户直接通过手机就可以很方便地进行拍摄和上传到短视频平台，因此短视频平台的短视频数量增长得非常快。这使得对有效短视频推荐系统的需求非常迫切，有效的短视频推荐系统可以提升用户体验和用户黏性，从而给平台带来巨大的商业价值。
[0003]
近些年，很多研究者提出了基于视频的个性化推荐方法。这些方法可以分为三类：协同过滤、基于内容的推荐和混合推荐方法。但是相比于视频，短视频有着不同的特点：描述文本质量较低、时长较短且用户在一段时间内的交互序列较长。因此，短视频推荐是一个更具有挑战性的任务，并且有研究者提出了一些方法。例如，wei等人采用图卷积结构去融合短视频的多模态信息，进而更好地模拟用户的偏好；chen等人利用分层的注意力机制去计算物品和类目这两种级别的重要性，得到更准确的预测结果；li等人结合正负反馈数据，并使用基于图的循环神经网络去建模，最后得到用户的偏好。
[0004]
尽管这些方法取得不错的结果，但是这些结构很少结合用户的正反馈信息和负反馈信息共同来预测用户行为。负反馈信息指用户看了短视频的封面，却没有点击观看的行为。其中，li等人的研究同时使用用户的正反馈序列和负反馈序列，但是他们计算的是用户对短视频整体的偏好，而没有细粒度地讨论正反馈和负反馈的具体作用。本方法利用短视频平台中用户的正反馈和负反馈数据，判断用户对序列每个模块的情感，预测用户对目标短视频的点击率。同时本方法认为用户正反馈和负反馈序列中都同时存在正面情感和负面情感，但是在用户正反馈序列中正面情感占主要部分，用户负反馈序列中负面情感占主要部分。通常来讲，同一用户对点击的短视频和未点击的短视频的同一种模块属性特征(如，短视频的主题)，不可能都同时出现强烈的同种情感。


技术实现要素：

[0005]
本发明所要解决的技术问题是提供一种利用短视频平台中用户的正反馈和负反馈数据，判断用户对序列每个模块的情感，预测用户对目标短视频的点击率。本方法认为用户正反馈和负反馈序列中都同时存在正面情感和负面情感，但是在用户正反馈序列中正面情感占主要部分，用户负反馈序列中负面情感占主要部分。所以预测用户对目标短视频的点击率，应该分析用户正反馈和负反馈序列中对短视频不同模块的偏好。为此，本发明采用以下技术方案：
[0006]
一种基于双层胶囊网络的短视频点击率预测方法，包括以下步骤：
[0007]
分别从用户点击序列和未点击序列抽取模块属性特征。对于一个用户的点击行为序列可以表示为而对于一个用户的未点击序列可以表示为
其中分别是用户点击了和未点击了的短视频封面图特征向量，d是特征向量长度。本方法从点击序列和未点击序列中抽取相同模块的特征，因此点击序列和未点击序列的胶囊网络中的转换矩阵相同。以下公式为了表达方便，使用p来代替{+,-}。用户点击序列和未点击序列中的模块属性特征为：
[0008][0009][0010]
其中，是用户正反馈或负反馈序列中短视频特征向量，w
i
是用户序列到模块胶囊i的转换矩阵，点击序列和未点击序列的转换矩阵相同，模块胶囊的个数是m。g是胶囊网络中常用的squash激活函数。是连接系数，代表的权重，参数采用动态路由算法更新：
[0011][0012][0013]
其中，是输入胶囊j到出胶囊i的连接系数且初始化为0。相比于原来的动态路由更新算法，本方法更改了动态路由算法的归一化方式，使之更适合本法中的聚类场景。
[0014]
将用户从点击序列和未点击序列中抽取的模块属性特征和目标短视频进行匹配，生成逻辑单元:
[0015]
其中，是用户的模块属性特征，x
new
为目标短视频特征，为向量拼接操作。
[0016]
根据从用户正反馈和负反馈序列中抽取出的逻辑单元，生成用户的正面情感和负面情感。本方法认为，用户正反馈和负反馈中都同时存在正面情感和负面情感，但是在用户正反馈序列中正面情感占主要部分，用户负反馈序列中负面情感占主要部分。所以本方法改进胶囊网络，从正反馈和负反馈序列中抽取出的逻辑单元中抽取情感特征：
[0017][0018][0019][0020][0021]
[0022][0023]
其中，是从点击序列和未点击序列中抽取的逻辑单元。是正反馈序列的第i个激活单元到正面情感胶囊pos的转换矩阵，是正反馈序列的第i个激活单元到负面情感胶囊neg的转换矩阵，是负反馈序列的第i个激活单元到正面情感胶囊pos的转换矩阵，单元到正面情感胶囊pos的转换矩阵，是负反馈序列的第i个激活单元到负面情感胶囊neg的转换矩阵。从公式中可以看出，正反馈序列和负反馈序列都对正面情感产生影响,具体正面情感受正负反馈的影响程度由超参数α决定且α<0.5。同样，负面情感受正负反馈的影响程度也由超参数α决定。正面情感胶囊s
pos
通过和的加权和得到，同样负面情感胶囊s
neg
通过和的加权和得到。这里的g是胶囊网络中常用的squash激活函数。活函数。是连接系数，代表的权重，参数采用动态路由算法更新,其中p∈{+,-},k∈{pos,neg}：
[0024][0025][0026][0027][0028]
其中，p∈{+,-}，表示和p相反。例如，如果p＝-,那么且k∈{pos,neg}。是输入胶囊i到输出胶囊k的连接系数且初始化为0。本方法认为从正反馈和负反馈中抽取的相同模态的逻辑单元，不太可能同时出现强烈的正面情感或负面情感的情况。所以增加去修正原来的归一化方式。
[0029]
根据用户正面和负面情感，预测用户对目标短视频的点击率。给定情感胶囊s
k
，计算用户点击目标短视频的概率为：
[0030][0031][0032]
其中，k∈{pos,neg}，和是转移矩阵，是偏置向量，b
k,2
是偏置标量。σ是sigmoid激活函数，||s
k
||是向量的长度，代表情感的置信度。
[0033]
根据模型特性，设计损失函数。通过用户对目标短视频的点击率预测值计算预测值和真实值y之间的误差，进而使用误差来更新模型参数。我们采用交叉熵损失函数(cross-entropy loss)来指导模型参数的更新过程：
[0034][0035]
其中，y∈{0,1}是真实值，代表用户是否点击了目标短视频。σ是sigmoid函数。最后采用adam优化器更新模型参数。
[0036]
本发明的有益技术效果如下：
[0037]
(1)本发明提出了一种基于双层胶囊网络的短视频点击率预测方法，从用户的正反馈和负反馈信息中分析用户对短视频不同模块的不同情感，进而得到更准确的预测。
[0038]
(2)本发明从实际场景出发，同时从用户正反馈和负反馈序列中抽取正面情感和负面情感，丰富用户行为特征，从而使模型得到更好的效果。
[0039]
(3)本发明从实际场景出发，考虑用户正反馈序列和负反馈中正面情感的主次地位，以及用户负反馈序列和正反馈序列中负面情感的主次地位。改进胶囊网络的框架和动态路由算法。
附图说明
[0040]
图1为本发明一种基于双层胶囊网络的短视频点击率预测方法的流程示意图；
[0041]
图2为本发明一种基于双层胶囊网络的短视频点击率预测方法的模型框架图。
具体实施方式
[0042]
为了进一步理解本发明，下面结合具体实施方式对本发明提供的一种基于双层胶囊网络的短视频点击率预测方法进行具体描述，但本发明并不限于此，该领域技术人员在本发明核心指导思想下做出的非本质改进和调整，仍然属于本发明的保护范围。
[0043]
短视频点击率预测任务是建立一个模型去预测用户点击短视频的概率。用户的历史序列表示为史序列表示为其中p∈{+,-}分别代表点击和未点击行为，x
j
代表第j个短视频，l是序列的长度。整个序列可以进一步细分为点击序列和未点击序列也就是正反馈和负反馈信息。因此，短视频点击率预测问题可以表示成：输入用户点击序列未点击的序列以及目标短视频x
new
，来预测用户对目标短视频x
new
的点击率。
[0044]
为此，本发明提出了一种基于双层胶囊网络的短视频点击率预测方法。它根据用户对短视频的正反馈和负反馈信息，挖掘出用户对短视频不同模块的情感，预测用户对目标短视频的点击率。这里的正反馈是指用户点击了短视频；负反馈是指平台展示了短视频的封面，但是用户没有点击短视频，说明用户对短视频没有兴趣。本方法认为用户对短视频的不同模块有不同的情感,且用户正反馈和负反馈序列中都同时存在正面情感和负面情感，但是在用户正反馈序列中正面情感占主要部分，用户负反馈序列中负面情感占主要部分。所以预测用户对目标短视频的点击率，应该分析用户正反馈和负反馈序列中对短视频不同模块的偏好。
[0045]
本方法主要由四个部分组成，如图2所示。第一个部分是利用第一层胶囊网络从用户正反馈和负反馈信息中抽取模块特征。第二个部分是将两种模块特征和目标短视频进行一一配对，组合成逻辑单元(logit unit)。第三个部分是利用第二层胶囊网络从逻辑单元中抽取用户对短视频的不同模块的情感。第四个部分是基于用户对当前短视频的情感特征，进行短视频点击率的预测。
[0046]
如图1所示，按照本发明的一个实施例，本方法包括如下步骤：
[0047]
s100，分别从用户点击序列和未点击序列抽取模块属性特征。对于一个用户的点击行为序列可以表示为而对于一个用户的未点击序列可以表示为其中其中分别是用户点击了和未点击了的短视频封面图特征向量，d是特征向量长度。本方法从点击序列和未点击序列中抽取相同模块的特征，因此点击序列和未点击序列的胶囊网络中的转换矩阵相同。以下公式为了表达方便，使用p来代替{+,-}。用户点击序列和未点击序列中的模块属性特征为：
[0048][0049][0050]
其中，是用户正反馈或负反馈序列中短视频特征向量，w
i
是用户序列到模块胶囊i的转换矩阵，点击序列和未点击序列的转换矩阵相同，模块胶囊的个数是m，本方法m设置为5。g是胶囊网络中常用的squash激活函数。是连接系数，代表的权重，参数采用动态路由算法更新：
[0051][0052][0053]
其中，是输入胶囊j到输出胶囊i的连接系数且初始化为0。相比于原来的动态路由更新算法，本方法更改了动态路由算法的归一化方式，使之更适合本法中的聚类场景。
[0054]
s200，将用户从点击序列和未点击序列中抽取的模块属性特征和目标短视频进行匹配，生成逻辑单元:
[0055]
其中，是用户模块属性特征，x
new
为目标短视频特征，为向量拼接操作。
[0056]
s300,根据从用户正反馈和负反馈序列中抽取出的逻辑单元，生成用户的正面情感和负面情感。本方法认为，用户正反馈和负反馈中都同时存在正面情感和负面情感，但是在用户正反馈序列中正面情感占主要部分，用户负反馈序列中负面情感占主要部分。所以本方法改进胶囊网络，从正反馈和负反馈序列中抽取出的逻辑单元中抽取情感特征：
[0057]
[0058][0059][0060][0061][0062][0063]
其中，是从点击序列和未点击序列中抽取的逻辑单元。是正反馈序列的第i个激活单元到正面情感胶囊pos的转换矩阵，是正反馈序列的第i个激活单元到负面情感胶囊neg的转换矩阵，是负反馈序列的第i个激活单元到正面情感胶囊pos的转换矩阵，单元到正面情感胶囊pos的转换矩阵，是负反馈序列的第i个激活单元到负面情感胶囊neg的转换矩阵。从公式中可以看出，正反馈序列和负反馈序列都对正面情感产生影响,具体正面情感受正负反馈的影响程度由超参数α决定且α<0.5，本方法中α设置为0.4。同样，负面情感受正负反馈的影响程度也由超参数α决定。正面情感胶囊s
pos
通过和的加权和得到，同样负面情感胶囊s
neg
通过和的加权和得到。这里的g是胶囊网络中常用的squash激活函数。是连接系数，代表的权重，参数采用动态路由算法更新,其中p∈{+,-},k∈{pos,neg}：
[0064][0065][0066][0067][0068]
其中，p∈{+,-}，表示和p相反。例如，如果p＝-,那么且k∈{pos,neg}。是输入胶囊i到输出胶k的连接系数且初始化为0。本方法认为从正反馈和负反馈中抽取的相同模态的逻辑单元，不太可能同时出现强烈的正面情感或负面情感的情况。所以增加去修正原来的归一化方式。
[0069]
s400，根据用户正面和负面情感，预测用户对目标短视频的点击率。给定情感胶囊s
k
，计算用户点击目标短视频的概率为：
[0070][0071][0072]
其中，k∈{pos,neg}，和是转移矩阵，是偏置向量，b
k,2
是偏置标量。σ是sigmoid激活函数，||s
k
||是向量的长度，代表情感的置信度。
[0073]
s500，根据模型特性，设计损失函数。通过用户对目标短视频的点击率预测值计算预测值和真实值y之间的误差，进而使用误差来更新模型参数。我们采用交叉熵损失函数(cross-entropy loss)来指导模型参数的更新过程：
[0074][0075]
其中，y∈{0,1}是真实值，代表用户是否点击了目标短视频。σ是sigmoid函数。最后采用adam优化器更新模型参数。
[0076]
上述对实施例的描述是为方便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。