一种内容推荐方法、装置、电子设备和存储介质与流程

1.本技术涉及计算机技术领域，提供一种内容推荐方法、装置、电子设备和存储介质。


背景技术：

2.随着互联网的发展，推荐系统通常从海量的多媒体内容中，根据评估指标，对各个多媒体内容进行评估，并根据评估结果，向目标对象推荐相应的目标多媒体内容。
3.在根据评估指标，对各个多媒体内容进行评估的过程中，若存在多个评估指标，那么推荐系统可以采用深度神经网络等机器学习算法，分别得到多个评估指标各自对应的评估值。
4.然而，由于多个评估指标存在逻辑关系，因此，若分别得到各个评估指标的评估值，会导致评估准确率较低，进而后续在对多媒体内容进行评估时，影响多媒体内容的推荐效率和推荐准确性。以应用程序类广告为例，评估指标1为目标对象下载概率，评估指标2为目标对象注册概率，显然，目标对象在下载应用程序后才会进行注册，即评估指标1的评估值应大于评估指标2的评估值，而采用上述方式时，评估指标1的评估值却可能小于评估指标2的评估值。


技术实现要素：

5.本技术实施例提供一种内容推荐方法、装置、电子设备和存储介质，用以提高多媒体内容的推荐效率和推荐准确性。
6.第一方面，本技术实施例提供一种内容推荐方法，包括：
7.获取待推荐内容的内容信息和目标对象的对象属性信息；
8.基于所述内容信息和所述对象属性信息，采用已训练的目标评估模型，获得第一评估指标对应的第一评估值；所述第一评估值表征：所述目标对象针对所述待推荐内容触发第一目标操作的概率；
9.基于所述第一评估值，以及与所述第一目标操作之间的逻辑顺序符合触发条件的第二目标操作，获得第二评估指标对应的第二评估值；其中，所述第二评估值表征：所述目标对象针对所述待推荐内容触发所述第二目标操作的概率；
10.基于所述第一估计值和所述第二评估值，确定所述待推荐内容的评估结果；
11.基于所述评估结果确定是否向所述目标对象推荐所述待推荐内容。
12.第二方面，本技术实施例提供一种内容推荐装置，包括：
13.获取单元，用于获取待推荐内容的内容信息和目标对象的对象属性信息；
14.第一评估单元，用于基于所述内容信息和所述对象属性信息，采用已训练的目标评估模型，获得第一评估指标对应的第一评估值；所述第一评估值表征：所述目标对象针对所述待推荐内容触发第一目标操作的概率；
15.第二评估单元，用于基于所述第一评估值，以及与所述第一目标操作之间的逻辑
顺序符合触发条件的第二目标操作，获得第二评估指标对应的第二评估值；其中，所述第二评估值表征：所述目标对象针对所述待推荐内容触发所述第二目标操作的概率；
16.第三评估单元，用于基于所述第一估计值和所述第二评估值，确定所述待推荐内容的评估结果；
17.推荐单元，用于基于所述评估结果确定是否向所述目标对象推荐所述待推荐内容。
18.可选的，所述基于所述第二预测值，以及所述各个样本数据各自对应的标签集合中包含的各个第一真实值，确定所述一个样本数据对应的第二损失值时，所述训练单元具体用于：
19.根据所述各个样本数据各自对应的标签集合中，包含的各个第一真实值，确定针对所述第一目标操作的样本触发概率；
20.基于所述样本触发概率，获得样本平衡因子；
21.基于所述平衡因子，以及所述第二预测值，确定所述一个样本数据对应的第二损失值。
22.可选的，所述训练单元具体用于：
23.获取各个样本内容的内容信息、各个样本对象的对象属性信息，以及各个样本对象针对各个所述样本内容的互动行为数据；
24.将所述各个样本内容的内容信息，分别与各个样本对象的对象属性信息关联，得到各个样本数据；
25.基于所述互动行为数据，分别确定所述各个样本数据各自对应的标签集合。
26.可选的，所述目标评估模型中包含第一评估子网络和第二评估子网络；
27.则基于所述内容信息和所述对象属性信息，采用已训练的目标评估模型，获得第一评估指标对应的第一评估值时，所述第一评估单元具体用于：
28.对所述内容信息和所述对象属性信息进行特征提取，得到所述待推荐内容对应的多维数据特征；
29.将所述多维数据特征输入第一评估子网络中，得到所述第一评估指标对应的第一评估值；
30.则所述基于所述第一评估值，以及与所述第一目标操作之间的逻辑顺序符合触发条件的第二目标操作，获得第二评估指标对应的第二评估值时，所述第二评估单元具体用于：
31.将所述多维数据特征输入第二评估子网络中，得到中间评估值，所述中间评估值表征：所述目标对象针对所述待推荐内容触发第一目标操作后，触发第二目标操作的概率；
32.基于所述第一评估值和所述中间评估值，得到所述第二评估值。
33.可选的，所述基于所述第一估计值和所述第二评估值，确定所述待推荐内容的评估结果时，第三评估单元具体用于：
34.基于所述目标对象针对已推荐内容的历史行为数据，得到所述第一评估值对应的第一评估权重和所述第二评估值对应的第二评估权重；
35.基于所述第一评估值、所述第二评估值、所述第一评估权重和所述第二评估权重，得到确定所述待推荐内容的评估结果。
36.第三方面，本技术实施例提供一种电子设备，包括处理器和存储器，其中，所述存储器存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器执行上述内容推荐方法的步骤。
37.第四方面，本技术实施例提供一种计算机可读存储介质，其包括计算机程序，当所述计算机程序在电子设备上运行时，所述计算机程序用于使所述电子设备执行上述内容推荐方法的步骤。
38.本技术实施例中，针对待推荐内容，采用已训练的目标评估模型，获得第一评估指标对应的第一评估值之后，基于第一评估值，以及与第一目标操作之间的逻辑顺序符合触发条件的第二目标操作，获得第二评估指标对应的第二评估值，进而，基于第一估计值和第二评估值，确定待推荐内容的评估结果。
39.这样，在针对待推荐内容获取第一评估值和第二评估值时，不再是分别输出第一评估值和第二评估值，而是在获取到第一评估值之后，基于第一评估值，以及与第一目标操作之间的逻辑顺序符合触发条件的第二目标操作，获得第二评估值，由于考虑到了第一评估指标和第二评估指标之间的逻辑顺序，即考虑到了第一目标操作和第二目标操作之间的操作顺序，因此，得到的第二评估值和第一评估值更加精准，进一步的，在基于第一评估值和第二评估值对待推荐内容进行评估时，提高评估准确率，进而，在后续进行多媒体内容进行推荐的过程中，提高了推荐效率和推荐准确率。
附图说明
40.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
41.图1为一种内容推荐方法的示意图；
42.图2为本技术实施例中提供的一种可能的应用场景示意图；
43.图3为本技术实施例中提供的一种目标评估模型的训练方法的流程示意图；
44.图4为本技术实施例中提供的一种训练数据集的获取过程的逻辑示意图；
45.图5为本技术实施例中提供的一种对初始目标评估模型进行参数调整的流程示意图；
46.图6为本技术实施例中提供的一种目标评估模型的结构示意图；
47.图7为本技术实施例中提供的一种模型损失值的确定方法的流程示意图；
48.图8为本技术实施例中提供的一种内容推荐方法的流程示意图；
49.图9为本技术实施例中提供的一种内容推荐的逻辑示意图；
50.图10为本技术实施例中提供的一种确定第一评估值和第二评估值的逻辑示意图；
51.图11为本技术实施例中提供的一种多内容推荐方法的交互流程示意图；
52.图12为本技术实施例中提供的一种内容推荐装置的组成结构示意图；
53.图13为本技术实施例中提供的一种电子设备的硬件组成结构示意图。
具体实施方式
54.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术技
术方案的一部分实施例，而不是全部的实施例。基于本技术文件中记载的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术技术方案保护的范围。
55.下面对本技术实施例中涉及的部分概念进行介绍。
56.1、在线广告、媒体主、广告主、广告交易平台
57.在线广告也称为互联网广告，是指在互联网平台的广告位(例如微信朋友圈、公众号、新闻软件等)上投放的广告。下文中将在线广告简称为广告。
58.媒体主是指拥有互联网平台的实体(例如微信朋友圈、公众号、新闻软件等)，一般他们已经有较大的用户访问量(也称为用户流量)，希望将用户流量转换成现金收益，因此他们在平台中插入广告位。
59.广告主是指通过互联网平台的广告位来展示自己广告的实体。
60.广告交易平台(advertisingexchange，adx)是指将媒体主和广告主连接起来的实体，它将广告主的广告投放到媒体主提供的广告位上。
61.2、pctr(predict click through rate，预估点击通过率)：多媒体内容被投放后，推荐系统预估的其被点击的概率。
62.3、pcvr(predict conversion rate，预估转化率)：多媒体内容被点击后，推荐系统预估的其被转化的概率。以应用程序类广告为例，转化可以是指用户在应用程序中触发下载、注册、激活、付费等操作。
63.4、ecpm(effective cost per mile，千次展示收益)：指的是每播放一千次多媒体内容，可以获得的多媒体内容曝光收入。
64.5、多目标优化：又称多目标规划或帕累托优化，是多目标决策的一个领域，在两个或更多冲突的目标之间存在取舍时，需要找到平衡点采取最优决策。当其中一个主要目标作为目标函数时，其余目标可作为约束条件，用来代表决策方案的变量，借以对决策方案施加限制范围。
65.6、优化目标：用户在查看到多媒体内容时触发的目标操作，以游戏应用程序类广告为例，目标操作可以是下载操作，即优化目标为下载操作。
66.随着互联网的发展，推荐系统通常从海量的多媒体内容中，根据评估指标，对各个多媒体内容进行评估，并根据评估结果，向目标对象推荐相应的目标多媒体内容。
67.在根据评估指标，对各个多媒体内容进行评估的过程中，若存在多个评估指标，那么推荐系统可以采用深度神经网络等机器学习算法，分别得到多个评估指标各自对应的评估值。
68.然而，由于多个评估指标之间存在逻辑关系，因此，若分别得到各个评估指标的评估值，会导致评估准确率较低，进而后续在对多媒体内容进行评估时，影响多媒体内容的推荐效率和推荐准确性。
69.下文中仅以多媒体内容为在线广告为例进行说明。
70.例如，参阅图1所示，相关技术中将不同的优化目标处理为多分类优化建模问题，具体的，推荐系统可以采用深度神经网络等机器学习算法，根据实时的上下文特征、用户历史效果特征、广告历史效果特征等多维原始特征，分别输出多个评估指标各自对应的评估值，其中，每个评估指标对应一种优化目标，也可以理解为，每个评估指标对应一种目标操
作。
71.采用x表示多维原始特征，假设，优化目标的个数为c，即类别的个数为c，其中，优化目标1为注册操作，优化目标c为付费操作，评估指标1为pcvr1，评估指标c为pcvrc，其中，pcvr1表征广告被点击后，触发下载操作的概率，pcvrc表征广告被点击后，触发注册操作的概率。
72.采用z表示pcvr，整个模型表示为f(x)，转换为数学形式表述为z＝f(x)∈rc，y表示真实发生过的转化行为。
73.那么，优化函数l
softmax
可以定义为：
[0074][0075]
显然，用户在下载应用程序后才会进行注册，即pcvr1和pcvrc之间存在逻辑关系，若将不同优化目标处理成平级的多分类模型，得到的各个评估指标的评估值准确率低。
[0076]
针对相关技术中存在的多媒体内容的推荐效率和推荐准确率的问题，为了提高多媒体内容的推荐效率和推荐准确性，本技术实施例中，针对待推荐内容，采用已训练的目标评估模型，获得第一评估指标对应的第一评估值之后，基于第一评估值，以及与第一目标操作之间的逻辑顺序符合触发条件的第二目标操作，获得第二评估指标对应的第二评估值，进而，基于第一估计值和第二评估值，确定待推荐内容的评估结果。
[0077]
这样，在针对待推荐内容获取第一评估值和第二评估值时，不再直接分别输出第一评估值和第二评估值，而是在获取到第一评估值之后，基于第一评估值，以及与第一目标操作之间的逻辑顺序符合触发条件的第二目标操作，获得第二评估值，由于考虑到了第一评估指标和第二评估指标之间的逻辑顺序，即考虑到了第一目标操作和第二目标操作之间的操作顺序，因此，得到的第二评估值和第一评估值更加精准，进一步的，在基于第一评估值和第二评估值对待推荐内容进行评估时，提高评估准确率，进而，在后续进行多媒体内容进行推荐的过程中，提高了推荐效率和推荐准确率。
[0078]
以下结合说明书附图对本技术的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本技术，并不用于限定本技术，并且在不冲突的情况下，本技术实施例及实施例中的特征可以相互组合。
[0079]
下面对本技术的应用场景进行简要说明。需要说明的是，以下场景仅用于说明本技术实施例而非限定。在具体实施时，可以根据实际需要灵活地应用本技术实施例提供的技术方案。
[0080]
参阅图2所示，为本技术实施例提供的一种应用场景的示意图。该应用场景中可以包括终端设备201、媒体主服务器202和广告交易平台服务器203，终端设备201、媒体主服务
器202和广告交易平台服务器203可以通过有线或无线通信方式进行直接或间接地连接，本技术在此不做限制。
[0081]
其中，终端设备201用于向广告交易平台服务器203发送广告请求，终端设备201可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表或车载终端等，但并不局限于此。终端设备201中安装有媒体主服务器202对应的客户端，客户端可以是网页客户端，也可以是安装在终端设备201中的客户端，也可以是嵌入至第三方应用中的轻应用等，本技术不限制客户端的类型。客户端中嵌入广告交易平台的广告位，广告交易平台服务器203将广告主的广告投放到客户端的广告位上，从而向用户展示。
[0082]
广告交易平台服务器203，可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content delivery network，cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器，应用于广告投放产品中，应对个性化广告投放大数据量的处理需求。
[0083]
在基于云技术实现时，广告交易平台服务器203还可以通过云计算和云存储的方式对待推荐内容的内容信息和目标对象的对象属性信息进行处理。
[0084]
广告交易平台服务器203获取到来自终端设备201的广告请求之后，获取待推荐内容的内容信息和目标对象的对象属性信息，接着，将待推荐内容的内容信息和目标对象的对象属性信息，输入至已训练的目标评估目标中，获得第一评估指标对应的第一评估值，然后，基于第一评估值，以及与第一目标操作之间的逻辑顺序符合触发条件的第二目标操作，获得第二评估指标对应的第二评估值，进而基于第一评估值和第二评估值，确定待推荐内容的评估结果，基于评估结果确定是否向目标对象推荐该待推荐内容。
[0085]
要注意的是，上文提及的应用场景仅是为了便于理解本技术的精神和原理而示出，本技术实施例在此方面不受任何限制。相反，本技术实施例可以应用于适用的任何场景。
[0086]
下面对本技术实施例中提供的模型训练过程进行说明。
[0087]
参考图3所示，本技术实施例提供了一种目标评估模型的训练方法，应用于训练装置，该方法包括：
[0088]
s301、训练装置获取训练数据集。
[0089]
训练数据集中包含各个样本数据，每个样本数据对应一个标签集合，每个标签集合中包含第一评估指标对应的第一真实值和第二评估指标对应的第二真实值。
[0090]
其中，第一评估指标用于评估目标对象针对待推荐内容触发第一目标操作的概率，第二评估指标用于评估目标对象针对待推荐内容触发第二目标操作的概率。本技术实施例中，第一目标操作也可以称为浅层转化操作，第二目标操作也可以称为深层转化操作。
[0091]
下文中，仅以应用程序类广告为例进行说明，针对应用程序类广告，第一目标操可以是注册操作，第二目标操可以是付费操作。
[0092]
本技术实施例中，每个样本数据中可以包含样本对象对应的对象属性信息、样本内容的内容信息。其中，样本对象可以是指一个用户，也可以是指一个用户分组。若样本对象是指一个用户分组，可以依据用户自身的特征进行分组，例如用户的活跃度，也可以按照用户与内容的互动行为进行分组，例如用户与广告的互动频率，或者按照其他规则进行分
组。例如，统计每个用户过去一段时间(如90天)的广告曝光次数以及与广告的互动次数，根据曝光次数阈值和互动次数阈值，挖掘出与广告互动频率低、互动频率一般、互动频率高的用户。
[0093]
其中，对象属性信息可以包括但不限于用户的画像信息，对象属性信息也可以称为用户属性信息。
[0094]
在一些实施例中，训练数据集可以是根据样本对象与已推荐内容对应的历史行为数据得到的。用户针对已推荐内容会执行一些操作，例如，点击、下载、注册等，而已推荐内容的日志或流水数据中会记录这些操作，本技术实施例中，在获取到样本数据后，可以利用历史行为数据对样本数据标定对应的标签，这样，在优化模型时可以进一步丰富训练数据，利用用户不同阶段的转化行为，缓解数据稀疏问题。
[0095]
具体的，训练数据集可以是训练装置通过以下方式获取的：
[0096]
s3011、训练装置获取各个样本内容的内容信息、各个样本对象的对象属性信息，以及各个样本对象针对各个样本内容的互动行为数据。
[0097]
s3012、训练装置将各个样本内容的内容信息，分别与各个样本对象的对象属性信息关联，得到各个样本数据。
[0098]
需要说明的是，本技术实施中，可以将样本内容的内容信息和样本对象对应的对象属性信息任意进行关联，也可以根据实际应用场景，按照其他方式，对样本内容的内容信息和样本对象对应的对象属性信息进行关联，本技术对此不作限定，在此不再赘述。
[0099]
例如，假设，样本内容为广告1和广告2，样本对象为用户1和用户2，那么，训练装置获取广告1的内容信息和广告2的内容信息，用户1的对象属性信息和用户2的对象属性信息之后，将广告1分别与用户1的对象属性信息和用户2的对象属性信息关联，以及将广告2的内容信息，分别与用户1的对象属性信息和用户2的对象属性信息关联，得到4个样本数据。
[0100]
s3013、训练装置基于互动行为数据，分别确定各个样本数据各自对应的标签集合。
[0101]
本技术实施例中，参阅图4所示，互动行为数据中可以存储于点击日志和转化日志中，其中，点击日志中记录有点击操作，转化日志中记录有下载操作、注册操作、付费操作等。点击日志和转化日志中均存储有操作标识，该操作标识用于一个样本对象针对一个样本内容的操作，例如，用户1针对广告1的操作。
[0102]
训练装置可以从点击日志和转化日志中，提取出设定时间范围内的记录，例如24小时内的记录，然后，根据操作标识(ds)关联点击记录和转化记录，进而，根据关联的点击记录和转化记录，提取出第一真实值和第二真实值，也可以理解为提取出第一标签和第二标签。其中，第一真实值表征样本对象针对样本内容触发第一目标操作，第二真实值均表征样本对象针对样本内容触发第二目标操作
[0103]
例如，假设，ds＝120300表征用户1与广告1之间的互动行为数据，将ds＝120300的点击记录和转化记录进行关联，假设，ds＝120300的转化记录中记录有注册操作、付费操作，那么第一真实值表征用户a针对广告1触发注册操作，第二真实值表征用户a针对广告1触发付费操作。
[0104]
为了便于提高计算效率，本技术实施例中，采用y(y1，y2)表示一个标签集合，若样本对象针对样本内容触发第一目标操作和第二目标操作，则y(y1，y2)表示为y(1，1)，若样
本对象针对样本内容仅触发第一目标操作，则y(y1，y2)表示为y(1，0)，若样本对象针对样本内容仅触发第二目标操作，则y(y1，y2)表示为y(0，1)，若样本对象针对样本内容未触发第一目标操作和第二目标操作，则y(y1，y2)表示为y(0，0)。
[0105]
s302、训练装置基于各个样本数据，以及各个样本数据各自对应的第一真实值和第二真实值，得到模型损失值，并根据模型损失值，对初始目标评估模型进行参数调整，得到目标评估模型。
[0106]
具体的，参阅图5所示，训练装置针对各个样本数据，执行以下操作，直至满足模型收敛条件，得到目标评估模型：
[0107]
s3021、训练装置获取样本数据x，并将样本数据x输入初始评估模型中，得到第一评估指标对应的第一预测值。
[0108]
其中，样本数据x可以是各个样本数据中的任意一个样本数据，下文中仅以样本数据x为例进行说明。
[0109]
为了提高推荐效率和推荐准确率，本技术实施例中，初始评估模型可以采用双塔结构，参阅图6所示，目标评估模型中可以包含共享嵌入层、第一连接层、第一评估子网络、第二连接层、第二评估子网络。
[0110]
其中，共享嵌入层用于将文本映射到低维向量空间转化成向量，以提供给子网络，共享嵌入层可以采用但不限于embedding的方式进行词映射。
[0111]
第一连接层用于将共享嵌入层输出的各个特征向量进行拼接处理，并将拼接后的特征向量输入至第一评估子网络，第二连接层用于将共享嵌入层输出的各个特征向量进行拼接处理，并将拼接后的特征向量输入至第二评估子网络。示例性的，训练装置可以使用concat()方法对拼接处理。
[0112]
第一评估子网络用于输出第一评估指标对应的第一预测值。
[0113]
第二评估子网络用于输出中间预测值，该中间预测值表征样本对象针对样本内容x触发第一目标操作后，触发第二目标操作的概率，以样本数据x为用户1针对广告1的样本数据1为例，中间预测值表征用户1针对广告1触发注册操作后，触发付费操作的概率。
[0114]
需要说明的是，本技术第一评估子网络和第二评估子网络可以采用但不限于深度神经网络、卷积神经网络、循环神经网络等。
[0115]
基于图6所示的初始评估模型，训练装置可以在对样本内容的内容信息和样本对象的对象属性信息进行特征提取，得到待推荐内容对应的多维数据特征之后，可以将基于多维数据特征输入第一评估子网络中，得到第一评估指标对应的第一评估值。
[0116]
例如，训练装置在对广告1的内容信息和用户1的对象属性信息进行特征提取，得到针对广告1的多维数据特征之后，可以将多维数据特征输入第一评估子网络中，得到第一预测值：fpcvr，fpcvr表示用户1针对广告1触发注册操作的概率。
[0117]
s3022、训练装置基于第一预测值，以及与第一目标操作之间的逻辑顺序符合触发条件的第二目标操作，获得第二评估指标对应的第二预测值。
[0118]
逻辑顺序可以是根据转化路径确定的，转化链路是指用户针对待推荐广告触发操作的操作顺序，例如，针对app类广告，转化链路可以是下载
→
激活
→
注册
→
付费。
[0119]
具体的，训练装置可以将多维数据特征输入第二评估子网络中，得到中间预测值，中间预测值表征：目标对象针对待推荐内容触发第一目标操作后，触发第二目标操作的概
率；基于第一预测值和中间预测值，得到第二预测值。
[0120]
采用fpcvr表示第一预测值，second_pcvr表示第二预测值，pdcvr表示中间预测值，那么，fpcvr、secondpcvr、pdcvr之间的关系如公式(2)所示：
[0121]
second_pcvr＝fpcvr*pdcvr
ꢀꢀꢀꢀꢀꢀꢀ
公式(2)
[0122]
例如，假设，fpcvr、pdcvr的取值均为0.5，那么根据公式(2)，second_pcvr的取值为0.5
×
0.5＝0.25。
[0123]
s3023、训练装置基于样本数据x对应的标签集合中包含的第一真实值和第二真实值，以及第一预测值和第二预测值，确定当前模型损失值。
[0124]
具体的，参阅图7所示，训练装置可以采用但不限于以下方式确定当前模型损失值，包括：
[0125]
s30231、训练装置基于第一预测值，以及各个样本数据各自对应的标签集合中包含的各个第一真实值，确定样本数据x对应的第一损失值。
[0126]
具体的，本技术实施例中，第一损失值可以采用但不限于公式(3)表示：
[0127][0128]
其中，loss1表示第一损失值，n表示样本数据的数目，n的取值为正整数。
[0129]
s30232、训练装置基于第二预测值，以及各个样本数据各自对应的标签集合中包含的各个第一真实值，确定样本数据x对应的第二损失值。
[0130]
具体的，本技术实施例中，第二损失值可以采用但不限于公式(4)表示：
[0131][0132]
其中，loss2表示第二损失值，n表示样本数据的数目，n的取值为正整数。
[0133]
为了使得模型训练时针对正样本进行侧重学习，从而提升模型训练效果，本技术实施例中，可以在损失函数中加入样本平衡因子β，具体的，训练装置可以根据各个样本数据各自对应的标签集合中，包含的各个第一真实值，确定针对第一目标操作的样本触发概率，然后基于样本触发概率，获得样本平衡因子。
[0134]
其中，β可以采用以下公式(5)确定：
[0135][0136]
其中，dcvr表示针对第一目标操作的样本触发概率。
[0137]
例如，假设，样本触发概率为0.5，那么，样本平衡因子β的取值为2。
[0138]
s30233、训练装置基于第一损失值、第二损失值，以及第二损失值对应的损失权重，确定当前模型损失值。
[0139]
具体的，当前模型损失值可以采用但不限于公式(6)表示：
[0140]
loss＝loss1+α*loss2ꢀꢀꢀ
公式(6)
[0141]
在公式(6)中，α为超参数，用于平衡浅层和深层目标损失，即用于平衡第一损失值和第二损失值，在实际应用中可以根据具体效果进行调整，默认值设置为1.0。
[0142]
需要说明的是，上述公式(6)仅为示例，在实际应用过程中，也可以针对第一损失
值设置相应的损失权重，还可以针对第一损失值和第二损失值分别设置相应的损失权重，本技术对此不作限定，在此不再赘述。
[0143]
s3024、训练装置基于当前模型损失值，对目标评估模型的参数进行调整。
[0144]
需要说明的是，本技术实施例中，基于当前模型损失值对目标评估模型的参数进行调整的过程中，可以基于第一损失值对第一子网络进行调整，基于第二损失值对第二网络进行调整。
[0145]
s3025、训练装置判断是否满足模型收敛条件，若是，则返回执行s3021，否则，执行s3026。
[0146]
本技术实施例中，模型收敛条件可以采用以下条件中的一项或多项：
[0147]
条件1：连续n次模型损失值小于损失阈值。
[0148]
例如，假设，n的取值设置为5，损失阈值为0.01，那么，训练装置在连续5次模型损失值小于0.01时，确定满足模型收敛条件。
[0149]
条件2：迭代次数达到迭代阈值。
[0150]
例如，假设，迭代阈值为100，那么，训练装置在迭代次数达到100次时，确定满足模型收敛条件。
[0151]
条件3：连续n次第一损失值小于第一损失阈值，且第二损失值小于第二损失阈值。
[0152]
例如，假设，n的取值设置为5，第一损失阈值为0.1，第二损失阈值为0.01，那么，训练装置在连续5次第一损失值小于0.1，且第二损失值小于0.01时，确定满足模型收敛条件。
[0153]
s3026、训练装置输出初始评估模型，作为目标评估模型。
[0154]
接下来，基于上述训练得到的目标评估模型，对本技术实施例中提供的内容推荐方法进行说明。
[0155]
参阅图8所示，其为本技术实施例中提供的一种内容推荐方法，该方法可以应用于内容推荐装置，该内容推荐装置可以是广告交易平台服务器，也可以是终端设备，该方法具体包括：
[0156]
s801、内容推荐装置获取待推荐内容的内容信息和目标对象的对象属性信息。
[0157]
内容推荐装置可以获取待推荐内容集合，针对待推荐内容集合中包含的各个待推荐内容，将获取各个待推荐内容的内容信息和目标对象对应的对象属性信息。本技术实施例中，仅以一个待推荐内容的内容信息和目标对应的对象属性信息为例进行说明。
[0158]
例如，参阅图9所示，目标对象为用户x，待推荐内容集合中包含广告a、广告b、
……
、广告x，针对广告a、广告b、
……
、广告x，均可以获取各自对应的内容信息，以及获取用户x对应的对象属性信息。
[0159]
s802、内容推荐装置基于内容信息和对象属性信息，采用已训练的目标评估模型，获得第一评估指标对应的第一评估值。
[0160]
以待推荐内容为广告x，目标对象为用户x为例，参阅图10所示，内容推荐装置基于广告x的内容信息和用户x的对象属性信息，采用已训练的目标评估模型，获得fpcvr。由于获取第一评估值的过程与训练过程中获取第一预测值的过程相同，在此不再赘述。
[0161]
s803、内容推荐装置基于第一评估值，以及与第一目标操作之间的逻辑顺序符合触发条件的第二目标操作，获得第二评估指标对应的第二评估值。
[0162]
仍以待推荐内容为广告x，目标对象为用户x为例，内容推荐装置基于第一评估值，
以及与注册操作之间的逻辑顺序符合触发条件的付费操作，获得second_pcvr。由于获取第二评估值的过程与训练过程中获取第二预测值的过程相同，在此不再赘述。
[0163]
s804、内容推荐装置基于第一估计值和第二评估值，确定待推荐内容的评估结果。
[0164]
以待推荐内容为广告x，目标对象为用户x为例，参阅图9所示，内容推荐装置基于广告x的第一估计值和广告x的第二评估值，可以确定广告x的评估结果，类似的，内容推荐装置可以确定广告a、广告b各自对应的评估结果，从而确定是否向用户a推荐相应的广告。
[0165]
考虑到ctr、出价等因素对评估结果的影响，为了提高评估结果的确定准确率，本技术实施例中，待推荐内容的评估结果可以通过以下方式确定：
[0166]
基于目标对象针对已推荐内容的历史行为数据，得到第一评估值对应的第一评估权重和第二评估值对应的第二评估权重；
[0167]
基于第一评估值、第二评估值、第一评估权重和第二评估权重，得到确定待推荐内容的评估结果。
[0168]
其中，第一评估权重可以是根据针对第一目标操作的出价(bid)、pctr等中的一项或多项确定，出价是指广告主针对目标操作的所花费的费用。例如，第一评估权重可以是根据注册操作的出价和pctr确定的。
[0169]
第二评估权重可以是根据针对第二目标操作的出价(bid)、pctr等中的一项或多项确定。例如，第二评估权重可以是根据付费操作的出价和pctr确定的。
[0170]
评估结果可以采用数值表示，也可以采用等级表示，本技术对此不作限定，下文仅以数值形式进行说明。
[0171]
针对第一评估指标，可以采用以下公式(7)计算ecpm1：
[0172]
ecpm 1＝bid1
×
pctr
×
fpcvr
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式(7)
[0173]
针对第一评估指标，可以采用以下公式(8)计算ecpm2：
[0174]
ecpm 2＝second_bid
×
pctr
×
fpcvr
×
pdcvr＝second_bid
×
pctr
×
second_pcvr 公式(8)
[0175]
其中，bid1表示针对注册操作的出价，second_bid表示针对付费操作的出价。
[0176]
例如，假设，ecpm1、ecpm2分别1000、2000，训练装置基于ecpm1和ecpm2，确定待推荐内容的评估结果，该评估结果指示评估等级为a级。
[0177]
s805、内容推荐装置基于评估结果确定是否向目标对象推荐待推荐内容。
[0178]
本技术实施例中，内容推荐装置可以根据评估结果，将满足预设的推荐条件的待推荐内容向目标对象进行推荐，预设的推荐可以是评估结果表征向目标对象推荐待推荐内容，也可以是评估结果指示的评估等级高于预设推荐等级，还可以是评估结果指示的评估数值高于预设推荐阈值，本技术对此不作限制。
[0179]
需要说明的是，本技术实施例中，也可以针对各个待推荐内容，分别确定各个待推荐内容分别对应的推荐结果后，根据得到的各个推荐结果，从各个待推荐内容中筛选出向目标对象推荐的内容。
[0180]
下面结合一个具体的应用场景为例进行说明。参阅图11所示，终端设备与服务器之间的交互过程如下：
[0181]
s1101、终端设备响应于用户操作，向服务器发送内容推荐请求。
[0182]
这里的内容推荐请求可以是请求推送广告，也可以是请求推送其它数据或信息，如推送笑话、推送天气预告、推送服务项目等，本技术实施例对于具体的推送内容不做限
制，仅以广告作为例进行介绍说明，而不仅限于广告推送。
[0183]
终端设备响应的用户操作，可以是基于用户主动发起的请求广告的操作，如点击网页中的广告展示区域，或者用户预先设置的特殊操作，如双击屏幕等。也可以是作为在用户执行其它操作时，绑定的操作，例如，用户在打开某个网页时，触发了广告请求的发送，虽然用户没有主动发起广告请求，但服务器仍会向终端设备发送广告，以使终端设备将广告向用户展示。
[0184]
s1102、服务器基于终端设备的设备标识，确定目标对象。
[0185]
s1103、服务器获取各个待推荐内容，并基于第一评估指标和第二评估指标，从各个待推荐内容中确定出目标推荐内容。
[0186]
服务器基于第一评估指标和第二评估指标，从各个待推荐内容中确定出目标推荐内容的过程中，可以采用s601-s604确定各个待推荐内容对应的评估结果，进而根据评估结果，从各个待推荐内容中确定出目标推荐内容。
[0187]
s1104、服务器将目标推荐内容发送给终端设备。
[0188]
基于相同的发明构思，本技术实施例提供一种内容推荐装置。如图12所示，其为内容推荐装置1200的结构示意图，可以包括：
[0189]
获取单元1201，用于获取待推荐内容的内容信息和目标对象的对象属性信息；
[0190]
第一评估单元1202，用于基于所述内容信息和所述对象属性信息，采用已训练的目标评估模型，获得第一评估指标对应的第一评估值；所述第一评估值表征：所述目标对象针对所述待推荐内容触发第一目标操作的概率；
[0191]
第二评估单元1203，用于基于所述第一评估值，以及与所述第一目标操作之间的逻辑顺序符合触发条件的第二目标操作，获得第二评估指标对应的第二评估值；其中，所述第二评估值表征：所述目标对象针对所述待推荐内容触发所述第二目标操作的概率；
[0192]
第三评估单元1204，用于基于所述第一估计值和所述第二评估值，确定所述待推荐内容的评估结果；
[0193]
推荐单元1205，用于基于所述评估结果确定是否向所述目标对象推荐所述待推荐内容。
[0194]
可选的，内容推荐装置1200还包括训练单元1206，训练单元1206用于：
[0195]
获取训练数据集，所述训练数据集中包含各个样本数据，每个样本数据对应一个标签集合，每个标签集合中包含第一评估指标对应的第一真实值和第二评估指标对应的第二真实值；
[0196]
基于所述各个样本数据，以及所述各个样本数据各自对应的第一真实值和第二真实值，得到模型损失值，并根据是模型损失值，对初始目标评估模型进行参数调整，得到所述目标评估模型。
[0197]
可选的，所述基于所述各个样本数据，以及所述各个样本数据各自对应的第一真实值和第二真实值，得到模型损失值，并根据所述模型损失值，对初始目标评估模型进行参数调整，得到目标评估模型时，所述训练单元1206具体用于：
[0198]
针对所述各个样本数据，执行以下操作，直至满足模型收敛条件，得到所述目标评估模型：
[0199]
获取所述各个样本数据中的一个样本数据，并将所述一个样本数据输入目标评估
模型中，得到所述第一评估指标对应的第一预测值；
[0200]
基于所述第一预测值，以及与所述第一目标操作之间的逻辑顺序符合触发条件的第二目标操作，获得所述第二评估指标对应的第二预测值；
[0201]
基于所述一个样本数据对应的标签集合中包含的第一真实值和第二真实值，以及所述第一预测值和所述第二预测值，确定当前模型损失值；
[0202]
基于所述当前模型损失值，对所述初始评估模型的参数进行调整。
[0203]
可选的，所述基于所述一个样本数据对应的标签集合中包含的第一真实值和第二真实值，以及所述第一预测值和所述第二预测值，确定当前模型损失值时，所述训练单元1206具体用于：
[0204]
基于所述第一预测值，以及所述各个样本数据各自对应的标签集合中包含的各个第一真实值，确定所述一个样本数据对应的第一损失值；
[0205]
基于所述第二预测值，以及所述各个样本数据各自对应的标签集合中包含的各个第一真实值，确定所述一个样本数据对应的第二损失值；
[0206]
基于所述第一损失值、所述第二损失值，以及所述第二损失值对应的损失权重，确定所述当前模型损失值。
[0207]
可选的，所述基于所述第二预测值，以及所述各个样本数据各自对应的标签集合中包含的各个第一真实值，确定所述一个样本数据对应的第二损失值时，所述训练单元1206具体用于：
[0208]
根据所述各个样本数据各自对应的标签集合中，包含的各个第一真实值，确定针对所述第一目标操作的样本触发概率；
[0209]
基于所述样本触发概率，获得样本平衡因子；
[0210]
基于所述平衡因子，以及所述第二预测值，确定所述一个样本数据对应的第二损失值。
[0211]
可选的，所述基于所述第二预测值，以及所述各个样本数据各自对应的标签集合中包含的各个第一真实值，确定所述一个样本数据对应的第二损失值时，所述训练单元1206具体用于：
[0212]
根据所述各个样本数据各自对应的标签集合中，包含的各个第一真实值，确定针对所述第一目标操作的样本触发概率；
[0213]
基于所述样本触发概率，获得样本平衡因子；
[0214]
基于所述平衡因子，以及所述第二预测值，确定所述一个样本数据对应的第二损失值。
[0215]
可选的，所述训练单元1206具体用于：
[0216]
获取各个样本内容的内容信息、各个样本对象的对象属性信息，以及各个样本对象针对各个所述样本内容的互动行为数据；
[0217]
将所述各个样本内容的内容信息，分别与各个样本对象的对象属性信息关联，得到各个样本数据；
[0218]
基于所述互动行为数据，分别确定所述各个样本数据各自对应的标签集合。
[0219]
可选的，所述目标评估模型中包含第一评估子网络和第二评估子网络；
[0220]
则基于所述内容信息和所述对象属性信息，采用已训练的目标评估模型，获得第
一评估指标对应的第一评估值时，所述第一评估单元1302具体用于：
[0221]
对所述内容信息和所述对象属性信息进行特征提取，得到所述待推荐内容对应的多维数据特征；
[0222]
将所述多维数据特征输入第一评估子网络中，得到所述第一评估指标对应的第一评估值；
[0223]
则所述基于所述第一评估值，以及与所述第一目标操作之间的逻辑顺序符合触发条件的第二目标操作，获得第二评估指标对应的第二评估值时，所述第二评估单元1203具体用于：
[0224]
将所述多维数据特征输入第二评估子网络中，得到中间评估值，所述中间评估值表征：所述目标对象针对所述待推荐内容触发第一目标操作后，触发第二目标操作的概率；
[0225]
基于所述第一评估值和所述中间评估值，得到所述第二评估值。
[0226]
可选的，所述基于所述第一估计值和所述第二评估值，确定所述待推荐内容的评估结果时，第三评估单元1204具体用于：
[0227]
基于所述目标对象针对已推荐内容的历史行为数据，得到所述第一评估值对应的第一评估权重和所述第二评估值对应的第二评估权重；
[0228]
基于所述第一评估值、所述第二评估值、所述第一评估权重和所述第二评估权重，得到确定所述待推荐内容的评估结果。
[0229]
为了描述的方便，以上各部分按照功能划分为各模块(或单元)分别描述。当然，在实施本技术时可以把各模块(或单元)的功能在同一个或多个软件或硬件中实现。
[0230]
关于上述实施例中的装置，其中各个单元执行请求的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
[0231]
所属技术领域的技术人员能够理解，本技术的各个方面可以实现为系统、方法或程序产品。因此，本技术的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
[0232]
在介绍了本技术示例性实施方式的内容推荐方法和装置之后，接下来，介绍根据本技术的另一示例性实施方式的电子设备。
[0233]
图13是根据一示例性实施例示出的一种电子设备1300的框图，该装置包括：
[0234]
处理器1310；
[0235]
用于存储处理器1310可执行指令的存储器1320；
[0236]
其中，处理器1310被配置为执行指令，以实现本技术实施例中的内容推荐方法，例如图3、图5、图7或图8中所示的步骤。
[0237]
在示例性实施例中，还提供了一种包括操作的存储介质，例如包括操作的存储器1320，上述操作可由电子设备1300的处理器1310执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，非临时性计算机可读存储介质可以是只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、便携式紧凑盘只读存储器(compact disk read only memory，cd-rom)、磁带、软盘和光数据存储设备等。
[0238]
基于同一发明构思，本技术还提供了一种计算机程序产品或计算机程序，该计算
机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中各种可选实现方式中提供的内容推荐方法。
[0239]
在一些可能的实施方式中，本技术提供的内容推荐方法的各个方面还可以实现为一种程序产品的形式，其包括计算机程序，当程序产品在计算机设备上运行时，计算机程序用于使计算机设备执行本说明书上述描述的根据本技术各种示例性实施方式的内容推荐方法中的步骤，例如，计算机设备可以执行如图3、图5、图7或图8中所示的步骤。
[0240]
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、ram、rom、可擦式可编程只读存储器(eprom或闪存)、光纤、cd-rom、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0241]
本技术的实施方式的程序产品可以采用cd-rom并包括程序代码，并可以在计算装置上运行。然而，本技术的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被命令执行系统、装置或者器件使用或者与其结合使用。
[0242]
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由命令执行系统、装置或者器件使用或者与其结合使用的程序。尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。
[0243]
显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。