一种推荐模型的训练方法和训练装置与流程

本发明涉及计算机技术领域，特别地涉及一种推荐模型的训练方法和训练装置。

背景技术：

推荐是进行信息推广以使人们获取信息的一种重要途径，应用在生活的各个方面，例如：搜索引擎的推荐、输入法输入词的推荐、网站信息的推荐、以及朋友圈的信息推荐、商品推荐等等。通过将收集的用户信息进行分析处理，进而生成推荐模型，可以更便捷、快速、准确地进行用户推荐。

以搜索引擎为例，当用户输入一个关键词时，搜索引擎即会使用根据网站记录的其他用户的搜索记录训练生产的推荐模型向该用户进行推荐，例如：当用户输入关键词“java”时，搜索引擎的推荐结果可以包括“java培训”、“java教程”、“java下载”、“java环境变量设置”等等内容，以便用户进行选择，从而节省用户的输入时间，提高用户的体验。推荐模型的推荐结果将直接影响该搜索引擎的用户满意度。

以电子商务行业为例，在电子商务(简称电商)业务系统中，向用户推荐商品是可以促使用户浏览、筛选商品的一种重要途径。通过挖掘用户在电商网站上的行为动作序列以获得深层信息，推荐系统可以更精准的分析和刻画用户需求，从而及时的给用户推荐感兴趣的商品，并为商家带来更多的利润。用户动作例如包括：搜索商品信息，打开、浏览或关闭某个页面，点击页面某个位置，发表或转载评论等等。

当前电商网站中使用的商品推荐系统，大多是通过对用户在页面上的浏览、搜索、点击等行为信息进行分析后得到商品推荐方案。现有的商品推荐系统是从扩充推荐模型的训练特征的角度入手，通过人工筛选或机器统计的方法将用户的行为信息加工并转化成特征表示，连同包括页面的样式、内容、链接等等在内的页面内容、以及用户相关的个人属性信息(如：用户登陆网站的时间、地域、设备号，用户注册时所填写的个人信息等)等其他的数据特征，一并输入到排序或推荐模型中，最后得到可以推荐的商品及其排序。

在实现本发明的过程中，发明人发现现有技术存在如下技术问题：

1、目前大多数推荐系统是通过将用户行为数据作为样本的特征输入到推荐模型中以影响推荐结果，但是推荐结果是否为客户所认可，以及推荐模型是否可以更为优化却没有具体的参考标准；

2、目前的推荐系统存在数据标注稀疏和分布不平衡等问题，例如：在推荐结果中，仅有很少量的结果被用户所采纳，相对于展现量来说，采纳量很稀疏。如何有效缓解训练数据的稀疏性和不平衡性，提升推荐系统的训练效果，是一个亟待解决的问题。

技术实现要素：

有鉴于此，本发明实施例提供一种推荐模型的训练方法和训练装置，能够将用户在推荐结果展示之后的行为作为推荐反馈，进一步地用于优化推荐模型；同时可以有效缓解训练数据中采纳量相较于推荐量上的稀疏性和正负样本比例的不平衡性。

为实现上述目的，根据本发明实施例的一个方面，提供了一种推荐模型的训练方法。

一种推荐模型的训练方法，包括：获取推荐模型的训练数据，所述训练数据为最近时段产生的数据，所述最近时段具有预定义的时长；按照预定的训练数据标注规则对所述训练数据进行标注以得到最新标注数据，其中，所述最新标注数据包括所述最近时段发生的推荐结果被展示后的用户反馈，所述用户反馈根据推荐结果被展示后的用户行为来确定；对所述最新标注数据进行训练以得到推荐模型。

可选地，按照预定的训练数据标注规则对所述训练数据进行标注以得到最新标注数据的步骤包括：从用户行为日志中读取所述最近时段中所述用户在推荐结果被展示后的用户行为的序列；对所述序列中的每个用户行为，根据预定义的计分规则，为所述用户行为对应的用户-推荐结果关系数据赋予相应的分值；使用所述分值对所述训练数据进行标注以得到所述最新标注数据。

可选地，所述用户行为的序列包括所述用户访问的推荐结果页的标识、时间、流量来源和所述用户在推荐结果详情页的动作及时间戳。

可选地，所述计分规则通过下述步骤生成：从用户行为日志中提取所述用户在推荐结果被展示后的用户行为的序列；统计所述序列中的行为特征数据以生成训练样本集，所述行为特征数据包括用户对各个推荐结果的行为及各个所述行为花费的时间和相互次序；根据推荐结果是否被采纳来对所述训练样本集进行标注；对所述标注后的训练样本集进行训练以得到所述计分规则。

可选地，统计所述序列中的行为特征数据包括：把所述序列按会话划分，并统计所述会话中的行为特征数据。

可选地，所述会话划分根据下述规则进行：若所述用户相邻两个行为的间隔时间大于预定义的最小间隔时间，则判定所述用户开启了一个新的会话；若所述用户的一个会话的累计时间长度大于预定义的最长会话时间，则判定所述用户开启了一个新的会话。

根据本发明实施例的另一方面，提供了一种推荐模型的训练装置。

一种推荐模型的训练装置，包括：数据获取模块，用于获取推荐模型的训练数据，所述训练数据为最近时段产生的数据，所述最近时段具有预定义的时长；数据标注模块，用于按照预定的训练数据标注规则对所述训练数据进行标注以得到最新标注数据，其中，所述最新标注数据包括所述最近时段发生的推荐结果被展示后的用户反馈，所述用户反馈根据推荐结果被展示后的用户行为来确定；数据训练模块，用于对所述最新标注数据进行训练以得到推荐模型。

可选地，所述数据标注模块还用于：从用户行为日志中读取所述最近时段中所述用户在推荐结果被展示后的用户行为的序列；对所述序列中的每个用户行为，根据预定义的计分规则，为所述用户行为对应的用户-推荐结果关系数据赋予相应的分值；使用所述分值对所述训练数据进行标注以得到所述最新标注数据。

可选地，所述用户行为的序列包括所述用户访问的推荐结果页的标识、时间、流量来源和所述用户在推荐结果详情页的动作及时间戳。

可选地，还包括：计分规则生成模块，用于通过下述步骤生成所述计分规则：从用户行为日志中提取所述用户在推荐结果被展示后的用户行为的序列；统计所述序列中的行为特征数据以生成训练样本集，所述行为特征数据包括用户对各个推荐结果的行为及各个所述行为花费的时间和相互次序；根据推荐结果是否被采纳来对所述训练样本集进行标注；对所述标注后的训练样本集进行训练以得到所述计分规则。

可选地，所述计分规则生成模块还用于：把所述序列按会话划分，并统计所述会话中的行为特征数据。

可选地，所述会话划分根据下述规则进行：若所述用户相邻两个行为的间隔时间大于预定义的最小间隔时间，则判定所述用户开启了一个新的会话；若所述用户的一个会话的累计时间长度大于预定义的最长会话时间，则判定所述用户开启了一个新的会话。

根据本发明实施例的又一方面，提供了一种推荐模型训练的终端设备。

一种推荐模型训练的终端设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明所提供的推荐模型的训练方法。

根据本发明实施例的再一方面，提供了一种计算机可读存储介质。

一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明所提供的推荐模型的训练方法。

上述发明中的一个实施例具有如下优点或有益效果：

通过使用推荐结果展示后的用户反馈来标注推荐模型的训练数据以得到最新标注数据，并定期地使用最新标注数据进行训练得到推荐模型，可以将推荐结果展示后的用户反馈融合到推荐模型的训练中，提高了结果推荐的准确度；另外，根据本发明实施例所提供的计分规则，对不同的用户-推荐结果关系数据赋予不同的分值，可以缓解训练数据中采纳量相较于推荐量上的稀疏性和正负样本比例的不平衡性，使训练得到的推荐模型泛化性能更好。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的推荐模型的训练方法的主要步骤示意图；

图2是本发明实施例一的系统架构图；

图3是本发明实施例一的用户行为标注模型训练过程示意图；

图4是根据本发明实施例的推荐模型的训练装置的主要模块示意图；

图5是本发明实施例可以应用于其中的示例性系统架构图；

图6是适于用来实现本发明实施例的终端设备的计算机系统600的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

为了解决现有技术中存在的问题，本发明提供了一种推荐模型的训练方法，使用推荐结果展示后的用户行为特征数据训练得到的计分规则结合用户的行为日志对推荐模型的训练数据进行标注，能够将用户在推荐结果展示之后的行为作为推荐反馈，进一步地用于优化推荐模型；同时，根据本发明实施例提供的计分规则对用户行为对应的用户-推荐结果关系数据赋予分值，可以有效缓解训练数据中推荐结果的采纳量相较于推荐量上的稀疏性和正负样本比例的不平衡性。

图1是根据本发明实施例的推荐模型的训练方法的主要步骤示意图。如图1所示，本发明实施例的推荐模型的训练方法主要包括如下的步骤s101至步骤s103。

步骤s101：获取推荐模型的训练数据，训练数据为最近时段产生的数据，最近时段具有预定义的时长。

推荐模型的训练数据，一般是指网站记录的关于用户最近一段时间的搜索、浏览、点击、评论等行为信息。推荐系统通过推荐模型为不同的用户推荐不同的结果。推荐模型利用用户之前的行为特征数据进行训练得到。为了更精准地对用户进行推荐，推荐模型根据每个用户最近时段的行为特征数据确定给该用户的推荐结果中包含的信息。其中，最近时段根据系统需要可灵活设置，例如，可设置为一个月。为了保证推荐效果的准确度，可以定期地训练推荐模型，例如：1—2天可训练一次，并更新推荐模型，从而为用户推荐更符合需求的内容。

步骤s102：按照预定的训练数据标注规则对训练数据进行标注以得到最新标注数据，其中，最新标注数据包括最近时段发生的推荐结果被展示后的用户反馈，用户反馈根据推荐结果被展示后的用户行为来确定。

根据本发明的实施例，步骤s102中按照预定的训练数据标注规则对训练数据进行标注以得到最新标注数据可以具体按照以下的步骤来执行：

步骤s1021：从用户行为日志中读取最近时段中该用户在推荐结果被展示后的用户行为的序列；

步骤s1022：对序列中的每个用户行为，根据预定义的计分规则，为用户行为对应的用户-推荐结果关系数据赋予相应的分值；

步骤s1023：使用该分值对训练数据进行标注以得到最新标注数据。

根据本发明的实施例，用户行为的序列例如可以包括用户访问的推荐结果页的标识、时间、流量来源和用户在推荐结果详情页的动作及时间戳等。

其中，用户-推荐结果关系数据可以包括用户的行为特征数据，以及用户属性和推荐结果属性等数据。

用户的行为日志会记录用户在网站上的所有动作、事件。其中包含了推荐结果展示前用户的行为事件以及用户在点击推荐结果后的页面内的行为事件。一般地，推荐模型线下训练会在一次系统推荐结束之后进行，以某次系统推荐为时间基准，将推荐前用户在该网站的行为数据作为推荐模型的训练数据，将推荐后用户在该网站的行为数据作为推荐结果的反馈。

通过选取与训练数据为相同时段的用户行为日志，其中，用户行为日志中包含了用户对最近一次推荐的反馈，并根据计分规则对用户行为对应的用户-推荐结果关系数据赋予相应的分值，再使用该分值对最近时段的训练数据进行标注，从而将用户反馈用于训练推荐模型的最新标注数据。

其中，步骤s1022中的计分规则是使用用户在推荐结果被展示后的用户行为特征数据进行训练得到的，故而包括了用户对推荐结果的反馈。根据本发明的一个实施例，计分规则具体可以通过下述的步骤生成：

步骤s10221：从用户行为日志中提取用户在推荐结果被展示后的用户行为的序列；

步骤s10222：统计序列中的行为特征数据以生成训练样本集，行为特征数据包括用户对各个推荐结果的行为及各个行为花费的时间和相互次序；

步骤s10223：根据推荐结果是否被采纳来对训练样本集进行标注；

步骤s10224：对标注后的训练样本集进行训练以得到计分规则。

其中，步骤s10221中提取的用户行为的序列并非限定于最近时段的用户行为序列，一般地可选择从系统进行更新后的固定时间段内的行为日志中进行提取。并且，只有当系统页面有新的改版，或者增加/变更了新类型的页面元素，即用户会在页面中产生新的重要事件时，才会更新计分规则。

通过获取用户行为日志中最近时段中该用户的用户行为，并使用根据步骤s10221至步骤s10224生成的计分规则对用户行为对应的用户-推荐结果关系数据赋予相应的分值，然后使用该分值对推荐模型的训练数据进行标注，可以将用户对推荐结果的反馈应用到推荐模型的训练中，从而对推荐模型的优化提供了数据基础，提高了推荐模型推荐结果的准确度，完善了用户体验。同时，使用本发明实施例所提供的计分规则可以对用户行为对应的用户-推荐结果关系数据赋予相应的分值，不是简单地局限于1和0，可以缓解训练数据中推荐结果的采纳量相较于推荐量上的稀疏性和正负样本比例的不平衡性，将用户所有的行为信息都转换成训练数据，从而使训练得到的推荐模型泛化性能更好。

在本发明的实施例中，把用户行为的序列划分成会话，并统计每个会话中的用户行为特征。一个完整会话能够反应出用户在一定时间段内的需求。并且，会话划分可以根据下述的预定规则进行：若用户相邻两个行为的间隔时间大于预定义的最小间隔时间，则判定用户开启了一个新的会话；若用户的一个会话的累计时间长度大于预定义的最长会话时间，则判定用户开启了一个新的会话。

步骤s103：对最新标注数据进行训练以得到推荐模型。系统可以定期的使用最新标注数据训练推荐模型，并将模型推送到线上，以保证推荐效果的时效性。一般地，可以1—2天更新一次推荐模型。

根据上述的步骤s101至步骤s103，通过使用推荐结果展示后的用户反馈来标注推荐模型的训练数据以得到最新标注数据，并定期地使用最新标注数据进行训练得到推荐模型，可以将推荐结果展示后的用户反馈融合到推荐模型的训练中，提高了推荐的准确度；另外，根据本发明实施例所提供的计分规则，对不同的用户-推荐结果关系数据赋予不同的分值，可以缓解训练数据中采纳量相较于推荐量上的稀疏性和正负样本比例的不平衡性，使训练得到的推荐模型泛化性能更好。

下面将结合具体的实施例介绍本发明技术方案的具体实施过程。

实施例一：以目前常见的商品推荐为例介绍本发明技术方案的具体实施过程。

图2是本发明实施例一的系统架构图。如图2所示，本发明实施例一的推荐模型用于商品推荐系统。商品推荐系统主要包括线上实时推荐部分和线下推荐模型训练部分。

其中，线上实时推荐的过程为：根据在线用户的实时推荐请求，推荐引擎根据线下训练好的推荐模型对候选商品数据进行筛选、排序等操作，并将确定的推荐结果返回给用户。其中，对商品数据的筛选可以通过查词表等方式去除掉无效的或敏感的推荐结果(例如：已经下架的商品、违禁的药品等等)；对商品数据的排序一般是使用机器学习的模型对待推荐的物品进行统一排序，将用户喜欢的、购买可能性大的商品尽可能的排前面，以符合用户的购物需求，从而提升商家的效益。

本发明的实施例中，为了将商品推荐后的结果反馈用于推荐模型的优化，在训练线下推荐模型时，不是使用简单的指标作为推荐模型训练数据的标注。例如，仅考虑商品是否被购买，若商品被购买，则将与该商品有关的训练数据标注为1，若商品未被购买，则将与该商品有关的训练数据标注为0。而是使用预定的训练数据标注规则对训练数据进行标注，具体实现方式为：使用计分规则为最近时段的用户行为对应的用户-商品关系数据赋予相应的分值，不是简单地局限于1和0，并使用该分值对训练数据进行标注。

其中，本发明的实施例中，计分规则被实现为用户行为标注模型(用户行为标注模型的训练过程详见后文)。本发明的实施例中使用用户行为标注模型结合记录了用户的最近一段时间各种行为的行为日志对训练数据重新标注，这些用户行为包括搜索、浏览、评论等，并且附带花费的时间、各行为的先后次序等信息。其中，推荐模型的训练数据，是指网站记录的关于用户最近一段时间的搜索、浏览、点击、评论等行为信息，一般会定期更新，例如每两天更新一次。由于用户行为标注模型是使用用户在推荐结果展示之后的用户行为数据来训练得到的，因此重新标注的训练数据中包含了在推荐结果展示给用户后的用户行为序列里所包含的各种推荐结果反馈。由于推荐模型的训练数据会定期更新，因此重新标注的训练数据也会定期更新。通过定期的使用重新标注的训练数据训练商品推荐模型，并将其推送到线上，从而可以保证推荐效果的时效性。

下面结合图3介绍本发明实施例的用户行为标注模型的训练过程。本发明实施例中的用户行为标注模型用于实现对用户行为对应的用户-推荐结果关系数据赋予相应的分值的计分规则。本发明实施例中，通过使用用户行为标注模型结合最近时段的用户行为日志对推荐模型的训练数据进行重新标注。

图3是本发明实施例一的用户行为标注模型训练过程示意图。本发明实施例中的用户行为标注模型使用了用户在推荐展示后的行为数据来训练。以商品推荐为例，在本发明的实施例中，对于一个完整会话，以某用户对该会话内每一个商品的所有行为特征数据作为一个样本，用户的不同行为即是样本的特征，那么，该用户对所有商品的行为特征数据的集合就构成了训练样本集。如图3所示，本发明实施例一中的用户行为标注模型的训练过程主要包括如下五个阶段。

阶段一：推荐展示后行为提取：从用户最近一段时间的行为日志中，提取每次推荐结果展示后，用户访问推荐结果页的标识、时间、流量来源以及用户在推荐结果详情页的动作和时间戳等信息。用户的行为日志会记录用户在网站上的所有动作、事件。一般地，可以从用户最近一个月的行为日志中，提取每次推荐结果展示后的用户行为，也可以从用户在每次系统更新后的固定时间段内的行为日志中提取推荐结果展示后的用户行为。当系统页面有新的改版，或者增加/变更了新类型的页面元素，即用户会在页面中产生新的重要事件时，用户行为标注模型才会更新。而每次训练新的用户行为标注模型时会使用新产生的数据，因为之前的数据不包含新的点击或事件，所有上一次训练时所使用的数据一般不会再使用。

阶段二：会话划分：将上一阶段中提取的推荐展示后的用户行为进行会话划分，以得到用户在每次推荐展示后的第一个完整会话的内容。一个完整会话能够反应出用户在一定时间段内的需求。

本发明实施例使用了两种方式划分用户会话：

1、根据最小间隔时间t，当同一用户相邻两个行为的间隔时间大于t，即认为用户开启了一个新的会话。因为如果客户在访问一个推荐商品的时候有其他事情需要去处理，则会关闭该页面，去干别的事情，等下次再打开这个页面的时候，时间已经超过t，可能和之前打开这个页面的关注点已经不同了，所以需划分为两个会话；

2、根据最长会话时间s，当用户的一个会话的累计时间长度大于s，就截断上一次会话，并开启新会话。一般情况下用户在浏览商品时，如果超过一段时间s，那么该用户继续浏览该商品的目的可能已经发生了变化了，因此会重新开启新会话。

在实际应用中，一般会将上述的两种方式结合起来划分用户会话。其中的最小间隔时间t和最长会话时间s可根据系统设置的需要灵活调整，例如：可设置最小间隔时间t为5分钟，最长会话时间s为30分钟等。

阶段三：统计会话内的行为特征数据：对划分得到的会话，统计该会话内用户各种行为的次序以及花费的时间，计算用户访问不同商品的总停留时间，统计同一商品在会话中的访问次数比例以及种类比例，等等。

例如：在一个会话中，用户总共浏览了3个同品类的商品，分别是商品a、商品b和商品c，为了将这3个同品类的商品进行对比以挑选最合适的商品，用户可能需要查看商品评论、型号、所在地区是否有货、运费等内容，因此用户会多次反复浏览这3个商品的页面。在统计该会话内的用户行为特征时，可以统计该会话中用户共浏览了几个商品、商品的浏览次序、对每个商品的浏览次数、对每个商品的浏览时间等等行为特征数据。

另外，还可以统计用户本身的特征，如注册年龄，浏览器类型，已购买过的商品、是否有经常购物的习惯等；以及与商品相关的信息，例如：商品是否是热卖商品、是否是人气商品、是否是新品及商品的品牌、价格等等数据。根据商品相关的信息可以判断用户的需求及喜好，例如：用户是否喜好或者需要热卖商品，用户是否看重商品的品牌等等，从而推荐更适合用户的商品；根据用户本身的特征可以判断给用户推荐的商品所涵盖的领域，等等。其中，热卖商品指的是在固定的时间段内销售量超过一定阈值的商品，人气商品是指在预定的时间段内商品的浏览次数达到一定阈值的商品，新品指的是上市时间在某预定的时间段内的商品。

阶段四：训练样本标注：通过阶段三得到的一个会话内包含的用户的行为特征数据即为用户行为标注模型的一个训练样本。那么，用户在最近时段内的所有行为特征数据的集合就构成了用户行为标注模型的训练样本集。我们使用商品是否被购买进行训练样本的标注。这是因为推荐的商品是否被交易，不仅反映了用户对推荐效果的认可，也度量了推荐展示后的用户行为的重要程度。根据商品交易日志，可得到被推荐的商品是否被购买。若该商品被购买，则将该商品对应的用户-商品关系数据标注为1，否则，将其标注为0。

阶段五：用户行为标注模型训练：使用阶段四中标注过的训练样本集进行训练，即可得到用户行为标注模型，常用的有监督的机器学习模型均可被用来训练用户行为标注模型。在机器学习中，有监督学习是从带有标注的训练数据来推断一个功能的机器学习任务。在监督学习中，每个样本都是由一个输入对象(通常为矢量)和一个期望的输出值(也称为监督信号或标注)组成。

本发明实施例中使用迭代的决策树算法gbdt(gradientboostingdecisiontree)来训练模型，性能好且实现简单。通过使用网格搜索grid-search方法来选择待调整的参数，并在验证数据集上使用5折交叉验证法挑选出最好的模型，作为用户行为标注模型。

另外，在本发明的实施例中，可使用同样的模型训练方法对推荐模型进行训练。在实际应用中，也可采用更加复杂的模型(如深度神经网络)来训练推荐模型。

在本发明的实施例中，用户行为标注模型也会被更新，更新频率可以根据需要设定，例如：可设定每个月更新一次，也可当系统页面有新的改版，或者增加变更了新类型的页面元素，即用户会在页面中产生新的重要事件时，再进行更新。每次训练新的用户行为标注模型时可以使用新的数据，以便所使用的数据包含新的事件。

根据前面所描述的阶段一至阶段五，即可得到用户行为标注模型，以用于对推荐模型的训练数据进行标注。

实施例二：以目前常用的搜索引擎推荐为例介绍本发明技术方案的具体实施过程。

与实施例一类似，搜索引擎的推荐系统主要包括线上实时推荐部分和线下推荐模型训练部分。

其中，线上实时推荐的过程为：当用户在输入框内输入搜索关键字时，推荐系统根据在线用户的实时推荐请求调用推荐引擎，推荐引擎根据线下训练好的推荐模型对候选推荐结果数据进行筛选、排序等操作，并将确定的推荐结果返回给用户。

为了将推荐后的结果反馈用于推荐模型的优化，在训练线下推荐模型时，不是使用简单的指标作为推荐模型训练数据的标注。例如：仅考虑推荐结果是否被采纳，若推荐结果被采纳，则将与该推荐结果有关的训练数据标注为1，若推荐结果未被采纳，则将与该推荐结果有关的训练数据标注为0。而是使用预定的训练数据标注规则对训练数据进行标注，具体实现方式为：使用计分规则为最近时段的用户的搜索行为对应的用户-推荐结果关系数据赋予相应的分值，不是简单地局限于1和0，并使用该分值对训练数据进行标注。例如，将用户搜索该关键词后，对推荐结果的选择、浏览等行为信息进行提取、分析，根据用户的浏览时间、浏览次序以及反复浏览的次数，对推荐结果进行排序并依次给定不同的分值。

同样地，该实施例中的计分规则被实现为用户行为标注模型。本发明实施例中的用户行为标注模型使用了用户在推荐展示后的行为数据来训练。在以搜索引擎为例的该实施例二中，对于一个完整会话，以某用户对该会话内每一个推荐结果的所有行为特征数据作为一个样本，用户的不同行为即是样本的特征，那么，该用户对所有推荐结果的行为特征数据的集合就构成了训练样本集。

通过从用户最近一段时间的行为日志中，提取每次推荐结果展示后，用户访问推荐结果页的标识、时间、流量来源以及用户在推荐结果详情页的动作和时间戳等信息以获取用户在推荐展示后的行为信息。之后，统计用户在推荐展示后的行为信息中包含的行为特征数据，例如：统计用户点击、浏览不同推荐页面的次序、次数以及花费的时间，计算用户访问不同推荐页面的总停留时间，统计同一推荐页面的访问次数比例等等。然后，根据用户的不同行为特征，按照预定的规则确定用户采纳的推荐结果，并根据用户是否采纳对推荐结果进行标注以得到标注过的训练样本集，其中，预定的规则例如是将用户最后搜索浏览的页面确定为用户采纳的推荐结果或将用户浏览次数最多且时间最长的页面确定为用户采纳的推荐结果。最后，使用标注过的训练样本集进行训练，即可得到用户行为标注模型，以用于对推荐模型的训练数据进行标注。

图4是根据本发明实施例的推荐模型的训练装置的主要模块示意图。如图4所示，本发明的推荐模型的训练装置40主要包括数据获取模块401、数据标注模块402和数据训练模块403。

数据获取模块401用于获取推荐模型的训练数据，训练数据为最近时段产生的数据，最近时段具有预定义的时长；

数据标注模块402用于按照预定的训练数据标注规则对训练数据进行标注以得到最新标注数据，其中，最新标注数据包括最近时段发生的推荐结果被展示后的用户反馈，用户反馈根据推荐结果被展示后的用户行为来确定；

数据训练模块403用于对新标注数据进行训练以得到推荐模型。

根据本发明的实施例，数据标注模块402还可以用于：

从用户行为日志中读取最近时段中用户在推荐结果被展示后的用户行为的序列；

对序列中的每个用户行为，根据预定义的计分规则，为用户行为对应的用户-商品关系数据赋予相应的分值；

使用分值对训练数据进行标注以得到最新标注数据。

在本发明的实施例中，用户行为的序列包括用户访问的推荐结果页的标识、时间、流量来源和用户在推荐结果详情页的动作及时间戳。

本发明的推荐模型的训练装置400还可以包括计分规则生成模块(图中未示出)，用于通过下述步骤生成所述计分规则：

从用户行为日志中提取用户在推荐结果被展示后的用户行为的序列；

统计序列中的行为特征数据以生成训练样本集，行为特征数据包括用户对各个推荐结果的行为及各个行为花费的时间和相互次序；

根据推荐结果是否被采纳来对训练样本集进行标注；

对标注后的训练样本集进行训练以得到计分规则。

另外，计分规则生成模块还可以用于：把序列按会话划分，并统计会话中的行为特征数据。

本发明实施例中，会话划分根据下述规则进行：

若用户相邻两个行为的间隔时间大于预定义的最小间隔时间，则判定用户开启了一个新的会话；

若用户的一个会话的累计时间长度大于预定义的最长会话时间，则判定用户开启了一个新的会话。

根据以上描述的本发明实施例的技术方案，通过使用推荐结果展示后的用户反馈来标注推荐模型的训练数据以得到最新标注数据，并定期地使用最新标注数据进行训练得到推荐模型，可以将推荐结果展示后的用户反馈融合到推荐模型的训练中，提高了商品推荐的准确度；另外，根据预定义的规则，对不同的用户-推荐结果关系数据赋予不同的分值，可以缓解训练数据中采纳量相较于推荐量上的稀疏性和正负样本比例的不平衡性，使训练得到的推荐模型泛化性能更好。

图5示出了可以应用本发明实施例的推荐模型的训练方法或推荐模型的训练装置的示例性系统架构800。

如图5所示，系统架构500可以包括终端设备501、502、503，网络504和服务器505。网络504用以在终端设备501、502、503和服务器505之间提供通信链路的介质。网络504可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备501、502、503通过网络504与服务器505交互，以接收或发送消息等。终端设备501、502、503上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备501、502、503可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器505可以是提供各种服务的服务器，例如对用户利用终端设备501、502、503所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息等，仅为示例)反馈给终端设备。

需要说明的是，本发明实施例所提供的推荐模型的训练方法一般由服务器505执行，相应地，推荐模型的训练装置一般设置于服务器505中。

应该理解，图5中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

根据本发明的实施例，本发明还提供了一种推荐模型训练的终端设备和一种计算机可读介质。

本发明的推荐模型训练的终端设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明所提供的推荐模型的训练方法。

本发明的计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明所提供的推荐模型的训练方法。

下面参考图6，其示出了适于用来实现本发明实施例的终端设备的计算机系统600的结构示意图。图6示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，计算机系统600包括中央处理单元(cpu)601，其可以根据存储在只读存储器(rom)602中的程序或者从存储部分608加载到随机访问存储器(ram)603中的程序而执行各种适当的动作和处理。在ram603中，还存储有系统600操作所需的各种程序和数据。cpu601、rom602以及ram603通过总线604彼此相连。输入/输出(i/o)接口605也连接至总线604。

以下部件连接至i/o接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至i/o接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地，根据本发明公开的实施例，上文主要步骤图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行主要步骤图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(cpu)601执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括数据获取模块、数据标注模块和数据训练模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，数据获取模块还可以被描述为“用于获取推荐模型的训练数据的模块，所述训练数据为最近时段产生的数据，所述最近时段具有预定义的时长”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：获取推荐模型的训练数据，所述训练数据为最近时段产生的数据，所述最近时段具有预定义的时长；按照预定的训练数据标注规则对所述训练数据进行标注以得到最新标注数据，其中，所述最新标注数据包括所述最近时段发生的推荐结果被展示后的用户反馈，所述用户反馈根据推荐结果被展示后的用户行为来确定；对所述最新标注数据进行训练以得到推荐模型。

根据本发明实施例的技术方案，通过使用推荐结果展示后的用户反馈来标注推荐模型的训练数据以得到最新标注数据，并定期地使用最新标注数据进行训练得到推荐模型，可以将推荐结果展示后的用户反馈融合到推荐模型的训练中，提高了推荐的准确度；另外，根据本发明实施例所提供的计分规则，对不同的用户-推荐结果关系数据赋予不同的分值，可以缓解训练数据中采纳量相较于推荐量上的稀疏性和正负样本比例的不平衡性，使训练得到的推荐模型泛化性能更好。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。