用于构建训练样本的方法、装置、电子设备及存储介质与流程

本申请涉及机器学习和电商平台，尤其涉及一种用于构建训练样本的方法、装置、电子设备及计算机可读存储介质。

背景技术：

1、电商平台的搜索引擎根据搜索请求(query)召回商品，召回的商品经过粗排、精排等处理后曝光，供用户挑选购买。关于粗排和精排，参考图1，粗排阶段的整体策略是根据召回结果与query的相关性对召回结果进行筛选、排序，相关性高的商品进入精排；精排阶段可综合考虑多种因素对排序的影响，例如考虑商品的历史销量或当前热度，可使更有可能被用户选中购买的商品得到曝光机会，又如考虑卖家促销因素，将促销商品优先曝光，等等。以上描述的召回曝光策略适用于各类网络平台的搜索引擎或推荐系统。

2、其中，粗排处理中的核心问题之一是粗排模型的负样本选择问题。由于系统可记录的日志数据有限，已有的做法大多是基于用户行为(如搜索关键词、浏览曝光商品、点击商品、收藏商品、购买商品等)来构建正负样本，例如针对用户输入搜索词之后的一系列行为，以该用户最终购买的商品为该次搜索的正样本，以曝光但未被购买和/或未被点击的商品为负样本，此正负样本在一定程度上反映该用户的选择倾向，可作为粗排模型的训练样本。但是，按照上述方式确定的负样本多样性较差，与粗排模型实际处理的数据分布差异较大，训练效果难以让人满意。目前，相关场景中粗排模型的训练样本构成问题存在着较大的提升空间，是研发人员研究的热点和难点之一，粗排模型训练效果有待提升。

技术实现思路

1、有鉴于此，本申请实施例提供一种用于构建训练样本的方法、装置、电子设备及计算机可读存储介质，用于解决以上至少一种技术问题。

2、第一方面，本申请实施例提供一种用于构建训练样本的方法，包括：

3、获取预定时间段内多个用户的点击及支付商品的信息，将其中属于第一目标查询词的点击及支付商品的信息确定为所述预定时间段内产生的第一正样本集合，所述第一正样本集合中来自同一个会话的商品属于同一个正样本商品列表；

4、对各个正样本商品列表分别进行去重处理，得到去重的正样本商品列表；

5、对各个去重的正样本商品列表中的各个商品添加第一类标识，确定预设的负样本候选池中各个商品具有第二类标识；

6、根据去重的正样本商品列表中各个正样本商品的属性，在负样本候选池中为各个正样本商品分别选取r个负样本商品，构成对应的负样本商品列表，基于一个或多个负样本商品列表构成所述第一正样本集合对应的第一负样本集合，其中为当前正样本商品选取r个负样本商品时，基于当前正样本商品的第一类标识以及负样本候选池中商品的第二类标识进行选取，以使所述第一负样本集合中不存在重复的商品信息，其中r为预设步长。

7、第二方面，本申请实施例提供一种用于构建训练样本的装置，包括：

8、正样本处理模块，用于获取预定时间段内多个用户的点击及支付商品的信息，将其中属于第一目标查询词的点击及支付商品的信息确定为所述预定时间段内产生的第一正样本集合，所述第一正样本集合中来自同一个会话的商品属于同一个正样本商品列表；

9、去重处理模块，用于对各个正样本商品列表分别进行去重处理，得到去重的正样本商品列表；

10、标识处理模块，用于对各个去重的正样本商品列表中的各个商品添加第一类标识，确定预设的负样本候选池中各个商品具有第二类标识；

11、负样本处理模块，用于根据去重的正样本商品列表中各个正样本商品的属性，在负样本候选池中为各个正样本商品分别选取r个负样本商品，构成对应的负样本商品列表，基于一个或多个负样本商品列表构成所述第一正样本集合对应的第一负样本集合，其中为当前正样本商品选取r个商品的信息时，基于当前正样本商品的第一类标识以及负样本候选池中商品的第二类标识进行选取，以使所述第一负样本集合中不存在重复的商品信息，其中r为预设步长。

12、第三方面，本申请实施例提供一种电子设备，所述电子设备包括：处理器以及存储有计算机程序指令的存储器；所述电子设备执行所述计算机程序指令时实现如上所述的方法的步骤。

13、第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如上所述的方法的步骤。

14、第五方面，本申请实施例提供一种计算机程序产品，其包括计算机程序指令，所述计算机程序指令被处理器执行时实现如上所述的方法的步骤。

15、本申请实施例设计了一种用于构建模型训练样本的动态步长机制，对正样本集合中的同类商品去重，可减少同类商品所需要的负样本的数量，达到减少或消除游离正样本的目的，为正样本商品和候选的负样本商品添加合适的标识，可实现负样本商品的选取随机且不重复，可从本质上优化样本质量，实现高质量的模型训练过程。

技术特征：

1.一种用于构建训练样本的方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述去重处理包括：

3.根据权利要求1所述的方法，其特征在于，所述对各个去重的正样本商品列表中的各个商品添加第一类标识，包括：

4.根据权利要求1所述的方法，其特征在于，

5.根据权利要求1所述的方法，其特征在于，所述根据去重的正样本商品列表中的各个正样本商品的属性，在负样本候选池中为各个正样本商品分别选取r个商品的信息，包括：

6.根据权利要求1-5中任一项所述的方法，其特征在于，所述属性包括以下至少一者：商品的类型、商品的类目、商品的型号、商品的机型。

7.根据权利要求1-5中任一项所述的方法，其特征在于，所述属性包括商品的三级类目。

8.根据权利要求1-5中任一项所述的方法，其特征在于，所述第一正样本集合和对应的第一负样本集合用于根据排序学习技术中的文档列表方法训练搜索系统中的粗排模型。

9.一种用于构建训练样本的装置，其特征在于，包括：

10.一种电子设备，其特征在于，所述电子设备包括：处理器以及存储有计算机程序指令的存储器；所述电子设备执行所述计算机程序指令时实现如权利要求1-8中任一项所述的方法。

11.一种计算机可读存储介质，其特征在于，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时执行如权利要求1-8中任一项所述的方法。

12.一种计算机程序产品，其特征在于，其包括计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-8中任一项所述的方法。

技术总结
本申请公开了一种用于构建训练样本的方法、装置、电子设备及存储介质。该方法包括：获取预定时间段内多个用户的点击及支付商品的信息，将其中属于第一目标查询词的点击及支付商品的信息确定为预定时间段内产生的第一正样本集合，第一正样本集合中来自同一个会话的商品属于同一个正样本商品列表；对各个正样本商品列表分别进行去重处理，对各个去重的正样本商品列表中的各个商品添加第一类标识，根据去重的正样本商品列表中各个正样本商品的属性，为各个正样本商品分别选取负样本商品，构成对应的负样本商品列表，基于负样本商品列表构成第一负样本集合。利用本申请实施例能够获得高质量的训练样本。

技术研发人员：范凯,杨生
受保护的技术使用者：北京转转精神科技有限责任公司
技术研发日：
技术公布日：2024/1/15