一种数据筛选方法、装置及存储介质与流程

文档序号:23135963发布日期:2020-12-01 13:11阅读:94来源:国知局
一种数据筛选方法、装置及存储介质与流程

本发明涉及电子应用领域,尤其涉及一种数据筛选方法、装置及存储介质。



背景技术:

随着大数据和互联网的发展,人工智能得到了广泛地应用,机器学习和深度学习作为人工智能的关键技术,离不开海量数据的积累,在电商领域,用户在电商平台上选购自身期望购买的商品数据,并将该商品数据添加至购物车中,如图1所示,用户在购物车中添加了书籍、洗衣液和内衣洗涤剂。随着数据成爆炸式增长,电商平台提供的商品数据的数量和种类都变得越来越多,且购物车中能够容纳的商品数据也变得越来越多,购物车中的商品数据按照添加时间进行排序,当用户需要购买某一类商品数据时,需要从大量商品数据中依次查找该类商品数据,导致筛选指定数据的速度慢的问题。



技术实现要素:

本发明实施例提供一种数据筛选方法、装置及存储介质,能够提高筛选指定数据的速度。

本发明实施例的技术方案是这样实现的:

第一方面,本发明实施例提供一种数据筛选方法,所述方法包括:

当触发模型训练时,获取特征类型对应的样本数据集,所述特征类型包括行为属性、登陆账号特征和数据特征;

利用所述样本数据集训练预设排序模型;

当接收到第一排序类型的排序指令时,从所述排序指令中确定出所述第一排序类型对应的待排序数据;

利用所述预设排序模型,对所述待排序数据进行排序,以从排序后的所述待排序数据中筛选出指定数据。

在上述方法中,所述利用训练后的预设排序模型,对所述待排序数据进行排序之后,所述方法还包括:

当接收到对所述待排序数据的共享指令时,从所述共享指令中确定共享类型;

根据所述共享类型,从所述待排序数据中确定出待共享数据;

按照预设传输方式,将所述待共享数据传输至接收账号。

在上述方法中,所述获取特征类型对应的样本数据集之前,所述方法还包括:

确定登陆账号,并获取所述登陆账号对应的历史数据;

将所述历史数据按照预设特征类型进行划分;

利用划分后的历史数据,将预设曝光数据划分为已选择数据和未选择数据;

将所述已选择数据和所述未选择数据,组成所述样本数据集。

在上述方法中,所述将所述已选择数据和所述未选择数据,组成所述样本数据集,包括:

按照预设选择条件,从所述已选择数据和未选择数据中,确定出预设比例的已选择样本数据和未选择样本数据;

将预设比例的已选择样本数据和未选择样本数据组成所述样本数据集。

在上述方法中,所述将所述已选择样本数据和所述未选择样本数据组成所述样本数据集之后,所述方法还包括:

从所述样本数据集中,查找所述特征类型对应的、不满足预设评价阈值的异常数据;

删除所述异常数据。

在上述方法中,所述获取所述登陆账号对应的历史数据之后,所述方法还包括:

根据所述预设曝光数据的特征类型,对所述预设曝光数据进行排序;

相应的,所述利用划分后的历史数据,将预设曝光数据划分为已选择数据和未选择数据,包括:

利用所述划分后的历史数据,将排序后的预设曝光数据划分为所述已选择数据和所述未选择数据。

在上述方法中,所述利用训练后的预设排序模型,对所述待排序数据进行排序,包括:

分别获取所述训练后的预设排序模型的第一评估参数和所述预设排序模型的第二评估参数;

当所述第一评估参数大于所述第二评估参数时,利用所述训练后的预设排序模型,对所述待排序数据进行排序。

在上述方法中,所述根据所述预设曝光数据的特征类型,对所述预设曝光数据进行排序之后,所述方法还包括:

按照预设显示策略,将所述排序后的预设曝光数据显示在推荐界面。

第二方面,本发明实施例提供一种数据筛选装置,所述数据筛选装置包括:处理器、存储器、显示器及通信总线,所述显示器,用于将排序后的待排序数据显示在当前显示界面上,所述处理器用于执行所述存储器中存储的运行程序,以实现以下步骤:

当触发模型训练时,获取特征类型对应的样本数据集,所述特征类型包括行为属性、登陆账号特征和数据特征;利用所述样本数据集训练预设排序模型;当接收到第一排序类型的排序指令时,从所述排序指令中确定出所述第一排序类型对应的待排序数据;利用所述预设排序模型,对所述待排序数据进行排序。

在上述数据筛选装置中,所述处理器,还用于当接收到对所述待排序数据的共享指令时,从所述共享指令中确定共享类型;根据所述共享类型,从所述待排序数据中确定出待共享数据;按照预设传输方式,将所述待共享数据传输至接收账号。

在上述数据筛选装置中,所述处理器,还用于确定登陆账号,并获取所述登陆账号对应的历史数据;将所述历史数据按照预设特征类型进行划分;利用划分后的历史数据,将预设曝光数据划分为已选择数据和未选择数据;将所述已选择数据和所述未选择数据,组成所述样本数据集。

在上述数据筛选装置中,所述处理器,还用于按照预设选择条件,从所述已选择数据和未选择数据中,确定出预设比例的已选择样本数据和未选择样本数据;将预设比例的已选择样本数据和未选择样本数据组成所述样本数据集。

在上述数据筛选装置中,所述处理器,还用于从所述样本数据集中,查找所述特征类型对应的、不满足预设评价阈值的异常数据;删除所述异常数据。

在上述数据筛选装置中,所述处理器,还用于根据所述预设曝光数据的特征类型,对所述预设曝光数据进行排序;利用所述划分后的历史数据,将排序后的预设曝光数据划分为所述已选择数据和所述未选择数据。

在上述数据筛选装置中,所述处理器,还用于分别获取所述训练后的预设排序模型的第一评估参数和所述预设排序模型的第二评估参数;当所述第一评估参数大于所述第二评估参数时,利用所述训练后的预设排序模型,对所述待排序数据进行排序。

在上述数据筛选装置中,所述显示器,还用于按照预设显示策略,将所述排序后的预设曝光数据显示在推荐界面。

第三方面,本发明实施例提供一种存储介质,其上存储有计算机程序,应用于数据筛选装置,该计算机程序被处理器执行时实现如上述任一项所述的数据筛选方法。

应用本发明实施例实现以下有益效果:

因为采用一种数据筛选方法、装置及存储介质,该方法可以包括:当触发模型训练时,获取特征类型对应的样本数据集,特征类型包括行为属性、登陆账号特征和数据特征;利用样本数据集训练预设排序模型;当接收到第一排序类型的排序指令时,从排序指令中确定出第一排序类型对应的待排序数据;利用预设排序模型,对待排序数据进行排序,以从排序后的待排序数据中筛选出指定数据。所以,数据筛选装置在触发模型训练时,获取不同特征类型对应的样本数据集,并利用不同特征类型对应的样本数据集训练预设排序模型,该预设排序模型能够根据不同特征类型进行相应的调整,数据筛选装置提供多个排序类型,当数据筛选装置接收到第一排序类型的排序指令时,数据确定第一排序类型对应的待排序数据,并利用预设排序模型进行排序,使得排序后的待排序数据能够按照指定的排序类型进行排序,如此,能够加快了从待排序数据中筛选指定数据的速度。

附图说明

图1是购物车内商品数据的界面显示图;

图2是本发明实施例提供的一种数据筛选方法的流程图;

图3是本发明实施例提供的一种示例性的数据筛选装置的结构示意图;

图4是本发明实施例提供的一种示例性的智能购物车的排序和分享模块显示图;

图5为本发明实施例提供的一种数据筛选装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,所描述的实施例不应视为对本发明的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。

实施例一

本发明实施例提供一种数据筛选方法,如图2所示,该方法可以包括:

s101、当触发模型训练时,获取特征类型对应的样本数据集,特征类型包括行为属性、登陆账号特征和数据特征。

本发明实施例提供的一种数据筛选方法适用于对添加至购物车中的商品进行自定义排序后显示的场景下。

如图3所示,本发明实施例提供数据筛选装置1的结构组成图,该数据筛选装置通过图3所示的结构完成对购物车中的商品数据进行排序及分享的才操作,具体的,该数据筛选装置1的结构包括:数据处理层、召回层、排序层、展现层、监控层和数据分享层。其中,数据处理层包括日志服务模块、训练样本抽取模块和模型训练模块;召回层包括品类召回模块和素材召回模块;排序层包括:特征工程模块和模型工程模块;展现层包括:品类隔断模块、二次排序模块和展现丰富化模块;监控层包括:特征监控模块、模型监控模块、效果监控模块和流程监控模块;数据分享层包括:查看分享模块、分享维度模块、后台记录模块和相似用户画像模块。

本发明实施例中,在数据筛选装置的模型工程模块中预先设置任务平台,在任务平台中设置相应的触发模型训练的触发条件,包括触发时间、触发类型等,具体的根据实际情况进行选择,本发明实施例不做具体的限定。数据筛选装置调度任务平台以触发模型训练。

本发明实施例中,当触发模型训练之后,数据筛选装置获取特征类型对应的样本数据集,即该样本数据集按照特征类型进行了相应的处理。

本发明实施例中,特征工程模块中提供了包括行为属性、登陆账号特征和数据特征的特征类型,具体的根据实际情况进行扩充,本发明实施例不做具体的限定,其中,行为属性为用户的具体操作类型,登陆账号特征为登陆账号对应的基础特征,数据特征为数据的相关特征。

可选的,特征工程模块中定义了行为属性包括用户点击、浏览、添加、关注和评论等行为;具体的根据实际情况进行选择,本发明实施例不做具体的限定。

可选的,特征工程模块中定义了登陆账号特征包括登陆账号的性别、年龄、是否为会员、购买力等特征,具体的根据实际情况进行选择,本发明实施例不做具体的限定。

可选的,特征工程模块中定义了数据特征包括价格、所属品类等,具体的根据实际情况进行选择,本发明实施例不做具体的限定。

需要说明的是,在数据筛选装置获取特征类型对应的样本数据集之前,数据筛选装置预先组成样本数据集,具体的,数据筛选装置确定登陆账号,并获取登陆账号对应的历史数据;之后,数据筛选装置将历史数据按照预设特征类型进行划分;并利用划分后的历史数据,将预设曝光数据划分为已选择数据和未选择数据;数据筛选装置将已选择数据和未选择数据,组成样本数据集。

具体的,数据筛选装置的日志服务模块从登陆账号对应的登陆设备处实时获取线上反馈数据(用户实时点击的数据),并将线上反馈数据存储至日志服务中,将从该登陆设备之前获取到的离线特征存储至分布式文件系统(hdfs,hadoopdistributedfilesystem)中,并将线上反馈数据和离线特征作为登陆账号的历史数据。之后,数据筛选装置将预设特征类型和历史数据进行关联,具体的,数据筛选装置为不同的预设特征类型设置标号,并为不同预设特征类型的历史数据添加对应的标号,以完成将预设特征类型和历史数据进行关联的过程。之后,数据筛选装置将关联预设曝光数据和划分后的历史数据,以将预设曝光数据划分为已选择数据和未选择数据,其中,预设曝光数据为数据筛选装置向登陆设备展示的、以供登陆设备点击的数据。

示例性的,将预设曝光数据和历史数据进行匹配,将与历史数据匹配成功的第一曝光数据打标签1,将预设曝光数据中除第一曝光数据外的曝光数据打标签0。

本发明实施例中,数据筛选装置的素材召回模块提供了逻辑回归算法,数据筛选装置利用逻辑回归算法计算预设曝光数据的质量分,其中,质量分用于描述预设曝光数据本身的属性,比如预设曝光数据的曝光点击率、预设曝光数据的分享数、预设曝光数据的好评数、预设曝光数据的发布者等级等,之后,数据筛选装置将质量分满足预设分数的预设曝光数据存储至召回池中,数据筛选装置可以对召回池中的预设曝光数据按照不同排序规则进行排序。召回池中还存储了历史数据。

可选的,品类召回模块定义了排序规则可以包括:按照偏好品类和偏序品类排序,具体的根据实际情况进行选择,本发明实施例不做具体的限定。

其中,按照偏好品类包括:按照实时品类偏好,其中,实时品类包括从用户扩展搜索列表中捕获的实时品类偏好,实时品类偏好的优先级一般是最高的,因为用户正在关注点击的商品是最容易下单的;按照短期品类偏好,其中,短期品类偏好是指用户过去15天在京东的行为记录;按照离线品类偏好,其中,离线品类偏好是指用户过去90天在京东的行为记录;按照频道内品类偏好,如对于发现好货频道而言,主要是入口图品类和频道内点击素材对应品类,具体的根据实际情况进行选择,本发明实施例不做具体的限定。

其中,按照偏序品类包括:按照用户相似品类,如高等消费用户更愿意购买价高的电脑,对于喜欢阅读的用户,为其推荐促销的图书,喜欢吃的用户,为其推荐有满减优惠券或做活动的食品;按照内容相似品类,即从商品数据的角度出发,用户喜欢商品数据a,则商品数据a的相似商品也是用户感兴趣的;按照品类相似度,如喜欢手机的用户,可能也喜欢ipad,因为它们都是电子产品;按照地域,如哈尔滨的用户更偏向多买几件羽绒服,而海南的用户更偏向多买几件短袖;设备,即用户的手机操作系统,主要分为苹果操作系统(ios,iphoneoperatingsystem)和android操作系统;季节,是推荐业务中重要的特征,比如夏天连衣裙的需求比较大,冬天棉衣的需求比较大,下雨的时候雨伞的需求大,雾霾天气口罩的需求比较大;品牌,即统计用户浏览或者订购的品牌;热门,即按照商品热度从高到低的顺序进行排序,具体的根据实际情况进行选择,本发明实施例不做具体的限定。

本发明实施例中,数据筛选装置的素材召回模块提供了素材过滤方法,该素材过滤方法具体为:在推荐频道显示预设曝光数据时,可以按照一定的显示规则显示预设曝光数据,如,前一次显示过的素材,下一次不再显示,以提高展示的视觉效果。

具体的,显示规则包括:品类隔断模块提供的多级品类隔断,如不能连着出现三次同一个品牌的手机;二次排序模块提供的二次排序,即在进行多级品类隔断之后,对曝光数据重新穿插排序;展现丰富化模块提供的展现丰富化,即显示的曝光数据来自多个品类等。

可以理解的是,数据筛选装置对召回池中的预设曝光数据进行排序,并将排序后的预设曝光数据显示在推荐频道,能够提高推荐准确性。

本发明实施例中,训练样本抽取模块用于将已选择数据和未选择数据组成样本数据集的过程具体为:数据筛选装置按照预设选择条件,从已选择数据和未选择数据中,确定出预设比例的已选择样本数据和未选择样本数据;之后,数据筛选装置将预设比例的已选择样本数据和未选择样本数据组成样本数据集。

需要说明的是,不同维度的样本数据具有不同的数值,为了使得多个维度的样本数据之间具有可比性,对每种特征进行归一化处理,将其值域控制在0到1之间。

具体的,特征工程模块定义了预设选择条件包括覆盖天数,即选择过去1天的已选择数据和未选择数据,抽取过去7天的已选择数据和未选择数据,抽取过去30天的已选择数据和未选择数据,抽取过去90天的已选择数据和未选择数据。

具体的,训练样本抽取模块定义了抽取已选择数据和未选择数据的预设比例为1:1,或者抽取已选择数据和未选择数据的预设比例为1:3,其中,经过实际的模型训练,发现点击和未点击设置为1:1是效果比较好的。

进一步地,当数据筛选装置将已选择样本数据和未选择样本数据组成样本数据集之后,数据筛选装置的特征监控模块从样本数据集中查找特征类型对应的、不满足预设评价阈值的异常数据,并将异常数据进行删除,进而能够提高利用样本数据集训练预设排序模型的准确性。

本发明实施例中,数据筛选装置计算每一种特征类型对应的样本数据集的均值和标准差,当数据筛选装置判断出样本数据集中的数据取值比均值大3个标准差,或比均值小3个标准差时,将该数据确定为异常数据,并将该异常数据删除。

s102、利用样本数据集训练预设排序模型。

当数据筛选装置获取到特征类型对应的样本数据集之后,数据筛选装置就要利用样本数据集训练预设排序模型。

本发明实施例中,模型工程模块中定义了预设排序模型包括梯度提升数(gbdt,gradientboostingdecision)、在线逻辑回归(online_lr,onlinelogisticsregression)、ranknet算法、wide&deep算法和深度神经网络(dnn,deepneuralnetwork)中的至少一种,即可以使用上述任一种排序模型,或者将上述排序模型进行模型融合,具体的根据实际情况进行选择,本发明实施例不做具体的限定。

其中,online_lr可以更多地捕获用户的实时偏好特征(即用户对某一商品数据的关注度);ranknet算法在计算排序分数时,使用神经网络,每个样本的输入特征作为第一层,经过非线性变换后得到打分,然后反向传播更新分数;wide&deep算法的整体模型结构分为wide和deep两部分,这两部分在最外层合并一起来学习模型,输入都是稀疏特征,但特征分两种:一种适合做deep的深度网络变化,适合时效性或者记忆性的特征,比如统计特征或展示位置等,另一种可以直接连在最外层,适合有推广力但需要深度组合抽样的特征,比如品类、品牌等,在模型优化时两部分做联合优化;dnn对特征工程要求很低,但很多数据需要经过简单处理后才可以加入模型,离散特征经过embedding的处理后变成连续特征,再级联起来经过多层非线性变换后来预测最终的标签。

对以上预设排序模型进行排序操作,发现gbdt模型的排序效果更优,本发明以gbdt模型为例进行说明。

本发明实施例中,以发现好货频道为例,设定模型参数:gbdt学习率道设置为0.01;gbdt树的棵树中设置为30;gbdt树的深度设置的可选范围是:5到7。

本发明实施例中,数据筛选装置的模型工程模块开发了网格搜索小工具,设计不同的模型参数,将样本数据集分别输入设置了不同模型参数的预设排序模型中,得到不同的评分结果,之后利用k折交叉验证,保存评分结果最优一次的模型参数,此时完成了利用样本数据集训练预设排序模型的过程。

进一步地,在对预设排序模型训练之后,模型监控模块将训练的预设排序模型备份至redis数据库中,并利用模型监控服务来检查redis数据库里的预设排序模型是否在指定的更新时间段一直保持更新状态。

s103、当接收到第一排序类型的排序指令时,从排序指令中确定出第一排序类型对应的待排序数据。

当数据筛选装置利用样本数据集训练出预设排序模型之后,数据筛选装置在接收到第一排序类型的排序指令时,从排序指令中确定出第一排序类型对应的待排序数据。

本发明实施例中,用户可以按照不同的排序类型对期望获取到的商品数据进行排序,可选的,排序类型包括按照三级品类排序、按照添加日期排序和按照店铺信息排序等,具体的根据实际情况添加排序的类型,本发明实施例不做具体的限定,其中,三级品类用于对商品数据进行细化。

示例性的,一级品类为食品,二级品类为面食,三级品类为面包。

本发明实施例中,在数据筛选装置的当前显示界面上,显示期望获取到的商品数据和排序类型列表,用户从排序类型列表中选择第一排序类型,此时,数据筛选装置接收到第一排序类型的排序指令,并从排序指令中确定出待排序数据,其中,待排序数据即为期望获取到的商品数据。

s104、利用预设排序模型,对待排序数据进行排序,并将排序后的待排序数据显示在当前显示界面上。

当数据筛选装置从排序指令中确定出第一排序类型对应的待排序数据之后,数据筛选装置利用预设排序模型,对待排序数据进行排序,并将排序后的待排序数据显示在当前显示界面上。

本发明实施例中,效果监控模块从备份中分别获取训练后的预设排序模型的第一评估参数和预设排序模型的第二评估参数;当第一评估参数大于第二评估参数时,利用训练后的预设排序模型,对待排序数据进行排序。

本发明实施例中,评估参数包括准确率、曲线下的面积(auc,areaunderthecurve)模型评估指标等,具体的根据实际情况进行选择,本发明实施例不做具体的限定。

进一步地,在数据筛选装置将排序后的待排序数据显示在当前显示界面上之后,数据筛选装置还提供了数据分享的操作,用户可以将排序后的待排序数据分享至其他用户,具体的,在当前显示界面上还显示有共享类型列表,用户从共享类型列表中选择共享类型,此时,数据筛选装置接收到对待排序数据的共享指令时,数据筛选装置从共享指令中确定共享类型;并根据共享类型,从待排序数据中确定出待共享数据;之后,数据筛选装置按照预设传输方式,将待共享数据传输至接收账号。

本发明实施例中,分享维度模块提供了共享类型包括按照同一次购买行为分享、按照商品数据使用经验分享和按照凑单记录分享等,具体的根据实际情况进行选择,本发明实施例不做具体的限定。

可选的,数据筛选装置按照预设传输方式,将待共享数据传输至接收账号的过程包括:将待共享数据分享至接收用户的社交账号,或者在同一应用内将该共享数据传输至接收用户的接收账号,具体的根据实际情况进行选择,本发明实施例不做具体的限定。

进一步地,后台记录模块记录此次共享行为,并根据此次共享行为增加登陆账号的参与度。

示例性的,如图4所示,用户对购物车中的商品数据进行排序,包括三级品类排序子模块、加购日期排序子模块或店铺排序子模块,当用户将当前排序子模块中的商品数据共享至其他用户时,可以选择按照同一次购买行为分享、按照商品使用经验分享或者按照凑单记录分享等,由此,用户能够个性化设置购物车。

可以理解的是,数据筛选装置在触发模型训练时,获取不同特征类型对应的样本数据集,并利用不同特征类型对应的样本数据集训练预设排序模型,该预设排序模型能够根据不同特征类型进行相应的调整,数据筛选装置提供多个排序类型,当数据筛选装置接收到第一排序类型的排序指令时,数据确定第一排序类型对应的待排序数据,并利用预设排序模型进行排序,使得排序后的待排序数据能够按照指定的排序类型进行排序,如此,能够加快了从待排序数据中筛选指定数据的速度。

实施例二

图5为本发明实施例提出的异常处理装置的组成结构示意图一,在实际应用中,基于实施例一的同一发明构思下,如图5所示,本发明实施例的数据筛选装置1包括:处理器10、存储器11、显示器12及通信总线13。在具体的实施例的过程中,上述处理器11可以为特定用途集成电路(asic,applicationspecificintegratedcircuit)、数字信号处理器(dsp,digitalsignalprocessor)、数字信号处理终端(dspd,digitalsignalprocessingdevice)、可编程逻辑终端(pld,programmablelogicdevice)、现场可编程门阵列(fpga,fieldprogrammablegatearray)、cpu、控制器、微控制器、微处理器中的至少一种。可以理解地,对于不同的设备,用于实现上述处理器10功能的电子器件还可以为其它,本发明实施例不作具体限定。

在本发明的实施例中,上述通信总线13用于实现处理器10、存储器11和显示器12之间的连接通信;上述显示器12,用于将排序后的待排序数据显示在当前显示界面上;上述处理器10用于执行存储器11中存储的运行程序,以实现以下步骤:

当触发模型训练时,获取特征类型对应的样本数据集,所述特征类型包括行为属性、登陆账号特征和数据特征;利用所述样本数据集训练预设排序模型;当接收到第一排序类型的排序指令时,从所述排序指令中确定出所述第一排序类型对应的待排序数据;利用所述预设排序模型,对所述待排序数据进行排序。

在本发明实施例中,进一步地,上述处理器10,还用于当接收到对所述待排序数据的共享指令时,从所述共享指令中确定共享类型;根据所述共享类型,从所述待排序数据中确定出待共享数据;按照预设传输方式,将所述待共享数据传输至接收账号。

在本发明实施例中,进一步地,上述处理器10,还用于确定登陆账号,并获取所述登陆账号对应的历史数据;将所述历史数据按照预设特征类型进行划分;利用划分后的历史数据,将预设曝光数据划分为已选择数据和未选择数据;将所述已选择数据和所述未选择数据,组成所述样本数据集。

在本发明实施例中,进一步地,上述处理器10,还用于按照预设选择条件,从所述已选择数据和未选择数据中,确定出预设比例的已选择样本数据和未选择样本数据;将预设比例的已选择样本数据和未选择样本数据组成所述样本数据集。

在本发明实施例中,进一步地,上述处理器10,还用于从所述样本数据集中,查找所述特征类型对应的、不满足预设评价阈值的异常数据;删除所述异常数据。

在本发明实施例中,进一步地,上述处理器10,还用于根据所述预设曝光数据的特征类型,对所述预设曝光数据进行排序;利用所述划分后的历史数据,将排序后的预设曝光数据划分为所述已选择数据和所述未选择数据。

在本发明实施例中,进一步地,上述处理器10,还用于分别获取所述训练后的预设排序模型的第一评估参数和所述预设排序模型的第二评估参数;当所述第一评估参数大于所述第二评估参数时,利用所述训练后的预设排序模型,对所述待排序数据进行排序。

在本发明实施例中,进一步地,上述显示器13,还用于按照预设显示策略,将所述排序后的预设曝光数据显示在推荐界面。

本发明实施例提供的一种数据筛选装置,当触发模型训练时,获取特征类型对应的样本数据集,特征类型包括行为属性、登陆账号特征和数据特征;利用样本数据集训练预设排序模型;当接收到第一排序类型的排序指令时,从排序指令中确定出第一排序类型对应的待排序数据;利用预设排序模型,对待排序数据进行排序,以从排序后的待排序数据中筛选出指定数据。由此可见,本发明实施例提出的数据筛选装置,数据筛选装置在触发模型训练时,获取不同特征类型对应的样本数据集,并利用不同特征类型对应的样本数据集训练预设排序模型,该预设排序模型能够根据不同特征类型进行相应的调整,数据筛选装置提供多个排序类型,当数据筛选装置接收到第一排序类型的排序指令时,数据确定第一排序类型对应的待排序数据,并利用预设排序模型进行排序,使得排序后的待排序数据能够按照指定的排序类型进行排序,如此,能够加快了从待排序数据中筛选指定数据的速度。

本发明实施例提供一种存储介质,上述存储介质存储有一个或者多个程序,上述一个或者多个程序可被一个或者多个处理器执行,应用于数据筛选装置中,该程序被处理器执行时实现如实施例一所述的数据筛选方法。

在本发明所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外,在本发明各实施例中的各功能单元可以全部集成在一个处理模块中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明所提供的几个方法实施例中所揭露的方法,在不冲突的情况下可以任意组合,得到新的方法实施例。

本发明所提供的几个产品实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的产品实施例。

本发明所提供的几个方法或设备实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的方法实施例或设备实施例。

以上所述,仅为本发明的实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和范围之内所作的任何修改、等同替换和改进等,均包含在本发明的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1