一种基于大数据的用户筛选方法及相关装置与流程

本技术涉及广告推送，尤其涉及一种基于大数据的用户筛选方法及相关装置。

背景技术：

1、随着互联网的快速发展和智能设备的普及，大数据技术已经成为信息化时代的核心驱动力之一，渗透到了各个行业的方方面面。在商业领域，企业越来越依赖于大数据分析来理解市场、洞察用户需求、优化运营等方面。大数据技术的兴起，为企业带来了更全面、更深入的数据洞察，使得决策更加科学、精准。然而，在用户筛选这一关键环节，传统的方法却显得力不从心。

2、传统的用户筛选方法往往局限于少量的数据指标和简单的规则，无法满足当今信息化时代对精准化、个性化的需求。在海量的数据中挖掘出用户的潜在价值和行为特征变得愈发困难。此外，随着用户行为的多样化和复杂化，传统方法的简单规则往往难以适应这种变化，导致筛选结果不够准确，无法达到预期的效果。

3、在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

技术实现思路

1、有鉴于此，本技术实施例提供了一种基于大数据的用户筛选方法及相关装置。

2、第一方面，本技术实施例提供了一种基于大数据的用户筛选方法，该方法包括：

3、获取第一用户个性化数据；所述第一用户个性化数据用于描述用户在使用应用软件时的个性化操作；

4、对所述第一用户个性化数据进行预处理，得到第二用户个性化数据；所述第二用户个性化数据的数据量小于所述第一用户个性化数据的数据量，且所述第二用户个性化数据的数据质量大于所述第一用户个性化数据的数据质量；

5、将所述第二用户个性化数据输入用户价值评估模型，得到用户价值评估结果；所述用户价值评估结果用于衡量用户的消费水平、点击广告类型和转化率，所述转化率为用户广告曝光类型次数和广告点击次数的比值；所述用户价值评估模型是根据历史用户个性化数据和历史用户价值评估结果对待训练模型训练得到的；

6、根据所述用户价值评估结果对用户进行筛选。

7、在一种可能的实现方式中，所述预处理包括缺失值处理、异常值处理、数据去重和数据集成；所述缺失值处理为对所述第一用户个性化数据中缺失的数据，采用填充、删除或插值进行处理；所述异常值处理为使用iqr规则或孤立森林检测所述第一用户个性数据中的异常数据，并对所述异常数据进行删除或替换；所述数据去重为对于所述第一用户个性数据中重复的数据，保留唯一的数据条目；所述数据集成为将所述第一用户个性数据中来自多个数据源的数据进行集成，使所述第一用户个性数据在统一的数据平台上进行处理和分析。

8、在一种可能的实现方式中，所述第一用户个性化包括行为数据、偏好数据和交互数据；所述行为数据用于反映用户的兴趣点和需求，所述行为数据包括用户的广告请求记录、曝光记录和点击记录；交互数据用于反映用户的活跃度和粘性，所述交互数据包括用户的登录频率、活跃时间和社交互动。

9、在一种可能的实现方式中，所述用户价值评估模型的训练过程为：

10、获取所述历史用户个性化数据以及所述历史用户价值评估结果；

11、将所述历史用户个性化数据和所述历史用户价值评估结果划分为训练集和测试集；

12、利用所述训练集对所述待训练模型进行训练，得到第一用户价值评估模型；

13、利用所述测试集对所述第一用户价值评估模型进行测试，若测试结果满足预设值，则将所述第一用户价值评估模型作为所述用户价值评估模型；若所述测试结果不满足所述预设值，则对所述第一用户价值评估模型的参数进行调整，并对调整后的第一用户价值评估模型进行测试，直至测试结果满足预设值，得到所述用户价值评估模型。

14、在一种可能的实现方式中，所述利用所述训练集对所述待训练模型进行训练，得到第一用户价值评估模型，包括：

15、对所述训练集中的历史用户个性化数据进行特征提取，得到用于反映用户行为和特征的目标特征；

16、将所述目标特征输入待训练模型进行训练，得到第二用户价值评估模型；

17、使用交叉验证或留出法对所述第二用户价值评估模型进行模型性能的评估，根据评估结果，调整所述第二用户价值评估模型的超参数或进行特征调整，得到所述第一用户价值评估模型。

18、在一种可能的实现方式中，所述方法还包括：

19、根据所述用户价值评估结果和广告推荐算法向用户推送广告。

20、在一种可能的实现方式中，所述获取第一用户个性化数据包括：

21、利用应用软件内置数据采集工具获取所述第一用户个性化数据。

22、第二方面，本技术实施例提供了一种基于大数据的用户筛选装置，该装置包括：

23、获取模块，用于获取第一用户个性化数据；所述第一用户个性化数据用于描述用户在使用应用软件时的个性化操作；

24、处理模块，用于对所述第一用户个性化数据进行预处理，得到第二用户个性化数据；所述第二用户个性化数据的数据量小于所述第一用户个性化数据的数据量，且所述第二用户个性化数据的数据质量大于所述第一用户个性化数据的数据质量；

25、评估模块，用于将所述第二用户个性化数据输入用户价值评估模型，得到用户价值评估结果；所述用户价值评估结果用于衡量用户的消费水平、点击广告类型和转化率，所述转化率为用户广告曝光类型次数和广告点击次数的比值；所述用户价值评估模型是根据历史用户个性化数据和历史用户价值评估结果对待训练模型训练得到的；

26、筛选模块，用于根据所述用户价值评估结果对用户进行筛选。

27、在一种可能的实现方式中，所述预处理包括缺失值处理、异常值处理、数据去重和数据集成；所述缺失值处理为对所述第一用户个性化数据中缺失的数据，采用填充、删除或插值进行处理；所述异常值处理为使用iqr规则或孤立森林检测所述第一用户个性数据中的异常数据，并对所述异常数据进行删除或替换；所述数据去重为对于所述第一用户个性数据中重复的数据，保留唯一的数据条目；所述数据集成为将所述第一用户个性数据中来自多个数据源的数据进行集成，使所述第一用户个性数据在统一的数据平台上进行处理和分析。

28、在一种可能的实现方式中，所述第一用户个性化包括行为数据、偏好数据和交互数据；所述行为数据用于反映用户的兴趣点和需求，所述行为数据包括用户的广告请求记录、曝光记录和点击记录；交互数据用于反映用户的活跃度和粘性，所述交互数据包括用户的登录频率、活跃时间和社交互动。

29、在一种可能的实现方式中，所述装置还包括训练模块，所述训练模块用于：

30、获取所述历史用户个性化数据以及所述历史用户价值评估结果；

31、将所述历史用户个性化数据和所述历史用户价值评估结果划分为训练集和测试集；

32、利用所述训练集对所述待训练模型进行训练，得到第一用户价值评估模型；

33、利用所述测试集对所述第一用户价值评估模型进行测试，若测试结果满足预设值，则将所述第一用户价值评估模型作为所述用户价值评估模型；若所述测试结果不满足所述预设值，则对所述第一用户价值评估模型的参数进行调整，并对调整后的第一用户价值评估模型进行测试，直至测试结果满足预设值，得到所述用户价值评估模型。

34、在一种可能的实现方式中，所述训练模块具体用于：

35、对所述训练集中的历史用户个性化数据进行特征提取，得到用于反映用户行为和特征的目标特征；

36、将所述目标特征输入待训练模型进行训练，得到第二用户价值评估模型；

37、使用交叉验证或留出法对所述第二用户价值评估模型进行模型性能的评估，根据评估结果，调整所述第二用户价值评估模型的超参数或进行特征调整，得到所述第一用户价值评估模型。

38、在一种可能的实现方式中，所述装置还包括广告推送模块，用于根据所述用户价值评估结果和广告推荐算法向用户推送广告。

39、在一种可能的实现方式中，所述获取模块具体用于利用应用软件内置数据采集工具获取所述第一用户个性化数据。

40、第三方面，本技术实施例提供了一种设备，所述设备包括存储器和处理器，所述存储器用于存储指令或代码，所述处理器用于执行所述指令或代码，以使所述设备执行前述第一方面中任一项所述的基于大数据的用户筛选方法。

41、第四方面，本技术实施例提供了一种计算机存储介质，所述计算机存储介质中存储有代码，当所述代码被运行时，运行所述代码的设备实现前述第一方面中任一项所述的基于大数据的用户筛选方法。

42、本技术所提供的基于大数据的用户筛选方法

43、1、提高了用户体验和满意度：通过对用户的个性化操作进行描述和分析，该方法能够更好地理解用户的需求和偏好，从而为用户提供更加个性化和精准的服务。用户在使用应用软件时，能够感受到系统更加贴近自己的需求，从而提高了用户的体验和满意度。

44、2、降低了运营成本和风险：通过对用户的质量评估和筛选，广告商可以更加精准地定位目标用户群体，优化营销策略和资源配置，从而降低了运营成本和市场风险。避免了资源的浪费和盲目的市场推广。

45、3、促进了商业生态的良性发展：通过对用户价值评估结果的分析和应用，广告商可以更好地了解用户的行为习惯和消费偏好，为产业链上下游企业提供更准确的市场需求信息和用户洞察，促进了商业生态的良性发展和产业链的协同创新。

46、4、优化了资源配置和服务精细化管理：通过对用户价值评估结果的应用，企业可以更好地优化资源配置和服务管理，精准匹配用户需求和产品服务，提高了资源利用率和服务效率，实现了企业的可持续发展和价值最大化。