基于交互策略的流量检测、系统、存储介质及电子设备的制作方法

1.本发明属于基于交互策略的流量检测领域，具体涉及一种基于交互策略的流量检测、系统、存储介质及电子设备。


背景技术：

2.随着近几年互联网金融的发展，各类终端产品层出不穷，营销广告业务不断发展，受其中利益驱使，大批欺诈分子伪造资料、恶意注册大量虚假账号、团伙包装等等，欺诈技术手段也越来越高明，成本也越来越低。广告流量经常面临着黑产的批量攻击，这种攻击渗透在业务链路的各个环节，如曝光、点击、虚假转化、恶意转化等等，对广告业务的良性发展构成了巨大威胁，同时严重危害了广告主的权益。广告反欺诈的特点在于行为的隐蔽性、稀释性，群体坏样本量小但聚集度高，对传统方法提出了很多挑战，深度挖掘用户背后复杂的网络关系成为解决团伙欺诈的重中之重。为了识别这些欺诈用户，减少各类损失，反欺诈人员使用专家规则和预测模型来拦截欺诈流量。
3.现有方法大多基于专家规则和机器学习预测模型。基于专家规则的方法依靠业务经验和专家规则定义相关的规则模板进行过滤，强烈依赖专家规则和业务背景，且黑产行业的作弊规则千遍万化，不同领域的流量作弊方法各异，作弊方式层出不穷，使得基于专家规则的方法泛化性和鲁棒性能不理想。基于机器学习预测模型的方法减轻了对技术人员的业务背景需求，不需要很强的背景知识构建业务规则，但其特征工程的构建对最终模型的优劣至关重要，技术人员特征构建往往依赖技术经验，且无法依据模型预测结果的性能进而调整模型性能，因此本文提出基于交互策略的弱监督广告反欺诈算法。


技术实现要素：

4.本技术实施例提供了一种交互策略的流量检测方法、系统、存储介质及电子设备，以至少解决现有的交互策略的流量检测方法无法依据模型预测结果的性能进而调整模型性能的问题。
5.本发明提供了一种交互策略的流量检测方法，其中，包括：
6.预处理步骤：获取各用户游览触点的回传日志信息，对所述回传日志信息的流量日志进行预处理；
7.特征获取步骤：从预处理后的所述流量日志中抽取单维数据特征及接收多维数据特征；
8.流量测试步骤：根据所述单维数据特征及所述多维数据特征通过训练后的孤立森林模型获得流量预测结果；
9.对比步骤：将所述流量预测结果与采用初始化规则识别的异常流量进行对比识别后获得异常流量。
10.上述流量检测方法，其中，还包括：
11.排序反馈步骤：根据数据特征的重要性对所述单维数据特征及所述多维数据特征
进行排序后，将重要性靠前的至少一数据特征及所述异常流量进行反馈；
12.模型完善步骤：对重要性靠前的至少一数据特征及所述异常流量进行分析后将获得新的多维数据特征，根据新的多维数据特征及所述单维数据特征对所述孤立森林模型进行新一轮的训练与交互。
13.上述流量检测方法，其中，所述预处理步骤包括：
14.从所述流量日志中解析出特征字段，并对解析后特征字段的缺失值进行填充。
15.上述流量检测方法，其中，所述特征获取步骤包括：
16.单维数据特征抽取步骤：从预处理后的所述流量日志中抽取所述单维数据特征；
17.多维数据特征抽取步骤：从专家规则库抽取所述多维数据特征。
18.上述流量检测方法，其中，所述单维数据特征抽取步骤包括：
19.离散变量编码步骤：对所述流量日志中的离散变量采用onehot算法进行编码；
20.连续变量编码步骤：对所述流量日志中的连续变量采用区段映射，将不同区段的值映射成不同的值进行编码。
21.上述流量检测方法，其中，所述对比步骤包括：
22.预测步骤：通过所述孤立森立模型预测测试集中的正常和异常流量，得到预测结果；
23.识别步骤：将所述预测结果与采用初始化的规则识别的异常流量做对比，识别不同的异常流量。
24.本发明还提供了一种基于交互策略的流量检测系统，其中，包括：
25.预处理模块，所述预处理模块获取各用户游览触点的回传日志信息，对所述回传日志信息的流量日志进行预处理；
26.特征获取模块，所述特征获取模块从预处理后的所述流量日志中抽取单维数据特征及接收多维数据特征；
27.流量测试模块，所述流量测试模块根据所述单维数据特征及所述多维数据特征通过训练后的孤立森林模型获得流量预测结果；
28.对比模块，所述对比模块将所述流量预测结果与采用初始化规则识别的异常流量进行对比识别后获得异常流量。
29.上述流量检测系统，其中，还包括：
30.排序反馈模块，所述排序反馈模块根据数据特征的重要性对所述单维数据特征及所述多维数据特征进行排序后，将重要性靠前的至少一数据特征及所述异常流量进行反馈；
31.模型完善模块，所述模型完善模块对重要性靠前的至少一数据特征及所述异常流量进行分析后将获得新的多维数据特征，根据新的多维数据特征及所述单维数据特征对所述孤立森林模型进行新一轮的训练与交互。
32.本发明还提供了一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上述中任一项所述的流量检测方法。
33.本发明还提供了一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如上述中任一项所述的流量检测方法。
34.本发明的有益效果在于：
35.本发明属于营销智能技术里的预测与优化领域，本发明提供了一种基于交互策略的弱监督广告反欺诈方法，在异常流量检测的过程中，能够有效降低规则变化带来成本，并提高异常流量模型的可解释性与识别性能。
附图说明
36.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。
37.在附图中：
38.图1是本发明的交互策略的流量检测方法的流程图；
39.图2是图1中步骤s2的分步骤流程图；
40.图3是图2中步骤s21的分步骤流程图；
41.图4是图1中步骤s4的分步骤流程图；
42.图5是本发明的交互策略的流量检测方法的详细流程图；
43.图6是本发明的交互策略的流量检测系统的结构示意图；
44.图7是根据本发明实施例的电子设备的框架图。
具体实施方式
45.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。基于本技术提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
46.显而易见地，下面描述中的附图仅仅是本技术的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本技术应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本技术公开的内容相关的本领域的普通技术人员而言，在本技术揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本技术公开的内容不充分。
47.在本技术中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本技术所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
48.除非另作定义，本技术所涉及的技术术语或者科学术语应当为本技术所属技术领域内具有一般技能的人士所理解的通常意义。本技术所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本技术所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单
元。本技术所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本技术所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本技术所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
49.下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。
50.在详细阐述本发明各个实施例之前，对本发明的核心发明思想予以概述，并通过下述若干实施例予以详细阐述。
51.实施例一：
52.请参照图1，图1是基于交互策略的流量检测方法的流程图。如图1所示，本发明的基于交互策略的流量检测方法包括：
53.预处理步骤s1：获取各用户游览触点的回传日志信息，对所述回传日志信息的流量日志进行预处理；
54.特征获取步骤s2：从预处理后的所述流量日志中抽取单维数据特征及接收多维数据特征；
55.流量测试步骤s3：根据所述单维数据特征及所述多维数据特征通过训练后的孤立森林模型获得流量预测结果；
56.对比步骤s4：将所述流量预测结果与采用初始化规则识别的异常流量进行对比识别后获得异常流量；
57.排序反馈步骤s5：根据数据特征的重要性对所述单维数据特征及所述多维数据特征进行排序后，将重要性靠前的至少一数据特征及所述异常流量进行反馈；
58.模型完善步骤s6：对重要性靠前的至少一数据特征及所述异常流量进行分析后将获得新的多维数据特征，根据新的多维数据特征及所述单维数据特征对所述孤立森林模型进行新一轮的训练与交互。
59.其中，从所述流量日志中解析出特征字段，并对解析后特征字段的缺失值进行填充。
60.请参照图2，图2是特征获取步骤s2的流程图。如图2所示，所述特征获取步骤s2包括：
61.单维数据特征抽取步骤s21：从预处理后的所述流量日志中抽取所述单维数据特征；
62.多维数据特征抽取步骤s22：从专家规则库抽取所述多维数据特征。
63.请参照图3，图3是单维数据特征抽取步骤s21的流程图。如图3所示，所述单维数据特征抽取步骤s21包括：
64.离散变量编码步骤s211：对所述流量日志中的离散变量采用onehot算法进行编码；
65.连续变量编码步骤s212：对所述流量日志中的连续变量采用区段映射，将不同区
段的值映射成不同的值进行编码。
66.请参照图4，图4是对比步骤s4的流程图。如图4所示，所述对比步骤s4包括：
67.预测步骤s41：通过所述孤立森立模型预测测试集中的正常和异常流量，得到预测结果；
68.识别步骤s42：将所述预测结果与采用初始化的规则识别的异常流量做对比，识别不同的异常流量。
69.如图5所示，具体步骤如下：
70.预处理步骤，通过广告流量监测系统获取各用户游览触点的回传日志信息，对流量日志进行预处理。从流量日志中解析出特征字段，并对解析后字段缺失值的填充，依据字段特征不同采用不同的填充方式，如：os字段，采用众数或unk填充；接收到请求的秒数，采用平均数填充等。
71.特征工程构建步骤，特征工程的构建对于模型最终的效果起到了非常重要的作用。本文采用交互式策略，逐渐丰富数据特征。主要包括两部分，一是日志解析后单维数据特征抽取。二是专家知识回传的多维数据特征抽取。
72.解析后单维数据特征抽取步骤，包括离散变量和连续变量的编码。离散变量采用onehot进行编码，如os、md、region等特征。连续变量采用区段映射，将不同区段的值映射成不同的值，如接收到请求的秒数。
73.专家知识回传的多维数据特征抽取步骤，初始时，专家从专家规则库总结专家知识，提供相关特征方法丰富固有特征。当模型完成初始训练后，专家从模型回传的top
‑
k的特征重要性排序中，提炼相关规则，并利用专家知识总结特征，回传给模型丰富特征工程。
74.模型训练与测试步骤，在系统回传的实际流量中，正常流量和异常流量的量级差异很大，异常流量在整体样本中占比很小，且异常流量的特征表现和正常流量的特征表现差别很大，且异常流量分布稀疏，距离高密度群体较远。因此，本文采用孤立森林算法作为基础模型识别异常流量。首先从训练数据中随机选取n条数据作为子样本，放入孤立树的根节点；然后随机指定一个维度，在当前节点数据的范围内，随机产生一个切割点p，切割点产生于当前节点数据中指定维度的最大值与最小值之间；依据切割点的选取生成超平面，将当前节点数据空间切分为两个子空间，把当前维度下小于p的点放在当前节点的左分支，大于p点的放在当前节点的右分支，在左右两个分支上重复上述操作，不断构造新的叶子结点，知道叶子结点只有一个数据或者树已经生长到了预设的高度。最后需要整合所有孤立树的结果，由于切割过程是随机的，所以需要多次从头开始切分，然后计算每次切分结果的平均值，直到结果收敛。
75.结果差异对比及特征重要性排序步骤，采用训练好的模型预测测试集中的正常和异常流量，与采用初始化的规则识别的异常流量做对比，识别二者不同的异常流量。对模型预测使用的特征进行重要性排序，选择top5的特征及差异流量反馈给专家。
76.执行交互策略步骤，采用结果差异对比及特征重要性排序返回的top5的特征及差异流量，专家利用专家知识分析top5特征和差异流量所蕴含的规则特征，并将其加入专家规则库，并采用识别的新规则丰富模型的特征工程。然后进行新一轮的模型训练与交互，直到模型收敛或专家知识无法判断，即识别的异常流量无法采用规则描述。
77.实施例二：
78.请参照图6，图6是本发明的基于交互策略的流量检测系统的结构示意图。
79.如图6所示本发明的一种基于交互策略的流量检测系统，其中，包括：
80.预处理模块，所述预处理模块获取各用户游览触点的回传日志信息，对所述回传日志信息的流量日志进行预处理；
81.特征获取模块，所述特征获取模块从预处理后的所述流量日志中抽取单维数据特征及接收多维数据特征；
82.流量测试模块，所述流量测试模块根据所述单维数据特征及所述多维数据特征通过训练后的孤立森林模型获得流量预测结果；
83.对比模块，所述对比模块将所述流量预测结果与采用初始化规则识别的异常流量进行对比识别后获得异常流量。
84.排序反馈模块，所述排序反馈模块根据数据特征的重要性对所述单维数据特征及所述多维数据特征进行排序后，将重要性靠前的至少一数据特征及所述异常流量进行反馈；
85.模型完善模块，所述模型完善模块对重要性靠前的至少一数据特征及所述异常流量进行分析后将获得新的多维数据特征，根据新的多维数据特征及所述单维数据特征对所述孤立森林模型进行新一轮的训练与交互。
86.实施例三：
87.结合图7所示，本实施例揭示了一种电子设备的一种具体实施方式。电子设备可以包括处理器81以及存储有计算机程序指令的存储器82。
88.具体地，上述处理器81可以包括中央处理器(cpu)，或者特定集成电路(application specific integrated circuit，简称为asic)，或者可以被配置成实施本技术实施例的一个或多个集成电路。
89.其中，存储器82可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器82可包括硬盘驱动器(hard disk drive，简称为hdd)、软盘驱动器、固态驱动器(solid state drive，简称为ssd)、闪存、光盘、磁光盘、磁带或通用串行总线(universal serial bus，简称为usb)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器82可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器82可在数据处理装置的内部或外部。在特定实施例中，存储器82是非易失性(non
‑
volatile)存储器。在特定实施例中，存储器82包括只读存储器(read
‑
only memory，简称为rom)和随机存取存储器(random access memory，简称为ram)。在合适的情况下，该rom可以是掩模编程的rom、可编程rom(programmable read
‑
only memory，简称为prom)、可擦除prom(erasable programmable read
‑
only memory，简称为eprom)、电可擦除prom(electrically erasable programmable read
‑
only memory，简称为eeprom)、电可改写rom(electrically alterable read
‑
only memory，简称为earom)或闪存(flash)或者两个或更多个以上这些的组合。在合适的情况下，该ram可以是静态随机存取存储器(static random
‑
access memory，简称为sram)或动态随机存取存储器(dynamic random access memory，简称为dram)，其中，dram可以是快速页模式动态随机存取存储器(fast page mode dynamic random access memory，简称为fpmdram)、扩展数据输出动态随机存取存储器(extended date out dynamic random access memory，简称为edodram)、同步动态随机存取内存(synchronous dynamic random
‑
access memory，简称sdram)等。
90.存储器82可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器81所执行的可能的计算机程序指令。
91.处理器81通过读取并执行存储器82中存储的计算机程序指令，以实现上述实施例中的任意一种基于交互策略的流量检测方法。
92.在其中一些实施例中，电子设备还可包括通信接口83和总线80。其中，如图7所示，处理器81、存储器82、通信接口83通过总线80连接并完成相互间的通信。
93.通信接口83用于实现本技术实施例中各模块、装置、单元和/或设备之间的通信。通信端口83还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
94.总线80包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。总线80包括但不限于以下至少之一：数据总线(data bus)、地址总线(address bus)、控制总线(control bus)、扩展总线(expansion bus)、局部总线(local bus)。举例来说而非限制，总线80可包括图形加速接口(accelerated graphics port，简称为agp)或其他图形总线、增强工业标准架构(extended industry standard architecture，简称为eisa)总线、前端总线(front side bus，简称为fsb)、超传输(hyper transport，简称为ht)互连、工业标准架构(industry standard architecture，简称为isa)总线、无线带宽(infini band)互连、低引脚数(low pin count，简称为lpc)总线、存储器总线、微信道架构(micro channel architecture，简称为mca)总线、外围组件互连(peripheral component interconnect，简称为pci)总线、pci
‑
express(pci
‑
x)总线、串行高级技术附件(serial advanced technology attachment，简称为sata)总线、视频电子标准协会局部(video electronics standards association local bus，简称为vlb)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线80可包括一个或多个总线。尽管本技术实施例描述和示出了特定的总线，但本技术考虑任何合适的总线或互连。
95.该电子设备可以基于交互策略的流量检测，从而实现结合图1
‑
图4描述的方法。
96.另外，结合上述实施例中基于交互策略的流量检测方法，本技术实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种基于交互策略的流量检测方法。
97.以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
98.综上所述，基于本发明的有益效果在于，本发明提供了一种基于交互策略的弱监督广告反欺诈方法，在异常流量检测的过程中，能够有效降低规则变化带来成本，并提高异常流量模型的可解释性与识别性能。
99.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本发明的保护范围应以所附权利要求的保护范围为准。