AB实验分流及分析系统的制作方法

本发明属于数据分析挖掘，具体为ab实验分流及分析系统。

背景技术：

1、随着数据驱动理念在互联网企业的兴起与认可，ab实验逐渐广泛应用于各种场景，传统的ab实验当中，最常用的算法和办法是基于业务上的数据回收，分析师和科学家们通过概率论的手段，在统计学上以正态分布的假设下，用当前的实验在当前的样本量下某个指标回收的数据，计算出在置信度为90％时该实验数据的分布上下限[a,b]，最后根据指标实验上下限的a,b和的总样本量下的观测到的指标avg的差值，所处的正负区间可以判断出实验下某个指标是否有正向影响，或者负向影响，或者影响整体波动不足以得出有显著性的结论。

2、在实验流量较低的配置下，观测量不足，会放大幸存者效应，如果是在产品的刚上线的早期，可能产品力不足或者其他的客观条件下，需要通过拉长实验时间的方式积累足够的数据量，如果是有条件的话也可以放大实验流量等手段解决，但是这个方法本身也需要再引入一次置信度校验，需要验证当前的实验流量推到的结论是具有代表性的，而且这些手段可能会在某些特殊情况失效，如实验本身受限于功能性或者时效性因素影响，并不具备拉长时间周期的条件，或者流量本身也不是十分充裕，我们无法通过常规的拉长实验周期和放大实验流量的方式积累足够的数据量的情况下，我们就难以得到一个具有较高置信度的结论，因此提出一种新的ab实验分流及分析系统。

技术实现思路

1、本发明的目的在于提供ab实验分流及分析系统，以解决上述背景技术中提出的问题。

2、为了实现上述目的，本发明提供如下技术方案：ab实验分流及分析系统，包括有实验配置系统、实验分流系统、实验数据系统、实验指标系统、双样本验证方案和数据可视化；

3、实验配置系统，提供集中的管理入口，为其他子系统提供数据来源，实现实验管理和分发的统一；

4、实验分流系统，基于实验配置系统，评估不同条件在用户群中的表现并据此做出决策；

5、实验数据系统，为数据分析和决策制定过程提供可靠、完整的数据支持；

6、实验指标系统，对事件、指标和属性进行统一管理，为各个实验、产品和用户提供一致的指标、分组和统计标准，指标作为具体分析的业务对象，分为检验指标和业务指标两类；

7、双样本验证方案，划分完整实验包括至少两个组和至少两个阶段，通过分别计算不同时期的两个组的某个指标的均值的单差分，计算这两个差分的差分得到双差分；

8、数据可视化，分别为delta(宏观发现)，did(下钻)，指标树(核心路径)三种样式。

9、优选地，所述实验配置系统分为自决策实验(使用方自行实现分流)和编程实验(由实验分流系统托管分流)；

10、优选地，所述实验分流系统具备随机性、一致性和灵活性三大特点；随机性，确保实验结果具有广泛适用性和有效性；一致性，用户始终保持在同一实验组，避免数据混淆；灵活性，支持增删改多种操作，并且实验之间具有互斥概念，确保流量不会重复。

11、优选地，所述实验数据系统由数据集成、数据清洗、数据转换和数据存储四个部分组成；从多个数据源收集数据并整合至统一系统，采用修正数据收集过程中出现的错误、缺失、重复和不一致问题，而后应用各种数据分析工具和技术将原始数据转换为适合分析和查询的格式，最后数据仓库采用特定的大数据管理体系进行数据存储。

12、优选地，所述实验指标系统为具体分析的业务对象，分为检验指标和业务指标两类，对事件、指标和属性的统一管理，以便为各个实验、产品和用户提供一致的指标、分组和统计标准。

13、优选地，分治推理手法，从宏观上的大幅度的指标波动，到下钻指标，寻找波动的特性和原因，再到归纳总结波动规律，进行逻辑验证。

14、优选地，结合did可视化，将核心路径进行可视化，并且使用具体的业务指标进行数据辅助，构建一个因果关系思维导图；

15、在这样的可视化和科学计算的并行支撑下，可以得到一个固化的分析手段和流程，以及对整个流程当中的思路部分，提供可固化的分析思维方式。

16、优选地，前置工作和流程分为三个步骤，步骤一：使用有效数据系统所提供的数据源；步骤二：设计两个实验，存在两种不同的情况；步骤三:根据实验配置分流和用户分组，事实数据将会通过打点系统，向数据平台回报。

17、在系统的用户的实际生产工作当中，对业务的表现和实际情况产生了怀疑，从而设计了一个实验，实验本身，存在两种不同的情况，一种是使用分流系统(编程实验)，一种是不使用分流系统由用户自主做分流(自决策实验)。

18、优选地，报告系统主要流程分为整合整理和二次加工两个部分，1、系统对上述流程中产出的数据做整合整理，用以产生对应的取数sql；2、对sql的数据结果进行二次加工，再对结果进行对应的可视化整理和科学计数法格式化，最后进行前端渲染。

19、本发明的有益效果如下：

20、通过ab实验对一小部分用户随机采用策略a和策略b，再利用统计学方法评估和衡量各策略结果，依靠双差分计算方式，可以聚焦于业务的变化量，并依托双样本t值和正态拟合的p值计算，得到了从统计学上的存在的客观显著性观察，再通过多重校验的计算方式，可以在不同的指标空间和数据空间下，使指标的置信度都足够的置信。计算流程并不会很依赖观察量的大小，因为计算都是基于差分，方差等指标来计算的，计算的主要目标是变化量，显著降低了传统计算模式上对数据观测量的依赖；在did和指标树可视化中都提供了双差分样本检测的科学计算方法，并且对与整体的分析思路，进行了框定，但是对于不同的核心路径的分析，可以借助指标树的模板功能进行实现。

技术特征：

1.ab实验分流及分析系统，其特征在于：包括有实验配置系统、实验分流系统、实验数据系统、实验指标系统、双样本验证方案和数据可视化；

2.根据权利要求1所述的ab实验分流及分析系统，其特征在于：所述实验配置系统分为自决策实验和编程实验。

3.根据权利要求1所述的ab实验分流及分析系统，其特征在于：所述实验分流系统具备随机性、一致性和灵活性三大特点；随机性，确保实验结果具有广泛适用性和有效性；一致性，用户始终保持在同一实验组，避免数据混淆；灵活性，支持增删改多种操作，并且实验之间具有互斥概念，确保流量不会重复。

4.根据权利要求1所述的ab实验分流及分析系统，其特征在于：所述实验数据系统由数据集成、数据清洗、数据转换和数据存储四个部分组成；从多个数据源收集数据并整合至统一系统，采用修正数据收集过程中出现的错误、缺失、重复和不一致问题，而后应用各种数据分析工具和技术将原始数据转换为适合分析和查询的格式，最后数据仓库采用特定的大数据管理体系进行数据存储。

5.根据权利要求1所述的ab实验分流及分析系统，其特征在于：所述实验指标系统为具体分析的业务对象，分为检验指标和业务指标两类，对事件、指标和属性的统一管理，以便为各个实验、产品和用户提供一致的指标、分组和统计标准。

6.根据权利要求1所述的ab实验分流及分析系统，其特征在于：分治推理手法，从宏观上的大幅度的指标波动，到下钻指标，寻找波动的特性和原因，再到归纳总结波动规律，进行逻辑验证。

7.根据权利要求1所述的ab实验分流及分析系统，其特征在于：结合did可视化，将核心路径进行可视化，并且使用具体的业务指标进行数据辅助，构建一个因果关系思维导图。

8.根据权利要求1所述的ab实验分流及分析系统，其特征在于：前置工作和流程分为三个步骤，步骤一：使用有效数据系统所提供的数据源；步骤二：设计两个实验，存在两种不同的情况；步骤三:根据实验配置分流和用户分组，事实数据将会通过打点系统，向数据平台回报。

9.根据权利要求1所述的ab实验分流及分析系统，其特征在于：报告系统主要流程分为整合整理和二次加工两个部分，1、系统对上述流程中产出的数据做整合整理，用以产生对应的取数sql；2、对sql的数据结果进行二次加工，再对结果进行对应的可视化整理和科学计数法格式化，最后进行前端渲染。

10.根据权利要求1所述的ab实验分流及分析系统，其特征在于：所述delta模块是将分析实验结果时难以直观地了解各组之间的差异、趋势、模式、异常值、数据波动进行可视化操作；

技术总结
本发明属于数据分析挖掘技术领域，且公开了AB实验分流及分析系统，包括有实验配置系统、实验分流系统、实验数据系统、实验指标系统、双样本验证方案和数据可视化。通过AB实验对一小部分用户随机采用策略A和策略B，再利用统计学方法评估和衡量各策略结果，依靠双差分计算方式，可以聚焦于业务的变化量，并依托双样本T值和正态拟合的P值计算，得到了从统计学上的存在的客观显著性观察，再通过多重校验的计算方式，可以在不同的指标空间和数据空间下，使指标的置信度都足够的置信，因为计算都是基于差分，方差等指标来计算的，计算的主要目标是变化量，显著降低了传统计算模式上对数据观测量的依赖。

技术研发人员：李华福,刘元峰,吕松峰,韩竺,蒋天园,林彦山,郁嘉雯,高建民,赵玉华,江浩,贾智博,侯振荣,牛运夺,杨娜,温利军
受保护的技术使用者：上海乐响网络科技发展有限公司
技术研发日：
技术公布日：2024/1/15