一种通过置信区间进行AB测试试验效果评估的方法与流程

本发明属于ab测试报告优化评估，具体涉及一种通过置信区间进行ab测试试验效果评估的方法。

背景技术：

1、近年来，ab测试在互联网产品迭代和优化中越来越流行。在ab测试试验报告中，通常采用样本均值及其方差来构建检验统计量，从而评估试验版本和对照版本的绝对差异是否显著，但是此种方法无法使分析者直观地感受试验版本相对对照版本提升的程度，具有一定的使用局限性，不利于ab试验的显著性分析。

技术实现思路

1、针对现有技术存在的缺陷，本发明提供一种通过置信区间进行ab测试试验效果评估的方法，可有效解决上述问题。

2、本发明采用的技术方案如下：

3、本发明提供一种通过置信区间进行ab测试试验效果评估的方法，包括以下步骤：

4、步骤1，确定ab测试试验的事件关注指标u，所述事件关注指标u为y/x类型，即：u＝y/x，其中，y为事件关注指标u的第一影响参数；x为事件关注指标u的第二影响参数；

5、步骤2，确定ab测试试验的试验版本和对照版本；在设定测试时间内，分别采集关于试验版本的用户行为日志和关于对照版本的用户行为日志，并上传到ab测试平台；其中，用户行为日志中记录有关于第一影响参数y和第二影响参数x的监测值；

6、步骤3，每个用户行为日志形成一个样本，每个样本形式为：u＝y/x；因此，ab测试平台获得关于试验版本的多个样本，形成试验版本样本组；ab测试平台获得关于对照版本的多个样本，形成对照版本样本组；

7、ab测试平台分别对试验版本样本组和对照版本样本组进行分析，得到试验版本的统计参数和对照版本的统计参数；

8、其中，试验版本的统计参数包括：试验版本的样本量nt、试验版本的样本均值和试验版本的样本方差var(yt)；对照版本的统计参数包括：对照版本的样本量nc、对照版本的样本均值和对照版本的样本方差var(yc)；

9、步骤4，采用下式，计算得到差异相对值δ％的方差var(δ％)：

10、

11、其中：

12、代表试验版本的样本均值方差，计算公式为：

13、代表对照版本的样本均值方差，计算公式为：

14、步骤5，采用下式，计算差异相对值δ％的置信区间ci：

15、

16、其中：

17、α为显著性水平，为设定值；

18、z：代表正态分布的分位数函数；

19、zα/2：代表在标准正态分布中，位于平均值两侧，使得中间区域覆盖率为1-α的z值；

20、δ％是差异相对值，计算公式为：δ％＝(yt-yc)/yc；

21、步骤6，通过差异相对值δ％的置信区间ci，评估试验版本和对照版本之间的效果差异。

22、优选的，试验版本的样本方差var(yt)通过下式计算：

23、

24、其中：

25、υar(yt)：代表试验版本所有样本的第一影响参数y的方差；

26、υar(xt)：代表试验版本所有样本的第二影响参数x的方差；

27、代表试验版本所有样本的第一影响参数y的期望；

28、代表试验版本所有样本的第二影响参数x的期望；

29、coυ(xt,yt)：代表试验版本所有样本的第一影响参数y和第二影响参数x之间的样本协方差。

30、优选的，采用试验版本所有样本的第一影响参数y的均值代替；采用试验版本所有样本的第二影响参数x的均值代替。

31、优选的，coυ(xt,yt)采用下式计算：

32、

33、其中：

34、代表试验版本所有样本的第一影响参数y和第二影响参数x的乘积的期望。

35、本发明提供的一种通过置信区间进行ab测试试验效果评估的方法具有以下优点：

36、本发明提供一种通过置信区间进行ab测试试验效果评估的方法，可以简单、快捷地计算出ab测试置信区间，并通过ab测试置信区间评估试验版本相对于对照版本的差异显著性，准确且高效，有助于ab试验的显著性分析。

技术特征：

1.一种通过置信区间进行ab测试试验效果评估的方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种通过置信区间进行ab测试试验效果评估的方法，其特征在于，试验版本的样本方差var(yt)通过下式计算：

3.根据权利要求2所述的一种通过置信区间进行ab测试试验效果评估的方法，其特征在于，采用试验版本所有样本的第一影响参数y的均值代替；采用试验版本所有样本的第二影响参数x的均值代替。

4.根据权利要求3所述的一种通过置信区间进行ab测试试验效果评估的方法，其特征在于，coυ(xt,yt)采用下式计算：

技术总结
本发明提供一种通过置信区间进行AB测试试验效果评估的方法，包括以下步骤：确定AB测试试验的事件关注指标；得到试验版本的统计参数和对照版本的统计参数；得到差异相对值的方差；得到差异相对值的置信区间；通过差异相对值的置信区间，评估试验版本和对照版本之间的效果差异。本发明提供一种通过置信区间进行AB测试试验效果评估的方法，可以简单、快捷地计算出AB测试置信区间，并通过AB测试置信区间评估试验版本相对于对照版本的差异显著性，准确且高效，有助于AB试验的显著性分析。

技术研发人员：李兴平,赖晓航,林兴财,陈盛发,施昆鹏
受保护的技术使用者：四三九九网络股份有限公司
技术研发日：
技术公布日：2024/1/15