什么是A/B测试 - 腾讯技术工程
互联网为什么喜欢AB测试? | AB测试的流程与目的
AB实验在滴滴数据驱动中的应用
聊聊用户抽样 | AB测试的基石
浅谈AB测试里常见的辛普森悖论
最重要的一点是,要得到科学可信的AB测试试验结果,就必须合理的进行正确的流量分割,保证试验组和对照组里的用户特征是一致的,并且都具有代表性,可以代表总体用户特征。
AB Test 实验一般有 2 个目的:
- 判断哪个更好:例如,有 2 个 UI 设计,究竟是 A 更好一些,还是 B 更好一些,我们需要实验判定
- 计算收益:例如,最近新上线了一个直播功能,那么直播功能究竟给平台带了来多少额外的DAU,多少额外的使用时长,多少直播以外的视频观看时长等
流量分配
实验设计时有两个目标:
- 希望尽快得到实验结论,尽快决策
- 希望收益最大化,用户体验影响最小
因此经常需要在流量分配时有所