日常运营中,如何做好 A/B test?( 三 )


2)案例借鉴原则
AB实验 , 一定要从数据入手 , 找到出现异常的数据 。 而最终进行的优化实验 , 也需要找到一定的案例来进行支撑(实在没有 , 也要找到一个相近的案例 。 毕竟我们的产品很多 , 不愁找不到相似的产品来支撑自己的实验 。 )
有其他案例作为支撑 , 也就是这个实验 , 是从某个成熟的产品中借鉴而来的 , 这样成功的几率也就更大 。 同时 , 如果有开发需求的话 , 产品和技术对于这个需求也更加认可 。 (但是请看第一条 , 设计开发就一定需要排期 , 需要排期就一定需要一定的时间 。 )
3)预期管理原则
做好预期管理 , 这里不仅包含对于实验的预期 , 也包含对于领导预期的管理 , 不要给领导以及其他协作者太高的预期 。 最终结果 , 要让结果高于预期 , 未来才能更好地推动资源 , 才能让大家更信任你 。
三、测试结果分析
接下来来到最关键的一步 , 那就是测试结果的数据分析 。
在保证核心指标明显提升的基础上 , 辅助指标也有一定量的提升 。
同时 , 反向指标变化不明显 。 一旦反向指标差异变化明显 , 可能是一次不成功的实验 , 毕竟牺牲了其他的指标来让核心指标变得更好 , 不是长久的运营策略 。
如果统计显著性 , ≥95% , 那么则证明核心指标有了一定量的提升 。 同时 , 再来计算辅助指标是否也有了一定量的提升 , 同样也是用上方的AB测试工具计算器来计算出统计显著性 。
而有了一定的小范围数据支撑之后 , 如果再来提开发需求 , 将实验结果产品化或者继续优化迭代 , 那么需求也更加可靠 。
四、将实验结果进行整理归类
将AB实验结果记录在实验表中 , 方便后期更好地调用实验想法 , 为新的实验想法提供可参考的依据 。
一般实验记录可以分为以下几个关键点:

  • 实验的目标:如提升单点转化率或者漏斗转化率
  • 实验类型:是针对页面上实验 , 还是文案修改上的实验 , 还是在用户路径上做了一定量的优化 , 简单描述就好 。
  • 实验的过程:简单描述下实验的过程 , 用了多少样本量 , 在多少时间内完成内进行了什么样的实验 。
  • 实验结果:最终的实验结果什么样 。
将已经做好的实验结果进行整理归类 , 方便自己或者后来人调取实验库 , 这样在一定程度上能够提高做事的效率 。
以上就是我关于AB实验的一些分享 。
在AB实验中 , 遵从最重要的原则就是:控制单一变量 , 小步快跑 , 得出结果 , 不断优化总结 。 用实验的思维去升级迭代 , 不断进行优化 , 最终将操作系统变得越来越灵活 。
本文由 @运营汪日记 原创发布于人人都是产品经理 。 未经许可 , 禁止转载
题图来自Unsplash , 基于CC0协议