日常运营中，如何做好 A/B test？( 二 )

二、如何进行AB实验？
进行AB实验，我主要会在以下4个方面进行说明。
【日常运营中，如何做好 A/B test？】 1）确定实验的核心目标
2）确定测试的样本量
3）确定实验的周期
4）AB实验遵从的原则
以上这4个关键点，是我认为进行AB实验最关键的核心，将这些东西弄明白，基本上就能进行一个完整的AB实验了。接下来，我将举例说明。
1. 确定AB实验的核心目标
这个应该不用多说，运营是目标导向的，做实验的时候也不例外。只有确定了做AB实验的核心目的，才能更好地进行后续的AB实验。
在核心目标这里，需要延伸出来，其他两个和核心目标相关的两个指标，第一个是辅助指标，第二个是反向指标。有这两个指标之后，我们才能更好地确定核心目标，后期也才能更好地检测这是否是一次成功的实验。如果核心指标提升了很多，但是同时反向指标也上升了很多，那么可能相当于是亡羊补牢，拆了东墙补西墙，最终也很难将核心指标提升上去。
接上边的那个列子，在用户搜索产品的时候，我们发现用户的点击率很低，远远低于行业平均水平，假设行业平均水平是5% ，而目前你的产品的点击率才2% 。
假设核心目标是将商品点击率从2%提高到5% ，而同时辅助指标是购买转化率在一定程度上会有所提升，毕竟要保证进来的流量不是虚假流量，最终能够形成一定的转化。而反向指标是，页面的跳失率在一定程度上不会收到太大的影响。
2. 确定测试的样本量
确定了实验目标之后，紧接着我们就应该来测算出需要测试的样本量。很大的样本量虽然更能体现实验的准确性，但是可能在数据收集上也需要耗费更多的时间。很小的样本量，很难说明数据的准确性。
所以我们需要在有限的时间内收集好足够的数据量做实验。
按照实验的准确性原则来说，一般是统计显著≥95%确定的样本量，是有效样本量，能够保证实验结果的准确性，确定操作的统计显著差异不是由于偶然因素造成的，而是系统设定的测试实验的结果。
如何根据统计显著，确定所需的最小的样本量？直接用AB测试样本数量计算器（https://www.eyeofcloud.com/124.html）计算出每个版本需要的最小样本量。

本文插图
也就是说，做这个实验，至少需要640个样本数量。并且需要保证分流的均匀性，人群是随机分类的。
3. 确定实验周期
是不是上边的样本量保证了之后，就一定能保证实验的准确性呢？答案是否定的，还有一个很重要的因素是需要保证实验周期，能够刚好覆盖产品的一般使用周期。也就是说，能够覆盖产品的高频用户和低频用户，保证不会因为用户群体之间的差距而产生一定的数据的差异。
举个例子，如果一个产品的使用周期是7天，那么实验周期需要大于等于7 。如果一个产品的使用周期是30天（如工具类的产品，比较低频），实验周期就需要大于等于30天，才能更好地保证实验的准确性。
4. AB实验遵从的原则
接下来，简单地和大家聊下AB实验需要遵从的原则，以便我们更好地进行实验，在保证实验结果的前提下，能够快速推动实验的进行。
1）小步快跑原则
遵循效率优先、简单优化的原则，一点点优化，一步步优化。
能不开发就不开发，能从UI层面解决的就一定不要麻烦开发小哥哥。
即使要开发，也要了解竞品的情况，给产品和技术一定的数据支撑，否则很难实现需求落地，毕竟开发小哥哥的时间都是很宝贵的，他们需要确认自己做的都是能够产生一定影响的事情。