日常运营中,如何做好 A/B test?


本文来和大家聊聊 , 在日常的运营中 , 如何才能运用好AB测试 , 通过数据反馈 , AB测试 , 测试结果分析 , 运营策略优化等过程 , 最终将产品转化的每一个环节做好 , 从而更好地提升在AARRR环节的某一项数据指标 。
日常运营中,如何做好 A/B test?
本文插图
我相信运营对于AB测试一定不陌生 。 当我们从数据中发现了一定的问题 , 但是也不敢确定想出来的办法一定能解这个问题的时候 , 领导便会说:小范围测试一下吧 。
这时候说的测试就是AB实验 , 简单来说 , AB测试是为产品的界面或流程制作两个(A/B)或多个(A/B/n)版本 , 在同一时间维度 , 分别让组成成分相同(相似)的访客群组(目标人群)随机的访问这些版本 , 收集各群组的用户体验数据和业务数据 , 最后分析、评估出最好版本 , 正式采用 。
进行AB实验能够有利于优化用户体验 , 提升漏斗或者单个节点的转化率 , 从而使得产品的最终效果变得越来越好 。
那么该怎么去进行测试呢?如何才能保证测试的数据有效性 , 在最短的时间内测试出来结果 , 以便后期能够更好地进行调整 。 小步快跑 , 关键是步子要小 , 结果要快 , 后期才能更好地运用在运营过程中 。
今天就来和大家聊聊 , 在日常的运营中 , 如何才能运用好AB测试 , 通过数据反馈 , AB测试 , 测试结果分析 , 运营策略优化等过程 , 最终将产品转化的每一个环节做好 , 从而更好地提升在AARRR环节的某一项数据指标 。
日常运营中,如何做好 A/B test?
本文插图
一、从数据中发现问题
前面 , 我写过一遍文章:运营人如何进行数据分析?从日常的数据中发现问题 , 找到出现异常的那些数据 。
最终 , 从数据中发现问题 , 也需要回到数据中去解决问题 。 一般来说 , 在数据折线图中 , 数据出现下降拐点的很在程度上为异常数据 。 在进行数据分析的时候 , 可以着重关注这些数据 。
如下图的各个渠道周新增用户趋势图 , 就可以重点分析 , 为什么第四周之后 , 新增用户的增长幅度降低 , 是因为预算减少了吗?还是说 , 在用户注册的过程中遇到了什么问题 , 导致新增用户下降 。
日常运营中,如何做好 A/B test?
本文插图
在日常的运营中 , 数据分析运用的比较多的便是漏斗模型 , 不一定是AARRR模型 , 而是用户路径中每一个关键步骤都会出现流失 , 转化率下降的问题 , 只是说这个流失是否在合理范围内 , 和业内的平均数据相比 , 这个数据是否还存在可优化的空间 。
从关键用户路径出发 , 从数据中能够快速找到 , 用户在哪个环节可能出现了一定的问题 , 用户在哪个环节停留的时间比较长 , 用户在某个环节转化率急剧下降 , 这些可能就是AB实验的关键点 。
做好其中一个环节的优化 , 便能够带来明显数据的提升 , 从而更好地提升转化率 。
如 , 用户在淘宝上搜索一个产品的路径可能是:直接输入关键词——点击某个产品——查看产品信息(包括详情页和评论等)——询问客服——选择产品规则——下单购买 。
而这些步骤 , 每个环节都会出现用户流失的情况 。 如果每天的曝光很高 , 但是却没有点击 , 那么说明在首图中还需要去进行优化 , 了解用户为什么没有点击的原因:是因为人群不精准 , 还是因为和竞品的首图更吸引人 , 还是其他什么原因 。 这些都可以去通过AB实验去进行测试 , 不断优化用户路径中的关键步骤 。
接下来就进入重点了 , 如何去进行AB实验 , 在这过程中 , 需要注意什么 , 什么样的实验才真正算一个好的实验 。