自动化|Martech 营销自动化从 AB 测试开始( 三 )

如果 MDE 设置过于精细，不仅会浪费不必要的流量，同时实际收益可能不能弥补新策略的研发和推广成本。灵敏度不足，比如预期 1% 就达标，但实验灵敏度仅能检测 5% 及以上，会导致错失有潜力的新策略。
三、AB测试的魅力何在AB 测试究竟有什么魅力，能够为企业带来如此大的收益，被各大互联网公司视为法宝。
一方面 AB 测试只用整体流量中的一小部分进行实验，避免了一个错误决策对整个公司用户的严重影响，另一方面又能够依靠数据对每个特征进行影响力量化，使得我们可以以较小的风险对新特性进行评估，积极试错积累经验，并且这个方法有能力排除其他因素（如同时开发的其他特性、时间因素等）的干扰；除了“好’或者‘不好“，也能够给出定量的结果。
之所以 AB 测试能够用小部分流量进行抽样，并量化误差，得到相对准确的预测结论，根源在于中心极限定理的存在。中心极限定理定告诉我们，如果我们从总体流量里不断抽取样本，做无数次小流量实验，这无数次抽样所观测到的均值，近似呈现正态分布。
这个分布以真值（所有抽样的平均值）为中心，抽样均值越接近真值，出现的概率就越大；反之均值越偏离真值，出现的概率就越小。
对于一个待投放的营销素材而言，假设以消费者点击率为实验指标，只要小流量抽样次数足够多，可以得到一个正态分布图，抽样次数越多，正态分布均值越趋近于真实的消费者点击率。
开启实验前，哪一个版本表现更好往往是未知的。传统的 AB 测试依赖于统计显著性的经典假设检验，为对照版本和实验版本分配定额流量，一般不允许在实验期间变更每个版本的流量，因此该类实验的缺陷比较明显，即便已发现实验版本明显优于对照版本，实验期间我们还需要在对照版本上继续花费流量直至实验结束，以便获得具有统计学意义的结论。
但是在广告投放、营销活动推送等场景下，运营人员期望尽快获得最大收益。此种场景就需要考虑如何在快速发现并收敛到高价值素材和不放弃对新素材的尝试这两者之间取得平衡（ EE 问题），以追求收益的最大化。
Martech 营销自动化就是为了解决这类实验场景，依托多臂老虎机（MAB）强化学习手段，通过概率分布的思想找到最可能成为最优解的实验版本，快速加大分配流量，并实时计算实验收益，达到收益最大化。
应用举例
某公司准备进行一次营销活动，通过营销自动化 AB 测试工具进行一次实验，选出最佳素材，流程如下：

文章插图
2. 在营销自动化平台开启 AB 测试，按照目标人群标签过滤出 9000 人流量；配置实验 1、实验 2、实验 3，分别对应素材 1、素材 2、素材 3，初始流量比例各占 1/3；开启互斥实验；定义实验指标为用户点击率，记录每个用户看到素材后的点击行为；
3. 实时获取数据，每隔 30 s 统计一次实验效果；
4. 采用基于贝叶斯推断的汤普森采样，使用 Beta 分布对用户点击率的概率分布进行绘制，它有两个正值参数，α 和 β，决定了概率分布的形状，两个参数默认值都为 1。
Beta 分布的均值是：
Beta 分布的方差是：
使用 Python matlab 模拟不同 α 和 β 情况下 Beta 分布（如下图），可以得到两个重要信息：
1）α / (α + β) 越大，概率密度分布的中心位置越靠近 1，依据此概率分布产生的随机数更大概率靠近 1，反之越靠近 0；
2）α + β 越大，分布越窄，集中度越高，这样产生的随机数更接近中心位置，从方差公式上能看出来。

文章插图
依据以上特性，结合本次实验指标，定义 α 为素材被用户点击次数，β 为素材未被用户点击素材次数。举例来说，当某个用户看到素材 1 时，如果他点击了素材，则 α += 1，否则，β + = 1。
经过 30 s，进行实验效果统计时，发现素材 1 的 α = 170，β = 82，素材 2 的 α = 82，β =170，素材 3 的 α = 30，β = 20，则 3 个素材点击率的概率分布图如下：

文章插图

文章插图

文章插图
通过分布图可以看到素材 1 的点击率平均值 0.674，素材 2 的点击率平均值 0.325，素材 3 的点击率平均值 0.6。可以看到在抽样流量下素材 1 的效果明显好于素材 2，但素材 3 由于命中的流量比较少，概率分布图的方差很大，此时如果直接选择素材 1 则有可能失去一次对更好素材的探索机会。