前言

每个产品迭代方案都会影响用户的使用效果。我们该如何做决策？难道是通过自己的主观判断？当然不是，我们需要用到A/B测试，就是为一个功能制作两个或多个不同的版本，在同一时间，让相同属性的用户分别访问两个不同的版本。

在这个过程中，收集用户的行为数据和业务数据，最终通过不同版本之间的数据对比，经过统计学的检验，评估出哪一个版本更好。

实施步骤

我们先看下一个软件迭代的流程：产品方案 → 功能开发→功能上线。A/B测试需要再不同的阶段进行不同的工作：

产品方案阶段
在这个阶段我们需要做实验设计。首先根据功能特征，制定功能上线后的评估指标。其次，确定 A/B 实验的流量选取方案。依照通常情况，每种方案最好选取 2 组用户，这样可以排除不同组别用户的随机波动影响。

功能开发阶段
进入开发阶段需要新增埋点。我们需要检验上报埋点的准确性。如果等到功能上线再来介入，可能会因为埋点的缺失或者不准确，导致 A/B 实验的结果无法评估。所以埋点验证需要在前置到开发阶段进行，以此保证后续数据的可用性。

功能上线阶段
功能上线后需要实验分析。一般需要用户更新安装新版本后，才能体验到新功能。所以，为了保证一定量级的用户体验到新功能，必须保证新版本的用户渗透率达到一定水平。A/B 实验通常需要一段观察周期。

观察一段时间后可以得到实验组各项指标收益与对照组的对比情况。这就需要针对实验方案作出决策。

• 指标显著负向，需优化功能；
• 指标变化不大，扩大流量观察；
• 指标正向收益，可直接推全。

案例

墨迹天气曾对分享按钮的形状进行了一次测试，一共四组方案。

• 方案一：原始版本，分享图标样式为两条直线连接的三个空心圆。
• 方案二：相比原始版本，分享图标为圆形由空心变为实心。
• 方案三：分享图标为长方形上部空出+向上的箭头。
• 方案四：分享图标为长方形右上角空出+向右上方的箭头。

最终相比其他版本，方案 3 中分享图标的点击率上涨了近 20%，这对用户量过亿的墨迹天气来说，是一个不小的提升。

小结

很多时候我们做事情都是凭借直觉，但是每个人的直觉都是不一样的，而数据可以让我们的决策更加准确。