举个例子来说明这里，产品针对某个功能有个改进策略，产品会选两组用户实施不同策略并且获得相应的行为数据，分别记为数据A（原策略）和数据B（新策略），通过两组数据的统计产品发现新策略的数据指标提升了3.1%，其实新策略指标的提升很可能不是因为策略不同带来的提升，而是因为人群不同等随机因素带来的随机波动，因此验证新策略是否有提升需要通过实验来验证，不能简单统计样本数据来得到提升的结论。