上篇文章介绍了运营活动效果评估的【五步走策略】、【六大基础评估方法】、【单位权重曲线法】。感兴趣的直接点链接：
如何评估运营活动的效果？系列一：6大基础评估法
如何评估运营活动的效果？系列二：单位权重曲线法
我之前提到过纵向对比和横向对比方法。纵向对比即通过活动前后结果指标的对比评价活动效果的好坏；而横向对比则通过实验组和控制组的对比评价活动效果的好坏。
不管是活动前后的对比还是实验组和控制组的对比，这其中都涉及一个问题，就是对比的差异性是否显著。只有对比的数据呈现显著的差异性，我们才能说运营活动是有效果的。如果对比的数据有差异性但不够显著，我们就不能轻易的对运营活动的效果下结论。
打个比方，一波拉新活动后，活动后的平均注册率相比活动前提升了0.2%，我们能下结论说拉新活动是有效果的吗？当然不能，我们还要检验活动后注册率的提升相比活动前的差异是否显著，如果差异不显著，即使平均注册率提升了，这个活动也是没有效果的。
01 ｜ 如何判断差异性是否显著呢？
这就要用到方差分析了。
如何用方差分析判断差异是否显著？答案是利用Excel中的方差分析，结果会输出【F值】和【F crit值】这两个指标供我们进行判断。
其中，【F值】为检验值，用来表达组间差异大小；【F crit值】为临界值，是一个判断的基准线。
当 F 值> F crit值时：表示组间的差异超过判断基准，可以认为组间是存在显著差异的；
当 F值 < F crit值时：表示组间的差异低于判断基准，可以认为组间的差异是不显著的。
02 ｜如何做方差分析？
Excel就可以。简单的两步操作就可以完成方差分析。
第一步：在 Excel 中点击【数据】选项卡，再点击【数据分析】，选择【方差分析】——【单因素方差分析】，即可完成方差分析，得到F值和F Crit值。
第二步：如果F 值> F crit值，也就是差异显著时，我们还要计算差异的大小。
我们用R的平方来表示差异的大小，它等于SSA/SST，其中SSA是组间误差平方和，SST是总误差平方和。这两个值在第一步计算F值和F crit值时同时就计算出来了，带入SSA和SST就可以得出R的平方值了。
当 R的平方>0.5时，则代表组间的差异非常显著；
当 R的平方在 [0.1，0.5] 之间时，则代表组间的差异显著性一般；
当 R的平方<0.1 时，则代表组间的差异显著性比较微弱。
03｜ 案例1：横向对比案例，发放优惠券活动能提升用户购买率吗？
公司做了一波运营活动，想通过发放不同金额的优惠券提升用户购买率。针对不同用户分别发放了1-5元、6-10元、11-20元的优惠券，活动后分析了三波用户的购买率，如下图所示。那么你能通过这个图判断出发放优惠券是否能提升用户购买率吗？
这个问题的解题思路如下：
我们可以通过判断三组优惠金额的购买率是否存在显著差异来判断是否能提升用户购买率：
若三组用户的购买率存在显著性差异，就可以说优惠金额对购买率是有影响的，我们可以通过发放不同金额的优惠券，提升用户购买率。
相反，如果三组用户的购买率不存在显著差异，我们可以得出结论发放优惠券不会对购买率产生影响，那运营部门就没有必要再做发放优惠券的活动了。
接着，我们来判断三组优惠金额是否存在显著差异，通过Excel求出F值和F crit值：
在 Excel 中点击“数据”选项卡，然后点击“数据分析”，选择“方差分析 - 单因素方差分析”；即可求出F值=1.555和F crit值=3.885，F值 < F crit值，可以判断三组用户不存在显著差异。
基于方差分析，三组优惠金额的购买率不存在显著差异。因此得出结论，我们通过给用户发放优惠券不会提升购买率。
04｜ 案例2：纵向对比案例，运营部门举办的促活活动是否有效果？
运营部门想通过一个促活的活动提升用户活跃度，活动后提取了活动前后15天的DAU数据，数据下图所示。通过下图的数据，你能判断出运营部门的这个促活活动是否有效果吗？
通过数据数据我们发现，活动前15天的平均DAU为54198，活动后15天的平均DAU为55567，活动后的DAU比活动前有小幅提升，我们能就此做出判断促活活动是有效果的吗？
当然不能，我们还需要借助方差分析判断活动后的提升是否显著。使用Excel的方差分析，输出以下数据：
F值为0.022，F crit值为4.195，F值<F crit值，得出活动后的DAU与活动前的DAU的差异是不显著的，虽然活动后有小幅提升，但差异并不显著，该促活活动是没有显著效果的。