在进行A/B测试时，经过几个购买周期后再次未能找到显著性结果的情况常见吗？这还不够。因为显著性并非A/B测试中唯一重要的因素。没有功效性的显著性是毫无意义的。
显著性用于判断 A/B 测试中各变体之间的差异是否足够大，从而排除随机因素的影响。几乎所有用于执行 A/B 测试的工具都会告知你是否以及何时将达到统计显著性。这些工具主要通过观察当前原始版本与变体之间的差异，以及实验运行期间截至目前所获得的流量来进行计算。随后，工具会借助精妙的数学公式为你计算出该差异是否足够大。
如果没有足够的动力，你可能会严重损害业务
几乎所有人都只关注显著性，但这个故事还有另一个方面，大多数工具在计算显著性时并未考虑这一点。从统计学角度来看，功效（Power）是执行 A/B 测试时另一个极其重要的概念。那它是什么呢？Power 是指当效应确实存在时，观察到该效应的概率。这意味着，如果统计功效过低，A/B 测试很可能无法检测到实际存在的效果。
我们通常采用至少80%的统计功效——这与社会科学研究中普遍接受的5%显著性水平一样，是一种被广泛采纳的选择。这意味着你有80%的概率能够检测到预期的效应。因此，统计功效至关重要。
假设你在实验中达到了显著性差异，但统计功效仅为20%。这意味着在五分之一的实验中，你实际上会发现显著性差异。这使得研究更像是在赌博，而非进行严谨的科学研究。在统计功效过低的实验中观察到差异，更可能是偶然结果。也就是说，该差异在你的实验中存在，但在现实中并不存在。这会导致你最终实施一个对业务毫无积极影响的变体，从而可能对业务造成严重损害。
功率解释
为了进一步阐明显著性与功效之间的区别，我在下图中展示了这两个概念。我们以司法审判为例进行对比。如果法官认定某人犯罪成立，我们当然希望这个人确实有罪。我们不愿意关押无辜者（第一类错误）。这在图中的右侧有所体现。95%的显著性水平意味着我们将罪犯绳之以法的概率。然而，关押无辜者的概率仍然为5%。在测试不同版本时也是如此：我们有5%的概率会将一个并非真正胜出的版本误判为赢家。
图左侧阐释了功效（power）的概念。如果法官认为无法证明某人犯罪，我们希望该人确实是无辜的。我们不愿看到罪犯逍遥法外（即第二类错误）。较高的功效能降低让罪犯逍遥法外的概率。这正是我们在测试不同变体时所追求的目标。较高的功效意味着我们更不容易漏掉实际存在的差异。
通过 A/B 测试提升功效
互联网上有许多免费工具，可以快速、轻松地计算你的功效。例如这个。你计算出的功效与显著性水平、效应量和样本量有关。具体的计算过程此处暂不赘述。但我希望强调一个重要方面：在功效为 80% 且显著性水平为 5% 的情况下，效应量与样本量之间的关系。
为了计算变体的增长幅度，我们计算的是相对于当前转化率的百分比增长。假设我们按 2% 的变化进行计算，那么针对不同转化率，每个变体所需的样本量如下：
| 当前转化率 | 每个变体的样本量 |
| 50% | 39,242 |
| 20% | 157,328 |
| 10% | 354,139 |
| 5% | 747,760 |
| 1% | 3,896,727 |
因此，在转化率为1%的情况下，你需要的访客数量是转化率50%时的100倍。2%的提升幅度并不算大效应，但如果你只是对网站进行微小的改动，通常很难期望有更大的提升。因此，建议——尤其是对于流量较少的网站——进行更大幅度的修改并在网站上进行测试。
何时计算功率？
既然你已经了解了这一点，也许就能更清楚地解释为什么测试结果经常呈现为不显著或阴性；这很可能与样本量及其统计功效有关。因此，请重新审视那些有意义的测试，并使用在线工具计算样本量是否足够大。如果不够，不妨重新进行测试，直到达到你根据原始测试中发现的效应量预先计算出的样本量为止。
在进行新的实验时，你需要提前计算所需的样本量，其中除了显著性水平外，还应纳入预期的统计功效（power）。这样做是为了避免得出错误的结论，并准确确定实验所需的样本量。为此，你需要知道当前的转化率以及你预期通过测试能带来的提升幅度。不要随意猜测或寄希望于结果成真。让分析师深入挖掘数据，并请专家评估你的测试可能产生的最小预期效应。然后，使用在线工具计算每个变体所需的样本量。
如果观测到的数据量非常大，请尝试不要计算实验对订单数量的影响，而是计算其对漏斗中更早期步骤的影响（该步骤的基础转化率通常要高得多）。例如，对于电子商务企业来说，这可能是从产品页面到购物车的步骤。请注意，这会使实验对你利润的影响变得不那么纯粹，因为你离实际订单更远，且实验在漏斗后续阶段的影响可能会相互抵消。
为您的CRO计划提供的实用建议
如果你仍然觉得“power”这个概念模糊，并且你是亲自进行测试的人，我强烈建议你将这些工作外包给CRO专家或分析师。听起来有些夸张？别误会。错误解读测试结果可能会对你的业务造成严重损害，最终花费更多金钱。这就像去看医生一样。在没有充分检查的情况下，你（希望）不会让任何医生为你进行手术。
最后：如果再次出现阴性测试结果？不妨向公司内的研究人员提问：“这次测试的统计功效有多大？”或者：“我们是否有足够的观测数据来对该效应做出判断？”或者：“这个实验是否真的应该启动？”现在你可以更安心地提出这些问题。毕竟，你知道显著性并非万能。