本文来源｜开发者社区

AB Testing在软体工程领域是一个耳熟能详的词，大家都知道AB Test的重要性。当产品经理提出的需求不合里（太难做）时，程序员们心理总是os，你怎么知道客户到底要什么，不也是拍脑袋想的吗，这时候我们可能会提出另一种作法，并要求他（她）去做一个AB Test来验证哪一个作法更好。

但是，大家可能不知道，要做一个成功的AB Test实验，它背后的成本是非常巨大的。首先，你必须做许多的分析，了解用户习惯与需求，然后做出合理的假设并决定变数（variation），接著，需要工程部门协助将AB Test进行实作并采集相关数据，有了数据之后，产品经理需要根据假设建立模型来验证假设，不断迭代最后获得一个结论。这个成本在B2B中尤其庞大，影响因素非常的多，包含取样率、用户特性等，这也使得许多B2B领域的产品经理对AB Test望而怯步。

那么，到底在B2B领域中要不要做AB Test呢？本篇大哉问就要带大家来探讨下这个问题了！

什么是AB Test

在开始大哉问之前，想先跟大家科普一下何谓AB Test，也让我们在后续讨论时能有更多的共鸣。

AB Test是一种以统计为导向的测试方法，在一个页面中，针对某一场景进行两种或以上的假设，并在同一时间内对不同的用户进行测试，以观察用户的反应。

AB Test通常包含以下的流程：

首先，在进行AB测试之前，产品经理需要先针对场景进行研究，并建立假说。接著，从假说当中归纳出变数，来决定实验如何进行，有了这些前置步骤后，就能进入到真正的测试环节，将两种假说实现到产品当中并投放给不同的人群进行使用以蒐集数据。最后，产品经理需要针对这些反馈数据进行分析，以获得实验结果并确立方案。

我们用几个真实的案例来描述一个AB Test是如何进行的。

真实案例：form表单设计

第一个案例是某云计算产品相关公司的报价单产生系统。产品经理在设计阶段调研了自家产品目前用户的报价习惯与流量，归纳出了A与B两种报价单的设计假说。其中A版本是一份详细的报价单，里面涉及了详细的配置与规格，设计上给人一种专业感，没有过多的点缀。B版本是一份看起来比较平易近人的报价单，需要填写的资料相对较少。这两种设计分别表示了两种假设，第一种假设是一份详细的报价单能凸显专业度，使用户相信专业并愿意来填写报价单，另一个则假设简单的填写表格能让用户更有意愿来填写。在变数上，包含了填写的难易程度、美观性、提交按钮的显易程度等等。

经过假说与变量控制后，最后落地的就是上图两个版本的表单，产品经理分别在同一时间对不同用户投放并蒐集数据。经过持续观察语分析，最后B表单胜出，流量差距高达385%。证明了平易近人的表单设计更受用户喜爱。

真实案例：DHL折扣广告

第二个案例是国际知名快递公司DHL的折扣广告。产品经理在设计广告时设立了两个假说，女性的广告代言人更加吸引民众的目光，以及，男性的广告代言人更加吸引民众的目光。因此，这里的变量就很明显，角色的性别对流量的影响。经过投放测试后发现，女性的广告代言人更加的吸引人，转化率比男性代言人高了8个百分比，说明对民众来说，女性代言人更具亲和力且更愿意点击购买，是不是很有趣？

可以把B2C领域的经验直接套用到B2B领域吗？

答案是不行的，两个领域特性相差太大。如同前面所说的，一个成功的AB Test大概会经历几个阶段。包含研究、建立假说、建立与执行实验、评估结果并验证假说等。

在实验过程中，实验结果通常有两种可能，第一是实验结果具有强有力的统计论证以证明假说的正确性，二是实验结果不具有足以证明假说的证据（在AB Test中这很常发生）。如果你的实验具有强有力的证据支撑每一个假说并且实验的过程是很快的，那么这样的AB Test将会非常有效率。在B2C场景中，假说相对容易形成，因为数据量大，所蒐集的数据具备统计意义，更方便产品经理形成假说，也因此做AB Test相对来说更有效率。然而，在B2B领域中就不是这么一回事了。因为B2B的客户面相的是公司，在取样率上远远比不上C端用户，这也导致B2B领域的统计特性薄弱，假说也相对难以形成。

另一个不行的原因在于流量。在B2C领域中，流量与收益常常是成正比关系，越多的流量就能带来越多的收益，因此在进行变量控制时，流量总是会随机地分配到一个或数个变量当中。然而，在B2B领域中，流量不全然正比于收益，访问B2B网站的用户中，可能很大一部分是游客，他们可能是透过广告或搜索进到网页当中进行调研。他们并不会花钱，因为他们可能只是企业员工的一员，没有决定采购的权力。这使得许多在B2C领域中已经耳熟能详的决策模型变得毫无用武之地。

AB Test在B2B领域中的挑战

B2B领域的产品经理们现在面临了三个AB Test的挑战：

1. 难以制定最佳的KPI指标
2. 需要大量的资源来进行AB Test
3. 需要很长的时间才能得到结果

1. 难以制定最佳的KPI指标

在B2B场景中，我们所关注并且希望达到的结果往往是收入。理想上，我们在做实验时，应以收入为主要考量因子。在实际场景中，许多的B2B产品经理会将目标细化成使用潜在客户的转化率（如中长尾客户）、渠道机会（如客户合作等）与市场影响收入（如产品市场占有额）等评估目标，在SaaS中，可能会以LTV（生命周期总价值）作为主要的衡量指标。 

如果你没办法测量这些指标，那就意味著你没办法最佳化它。现在市面上大多数的AB Test工具都是针B2C场景，这意味著你没办法直接套用这些工具，因为他们所使用的量测指标没办法满足B2B的场景。

2. 需要大量的资源来进行AB Test

假设我们要做一场最节省成本的AB Test实验，那我们至少需要UED相关的设计师、前端开发工程师与数据分析工程师投入到这场实验当中。投入的时间也不是短暂的（一两个礼拜），因为一场成功的实验，必须长时间的观察以获取有效的样本数及避免落入「錯誤测试」当中。在B2C领域中，测试的时间相对较短，因为样本数可以很容易地被满足，同时取样本身基本符合常态分布。但在B2B领域中测试的时间相对会被拉长，除了样本数的原因外，另一个重要因素是取样偏差，因为在B2B领域中可能大多数的流量皆是访客，只有少部分人能成为真正带来收益的用户。因此，同样的人力资源在B2B的实验场中需要停留的时间就更久，需要分析的数据也更加复杂且可能无意义。

3. 需要很长的时间才能得到结果

如同2中所述，在B2B领域中因为样本数不足与样本偏差问题，会导致整体实验时间被拉长。然而，耗费的时间可能还不止于此。一般来说，AB Test是一个周期性并且迭代的一个过程，因为我们需要根据实验的结果来修正假说或重新定义变数，这会使得本来花费时间就长的实验变本加厉。也因此要获得结果的时间会比B2C领域长的更多。

那B2B领域还需要做AB Test吗？

看了上面那么多的挑战，我们还需要在B2B领域中做AB Test吗？我的答案是肯定的。因为AB Test所能带来的收益也是巨大的。我认为的优点：

1. AB Test可以帮助B2B产品更好的获得业务反馈

B2B产品虽然在用户体系上与B2C产品截然不同（客户不一定是用户），然而，我们依然可以透过服务好用户来影响客户的方式，来间接的增加收益。因此，怎么从AB Test当中获取用户的反馈来改进产品是很重要的。

2. AB Test可以帮助B2B产品增加流量

流量虽然在B2B产品中不是主要的衡量指标（因为与收益不一定成正比），然而，它的边际效益却能间接的达成收益的目的。例如上面所提到的市场影响收入、渠道机会等等。因此，透过AB Test，我们可以更好地改善产品来提升流量以达成收益的目的。

3. AB Test可以帮助B2B产品更好的探索市场

有时候，我们会有许多的新需求与新想法，但我们却不知道市场能不能接受它，这时候就能发挥AB Test真正的价值。

4. AB Test可以帮助B2B产品更好地增进用户体验

如上所述，用户与客户虽然在B2B场景中不是同一个人，但是有时候我们可以透过服务好用户来进阶的影响客户决策。例如在Dataworks产品中，良好的一个编辑体验与产品流程可以增加用户的工作效率，并间接的影响客户对Dataworks产品的评价。

5. AB Test可以帮助B2B产品渐进的来迭代产品

透过AB Test，我们可以了解用户对新功能或新版本的反馈，进而增进产品进行优化与迭代。

虽然在B2B领域中AB Test的成本相对来说高很多，但它的优势却是无法取代的！

怎么用正确的方式在B2B领域中做AB Test？

这里总结了几个在B2B领域中做AB Test的一些技巧。

1. 应该将重点放在大的变化上而不是小的细节中

为什么将重点放在大的变化上？一般来说，AB Test是一种统计学的实验方式，并且像其他的统计实验一样，它的可信度取决于样本数的多寡。什么叫做足够的样本数取决于以下三个因素：

• 基础转化率
• 欲达到的转化率提升情况
• 信赖区间

一般情况下，我们在做AB Test时会以95%来做为信赖区间，这也意味著有5%的情况会发生例外的情况。这也表示，当我们有足够多的样本数时，例外发生的可能性也越低。

根据一份报告指出，若我们希望在2%的基础转化率下再增加10%，那我们至少需要39488份样本数才能达到95%的信赖区间; 同样地，若我们希望在2%的基础转化率上再增加50%，则只需要1871个样本数就能达到95%信赖区间。这之间差了21倍的样本数。因此，越大的转化率提升可以减少所需要的样本数。

因为这些原因，B2B产品应该考虑在一些大的改变上进行AB Test，而不是一些小的改动，例如按钮的颜色变化、或是增加一段注释文字等。

例如上图，根据AB 测试，版本B的转化率提升了整整1.07倍，像这样的测试基本上不需要太多的样本数就能够达到统计学上的意义。

2. 从个性化开始

「大的变化」的其中关键一点是从买家个性化订制开始。

多数的B2B网站应该为不同的买方提供一些个性化订制的维度。一般AB Test的变数考量可以从端客户、领域别或是商业模式来著手。

举个例子，在某一个专业软件网站中便用了个性化试验。试验中他们使用考量了三个主要的领域客户：医疗、教育与金融。在分桶上，有50%的用户分配到了个性化页面，另外50%的用户则维持原来标准的页面。最后实验发现：

• 透过个性化推荐的方式使业务增长了7%
• 个性化推荐的首页增加了30%的点击率
• 个性化推荐的页面增加了10%的PV
• 周期同比增加了4%的业绩

个性化订制的收益不言而喻。

3. 用正确的工具做正确的事

在选择工具时，我们应该正视到一点，我们做的是B2B业务而非B2C业务。若依然按照B2C的方式来做测试只会徒劳无功。

现今市面上许多的AB Test产品多半面向的是B2C的场景。虽然测试的方法与理论并无差别，但在实验变量与衡量实验结果的方法上却天差地别，造成这个情况的主要原因有：

• 实验样本数的差异
• 实验周期长短的差异
• 实验结果解读的差异

在B2B当中，因为天生的样本数劣势，导致我们做起事来碍手碍脚的。为了弥补短版，我们应该选择一个合适的工具，这个工具能够提供我们合适的算法来解读实验结果，例如一些不需要大量样本数的统计学方法。另外，能够为B2B场景提供更多的实验变数。

结语

AB Test在B2B场景中虽然充满挑战，但我认为仍有做的必要，因为它带来的效益是没有其他方法能够取代的。为了更舒适的在B2B场景中进行AB Test，我们应该将重点放在大的变化上，使测试结果更具意义且节省成本开销，此外，我们应该从个性化开始，为不同的客户「定制化」他的网页。最后，我们应该选用正确的工具来进行AB Test。

更多精彩

识别二维码查看更多开营资讯

我在阿里写代码学会的六件事

实时化或成必然趋势？新一代 Serverless 实时计算引擎

 点此阅读作者更多好文！