什么是A/B测试：如何实施及实际案例

向 Google、HubSpot 和 Shopify 的专家学习 A/B 测试、转化研究、想法优先级排序，以及测试分析和归档管理。

无论您是经验丰富的企业家还是刚刚起步，您很可能已经看过无数关于 A/B 测试的文章和资源。您可能已经在对电子邮件主题行或社交媒体帖子进行 A/B 测试。

尽管营销领域关于 A/B 测试的讨论很多，但许多创业者在实践中仍会碰壁。结果呢？基于不恰当测试得出的错误结果，做出了重大的商业决策。

A/B 测试往往被过度简化，尤其是在面向店主的内容中。接下来，您将找到开始进行各种类型的电商 A/B 测试所需的一切，解释得尽可能简单——但同样实用。A/B 测试可以成为选择正确产品定位、提高落地页转化率的关键因素，以及更多。

什么是 A/B 测试？

A/B 测试，也称为拆分测试或桶测试，是指比较同一网页、电子邮件或其他数字资产的两个版本，以确定哪个版本在用户行为方面表现更好。

它是改善营销活动绩效并更好地了解什么能促使目标受众转化的有用工具。A/B 测试使您能够回答重要的商业问题，帮助利用现有流量创造更多收入，并为数据驱动的营销策略奠定基础。

A/B 测试如何运作

• 明确您的目标。为 A/B 测试设定目标，例如提高转化率、点击率或整体销售额。
• 选择要测试的元素。您可以测试标题、图片、电子邮件主题行、行动号召（CTA）、定价、布局等。
• 创建变体。开发该元素的两个版本：版本 A 是您资产的原始版本，即“控制组”。版本 B 是包含您想要测试的更改的新版本，称为“变体”。在营销背景下，您将向 50% 的访客展示版本 A，向另外 50% 的访客展示版本 B。
• 运行测试。在预定的时间段内，让两组用户接触相同的版本。例如，如果您正在测试电子商务网站主页上的 CTA 按钮，您可能需要运行两周的测试以获得具有统计显著性的结果。
• 收集数据。监控并衡量两个版本的转化率、点击量、参与度和销售情况。
• 分析结果。比较版本 A 与版本 B 的表现，以确定哪个更有效地实现了您的目标。转化率最高的版本获胜。
• 宣布获胜者。如果版本 B 的转化率最高，则将其宣布为获胜者，并将 100% 的访客引导至该版本。这将作为新的对照组，你需要为未来的测试设计另一个变体。

💡注意事项：A/B 测试的转化率往往是对成功的不完美衡量标准。

例如，如果一个页面上的商品定价为 50 美元，而另一个页面完全免费，那么这无法提供任何真正有价值的见解。与你用于业务的任何工具或策略一样，它必须具有战略性。

这就是为什么你应该追踪转化价值直至最终销售的原因。

何时进行 A/B 测试

如果你运营的是一个低流量网站或网页/移动应用，A/B 测试可能不是最适合你的优化工作。你很可能会看到更高的投资回报率 (ROI) 来自进行用户测试或与你的客户交谈等途径。尽管普遍存在误解，但转化率优化并非始于测试也止于测试。

为什么要两到四周？请记住，你希望测试运行至少两个完整的业务周期。通常这需要两到四周的时间。现在你可能在想：“没问题，我会让测试运行超过两到四周，以达到所需的样本量。”但这也不行。

测试运行时间越长，就越容易受到外部效度威胁和样本污染的干扰。例如，访客可能会删除他们的 Cookie，从而作为新访客重新进入 A/B 测试。或者有人可能从手机切换到桌面设备，从而看到不同的变体。

本质上，让测试运行时间过长与运行时间不足一样，都会导致结果失真。

对于能够在两到四周内达到所需样本量的商店来说，测试是值得投资的。无法做到的商店应考虑其他形式的优化，直到他们的流量增加。

设置你的 A/B 测试流程

优先处理 A/B 测试想法

一份庞大的 A/B 测试示例列表虽然令人兴奋，但对于决定要测试什么却毫无帮助。从哪里开始呢？这就需要优先级排序。

你可以使用以下几种常见的 A/B 测试优先级排序框架：

• ICE。ICE 代表影响力、信心和易用性。每个因素都会获得 1 到 10 的排名。例如，如果你可以轻松地独自运行测试，而无需开发人员或设计师的帮助，你可能会给易用性打 8 分。这里你是在运用判断力，如果你有超过一个人运行测试，排名可能会变得过于主观。拥有一套准则有助于保持每个人的客观性。
• PIE。PIE 代表潜力、重要性和易用性。同样，每个因素都会获得 1 到 10 的排名。例如，如果测试将覆盖你 90% 的流量，你可能会给重要性打 8 分。PIE 和 ICE 一样具有主观性，因此准则对这个框架也很有帮助。
• PXL。PXL 是教育平台 CXL 的优先级排序框架。它略有不同且更具可定制性，迫使做出更客观的决策。除了三个因素外，你会发现是/否问题和一个实施难易度问题。例如，该框架可能会问：“测试的设计目的是提高动机吗？”如果是，得 1 分；如果不是，得 0 分。您可以进一步了解该框架并下载电子表格。

一旦你大致知道从哪里开始，对想法进行分类也会有所帮助。例如，在进行一些转化研究时，你可以使用三个类别：实施、调查和测试。

• 实施。直接去做。它要么坏了，要么显而易见。
• 调查。需要额外的思考来定义问题或缩小解决方案的范围。
• 测试。这个想法是合理的，并且有数据支持。去测试它吧！

通过这种分类和优先级排序，你就可以开始 A/B 测试了。

提出假设

在你测试之前任何事物，你需要有一个假设。例如，“如果我降低运费，转化率将会提高。”

不用担心——在这种情况下形成假设并不像听起来那么复杂。基本上，你需要测试一个假设，而不是一个想法。假设是可衡量的，旨在解决特定的转化问题，并侧重于洞察而非胜利。

在撰写假设时，使用从 Craig Sullivan 的假设工具包：

• 因为您看到了[插入来自研究的数据/反馈]
• 您预计[您正在测试的更改]将导致[您预期的影响]，并且
• 您将使用[数据指标]来衡量这一点

很简单，对吧？您只需填空，您的 A/B 测试想法就变成了一个假设。

选择一个 A/B 测试工具

现在您可以开始选择 A/B 测试工具或拆分测试服务。通常情况下，您首先会想到 Google Optimize、Optimizely 和 VWO。这些都是不错且安全的选择。

以下是这些流行 A/B 测试工具的更多信息：

• Google Optimize。免费，仅存在一些多元测试限制，如果您刚开始使用，这应该不会真正影响您。它在执行 Google Analytics A/B 测试时表现良好，这是一个加分项。
• Optimizely。即使没有技术技能，也能轻松启动和运行小型测试。Stats Engine 使分析测试结果变得更加容易。通常，Optimizely 是这三者中最昂贵的选择。
• VWO。VWO 拥有 SmartStats 使分析变得更加容易。此外，它为初学者提供了出色的 WYSIWYG 编辑器。每个 VWO 计划都附带热力图、站内调查、表单分析等功能。

对于在线商店主题测试，Shopify Rollouts 将流量分配给当前主题和变体，然后测量转化率以帮助确定获胜者。Rollouts 在所有 Shopify 计划中均可用，还可以安排特定日期和时间的主题发布或更改。

在 Shopify App Store 中还有您可能觉得有用的 A/B 测试工具。

一旦您选择了 A/B 测试工具或分流测试软件，请填写注册表并按照提供的说明操作。流程因工具而异。但通常情况下，您需要安装代码片段到您的网站并设置目标。

确定如何分析结果

如果你正确地构建了假设，即使测试失败也是一种成功，因为你会获得可用于未来测试以及业务其他领域的见解。因此，在分析测试结果时，你需要关注的是这些见解，而不是测试是赢还是输。总有值得学习的东西，总有可以分析的内容。不要忽视那些失败的测试！

这里需要特别注意的一点是细分的必要性。一个测试可能在整体上是失败的，但它很可能在至少一个受众细分群体中表现良好。

以下是一些受众细分的例子：

• 新访客
• 回访访客
• iOS 访客
• Android 访客
• Chrome 访客
• Safari 访客
• 桌面端访客
• 平板设备访客
• 自然搜索访客
• 付费访客
• 社交媒体访客
• 已登录买家

你明白我的意思吧？很有可能该假设在特定细分群体中得到了验证。这也告诉了你一些事情。

分析的意义远不止于判断测试是成功还是失败。对数据进行细分，挖掘表面之下的隐藏洞察。

A/B 测试软件不会为你做这种分析，因此这是一项需要随时间逐步培养的重要技能。

归档你的测试结果

假设你明天开始运行第一次测试。两年后的今天，你还记得那次测试的细节吗？不太可能。

这就是为什么归档 A/B 测试结果很重要。如果没有维护良好的档案库，你所获得的所有洞察都将丢失。此外，如果不进行归档，很容易重复测试相同的内容。

不过，并没有所谓的“正确”做法。你可以使用像 Effective Experiments 这样的工具，也可以使用简单的电子表格。这完全取决于你，尤其是当你刚开始起步时。

无论你使用什么工具，请确保记录以下内容：

• 被测试的假设
• 对照组和变体的截图
• 测试结果是胜出还是失败
• 通过分析获得的洞察

随着你的成长，你会感谢自己建立了这份档案库。它不仅对你有益，也有助于新员工和顾问/利益相关者。

A/B 测试示例

技术分析

您的商店是否在所有浏览器和设备上都能正常且快速地加载？您可能拥有最新款的智能手机，但世界上仍有人在使用 2005 年的翻盖手机。如果您的网站无法正常运行或加载缓慢，其转化率肯定达不到应有的水平。

站内调查

这些调查会在访客浏览您的商店时弹出。例如，站内调查可能会询问在同一页面上停留较长时间的访客，是否有阻碍他们今天完成购买的因素。如果有，具体是什么？您可以利用这些定性数据来优化文案并提高转化率。

客户访谈

没有什么能比得上亲自打电话与客户交谈。为什么他们选择您的商店而不是竞争对手的商店？当他们访问您的网站时，试图解决什么问题？您可以提出无数问题，以深入了解您的客户是谁以及为什么他们真正从您这里购买的原因。

客户调查

客户调查是面向已完成购买的客户（而非普通访客）发放的完整长度问卷。在设计客户调查时，您需要重点关注：定义您的客户、明确他们的问题、了解他们在购买前的犹豫之处，以及识别他们用来描述您商店的词汇和短语。

数据分析

您的分析工具是否正确跟踪和报告了数据？这听起来可能有些荒谬，但您会惊讶于有多少分析工具配置错误。数据分析的核心在于弄清楚访客的行为模式。例如，您可能需要关注转化漏斗：您的最大转化漏斗流失？换句话说，大多数人在你的转化漏斗的哪个环节流失了？这是一个很好的开始测试的地方。

用户测试

这是你观察真实用户在付费、受控的实验环境中尝试在你的网站上执行任务的过程。例如，你可以要求他们在 40 到 60 美元的范围内找到一款电子游戏并将其加入购物车。在执行这些任务时，他们会大声说出自己的想法和行动。

会话回放

会话回放与用户测试类似，但你现在面对的是拥有真实资金和真实购买意图的真实用户。你会观察你的实际访客如何浏览你的网站。他们难以找到什么？他们在哪里感到沮丧？他们在哪里显得困惑？

还有其他的调研类型，但首先要选择最适合你的 A/B 测试方法。如果你尝试其中的一些方法，你将拥有一个庞大的、基于数据启发的值得测试的想法清单。

📚了解更多：7 个适用于您电商店铺的实用 A/B 测试示例

专业人士的 A/B 测试流程

既然你已经完成了一个标准的 A/B 测试教程，让我们来看看专业人士的具体流程。

Krista Seiden, KS Digital

我的网页和应用 A/B 测试分步流程始于分析——在我看来，这是任何良好测试项目的核心。在分析阶段，目标是检查你的分析数据、调查或用户体验（UX）数据，或者你可能拥有的任何其他客户洞察来源，以了解你的优化机会在哪里。

一旦你在分析阶段有了良好的想法管道，你就可以继续假设可能出了什么问题，以及如何潜在地修复或改进这些优化领域。

接下来，是时候构建并运行你的测试了。确保运行合理的时间长度（我默认设置为两周，以确保考虑到周环比变化或异常），当你有足够的數據后，分析你的结果以确定获胜者。

同样重要的是，在这个阶段花一些时间来分析那些表现不佳的变体——你能从这些变体中学到什么？

最后，你可能只有在为建立扎实的优化计划打下基础后才会进入这个阶段，此时是时候研究个性化了。这不一定需要复杂的工具集，而是可以基于你拥有的用户数据来实现。

营销个性化可以简单到将合适的内容定向到合适的地点，也可以复杂到基于单个用户的行动进行定向。不要一下子全面投入个性化方面。不过，请确保你有足够的时间先把基础打牢。

Alex Birkett, Omniscient Digital

从宏观层面来看，我尝试遵循以下流程：

• 收集数据并确保分析实施准确无误。
• 分析数据并发现洞察。
• 将洞察转化为假设。
• 根据影响力和难易程度进行优先级排序，并最大化资源分配（尤其是技术资源）。
• 运行测试（尽我所能遵循统计学的最佳实践）。
• 根据结果分析成效，并决定实施与否。
• 根据发现进行迭代，并重复此过程。

更简单地说就是：研究、测试、分析、重复。

虽然这一流程可能会因具体情境的不同而有所偏离或变化（例如：我是在测试一个对业务至关重要的产品功能吗？是一个博客文章的 CTA 吗？风险偏好以及创新与风险缓解之间的平衡如何？），但它几乎适用于任何规模或类型的公司。

关键在于，这一流程具有敏捷性，同时还能收集足够的数据，包括定性的客户反馈以及定量的分析数据，从而能够提出更好的测试想法并对其进行更优的优先级排序，以便将流量引导至您的在线商店。

Ton Wesseling, Online Dialogue

当我们希望优化客户旅程时，首先要回答的问题是：该产品或服务在我们于 Online Dialogue 创建的 ROAR 模型中处于哪个阶段？您是否仍处于风险阶段，此时我们可以进行大量研究，但无法通过每月转化率低于 1,000 次的 A/B 测试在线实验来验证我们的发现；还是已进入优化阶段？甚至更高阶段？

• Risk phase:大量研究，这些研究将转化为从商业模式转型到全新设计和价值主张的任何内容。
• Optimization phase:大规模实验将优化价值主张和商业模式，同时小规模实验用于验证用户行为假设，这将积累知识以支持更大的设计变更。
• Automation:你仍然拥有剩余的实验能力（访客），这意味着你不需要全部的测试潜力来验证你的用户旅程。剩下的应用来利用它，现在更快地增长（而不关注长期学习）。这可以通过运行老虎机/使用算法来实现自动化。
• Re-think:你停止添加大量研究，除非是转向新事物的转型。

因此，网页或应用 A/B 测试仅在 ROAR 模型的优化阶段及之后（直至重新思考阶段）才具有重要意义。

我们开展实验的方法是 FACT & ACT 模型：

我们所做的研究基于我们的 5V 模型：

我们汇总所有这些洞察，形成主要研究支持的假设，进而衍生出子假设，并根据通过桌面端或移动端 A/B 测试收集的数据对这些子假设进行优先级排序。假设成立的可能性越高，其排名就越靠前。

一旦我们得知假设是正确还是错误，就可以开始整合所学经验，并通过重新设计/调整客户旅程的更大组成部分来采取更大幅度的行动。然而，在某些时候，所有成功的实施都会导致局部最优。此时，您需要采取更大的步骤，以触及潜在的全局最优。

当然，主要学习成果将在整个公司范围内传播，从而基于您经过验证的第一方洞察，引发各种更广泛的优化和创新。

您是否面向国际受众进行营销？了解如何借助伪本地化轻松实现这一过程。

Julia Starostenko, Pinterest

实验的目的是验证对现有网页进行修改是否会对业务产生积极影响。

在开始之前，重要的是要确定运行实验是否真的必要。考虑以下场景：有一个按钮的点击率极低。几乎不可能降低该按钮的性能。因此，验证对该按钮提出的更改的有效性（即运行实验）是不必要的。

同样，如果对按钮的提议更改很小，那么花费时间设置、执行和拆除实验可能不值得。在这种情况下，应该将更改向所有人推出，并监控按钮的性能。

如果确定运行实验确实有益，下一步就是定义应改善的业务指标（例如，提高按钮的转化率）。然后确保已建立适当的数据收集机制。

完成后，受众被随机分配，进行两组之间的分割测试：一组显示按钮的现有版本，另一组获得新版本。监控每个受众的转化率，一旦达到统计显著性，即可确定实验结果。

Peep Laja, CXL

A/B 测试是更大规模转化优化图景的一部分。在我看来，它 80% 是关于研究，只有 20% 是关于测试。转化研究将帮助你确定最初要测试什么。

我的流程通常如下（简化摘要）：

1. 使用 ResearchXL 等框架进行转化研究，以识别你网站上的问题。
2. 选择一个高优先级的问题（影响大量用户且问题严重），并尽可能多地为该问题构思解决方案。利用你的转化研究成果来指导你的创意过程。确定你要在哪种设备上运行测试（你需要将移动设备 A/B 测试与桌面端分开运行）。
3. 确定你可以测试多少个变体（基于你的流量/交易水平），然后选择最好的一到两个想法作为解决方案，与控制组进行对比测试。
4. 绘制精确的处理方案线框图（撰写文案、进行设计更改等）。根据更改的范围，你可能还需要包括一名设计师来设计新元素。
5. 让你的前端开发人员在你的测试工具中实施这些处理方案。设置必要的集成（Google Analytics）并设定适当的目标。
6. 对测试进行质量保证（QA）（故障测试无疑是 A/B 测试的最大杀手），以确保它在每种浏览器/设备组合下都能正常工作。
7. 启动测试！
8. 测试完成后，进行后续分析。
9. 根据结果，要么实施胜出方案，要么对测试方案进行迭代，或者去测试其他内容。

A/B 测试中的常见错误

同时测试过多变量

当你同时比较两个变量时，可能无法确定是哪个变化导致了效果。

假设你想优化一个落地页，与其只测试标题，你还应该测试：

• 行动号召（Call-to-action）文案
• CTA 按钮颜色
• 页眉图片
• 标题

转化率上升，但你无法 pinpoint 是哪个变化导致了这一结果。如果每次只测试一个变量，你可以隔离每个变化的影响，从而获得更准确的结果。

💡考虑：多变量测试是了解多个变量如何相互作用的一种选择，但运行多变量测试需要更多的流量以及一个已经经过良好优化的页面来进行增量改进，其过程比运行 A/B 测试要复杂得多。

样本量不足

A/B 测试结果的可靠性取决于所使用的样本量。小样本可能导致假阳性和假阴性，使得难以判断差异是由你的变化还是随机机会造成的。

假设你正在测试产品页面的两个版本，以查看哪个版本能带来更高的购买率。你将流量一分为二，但最终只有 100 名访客访问 A 版本，100 名访客访问 B 版本。

如果 A 版本的转化率为 6%，而 B 版本的转化率为 5%，你可能会认为 A 版本更好。但是，每个版本只有 100 名访客，这在统计上并不显著。有可能如果你用更多的访客进行测试，结果可能会有所不同。

确定健康样本量的最佳方法是使用样本量计算器。

测试持续时间过短

让你的 A/B 测试至少运行一个完整的业务周期，最好是两个。不要因为达到统计显著性就停止测试。你还需要满足预设的样本量。最后，别忘了以完整周为单位运行所有测试。

为什么要两个完整的业务周期？首先，两个周期有助于你考虑：

1. “我需要再考虑一下”的买家。
2. 不同的流量来源（Facebook、电子邮件通讯、自然搜索等）
3. 异常值。例如，你周五的电子邮件通讯。

通常两个业务周期就足以让你深入了解目标受众的用户行为。

如果你使用过任何类型的 A/B 测试落地页测试工具，你可能对那个小小的绿色“统计显著性”图标很熟悉。

不幸的是，对许多人来说，这是“测试已结束，可以宣布结果了”的通用标志。正如你将在下文了解到的那样，仅仅因为 A/B 测试达到了统计显著性，并不意味着你应该停止测试。

忽视用户细分

如果不考虑不同的用户群体，你将得到可能不适用于所有人的泛化结果。

按人口统计特征、行为或其他相关因素对用户进行细分很有帮助。对新用户有效的方法可能对回头客无效。如果不进行细分，你会疏远关键用户群体，并危及测试的完整性。

为你的业务优化 A/B 测试

你已经掌握了流程，拥有了力量！所以，行动起来，选择最好的 A/B 测试软件，开始测试你的商店。不知不觉中，这些洞察将转化为更多的收入。

如果你想继续学习关于优化的知识，可以考虑参加一门免费课程，例如谷歌的 A/B 测试。你可以了解更多关于网页和移动应用 A/B 测试的知识，以提升你的优化技能组合。