在低流量电商环境中进行A/B测试：明确哪些内容值得测试

A/B 测试是指向随机抽取的访客组展示同一页面的两个版本，并比较每组的转化率。在流量较少的商店中，它确实有效，但仅适用于重大变更：如果每个版本有 6,000 次会话且转化率为 1.5%，那么根据 ConnectWeek 使用双比例统计检验进行的计算，新版本需要多销售约 32% 才能使差异从偶然性中显现出来，依据的是 NIST/SEMATECH 统计学手册中的内容。美国国家标准与技术研究院（NIST）/SEMATECH 统计学手册由美国国家标准与技术研究院（NIST）发布，该机构是美国政府的标准化与技术机构。本指南提供逐步操作说明、一张表格用于了解您的流量允许测试的内容、现成的电子表格公式，以及当流量不足时该如何应对。

如何判断A与B之间的差异是否具有统计学意义？

所有转化率都会自然波动：同一页面在一周内销量略高，在另一周内销量略低。统计检验只回答一个问题：出现的差异是否大于这种波动？第7.3.3节中的美国国家标准与技术研究院（NIST）手册，ConnectWeek于2026年10月8日咨询时，提供了适用于相当大样本量的计算，ConnectWeek在此将其分为三个步骤：

1. 各版本的转化率：即A组和B组各自的订单数除以会话数。
2. 合并转化率：即将所有订单除以所有会话，仿佛只有一个版本。
3. Z统计量：即两个转化率之差除以合并转化率乘以（1减去合并转化率）再乘以（A组会话数的倒数加上B组会话数的倒数）之和的平方根。

结果需与表格值进行比较。对于本指南采用的5%显著性水平双侧检验，该值为1.96：在同一手册的正态分布表中，零到1.96之间的面积为0.475，这意味着两端各占2.5%。如果Z值的绝对值超过1.96，则差异通过检验：假设两个版本相同，如此极端的结果在不到5%的测试中出现。如果未通过，则无法断定一个版本优于另一个，这不同于证明两者相等。

带示例的账户

此示例为假设情境。一家商店每四周约有12,000次会话，其中1.5%转化为订单。它测试一个新产品页面四周，流量平均分配给两个版本：A组6,000次会话，B组6,000次会话。A组完成90个订单（转化率1.5%）。该转化率也可用于规划：关于从目标订单数反推所需会话数的计算，请参阅有关达成订单目标的访问量的内容。

假设示例中的场景1：B组完成104个订单，比A组多15.6%。B组的转化率为1.73%；合并转化率为194 ÷ 12,000 = 1.62%。转化率之差为0.00233，其平方根为0.00230。Z值为1.01，低于1.96。尽管多出14个订单，但检验无法说明B组更优。

在假设示例的场景2中，B以119个订单成交，比A多32.2%。B的转化率为1.98%，综合转化率为209 ÷ 12,000 = 1.74%。差值为0.00483，其平方根为0.00239，z值达到2.02，高于1.96。若订单数为118，则z值为1.958，略低于临界值：因此119是首个通过检验的结果。

给店主的阅读提示：以这种流量水平，15%的提升无法通过测试。只有通过订单量增加约三分之一的结果才能通过测试。

您的流量允许测试什么？

下表由 ConnectWeek 使用相同的统计方法计算得出，针对样本量相等且双侧显著性水平为 5% 的组别。结果显示 B 版本的最低值超过 1.96。

指标：订单，基础转化率为1.5%（示例假设；ConnectWeek账户数据）

指标：加入购物车，基准转化率为8%

从表格中可得出两个结论。第一个结论是：为了观察到约一半的收益，所需的流量需超过三倍（当流量从6,000次会话增加到20,000次时，最小收益从32.2%降至16.7%）。这一逻辑同样出现在NIST手册第7.2.4.2节中用于比较比例与参考值的样本量公式里：欲检测的差异位于分母并经过平方处理。第二个结论是：发生频率较高的指标（如加入购物车）能在相同流量下显示出更小的收益（在6,000次会话下为12.5%，而非32.2%）。1.5%和8%的基础转化率仅为本例假设，并非市场平均水平；请使用您自己的数据进行重新计算。

注意：这些是通过测试所需的最低结果，前提是A版本恰好以基准转化率关闭。根据ConnectWeek的计算，由于A和B的结果也会波动，实际改进幅度恰好达到这一水平的测试只有在约一半的情况下才能通过。如果希望更稳妥地避免遗漏真实的提升效果，则需要比表格所示更多的流量。

如何在电子表格中进行计算？

将A组的会话放入单元格A1，A组的订单放入A2；将B组的会话放入单元格B1，B组的订单放入B2。在另一个单元格中输入以下公式，该公式仅使用运算符，并重现第1章中的三个步骤：

=(B2/B1-A2/A1)/(((A2+B2)/(A1+B1))*(1-(A2+B2)/(A1+B1))*(1/A1+1/B1))^0.5

基于场景2的数据（A组为6,000次会话和90个订单，B组为6,000次会话和119个订单），结果为2.02。若该值高于1.96或低于-1.96，则说明差异在5%的显著性水平下通过了检验。在配置为美国标准的电子表格中，请将0.5的小数点逗号改为句点。此近似方法适用于样本量较大的情况。对于小样本，同一手册建议使用费希尔精确检验，该检验可在统计软件中找到。在ConnectWeek的评估中，这通常涉及每个版本仅有几十次会话或少数几次转化的测试案例。

应遵循哪些规则才能使结果有效？

以下规则是 ConnectWeek 针对中小型商店的建议：

• 请先提出假设：明确变化内容、衡量指标及其原因。例如：“调整图片顺序能增加加入购物车次数，因为使用场景图片能解答尺寸方面的疑问。”
• 在开始之前确定测试时长：不要在B组首次领先的第一天就结束测试。由于订单量较少，每日之间的差异波动会非常大。
• 运行完整的周数：因为购买行为可能随星期几的不同而变化。
• 每次测试只改变一个变量：如果同时更改图片、价格和按钮，您将无法确定哪个因素起到了作用。
• 按访客进行随机分组：而非按天：将本周与上周进行比较不属于A/B测试，因为营销活动、天气和付款日期等因素也会随之变化。
• 避开异常日期：例如黑色星期五和大减价期间。
• 记录测试结果：包括那些未产生显著差异的情况，以免六个月后重复相同的测试。

当流量较小时，应该测试什么？

如果表格显示您的商店只有在收益超过 30% 时才能看到增长，ConnectWeek 的建议是忽略细节上的改动（如按钮颜色），转而测试可能影响购买决策的因素：

• 优惠策略：设置满额免运费与 Pix 支付折扣之间的对比；
• 整个产品页面：照片顺序、尺码表、评价展示等；
• 结账步骤的数量，这是主题《高转化率结账流程：摩擦点分析》所探讨的内容；
• 购物车中的产品推荐，例如《向上销售和交叉销售以提升客单价》中所述的方法。

使用最接近变化的指标。对产品页面的改动往往最先体现在加购行为上；正如表格所示，仅衡量最终订单需要更多流量才能观察到同等幅度的增长。应将测试集中在访问最多的页面上，并利用客户在店内搜索框中输入的内容来选择要测试的内容。

如果连这都做不到呢？

如果您的商店在表格中所需的收益增长是任何合理改动都无法实现的，那么 A/B 测试目前并不是合适的工具。根据 ConnectWeek 的评估，有三个诚实的替代方案：

1. 无需测试即可修复已存在的问题：页面加载缓慢、运费计算错误以及手机端无法点击的按钮等问题不需要依赖统计学分析。关于提升速度的指南请参阅《虚拟商店的 Core Web Vitals》。
2. 观察五位客户：购买，通过录制会话或直播，并记录他们卡住的地方。
3. 比较时间段，了解其局限性：前后对比无法隔离其他变量的变化；利用它来排除重大恶化，而不是为了庆祝微小的增长。需要跟踪的指标位于带有公式的电子商务 KPIs。

另见：小型商店中的 AI 产品推荐：在低流量下什么有效以及需要多少数据