版本 A 的打开率是 31.2%，版本 B 是 32.0%。后台标出了“赢家”，团队立刻把 B 写进下一次活动。
几周后，同样的做法却没有复现。问题不一定是受众变了，更可能是第一次测试从来没有真正回答问题：样本够不够？两组是否可比？观察时间是否完整？这个差异与业务目标有什么关系？
A/B Test 的价值不是替团队选一个数字更大的版本，而是用受控实验降低下一次决策的不确定性。
先别急着测：写出一个可以被推翻的假设
“试试短标题和长标题哪个好”不是完整假设。更可用的写法是：对于最近 30 天浏览过该品类、但没有购买的人，强调使用场景的主题行会比强调折扣的主题行带来更高点击率，因为这群人仍在比较产品，而不是等待优惠。
这句话同时限定了人群、变量、主指标和原因。结果无论输赢，都能沉淀一条关于受众的认识。
供应商发布的邮件 ROI 报告曾给出一组相关性数据：从不进行 A/B 测试的品牌，邮件 ROI 为 23:1 ；经常测试的品牌为 42:1 。〔 1 〕这不能证明测试本身单独造成了回报差异——成熟团队也可能同时拥有更好的数据和流程——但它说明，持续实验通常是高成熟度运营的一部分。
第一步：一次只回答一个问题
如果 A 版本换了主题、按钮和发送时间， B 版本同时改了图片和优惠，最终即使 B 赢了，也不知道是哪项变化起作用。
标准 A/B Test 应尽量只改变一个核心变量：主题行、发件人名称、预览文本、 CTA 文案、内容顺序或发送时间。其他条件保持一致，两组从同一目标人群中随机、等量分配。
如果确实要测试多个变量，就把它当作多变量实验，提前接受更大的样本要求和更复杂的解释，而不是把多个改动塞进“A/B”两个文件。
第二步：让指标服从邮件任务
测试主题行，可以观察打开率；测试 CTA ，更适合看唯一点击率；测试优惠和商品组合，应看转化、每封收入和利润。
DMA 2025 邮件基准报告给出的样本整体打开率为 35.9%，唯一点击率为 2.3%。〔 2 〕基准只用于理解数量级，不能作为每个品牌的及格线。
Apple 官方还说明，启用邮件隐私保护后，远程内容可能在后台下载，无论收件人是否真正互动。〔 3 〕因此，如果主题行版本“赢在打开、输在点击和订单”，它未必是业务赢家。
发送前应写清楚：一个主指标决定结果，哪些次要指标是护栏。例如点击率是主指标，但退订、投诉或转化不能明显恶化。
第三步：样本和时间不够，就允许没有赢家
基准率越低、希望识别的差异越小，需要的样本越大。点击率只有 2%左右时，几十或几百个收件人之间的一两个点击，就可能让百分比看起来发生巨大变化。
不要在数据刚出现领先时提前停止，也不要边看结果边改观察窗口。发送前固定分组比例、最短观察时间和胜出规则；对转化类测试，还要覆盖正常购买周期。
小名单并非不能测试，但更适合测试差异明显的方案，或在多次同类活动中积累证据。如果差异落在随机波动范围内，正确结论是“暂时无法判断”，不是强行选 B 。
真实案例： 0.3 个百分点为何值 2163 美元
定制立体贺卡品牌 Lovepop 在一次情人节活动中测试了两个邮件版本。供应商案例披露，版本 B 的打开率高出 1.1 个百分点，点击率高出 0.3 个百分点，最终多带来2163 美元销售额。〔 4 〕
案例还称，品牌持续测试主题、发送时间和内容后， 2017 年的互动和收入均实现翻倍。这是供应商披露的品牌结果，不能外推为所有团队的固定回报。
更值得借鉴的是他们没有只看“哪个主题更有趣”，而是把打开、点击和销售连接起来。一个看似很小的点击差异，在足够大的名单和明确的购买场景中，可能具有真实业务价值。
第四步：用一张实验卡留下组织记忆
每次测试至少记录五项：
不要只保存一张赢家截图。三个月后真正有价值的，是团队能否知道哪些结论在哪类人群、什么活动和什么时间仍然成立。
结语：好实验不一定产生赢家
一次可靠的 A/B Test ，可能告诉你 B 更好，也可能告诉你差异不足以行动。后者同样有价值，因为它阻止团队把随机波动当成用户偏好。
下一次测试前，先别急着复制两个版本。先问：我们究竟想减少哪一种不确定性？当假设、变量、样本、指标和决策规则都清楚时， A/B Test 才从一个发送功能变成增长方法。
往期文章：
《打开率上不去，先别急着换平台：真正该改的是这 4 件事》
《什么时间发送邮件效果最好？》
《为什么你的客户从来不点邮件？》
《如何提升邮件点击率？》
参考资料
〔 1 〕CMO's Guide to Email ROI[1]
〔 2 〕Email Benchmarking Report 2025[2]
〔 3 〕Apple 官方： Mail Privacy Protection and Privacy[3]
〔 4 〕供应商案例： Lovepop 如何使用 A/B Test[4]
参考链接
[1] CMO's Guide to Email ROI: https://www.litmus.com/wp-content/uploads/2021/07/CMOs-Guide-to-Email-ROI.pdf
[2] Email Benchmarking Report 2025: https://www.dma.org.uk/research/email-roi-increases-53-to-ps38-compared-to-2013-thanks-to-new-techniques-and-approaches
[3] Apple 官方： Mail Privacy Protection and Privacy: https://www.apple.com/legal/privacy/data/en/mail-privacy-protection/
[4] 供应商案例： Lovepop 如何使用 A/B Test: https://mailchimp.com/resources/issue-94-featuring-lovepop/
