测试是转化率优化（CRO）的基础。执行得当的A/B测试，能帮助电商营销人员确定最佳落地页设计、导航方式及页面元素的布局。
然而，三种常见的A/B测试错误会导致结果失真甚至决策失误。规避这些陷阱，才能让测试真正有效。
1. 随机波动
统计波动（或称随机波动）指数据集中与测量刺激无关的随机变化。
以抛硬币为例：在公平条件下，正反面概率各约50%。若抛掷10万次，正面朝上次数应接近5万次。但在小样本测试中，结果可能大相径庭。例如，某次10次抛掷中正面占比达60%，若仅凭此数据便认定概率为60%，显然谬误。
样本量过小易导致对概率的误判。
A/B测试同理。若仅基于500人样本得出“转化率提升20%”的结论，即便两组实际无差异，也可能因随机波动产生类似结果。
避免此类错误的关键在于增加样本量，确保每个分支均有足够参与者。Evan Miller于2010年曾撰文探讨此问题，并提供实用工具辅助估算所需样本量，防止仅测得随机波动。
2. 未检查数据中的意外差异
进行A/B测试时，若只关注转化率单一指标，极易得出片面结论。
例如，某零售商投入重金开发移动端优化版网站，并在上线前开展A/B测试。结果显示，新版转化率反而下降6%。若就此止步，企业可能因担忧销售下滑而放弃移动端优化。
但深入分析发现，测试存在致命缺陷：未区分用户设备类型。很可能多数本应受益于移动优化的访客被分配到了旧版页面。合理做法应是均衡分配桌面端与移动端用户，使两类设备用户均能均匀接触A/B版本。
因此，务必全面审视所有可用数据，而非仅盯住转化率。
3. 测试过多变量
电商企业常通过A/B测试评估网站改版效果，比如比较新旧结账流程的表现。
此类测试虽有价值，但若对比页面差异过大，实则同时在衡量多个变量，难以归因。
正确的A/B测试应聚焦于一组显著差异。例如，在图形设计一致的前提下，测试文案A与B的转化效果；或在文案和布局相同的情况下，比较不同图形设计的表现。
但需避免过度细分。诸如标题字体用16磅还是18磅这类细微差别，通常无需专门测试，以免浪费资源。