在学习任何一项主题之前，我们都需要明确目标，学习AB测试也不例外。 即使我们尚未确切了解AB测试的定义，脑海中也必定浮现出一个大致的目标轮廓: 我们进行AB测试是为了比较不同方案的优劣。 而为了实现有效的比较，我们需要将方案的优劣转化为可量化的数字，这就自然而然地引出了随机变量的概念。
1. AB 测试核心目的：做出更好的决策
我们首先要聊聊 AB 测试的场景。想象一下，我们想改进公司的网站首页，我们有两个设计方案：方案 A（目前的样子）和方案 B（新的设计）。我们怎么知道哪个更好呢？猜？凭感觉？老板说了算？
都不靠谱！我们需要一种科学的方法来做比较，这就是 A/B 测试的核心目的：通过比较，找出哪个版本能更好地达成我们的目标（比如，更高的点击率、更多的用户注册等等），从而帮助我们做出更明智的决策。
我们到底在比较什么？—— 不仅仅是两个数字
既然决定用数据说话。我们把一半用户（随机分配）看到方案 A，另一半看到方案 B。运行一段时间后，我们得到了结果：
-
方案 A 的点击率 (CTR) 是 5% -
方案 B 的点击率 (CTR) 是 5.1%
看起来方案 B 更好，对吧？ 5.1% 大于 5%。但是，就这么简单吗？
思考一个问题： 如果我们明天再做一次完全一样的测试，用新的一批随机用户，我们会得到完全一样的 5% 和 5.1% 吗？几乎不可能！
即使方案 A 和方案 B 本质上效果完全一样，每次实验观察到的具体点击率数值也会因为我们抽样选到的人不同而有所波动。这种由随机性（比如随机抽取用户、用户个体行为的随机性）带来的不确定性，正是我们需要理解的关键。