Delta 法 在面对复杂指标的AB测试中有良好的表现,主要解决的是当我们的核心对比指标的方差不再有清晰的表达式的情况下,我们会采用代数中的近似的方法。
我们以每新增用户成本 (Customer Acquisition Cost, CAC) 为例,来通俗易懂地讲述 Delta 法的应用。
场景:
假设你负责一个在线广告活动,目标是获取新用户。你想计算这次活动的 CAC,并评估其波动性(比如构建置信区间)。
CAC 的定义:
为什么这里可能需要 Delta 法?
-
总广告花费 (Total Marketing Spend): 在某些复杂的活动中,这个花费本身可能不是一个固定的、已知的数字,而是一个会有些许波动的估计值(比如基于点击付费,而点击量有波动)。但为了简化,我们这里先假设总广告花费是一个已知固定的常数 。 -
新增用户数 (Number of New Customers Acquired): 这个通常是我们在实验或活动中观察到的随机变量。比如,我们投放了广告,吸引了 个用户访问,其中有 个用户最终转化为了新客户。那么新增用户数就是 。这个 会有随机性。
情况一:总广告花费是固定常数
如果总广告花费 是一个完全确定的常数,那么:
其中 是新增用户数,是一个随机变量。假设我们知道 的期望 和方差 (例如,如果 服从某种分布,或者我们有 的样本数据可以估计其均值和方差)。
我们现在想估计 的方差 。 这是一个关于随机变量 的非线性函数 。

