你是不是有过这样的经历：
跑一个offer，优化一阵子之后，有一天ROI忽然来到了80%。
然后你很兴奋，感觉努力终于有了效果。下一步就是立刻把预算拉高。
结果第二天，-40%。
你不知道是什么原因导致了这个现象，只能归因为流量不稳定，或者offer质量不稳定。
可是实际上如果你对数据做个复盘会发现，第一天的roi虽然高，但是只有15个转化。
这篇文章我想讲的，就是投放的优化过程中，几个非常常见的误区。
希望对你有帮助。
忽略统计显著性
经常有学员问我类似的问题，大意是，为什么我上午跑的好的campaign到了中午就不行了。或者昨天跑的好的campaign今天就不行了。
我说你把binom数据截图发我。
结果一看，Campaign跑了2小时，出了3个转化，cost不到2刀。
这是什么问题？
早期的测试结果往往都不可靠，因为样本量小和用户行为的随机波动会导致数据失真。而出于各种原因，很多新手Affiliate总是在没有足够数据支持的情况下就急于做出优化决策。
统计显著性简单来说就是，你的数据有多大概率不是运气造成的。
行业标准是95%置信度，也就是我们有95%的把握，认为这个结果不是随机的。统计学上用P值来衡量，当P值小于0.05时，结果是显著的。这个时候才能说明，你所认为的规律是真实存在的。
其实现在AI很发达，你可以把你的相关数据喂给它，让它帮你计算P值。
如果你觉得这方面理解起来比较困难，这里我分享一个经验数值，你可以直接拿着去和数据做比对：
CR测试每个变体至少需要100-350次转化
CTR测试每个变体至少需要1000次点击
LandingPage测试每个版本至少需要3000-10000次访问。
样本量不足
这个误区看上去和统计显著性类似，但是也有细微差别。
打个比方，你测试了两个LP：
LP1的clicks 50，出了三个leads，CR 6%，
LP2的clicks 50，出了一个lead，CR 2%。
数据上看，LP1的效果明显优于LP2。但是实际上我们无法得出这个结论。
或者说这个结论是非常不准确的。
因为小样本的随机性极大。
举一个非常显著的例子，就像你抛硬币3次，可能3次全是正面。这个时候你不能说硬币抛出正面的概率就是100%。
因为你知道，只要坚持抛硬币100，1000，10000次，出现正面的概率一定是会趋近于50%的。
那么我们该如何计算得出结论所需的最小样本量？这里有一个简化的公式：
最小样本量≈1600 / (预期转化率)²
你在过往投放的数据上可以看到，这个offer的预期转化率是5%。那么当你测试一个变体，就需要64000次访问。
这里的64000次，才是你得出对这个变体效果准确评估所需要的最小样本量。
如果offer的预期转化率1%，就需要160万次访问。
这也是佣金高的offer优化成本高的根本原因。
之前我在文章里提到，非常不建议新手做高佣金的offer。有很多朋友问我，offer佣金和流量价格的高低是独立的，面向一个国家投放，流量价格差不太多，为什么需要的流量预算就会高这么多呢？
因为高佣金的offer一定转化难度大，也就意味着转化率低。进而在优化过程中需要的样本量就会非常大。
但是公式归公式，现实中绝大多数Affiliate没有这么大的预算，所以我的做法是至少等到每个变体有30-50个转化再做判断，转化率差异要超过20%才值得调整，并且使用统计显著性计算器来验证。
在样本量不足的情况下就开始大规模调整你的投放策略，这种做法看似节省时间、节约成本，实际上是在浪费预算，因为你的决策依据根本就不牢固。
重复查看数据
是不是经常做这样的事？
这样的行为好理解，毕竟相比于期待收益，人总是更加厌恶损失。
如果你的投放数据每天都是正的，你会想起来才看一眼，赚多赚少都是赚嘛。
但是在优化前期的亏损阶段，与其说忍不住要看一眼数据，不如说恨不得一直盯着数据看，一刻也不敢眨眼。
设想一下新手投放一个campaign，
第1小时ROI +50%，ok没问题，继续跑。
第2小时ROI +30%，还是赚的，继续跑。
第3小时ROI -10%，坏了开始亏了，赶紧暂停。
这种行为看上去有它合理的地方，但实际上你是在数据波动的过程中做出的决策。
而这样的决策大大增加了「假阳性」的概率。
统计学上看，每次查看数据并做决策都会增加犯错的概率。
查看1次犯错概率5%，查看5次犯错概率约14%，查看10次犯错概率约26%。
那正确的做法是什么？
你需要设定明确的检查点，而不要随时查看。
我的做法是设定：
预算检查点（每花100刀检查一次）
时间检查点（每24小时检查一次）
转化检查点（每一定量的转化检查一次，因佣金而异）
在没有达到检查点的时候，只监控不调整。
这个过程需要很强的自制力，因为看着数据波动不做任何事情是很难受的。
但是老祖宗的「无为而治」是有他的道理的。
过度优化
在多数新手直观的理解里，影响投放效果的因素主要是时间、素材、流量来源、浏览器、语言等等参数。
在每个参数下找到表现最好的那个点，然后把所有的点组合起来，比方说“12:00-19:00，Landingpage2，Placement xxx-xxx，Chrome，English”，面向这个区投放，一定稳赚不赔。
这对吗？理论上一定对，没有比这个思路更对的，这是实话。
但是在这样的思维下，你找到的不是「最优解」，而是「过拟合」。
什么是过拟合？
就是在数据上表现得异常优秀，但是在一些未见过的新数据或者新场景上表现很差。
就像备考的时候，你把去年的真题做了100遍，每道题都会做，滚瓜烂熟。但今年考试题目变了你还是不会。因为你的策略只适应历史数据，不适应新情况。
在优化环节中，过度依赖历史数据而忽视市场变化，会导致策略失效。
避免过度优化的前提，首先是要保持多样性，不要只跑一个Lp、一个时间段、一个受众。
其次要定期轮换，每周测试1-2个新素材，每月测试1-2个angle，保持至少3-5个活跃变体。
第三是留出探索预算，把80%预算给已验证的策略，20%预算给新变体测试。
最后要关注趋势而不是绝对值，因为我们不可能在保持完美roi的同时，还能持续稳定地产生收益。
结语：我的数据分析工作流
每日检查
每天只看3个指标：总花费（有没有超预算）、ROI（是正是负）、异常值（有没有特别奇怪的数据）。在这个阶段我不做决策，只监控。很多人每天花几个小时盯着数据看，其实完全没必要，反而容易因为短期波动做出错误决策。
每周分析
每周深入分析：按时间段看哪个时间段最好，按设备看手机vs电脑的表现，按GEO看哪个国家/城市最好，按Creative看哪个素材最好等等。这时候我会做小调整：暂停明显亏钱的，并且加预算给明显赚钱的。重点是"小调整"，不要一次性改太多。
每月复盘
每月看大局观：整体ROI趋势是上升还是下降，成本变化CPC、CPA有没有变化，竞争态势市场有什么变化，新机会有什么新的测试方向。然后做战略调整，砍掉持续亏钱的Vertical，加大投入赚钱的Vertical，规划下个月的测试计划。这个环节最重要，因为它决定了你的长期方向。
