两个着陆页的A/B测试：假设、目标、裁决

我们同时向两个着陆页投放付费流量，几个月来，关于哪个效果更好的争论由会议上声音更大的人来决定。一个星期第一个页面看起来更强，下一个星期第二个页面又更强，没有人能说这种波动是真正的差异还是仅仅是几百次点击中的噪音。然而，我们基于此做出的决策是真实的：我们来回调整预算，并凭直觉重写模块。

我想停止凭直观判断来决定，并建立一个适当的比较测试，从第一个假设到书面裁决。工作在任何流量分配之前就开始了。首先，我需要一个按预期影响与检查成本排名的假设列表，以便我们在争论按钮颜色之前测试标题和优惠模块。然后目标和事件必须诚实标记：一个主要指标作为决策的基础，次要指标我们仅观察，以及不重复计算的表单提交。之后是分流设置，提前根据我们当前的转化率和值得关注的最小差异计算的样本大小，以及一旦开始就不再更改的约定运行时长。

计划从一开始就包含三个条件，因此没有后续重新解释的余地。测试在启动前计算的样本大小达到时停止，而不是在数字最终看起来好看的那一天。落在误差范围内的差异报告为没有差异，而不是某个偏好页面的胜利。没有人向我承诺每次转化的成本或增长数字：测试回答的是设定的问题，而不是保证结果。这是我自己的立场，而不是对工作的抱怨。

我期望收到的内容：
— 一个优先级假设列表，附带排序的理由；
— 一个目标和事件图：主要指标，次要指标，经过真实提交验证的计数器；
— 流量分配设置，检查两个页面是否获得可比的受众；
— 启动前计算的样本大小和运行时长，假设写下来；
— 运行测试的规则，不允许中途窥探，以及什么算作提前停止的理由；
— 带有置信区间的结果读数，用文字解释而不是单一的p值；
— 一份简短的文件，包含结论和下一个待排队的假设。