开发 A/B 测试和实验平台

我们有一个不断增长的网络产品，希望停止猜测哪些更改实际上会影响指标。目标是一个功能齐全的实验平台，让产品和营销团队能够在每次不需要后端重写的情况下进行受控测试。实验通过选择目标受众、描述两个或多个变体、分配流量分布（例如，50/50 或加权）以及选择一个或多个转化目标（注册、点击、完成购买）来定义。启动后，系统必须可靠地保持每个访客在同一变体中跨会话，以便结果保持清晰。

核心是统计引擎和结果仪表板。对于每个活跃实验，您需要查看访客、转化和按变体划分的转化率，以及正确的显著性计算，以了解何时结果是可信的，何时只是噪音。我们要求置信区间、提升与对照、以及明确的指标来判断测试是否达到了显著性并收集了足够的样本量。我们还希望防止过早得出结论：仪表板应该告诉我们何时太早做决定。这是一个实验工具，而不是功能开关，也不是标准的网络分析——重点是受控测试和诚实的显著性计算。

对于网站标记，我们需要一个轻量级的 SDK，最好是浏览器的 JavaScript 版本，以及一个简单的服务器版本，接收分配的变体并发送转化事件。它应该快速、缓存分配，并优雅降级，以便一个失败的实验不会破坏页面。结果必须是生产就绪的，并且有文档，以便我们的团队在交接后能够独立运行实验。

— 实验构建器：变体、加权流量分配、受众定位、多个目标
— 每位访客的稳定分配，在会话之间保持一致，理想情况下在设备之间也一致
— 统计引擎：转化率、置信区间、提升、显著性检查和样本量
— 带有变体指标的结果仪表板，以及继续或停止的明确建议
— 用于变体分配和事件跟踪的客户端和服务器 SDK，具有优雅的回退
— 文档和简短的交接，以便团队能够独立运行实验