Desarrollar una plataforma de pruebas A/B y experimentación

Tenemos un producto web en crecimiento y queremos dejar de adivinar qué cambios realmente impactan las métricas. El objetivo es una plataforma de experimentación completa que permita a los equipos de producto y marketing realizar pruebas controladas sin reescrituras de backend cada vez. Un experimento se define eligiendo una audiencia objetivo, describiendo dos o más variantes, asignando distribución de tráfico (por ejemplo, 50/50 o ponderada) y seleccionando uno o más objetivos de conversión: registro, clic, compra completada. Después del lanzamiento, el sistema debe mantener de manera confiable a cada visitante en la misma variante a través de sesiones para que los resultados se mantengan limpios.

El corazón es el motor de estadísticas y el panel de resultados. Para cada experimento activo, necesitas ver visitantes, conversiones y tasa de conversión por variante, además del cálculo correcto de significancia para entender cuándo los resultados son confiables y cuándo es solo ruido. Pedimos intervalos de confianza, aumento frente al control y un indicador claro de si la prueba alcanzó significancia y reunió suficiente tamaño de muestra. También queremos protección contra conclusiones prematuras: el panel debe indicarnos cuándo es demasiado pronto para decidir. Esta es una herramienta de experimentación, no un interruptor de bandera de características y no análisis web estándar: el enfoque está en pruebas controladas y matemáticas de significancia honestas.

Para el etiquetado del sitio, necesitamos un SDK ligero, preferiblemente JavaScript para el navegador más una versión de servidor simple que reciba la variante asignada y envíe eventos de conversión de vuelta. Debe ser rápido, almacenar en caché las asignaciones y degradarse de manera elegante para que un experimento roto nunca rompa la página. El resultado debe estar listo para producción y documentado para que nuestro equipo pueda realizar experimentos de manera independiente después de la entrega.

— Constructor de experimentos: variantes, división de tráfico ponderada, segmentación de audiencia, múltiples objetivos
— Asignación estable por visitante, consistente a través de sesiones y, idealmente, dispositivos
— Motor de estadísticas: tasas de conversión, intervalos de confianza, aumento, verificación de significancia y tamaño de muestra
— Panel de resultados con métricas de variantes y recomendación clara para continuar o detener
— SDK de cliente y servidor para asignación de variantes y seguimiento de eventos con retroceso elegante
— Documentación y entrega breve para que el equipo realice experimentos de manera independiente