Développer une plateforme de test A/B et d'expérimentation

Nous avons un produit web en croissance et voulons arrêter de deviner quels changements impactent réellement les métriques. L'objectif est une plateforme d'expérimentation complète qui permet aux équipes produit et marketing de réaliser des tests contrôlés sans réécritures backend à chaque fois. Une expérience est définie en choisissant un public cible, en décrivant deux variantes ou plus, en assignant une distribution de trafic (par exemple, 50/50 ou pondérée), et en sélectionnant un ou plusieurs objectifs de conversion : inscription, clic, achat complété. Après le lancement, le système doit garder chaque visiteur dans la même variante à travers les sessions afin que les résultats restent clairs.

Le cœur est le moteur statistique et le tableau de bord des résultats. Pour chaque expérience active, vous devez voir les visiteurs, les conversions et le taux de conversion par variante, plus un calcul correct de la signification pour comprendre quand les résultats sont fiables et quand ce n'est que du bruit. Nous demandons des intervalles de confiance, un gain par rapport au contrôle, et un indicateur clair de si le test a atteint la signification et a rassemblé une taille d'échantillon suffisante. Nous voulons également une protection contre les conclusions hâtives : le tableau de bord doit nous indiquer quand il est trop tôt pour décider. C'est un outil d'expérimentation, pas un interrupteur de fonctionnalité et pas une analyse web standard — l'accent est mis sur les tests contrôlés et les mathématiques de signification honnêtes.

Pour le marquage du site, nous avons besoin d'un SDK léger, de préférence JavaScript pour le navigateur plus une version serveur simple qui reçoit la variante assignée et renvoie les événements de conversion. Il doit être rapide, mettre en cache les attributions, et se dégrader gracieusement afin qu'une expérience cassée ne casse jamais la page. Le résultat doit être prêt pour la production et documenté afin que notre équipe puisse réaliser des expériences de manière indépendante après la passation.

— Constructeur d'expériences : variantes, répartition du trafic pondérée, ciblage d'audience, objectifs multiples
— Attribution stable par visiteur, cohérente à travers les sessions et idéalement les appareils
— Moteur statistique : taux de conversion, intervalles de confiance, gain, vérification de signification et taille d'échantillon
— Tableau de bord des résultats avec métriques de variante et recommandation claire de continuer ou d'arrêter
— SDK client et serveur pour l'attribution de variante et le suivi des événements avec un retour gracieux
— Documentation et passation courte afin que l'équipe réalise des expériences de manière indépendante