Calculateur de tests A/B: échantillonnage séquentiel

Le calculateur pour l'analyse séquentielle des tests A/B est un outil qui aide à déterminer le moment optimal pour arrêter une expérience en fonction des données statistiques. Il prend en compte le taux de conversion de base, l'effet minimal détectable, la puissance statistique et le niveau de signification pour vous aider à prendre une décision éclairée quant à la poursuite ou à l'arrêt du test.

Le calculateur utilise des méthodes statistiques pour estimer la taille minimale de l'échantillon en fonction du taux de conversion de base, de l'effet minimal détectable, de la puissance statistique et du niveau de signification. Il indique quand l'expérience peut être arrêtée.

L'effet absolu est une différence en pourcentage (par exemple, une augmentation de 5 % du taux de conversion). L'effet relatif est une modification en pourcentage du taux de conversion de base (par exemple, une augmentation de 25 % d'un taux de conversion de base de 20 %).

La puissance statistique (60-95 %) détermine la probabilité de détecter un effet s'il existe. Le niveau de signification (1-10 %) détermine la probabilité d'un faux positif. Une puissance plus élevée nécessite une taille d'échantillon plus grande. Vous pouvez ajuster la puissance statistique et le niveau de signification dans le calculateur.

Le test séquentiel est idéal pour les tests A/B avec un coût d'observation élevé, lorsqu'il est important d'économiser des ressources. Il est également utile pour obtenir des résultats rapides dans les campagnes marketing.

L'erreur de type I (alpha) se produit lorsque vous rejetez une hypothèse nulle vraie (vous concluez qu'il y a une différence alors qu'il n'y en a pas). L'erreur de type II (bêta) se produit lorsque vous ne parvenez pas à rejeter une hypothèse nulle fausse (vous concluez qu'il n'y a pas de différence alors qu'il y en a une).

L'échantillonnage séquentiel est particulièrement utile lorsque le coût de chaque observation est élevé ou lorsque vous souhaitez obtenir des résultats plus rapidement. Cependant, il nécessite une surveillance constante des résultats, ce qui peut être plus difficile à mettre en œuvre qu'un test de taille fixe.

La conversion de base est le taux de conversion actuel ou attendu de votre groupe de contrôle (la variante originale). C'est le point de référence à partir duquel vous mesurez l'impact potentiel de votre nouvelle variante (le groupe de test).