Qu'est-ce que le Sequential Sampling ?
Le Sequential Sampling (échantillonnage séquentiel ou test séquentiel) est une approche statistique qui permet d'analyser les résultats d'un test A/B au fur et à mesure que de nouvelles données sont collectées, sans attendre qu'une taille d'échantillon prédéfinie soit atteinte.
Contrairement aux tests A/B traditionnels, où les résultats sont généralement analysés uniquement une fois l'expérience terminée, l'analyse séquentielle permet de prendre une décision plus tôt si les données accumulées fournissent déjà des preuves statistiques suffisantes.
Le Calculateur de Sequential Sampling permet d'estimer le nombre d'observations nécessaires pour déterminer si la variante de contrôle ou la variante de test est gagnante en fonction des paramètres définis pour l'expérience.
Paramètres d'entrée
Pour effectuer le calcul, indiquez les principales caractéristiques de votre expérience.
Paramètre | Description |
|---|
Taux de conversion de référence | Taux de conversion actuel de la variante de contrôle |
Effet minimal détectable (MDE) | Plus petite variation du taux de conversion que vous souhaitez détecter |
Type d'effet | Effet absolu ou relatif |
Puissance statistique | Probabilité de détecter un effet s'il existe réellement |
Niveau de signification (α) | Probabilité acceptable d'obtenir un faux positif |
Vous pouvez modifier chaque paramètre et voir immédiatement son impact sur le volume estimé de données nécessaire.
Saisissez le taux de conversion actuel de la variante de contrôle.
Définissez la taille minimale de l'effet ayant une importance pour votre activité.
Choisissez si l'effet est exprimé en valeur absolue ou relative.
Configurez la puissance statistique et le niveau de signification.
Consultez le nombre estimé d'observations nécessaires pour prendre une décision.
Cet outil est particulièrement utile lors de la phase de planification d'une expérience, car il permet d'estimer le délai nécessaire pour obtenir des résultats statistiquement significatifs.
Quand utiliser le Sequential Sampling
L'analyse séquentielle est particulièrement utile :
pour les tests A/B de longue durée ;
lorsque le trafic quotidien est important ;
lorsqu'il est nécessaire de prendre des décisions le plus rapidement possible ;
pour les expérimentations produit avec un suivi continu ;
lorsque la durée de l'expérience est limitée ;
dans les environnements d'expérimentation continue.
Quand cette méthode peut ne pas être adaptée
Le Sequential Sampling n'est pas toujours le meilleur choix.
Un plan expérimental classique à taille d'échantillon fixe est souvent plus simple lorsque :
le volume de trafic est relativement faible ;
les résultats sont analysés une seule fois après la fin du test ;
le processus d'expérimentation de votre organisation est déjà basé sur des tailles d'échantillon fixes.
La méthode statistique doit être choisie avant le lancement de l'expérience.
Limites de l'outil
Le calculateur estime le volume approximatif de données nécessaire pour prendre une décision dans une expérience séquentielle.
Il n'analyse pas les résultats réels d'un test A/B, ne calcule pas les p-values et ne détermine pas la variante gagnante.
Pour analyser les données déjà collectées, il convient d'utiliser les méthodes de tests statistiques appropriées.
Conclusion
Le Calculateur de Sequential Sampling permet d'estimer à l'avance le volume de données nécessaire pour une analyse séquentielle d'un test A/B et facilite ainsi une planification plus efficace des expérimentations. Cette approche est particulièrement utile pour les équipes qui suivent en continu les performances de leurs expériences et souhaitent prendre des décisions statistiquement fondées sans attendre d'atteindre une taille d'échantillon fixe. Pour couvrir l'ensemble du processus d'expérimentation, vous pouvez également utiliser les autres outils de tests A/B.
