Ce que fait le test du chi carré
Le calculateur du test du chi carré (χ²) permet de déterminer si les différences observées entre deux groupes pour une variable catégorielle sont statistiquement significatives ou si elles sont probablement dues au hasard.
L'outil est conçu pour analyser le nombre de résultats positifs et négatifs dans des échantillons indépendants. Il calcule automatiquement la p-value, ce qui permet d'évaluer rapidement les résultats des tests A/B, des campagnes marketing et d'autres expériences utilisant des métriques binaires.
Il convient à l'analyse produit, au marketing, à la recherche UX, aux expériences scientifiques et à l'analyse des conversions.
Données à saisir
Pour chaque échantillon, renseignez les informations suivantes :
Paramètre | Description |
|---|
Succès | Nombre de résultats positifs (par exemple, des conversions) |
Essais | Nombre total d'observations |
Niveau de confiance | Niveau de signification statistique utilisé pour le test |
À partir de ces données, l'outil calcule la significativité statistique des différences entre les échantillons.
Ce que l'outil affiche
Après le calcul, les résultats suivants sont affichés :
Indicateur | Description |
|---|
Échantillon le plus performant | Le groupe présentant la plus forte proportion observée de succès |
p-value | La probabilité d'observer une telle différence par hasard |
Graphique des distributions | Comparaison visuelle des résultats des deux échantillons |
Lien de calcul | Lien partageable qui conserve les paramètres de l'analyse |
L'indicateur principal est la p-value.
Résultat | Interprétation |
|---|
p-value < α | La différence est statistiquement significative |
p-value ≥ α | Les preuves sont insuffisantes pour conclure que la différence est statistiquement significative |
Ici, α représente le niveau de signification statistique sélectionné.
Il est important de garder à l'esprit que la significativité statistique n'indique pas l'ampleur ni l'importance pratique de l'effet. Elle montre uniquement à quel point il est peu probable que la différence observée soit due au hasard.
Quand utiliser le test du chi carré
L'outil est particulièrement utile pour analyser :
les taux de conversion d'un site web ;
le CTR (taux de clics) des campagnes publicitaires ;
les taux d'ouverture des campagnes e-mail ;
les inscriptions d'utilisateurs ;
les achats finalisés ;
les taux de progression dans un tunnel de conversion ;
les résultats des tests A/B utilisant des métriques binaires ;
toute donnée de type « succès / échec ».
Quand utiliser un autre test
Le test χ² est destiné aux données catégorielles. Si vous souhaitez comparer les moyennes de variables continues (par exemple, le montant moyen d'une commande, le temps passé sur le site ou la durée d'une session), le choix le plus approprié est le test t à deux échantillons.
Le test du chi carré répond à la question : Les proportions de résultats positifs diffèrent-elles entre les groupes ? Le test t répond à la question : Les moyennes d'une variable continue diffèrent-elles entre les groupes ?
Erreurs courantes
Utiliser le test χ² pour comparer des variables numériques continues.
Appliquer le test à des échantillons dépendants.
Utiliser des tailles d'échantillon trop faibles pour garantir une puissance statistique suffisante.
Effectuer plusieurs tests de significativité successifs sans ajuster la méthodologie d'analyse.
Interpréter la significativité statistique comme une preuve d'un impact pratique important.
Limites de l'outil
Les résultats du test doivent toujours être interprétés dans le contexte de l'étude.
La validité des conclusions peut être affectée par :
une taille d'échantillon insuffisante ;
des violations de la répartition aléatoire des utilisateurs ;
des erreurs de collecte des données ;
des biais systématiques ;
des observations dépendantes.
Le test estime la probabilité que les différences observées soient dues au hasard, mais il n'explique pas pourquoi ces différences existent.
Conclusion
Le test du chi carré permet d'évaluer rapidement si les différences dans les proportions de résultats positifs entre deux groupes indépendants sont statistiquement significatives. Il est particulièrement efficace pour analyser les conversions, les clics, les inscriptions et d'autres métriques binaires dans les tests A/B.
Pour une analyse complète des expériences, il est recommandé de l'utiliser conjointement avec d'autres outils statistiques. Avant de lancer une expérience, estimez la taille d'échantillon nécessaire à l'aide du calculateur de taille d'échantillon. Si votre expérience porte sur des variables continues plutôt que sur des résultats catégoriels, utilisez le test t à deux échantillons à la place du test χ². Lors de la réalisation de tests A/B, il est également recommandé de vérifier que les utilisateurs sont correctement répartis entre les variantes à l'aide du calculateur de Sample Ratio Mismatch (SRM).
