Qu'est-ce que le Sample Ratio Mismatch (SRM) ?
Le Sample Ratio Mismatch (SRM) est une validation statistique qui permet de déterminer si la répartition réelle des utilisateurs entre les variantes d'un test A/B correspond à la répartition prévue.
Si la distribution observée diffère significativement de celle attendue, cela peut indiquer des problèmes de randomisation, de journalisation des événements, de configuration de l'expérience ou de collecte des données. La validation du SRM doit être effectuée avant d'analyser les résultats de l'expérience, car la présence d'un SRM peut rendre les conclusions d'un test A/B peu fiables.
L'outil utilise le test du chi carré (χ²) pour comparer les tailles de groupes attendues et observées, et calcule automatiquement la p-value.
Ce que montre l'outil
Après le calcul, les résultats suivants sont affichés :
Indicateur | Description |
|---|
Statistique du chi carré | La statistique χ² utilisée pour évaluer la répartition |
p-value | La probabilité que l'écart observé soit dû au hasard |
Statut de validation | Indique si un Sample Ratio Mismatch a été détecté |
Lien de calcul | Un lien partageable qui conserve les paramètres de validation |
Saisissez le nombre réel d'utilisateurs dans chaque groupe.
Indiquez la répartition prévue pour chaque groupe.
Ajoutez des variantes supplémentaires si nécessaire.
Lancez la validation.
Analysez les résultats.
Par exemple, si une expérience est conçue avec une répartition du trafic de 50 % / 50 %, mais que les groupes observés comptent 1 000 et 1 050 utilisateurs, l'outil évalue si cet écart peut raisonnablement s'expliquer par les fluctuations aléatoires.
Quand vérifier un SRM ?
La validation du SRM est particulièrement utile :
avant d'analyser les résultats de tout test A/B ;
après le déploiement d'un nouveau mécanisme d'affectation des utilisateurs ;
lors d'expériences comportant plusieurs variantes ;
en cas de suspicion de perte d'événements analytiques ;
après une modification du système de journalisation des événements ;
après un changement du mécanisme de randomisation ;
lorsque la taille des groupes diffère de manière inattendue.
Dans de nombreuses organisations, la validation du SRM est une étape obligatoire avant l'analyse de toute expérience.
Pourquoi un Sample Ratio Mismatch se produit-il ?
Les causes les plus courantes sont les suivantes :
erreurs dans la randomisation des utilisateurs ;
feature flags mal configurés ;
problèmes liés à la plateforme d'expérimentation ;
perte d'événements analytiques ;
filtrage d'une partie des utilisateurs ;
erreurs d'identification des utilisateurs ;
problèmes liés aux cookies ou à l'authentification ;
mauvaise répartition du trafic ;
bogues logiciels.
Le SRM n'identifie pas la cause du problème : il indique uniquement que la répartition observée des utilisateurs diffère de la répartition attendue.
Quand peut-on faire confiance aux résultats d'un test A/B ?
Si un SRM est détecté, les résultats de l'expérience doivent être interprétés avec une extrême prudence.
Même si les différences observées entre les variantes semblent statistiquement significatives, elles peuvent être dues à des problèmes de répartition des utilisateurs plutôt qu'à la modification du produit elle-même.
En pratique, les équipes recherchent et corrigent généralement la cause du SRM avant de relancer l'expérience.
Limites de l'outil
L'outil vérifie uniquement la validité de la répartition des utilisateurs entre les groupes de l'expérience.
Il ne détermine pas quelle variante est la plus performante, ne compare pas les taux de conversion et n'estime pas la taille de l'effet.
La validation du SRM n'identifie pas non plus l'origine du problème : elle indique uniquement que la répartition observée diffère statistiquement de celle attendue.
Conclusion
Le Calculateur de Sample Ratio Mismatch permet de vérifier rapidement si les utilisateurs ont été correctement répartis entre les différentes variantes d'une expérience. Il constitue l'une des premières étapes de validation de tout test A/B et permet d'identifier les problèmes d'implémentation avant l'analyse des métriques produit.
Pour une analyse complète des expérimentations, utilisez cet outil avec d'autres calculateurs statistiques. Avant de lancer une expérience, estimez la taille d'échantillon nécessaire à l'aide du Calculateur de taille d'échantillon. Une fois la validation SRM réussie, analysez les résultats de l'expérience à l'aide du Test t pour deux échantillons pour les métriques continues ou du Test du chi carré pour les taux de conversion et les autres métriques binaires.
