¿Qué es Sample Ratio Mismatch (SRM)?
Sample Ratio Mismatch (SRM) es una validación estadística que determina si la distribución real de usuarios entre las variantes de un experimento A/B coincide con la distribución planificada.
Si la distribución observada difiere significativamente de la esperada, puede indicar problemas en la aleatorización, el registro de eventos, la configuración del experimento o la recopilación de datos. La validación de SRM debe realizarse antes de analizar los resultados del experimento, ya que la presencia de un SRM puede hacer que las conclusiones de una prueba A/B no sean fiables.
La herramienta utiliza la prueba de chi-cuadrado (χ²) para comparar los tamaños esperados y observados de los grupos, y calcula automáticamente el p-value.
Qué muestra la herramienta
Después del cálculo, se muestran los siguientes resultados:
Métrica | Descripción |
|---|
Estadístico Chi-cuadrado | El estadístico χ² utilizado para evaluar la distribución |
p-value | La probabilidad de que la desviación observada se haya producido por azar |
Estado de la validación | Indica si se ha detectado un Sample Ratio Mismatch |
Enlace del cálculo | Un enlace compartible que conserva los parámetros de la validación |
Cómo utilizar la herramienta
Introduzca el número real de usuarios en cada grupo.
Especifique la proporción de asignación planificada para cada grupo.
Añada variantes adicionales del experimento si es necesario.
Ejecute la validación.
Revise los resultados.
Por ejemplo, si un experimento se diseñó con una distribución de tráfico del 50 % / 50 %, pero los tamaños reales de los grupos son de 1.000 y 1.050 usuarios, la herramienta evaluará si esa desviación puede explicarse razonablemente por la variación aleatoria.
Cuándo comprobar el SRM
La validación de SRM es especialmente útil:
antes de analizar los resultados de cualquier prueba A/B;
después de implementar un nuevo mecanismo de asignación de usuarios;
al ejecutar experimentos con múltiples variantes;
cuando se sospecha una pérdida de eventos de analítica;
después de modificar el sistema de registro de eventos;
después de cambiar el mecanismo de aleatorización;
cuando los tamaños de los grupos difieren de forma inesperada.
En muchas organizaciones, la validación de SRM es un paso obligatorio antes de analizar cualquier experimento.
Por qué se produce un Sample Ratio Mismatch
Las causas más comunes incluyen:
errores en la aleatorización de usuarios;
feature flags configurados incorrectamente;
problemas en la plataforma de experimentación;
pérdida de eventos de analítica;
filtrado de determinados usuarios;
errores en la identificación de usuarios;
problemas con las cookies o la autenticación;
distribución incorrecta del tráfico;
errores de software.
El SRM por sí mismo no identifica la causa raíz; únicamente indica que la distribución observada de usuarios difiere de la asignación esperada.
Cuándo puede confiar en los resultados de una prueba A/B
Si se detecta un SRM, los resultados del experimento deben interpretarse con extrema cautela.
Aunque las diferencias observadas entre las variantes parezcan estadísticamente significativas, pueden deberse a problemas en la asignación de usuarios y no al cambio realizado en el producto.
En la práctica, los equipos suelen investigar y corregir la causa del SRM antes de volver a ejecutar el experimento.
Limitaciones de la herramienta
La herramienta únicamente valida que la asignación de usuarios entre los grupos del experimento sea correcta.
No determina qué variante funciona mejor, no compara tasas de conversión ni estima el tamaño del efecto.
La validación de SRM tampoco identifica el origen del problema; únicamente indica que la distribución observada difiere estadísticamente de la esperada.
Conclusión
La Calculadora de Sample Ratio Mismatch proporciona una forma rápida de verificar si los usuarios se distribuyeron correctamente entre las variantes de un experimento. Es uno de los primeros pasos de validación en cualquier prueba A/B y ayuda a detectar problemas de implementación antes de analizar las métricas del producto.
Para realizar un análisis completo de un experimento, utilice esta herramienta junto con otras calculadoras estadísticas. Antes de iniciar un experimento, estime el tamaño de muestra necesario con la Calculadora de tamaño de muestra. Una vez superada correctamente la validación de SRM, analice los resultados del experimento utilizando la Prueba t para dos muestras para métricas continuas o la Prueba de chi-cuadrado para tasas de conversión y otras métricas binarias.
