Calculadora de prueba A/B: comprobar Sample Ratio Mismatch

La Desproporción de la Relación de Muestra (SRM) es un error estadístico que ocurre cuando las muestras en las pruebas A/B no coinciden entre sí. Esto puede llevar a resultados inexactos y conclusiones incorrectas.

La calculadora de SRM utiliza métodos estadísticos para calcular la SRM basándose en el tamaño de la muestra, la conversión base y el nivel de significancia. Muestra cuándo la SRM puede ser crítica.

Utilice la calculadora para calcular la SRM en las pruebas A/B. Establezca el tamaño de la muestra, la conversión base y el nivel de significancia, y la herramienta mostrará cuándo la SRM puede ser crítica.

Sí, la calculadora es adecuada no solo para las pruebas A/B clásicas, sino también para experimentos multivariantes. Ayudará a identificar desequilibrios en la distribución entre varios grupos.

La calculadora de Desproporción de la Relación de Muestra (SRM) es ideal para pruebas A/B con un alto costo de observación, cuando es importante ahorrar recursos. También es útil para obtener resultados rápidamente en campañas de marketing.

Las causas comunes incluyen errores en la implementación de la división de tráfico (errores en el código), problemas con las redirecciones, exclusión incorrecta de cookies, bots o rastreadores que distorsionan los datos, y la exclusión de usuarios de ciertos grupos.

Sí, un SRM significativo (indicado por un valor p bajo) es una fuerte indicación de que algo anda mal con la forma en que se configuró o implementó su prueba A/B. Ignorar el SRM puede llevar a resultados de prueba no válidos y a decisiones comerciales erróneas.

Solucionar el SRM generalmente implica una investigación profunda del código de implementación de la prueba A/B, verificar la lógica de división del tráfico, garantizar que las exclusiones de usuarios se apliquen correctamente y analizar el tráfico en busca de anomalías (por ejemplo, tráfico de bots).