Calculadora de prueba A/B: Muestreo secuencial

Una calculadora para el análisis secuencial de pruebas A/B es una herramienta que le ayuda a determinar el momento óptimo para detener un experimento basándose en datos estadísticos. Tiene en cuenta la tasa de conversión base, el efecto mínimo detectable, la potencia estadística y el nivel de significancia para ayudarle a tomar una decisión informada sobre si continuar o detener la prueba.

La calculadora utiliza métodos estadísticos para calcular el tamaño mínimo de la muestra basándose en la conversión base, el efecto mínimo detectable, la potencia estadística y el nivel de significancia. Muestra cuándo se puede detener el experimento.

El efecto absoluto es la diferencia porcentual (por ejemplo, un aumento del 5% en la conversión). El efecto relativo es el cambio porcentual de la conversión base (por ejemplo, un aumento del 25% de una conversión base del 20%).

La potencia estadística (60-95%) determina la probabilidad de detectar un efecto si existe. El nivel de significancia (1-10%) determina la probabilidad de un falso positivo. Una mayor potencia requiere un mayor tamaño de muestra. Puede configurar la potencia estadística y el nivel de significancia en la calculadora.

El muestreo secuencial es ideal para pruebas A/B con un alto costo de observación, cuando es importante ahorrar recursos. También es útil para obtener resultados rápidamente en campañas de marketing.

Un error de tipo I (alfa) es cuando se rechaza una hipótesis nula verdadera (se concluye que hay una diferencia cuando no la hay). Un error de tipo II (beta) es cuando no se puede rechazar una hipótesis nula falsa (se concluye que no hay diferencia cuando sí la hay).

El muestreo secuencial es particularmente útil cuando el coste de cada observación es alto o cuando se desean resultados más rápidos. Sin embargo, requiere un monitoreo continuo de los resultados, lo que puede ser más difícil de implementar que una prueba de tamaño fijo.

La conversión de referencia es la tasa de conversión actual o esperada de su grupo de control (la variante original). Es el punto de referencia desde el que se mide el impacto potencial de su nueva variante (el grupo de prueba).