¿Qué es el Sequential Sampling?
El Sequential Sampling (muestreo secuencial o pruebas secuenciales) es un enfoque estadístico que permite analizar los resultados de una prueba A/B a medida que se recopilan nuevos datos, sin esperar a alcanzar un tamaño de muestra predeterminado.
A diferencia de las pruebas A/B tradicionales, en las que los resultados suelen analizarse únicamente después de finalizar el experimento, el análisis secuencial permite tomar decisiones antes si los datos acumulados ya proporcionan evidencia estadística suficiente.
La Calculadora de Sequential Sampling ayuda a estimar cuántas observaciones pueden ser necesarias para confirmar si la variante de control o la variante de prueba es la ganadora según la configuración especificada del experimento.
Parámetros de entrada
Para realizar el cálculo, especifique las características principales del experimento que planea realizar.
Parámetro | Descripción |
|---|
Tasa de conversión base | Tasa de conversión actual de la variante de control |
Efecto mínimo detectable (MDE) | El cambio más pequeño en la tasa de conversión que desea detectar |
Tipo de efecto | Efecto absoluto o relativo |
Potencia estadística | Probabilidad de detectar un efecto si realmente existe |
Nivel de significancia (α) | Probabilidad aceptable de obtener un resultado falso positivo |
Puede ajustar cualquier parámetro y ver inmediatamente cómo afecta a la cantidad estimada de datos necesarios.
Cómo utilizar la herramienta
Introduzca la tasa de conversión actual de la variante de control.
Especifique el tamaño mínimo del efecto que tenga relevancia para su negocio.
Elija si el efecto se expresa como un cambio absoluto o relativo.
Configure la potencia estadística y el nivel de significancia.
Consulte el número estimado de observaciones necesarias para tomar una decisión.
La herramienta resulta especialmente útil durante la planificación del experimento, ya que ayuda a estimar la rapidez con la que podrían obtenerse resultados estadísticamente significativos.
Cuándo utilizar Sequential Sampling
El análisis secuencial es especialmente útil:
para pruebas A/B de larga duración;
cuando el tráfico diario es elevado;
cuando es necesario tomar decisiones lo antes posible;
para experimentos de producto con monitorización continua;
cuando la duración del experimento es limitada;
en entornos de experimentación continua.
Cuándo el método puede no ser apropiado
El Sequential Sampling no siempre es la mejor opción.
Un diseño tradicional de tamaño de muestra fijo suele ser más sencillo cuando:
el volumen de tráfico es relativamente bajo;
los resultados se analizan una sola vez tras finalizar la prueba;
el proceso de experimentación de su organización ya está basado en tamaños de muestra fijos.
La metodología estadística debe seleccionarse antes de iniciar el experimento.
Limitaciones de la herramienta
La calculadora estima la cantidad aproximada de datos necesaria para tomar una decisión en un experimento secuencial.
No analiza los resultados reales de una prueba A/B, no calcula valores p ni determina qué variante es la ganadora.
Para analizar los datos recopilados, deben utilizarse los métodos de prueba estadística adecuados.
Conclusión
La Calculadora de Sequential Sampling ayuda a estimar la cantidad de datos necesaria para el análisis secuencial de pruebas A/B, facilitando una planificación más eficiente de los experimentos. Este enfoque resulta especialmente útil para los equipos que supervisan continuamente el rendimiento de sus experimentos y desean tomar decisiones estadísticamente fundamentadas sin esperar a alcanzar un tamaño de muestra fijo. Para cubrir todo el flujo de trabajo de experimentación, considere utilizar también otras herramientas para pruebas A/B.
