Calculadora de Teste A/B: Amostragem Sequencial

Uma calculadora para análise sequencial de testes A/B é uma ferramenta que ajuda a determinar o momento ideal para parar um experimento com base em dados estatísticos. Ela considera a conversão base, o efeito mínimo detectável, o poder estatístico e o nível de significância para ajudá-lo a tomar uma decisão informada sobre continuar ou parar o teste.

A calculadora usa métodos estatísticos para calcular o tamanho mínimo da amostra com base na conversão base, no efeito mínimo detectável, no poder estatístico e no nível de significância. Ela mostra quando você pode parar o experimento.

O efeito absoluto é a diferença percentual (por exemplo, um aumento de 5% na conversão). O efeito relativo é a mudança percentual da conversão base (por exemplo, um aumento de 25% da conversão base de 20%).

O poder estatístico (60-95%) determina a probabilidade de detectar um efeito, se ele existir. O nível de significância (1-10%) determina a probabilidade de um falso positivo. Um poder mais alto requer um tamanho de amostra maior. Você pode ajustar o poder estatístico e o nível de significância na calculadora.

Os testes sequenciais são ideais para testes A/B com alto custo de observação, quando é importante economizar recursos. Também é útil para obter resultados rápidos em campanhas de marketing.

O erro tipo I (alfa) é quando você rejeita uma hipótese nula verdadeira (conclui que há uma diferença quando não há). O erro tipo II (beta) é quando você falha em rejeitar uma hipótese nula falsa (conclui que não há diferença quando há).

A amostragem sequencial é particularmente útil quando o custo de cada observação é alto ou quando você deseja obter resultados mais rapidamente. No entanto, ela requer monitoramento contínuo dos resultados, o que pode ser mais complexo de implementar do que um teste de tamanho fixo.

A conversão base é a taxa de conversão atual ou esperada do seu grupo de controle (variante original). É o ponto de referência a partir do qual você mede o impacto potencial da sua nova variante (grupo de teste).