O que é Sequential Sampling?
Sequential Sampling (amostragem sequencial ou teste sequencial) é uma abordagem estatística que permite analisar os resultados de um teste A/B à medida que novos dados são recolhidos, sem necessidade de esperar até que seja atingido um tamanho de amostra previamente definido.
Ao contrário dos testes A/B tradicionais, em que os resultados são normalmente analisados apenas após a conclusão do experimento, a análise sequencial permite tomar decisões mais cedo se os dados acumulados já fornecerem evidência estatística suficiente.
A Calculadora de Sequential Sampling ajuda a estimar quantas observações poderão ser necessárias para confirmar se a variante de controlo ou a variante de teste é a vencedora, de acordo com os parâmetros definidos para o experimento.
Parâmetros de entrada
Para efetuar o cálculo, especifique as principais características do experimento que pretende realizar.
Parâmetro | Descrição |
|---|
Taxa de conversão de referência | Taxa de conversão atual da variante de controlo |
Efeito mínimo detetável (MDE) | A menor alteração na taxa de conversão que pretende detetar |
Tipo de efeito | Efeito absoluto ou relativo |
Poder estatístico | Probabilidade de detetar um efeito caso ele exista realmente |
Nível de significância (α) | Probabilidade aceitável de um resultado falso positivo |
Pode ajustar qualquer parâmetro e ver imediatamente o impacto na quantidade estimada de dados necessária.
Como utilizar a ferramenta
Introduza a taxa de conversão atual da variante de controlo.
Especifique a dimensão mínima do efeito que seja relevante para o seu negócio.
Escolha se o efeito será expresso como uma alteração absoluta ou relativa.
Configure o poder estatístico e o nível de significância.
Consulte o número estimado de observações necessárias para tomar uma decisão.
A ferramenta é especialmente útil durante o planeamento do experimento, ajudando a estimar quão rapidamente poderão estar disponíveis resultados estatisticamente significativos.
Quando utilizar Sequential Sampling
A análise sequencial é particularmente útil:
em testes A/B de longa duração;
quando o tráfego diário é elevado;
quando é necessário tomar decisões o mais cedo possível;
em experimentos de produto com monitorização contínua;
quando a duração do experimento é limitada;
em ambientes de experimentação contínua.
Quando o método pode não ser adequado
O Sequential Sampling nem sempre é a melhor opção.
Um desenho tradicional com tamanho de amostra fixo é frequentemente mais simples quando:
o volume de tráfego é relativamente baixo;
os resultados são analisados apenas uma vez após a conclusão do teste;
o processo de experimentação da sua organização já está estruturado em torno de tamanhos de amostra fixos.
A metodologia estatística deve ser escolhida antes do início do experimento.
Limitações da ferramenta
A calculadora estima a quantidade aproximada de dados necessária para tomar uma decisão num experimento sequencial.
Não analisa os resultados reais de um teste A/B, não calcula p-values nem determina a variante vencedora.
Para analisar os dados recolhidos, devem ser utilizados os métodos estatísticos apropriados.
Conclusão
A Calculadora de Sequential Sampling ajuda a estimar a quantidade de dados necessária para a análise sequencial de testes A/B, facilitando um planeamento mais eficiente dos experimentos. Esta abordagem é particularmente útil para equipas que monitorizam continuamente o desempenho dos seus experimentos e pretendem tomar decisões estatisticamente fundamentadas sem esperar por um tamanho de amostra fixo. Para um fluxo completo de experimentação, considere também utilizar outras ferramentas de A/B Testing.
