Calculadora de Teste A/B: Verificador de Sample Ratio Mismatch

Sample Ratio Mismatch (SRM) é um erro estatístico que ocorre quando as amostras em testes A/B não correspondem umas às outras. Isso pode levar a resultados imprecisos e conclusões erradas.

A calculadora de SRM usa métodos estatísticos para calcular o SRM com base no tamanho da amostra, conversão base e nível de significância. Ela mostra quando o SRM pode ser crítico.

Use a calculadora para calcular o SRM em testes A/B. Defina o tamanho da amostra, a conversão base e o nível de significância, e a ferramenta mostrará quando o SRM pode ser crítico.

Sim, a calculadora é adequada não apenas para testes A/B clássicos, mas também para experimentos multivariados. Ela ajudará a identificar o desequilíbrio na distribuição entre vários grupos.

A calculadora Sample Ratio Mismatch (SRM) é ideal para testes A/B com alto custo de observação, quando é importante economizar recursos. Também é útil para obter resultados rápidos em campanhas de marketing.

As causas comuns incluem erros na implementação da divisão de tráfego (bugs no código), problemas com redirecionamentos, exclusão incorreta de cookies, bots ou rastreadores de mecanismos de busca distorcendo os dados, e exclusão de usuários de grupos específicos.

Sim, um SRM significativo (indicado por um p-value baixo) é um forte indício de que algo está errado na forma como seu teste A/B foi configurado ou implementado. Ignorar o SRM pode levar a resultados de teste inválidos e decisões de negócios equivocadas.

Corrigir o SRM geralmente envolve uma investigação profunda do código de implementação do teste A/B, verificação da lógica de divisão de tráfego, garantia da aplicação correta das exclusões de usuários e análise do tráfego em busca de anomalias (por exemplo, tráfego de bots).