O que é Sample Ratio Mismatch (SRM)?
Sample Ratio Mismatch (SRM) é uma validação estatística que determina se a distribuição real de usuários entre as variantes de um teste A/B corresponde à alocação planejada.
Se a distribuição observada diferir significativamente da esperada, isso pode indicar problemas na randomização, no registro de eventos (event logging), na configuração do experimento ou na coleta de dados. A validação de SRM deve ser realizada antes da análise dos resultados do experimento, pois a presença de SRM pode tornar as conclusões de um teste A/B pouco confiáveis.
A ferramenta utiliza o teste Qui-Quadrado (χ²) para comparar os tamanhos esperados e observados dos grupos e calcula automaticamente o p-value.
O que a ferramenta mostra
Após o cálculo, são exibidos os seguintes resultados:
Métrica | Descrição |
|---|
Estatística Qui-Quadrado | A estatística χ² usada para avaliar a distribuição |
p-value | A probabilidade de que o desvio observado tenha ocorrido por acaso |
Status da Validação | Indica se foi detectado um Sample Ratio Mismatch |
Link do Cálculo | Um link compartilhável que preserva os parâmetros da validação |
Como usar a ferramenta
Informe o número real de usuários em cada grupo.
Especifique a proporção de alocação planejada para cada grupo.
Adicione variantes adicionais do experimento, se necessário.
Execute a validação.
Analise os resultados.
Por exemplo, se um experimento foi planejado com uma divisão de tráfego de 50% / 50%, mas os grupos observados contêm 1.000 e 1.050 usuários, a ferramenta avalia se esse desvio pode ser razoavelmente explicado pela variação aleatória.
Quando verificar o SRM
A validação de SRM é particularmente útil:
antes de analisar os resultados de qualquer teste A/B;
após implantar um novo mecanismo de alocação de usuários;
ao executar experimentos com múltiplas variantes;
quando houver suspeita de perda de eventos de analytics;
após modificar o sistema de registro de eventos;
após alterar o mecanismo de randomização;
quando os tamanhos dos grupos diferirem de forma inesperada.
Em muitas organizações, a validação de SRM é uma etapa obrigatória antes da análise de qualquer experimento.
Por que ocorre o Sample Ratio Mismatch
As causas mais comuns incluem:
erros na randomização de usuários;
feature flags configuradas incorretamente;
problemas na plataforma de experimentação;
perda de eventos de analytics;
filtragem de determinados usuários;
erros na identificação de usuários;
problemas relacionados a cookies ou autenticação;
alocação incorreta de tráfego;
erros de software.
O SRM, por si só, não identifica a causa raiz do problema — ele apenas indica que a distribuição observada de usuários difere da alocação esperada.
Quando é possível confiar nos resultados de um teste A/B
Se for detectado um SRM, os resultados do experimento devem ser interpretados com extrema cautela.
Mesmo que as diferenças observadas entre as variantes pareçam estatisticamente significativas, elas podem ser causadas por problemas na alocação de usuários, e não pela alteração do produto em si.
Na prática, as equipes normalmente investigam e resolvem a causa do SRM antes de executar novamente o experimento.
Limitações da ferramenta
A ferramenta valida apenas a correção da alocação de usuários entre os grupos do experimento.
Ela não determina qual variante apresenta melhor desempenho, não compara taxas de conversão nem estima o tamanho do efeito.
Além disso, a validação de SRM não identifica a origem do problema — ela apenas indica que a alocação observada difere estatisticamente da esperada.
Conclusão
A Calculadora de Sample Ratio Mismatch oferece uma maneira rápida de verificar se os usuários foram distribuídos corretamente entre as variantes do experimento. Trata-se de uma das primeiras etapas de validação em qualquer teste A/B e ajuda a identificar problemas de implementação antes da análise das métricas de produto.
Para uma análise completa de experimentos, utilize esta ferramenta em conjunto com outras calculadoras estatísticas. Antes de iniciar um experimento, estime o tamanho de amostra necessário usando a Calculadora de Tamanho de Amostra. Depois que a verificação de SRM for concluída com sucesso, analise os resultados do experimento usando o Teste t para Duas Amostras para métricas contínuas ou o Teste Qui-Quadrado para taxas de conversão e outras métricas binárias.
