A/B 테스트에서 트래픽의 균일한 분포를 확인하세요. SRM을 빠르고 정확하게 진단하는 온라인 도구. 숫자를 입력하기만 하면 결과가 나옵니다.
카이제곱 값
1.2195
P-값
p = 0.2695
카이제곱 통계를 사용하여 A/B 테스트에서 예상되는 트래픽 분포와 실제 트래픽 분포 간의 불일치 정도를 계산합니다.
트래픽 분포가 계획된 비율에서 벗어나는 시기를 즉시 감지하여 테스트 무결성을 유지하는 데 도움이 됩니다.
분포 문제의 심각도를 빠르게 평가하기 위해 색상으로 구분된 상태 표시기(정상, 경고, 위험)를 제공합니다.
Sample Ratio Mismatch(SRM)는 A/B 테스트의 각 변형(Variant)에 실제로 배정된 사용자 분포가 계획된 배정 비율과 일치하는지 확인하는 통계적 검증 방법입니다.
관측된 분포가 예상 분포와 크게 다를 경우, 이는 사용자 무작위 배정(Randomization), 이벤트 로깅(Event Logging), 실험 설정 또는 데이터 수집 과정에 문제가 있음을 의미할 수 있습니다. SRM 검증은 실험 결과를 분석하기 전에 수행해야 합니다. SRM이 존재하면 A/B 테스트의 결론이 신뢰할 수 없게 될 수 있기 때문입니다.
이 도구는 카이제곱 검정(χ²)을 사용하여 예상 그룹 크기와 실제 그룹 크기를 비교하고, p-value를 자동으로 계산합니다.
계산 후 다음과 같은 결과가 표시됩니다.
지표 | 설명 |
|---|---|
카이제곱 통계량 | 분포를 평가하는 데 사용되는 χ² 검정 통계량 |
p-value | 관측된 차이가 우연히 발생했을 확률 |
검증 상태 | Sample Ratio Mismatch가 감지되었는지 여부 |
계산 링크 | 검증 매개변수를 저장하는 공유 가능한 링크 |
각 그룹의 실제 사용자 수를 입력합니다.
각 그룹의 계획된 배정 비율을 입력합니다.
필요한 경우 실험 변형을 추가합니다.
검증을 실행합니다.
결과를 확인합니다.
예를 들어, 실험이 50% / 50% 트래픽 분배로 설계되었지만 실제 그룹 크기가 1,000명과 1,050명이라면, 이 도구는 해당 차이가 무작위 변동으로 충분히 설명될 수 있는지를 평가합니다.
SRM 검증은 다음과 같은 경우에 특히 유용합니다.
모든 A/B 테스트 결과를 분석하기 전
새로운 사용자 배정 메커니즘을 배포한 후
여러 변형을 사용하는 실험을 수행할 때
분석 이벤트 손실이 의심될 때
이벤트 로깅 시스템을 변경한 후
무작위 배정 메커니즘을 변경한 후
그룹 크기가 예상과 다를 때
많은 조직에서는 모든 실험을 분석하기 전에 SRM 검증을 필수 단계로 수행합니다.
가장 일반적인 원인은 다음과 같습니다.
사용자 무작위 배정 오류
잘못 구성된 Feature Flag
실험 플랫폼 문제
분석 이벤트 손실
일부 사용자 필터링
사용자 식별 오류
쿠키 또는 인증 문제
잘못된 트래픽 배분
소프트웨어 버그
SRM 자체는 근본 원인을 식별하지 않습니다. 단지 실제 사용자 분포가 예상된 배정과 다르다는 사실만을 알려줍니다.
SRM이 감지되었다면 실험 결과는 매우 신중하게 해석해야 합니다.
변형 간 차이가 통계적으로 유의해 보이더라도, 그 차이는 제품 변경 때문이 아니라 사용자 배정 문제로 인해 발생했을 수 있습니다.
실무에서는 일반적으로 SRM의 원인을 조사하고 해결한 후 실험을 다시 수행합니다.
이 도구는 실험 그룹 간 사용자 배정이 올바르게 이루어졌는지만 검증합니다.
어떤 변형이 더 우수한지 판단하거나, 전환율을 비교하거나, 효과 크기를 추정하지는 않습니다.
또한 SRM 검증은 문제의 원인을 식별하지 않습니다. 실제 배정이 예상 배정과 통계적으로 다르다는 사실만 알려줍니다.
Sample Ratio Mismatch Calculator는 사용자가 실험 변형에 올바르게 배정되었는지 빠르게 확인할 수 있는 도구입니다. 이는 모든 A/B 테스트에서 가장 먼저 수행해야 하는 검증 단계 중 하나이며, 제품 지표를 분석하기 전에 구현상의 문제를 발견하는 데 도움이 됩니다.
보다 종합적인 실험 분석을 위해서는 이 도구를 다른 통계 계산기와 함께 사용하는 것이 좋습니다. 실험을 시작하기 전에 Sample Size Calculator를 사용하여 필요한 표본 크기를 추정하세요. SRM 검증을 성공적으로 통과한 후에는 연속형 지표는 Two-Sample T-Test를, 전환율 및 기타 이진 지표는 Chi-Square Test를 사용하여 결과를 분석할 수 있습니다.
SRM 계산기는 테스트 그룹 간의 트래픽 분포를 분석하여 A/B 테스트 실험에서 문제를 감지하는 데 도움이 됩니다. 이 도구는 카이제곱 통계를 사용하여 테스트의 유효성에 영향을 미칠 수 있는 통계적 이상을 식별합니다.
이 도구는 A/B 테스트의 무결성을 보장해야 하는 데이터 전문가, 분석가 및 마케터에게 필수적입니다. 트래픽 분포가 예상 비율에서 벗어나는 시기를 식별하는 데 도움이 됩니다.
계산기는 상태에 대한 색상 표시와 함께 결과에 대한 명확한 해석을 제공하여 테스트 품질을 유지하기 위해 개입이 필요한 시점을 쉽게 이해할 수 있도록 합니다.
표본 비율 불일치(SRM)는 실험 그룹별 실제 참여자 수가 계획된 배정 비율과 통계적으로 유의하게 다를 때 발생합니다. 이는 무작위 배정, 변형 할당, 추적 또는 데이터 손실 문제를 나타낼 수 있으며 테스트 결과를 무효화할 수 있습니다.
각 그룹의 실제 참여자 수와 계획된 배정 비율을 입력합니다. 계산기는 카이제곱 검정으로 관측값과 기대값을 비교하고 카이제곱 값, p값 및 SRM 상태를 표시합니다.
그룹을 두 개 이상 추가하고 각 그룹의 실제 수와 계획 비율을 입력한 뒤 계획 비율의 합이 1인지 확인합니다. 그런 다음 SRM을 계산합니다. p값이 낮으면 관측된 배정이 단순한 무작위 변동만으로 발생했을 가능성이 작다는 뜻입니다.
예, 이 계산기는 고전적인 A/B 테스트뿐만 아니라 다변량 실험에도 적합합니다. 여러 그룹 간의 분포 불균형을 식별하는 데 도움이 될 것입니다.
실험이 시작된 후와 결과를 해석하기 전에 SRM을 확인하세요. 트래픽 배정, 타기팅, 추적 또는 제외 규칙을 변경한 뒤 모니터링할 때도 유용합니다. 유의한 SRM이 있으면 테스트 결과를 신뢰하기 전에 원인을 조사해야 합니다.
일반적인 원인으로는 트래픽 분할 구현의 오류(코드의 버그), 리디렉션 문제, 쿠키의 잘못된 제외, 데이터를 왜곡하는 봇 또는 크롤러, 특정 그룹에서 사용자 제외 등이 있습니다.
예, 유의미한 SRM(낮은 p-값으로 표시됨)은 A/B 테스트가 설정되거나 구현된 방식에 문제가 있음을 강력하게 나타냅니다. SRM을 무시하면 유효하지 않은 테스트 결과와 잘못된 비즈니스 결정으로 이어질 수 있습니다.
SRM을 수정하는 것은 일반적으로 A/B 테스트 구현 코드에 대한 심층 조사, 트래픽 분할 논리 확인, 사용자 제외가 올바르게 적용되었는지 확인, 이상 트래픽(예: 봇 트래픽) 분석을 포함합니다.
