Что такое Sample Ratio Mismatch (SRM)
Sample Ratio Mismatch (SRM) — это статистическая проверка, которая определяет, соответствует ли фактическое распределение пользователей между вариантами A/B-теста запланированному.
Если распределение существенно отличается от ожидаемого, это может свидетельствовать о проблемах в системе рандомизации, логировании, настройке эксперимента или сборе данных. Проверка SRM рекомендуется выполнять до анализа результатов эксперимента, поскольку наличие SRM делает выводы A/B-теста потенциально недостоверными.
Инструмент использует критерий хи-квадрат для сравнения ожидаемых и фактических размеров групп и автоматически рассчитывает p-value.
Что показывает инструмент
После расчёта отображаются:
Показатель | Что означает |
|---|
Chi-Square значение | Статистика критерия χ² для проверки распределения |
P-value | Вероятность того, что наблюдаемое отклонение возникло случайно |
Статус проверки | Есть или отсутствуют признаки Sample Ratio Mismatch |
Ссылка на расчёт | Возможность сохранить параметры проверки |
Как пользоваться инструментом
Укажите фактическое количество пользователей для каждой группы.
Введите планируемую долю распределения для каждой группы.
При необходимости добавьте дополнительные варианты эксперимента.
Запустите проверку.
Проанализируйте полученный результат.
Например, если эксперимент запускался с распределением 50% / 50%, а фактически получили 1000 и 1050 пользователей, инструмент оценит, укладывается ли такое отклонение в пределы случайных колебаний.
Когда необходимо проверять SRM
Проверка особенно полезна:
перед анализом результатов любого A/B-теста;
после запуска нового механизма распределения пользователей;
при использовании нескольких вариантов эксперимента;
при подозрении на потерю событий аналитики;
после изменения системы логирования;
после изменения механизма рандомизации;
при неожиданном размере групп.
Во многих компаниях проверка SRM является обязательным этапом анализа любого эксперимента.
Почему возникает Sample Ratio Mismatch
Наиболее распространённые причины:
ошибки рандомизации пользователей;
некорректная работа feature flags;
ошибки системы экспериментов;
потеря событий аналитики;
фильтрация части пользователей;
ошибки идентификации пользователей;
проблемы с куками или авторизацией;
неправильное распределение трафика;
программные ошибки.
Сам по себе SRM не объясняет причину проблемы, а лишь показывает, что распределение пользователей не соответствует ожидаемому.
Когда можно доверять результатам A/B-теста
Если обнаружен SRM, интерпретировать результаты эксперимента следует крайне осторожно.
Даже если различия между вариантами выглядят статистически значимыми, они могут быть вызваны не самим изменением продукта, а ошибками распределения пользователей.
На практике сначала устраняют причины SRM и только после этого повторно запускают эксперимент.
Ограничения инструмента
Инструмент проверяет только корректность распределения пользователей между группами.
Он не оценивает, какой вариант лучше, не сравнивает конверсии и не рассчитывает размер эффекта.
Также проверка SRM не определяет источник ошибки — она лишь показывает, что наблюдаемое распределение статистически отличается от ожидаемого.
Заключение
Калькулятор Sample Ratio Mismatch позволяет быстро проверить, корректно ли распределились пользователи между вариантами эксперимента. Это один из первых этапов валидации любого A/B-теста, который помогает выявить ошибки ещё до анализа продуктовых метрик.
Для комплексного анализа экспериментов рекомендуется использовать этот инструмент совместно с другими статистическими калькуляторами. Перед запуском эксперимента рассчитайте необходимый объём данных с помощью Калькулятора размера выборки. После успешной проверки SRM можно анализировать результаты с помощью T-теста для двух выборок (для количественных метрик) или Теста хи-квадрат (для конверсий и других бинарных показателей).
