Калькулятор А/В-тестов: Оценка размера выборки

Размер выборки зависит от желаемого уровня достоверности, допустимой погрешности, размера популяции и ожидаемого размера эффекта (MDE). Большие эффекты требуют меньших выборок, в то время как меньшие эффекты требуют больших выборок для обнаружения.

Уровень достоверности (обычно 95%) указывает, насколько вы уверены в своих результатах. Допустимая погрешность — это диапазон неопределенности вокруг вашей оценки. Более высокий уровень достоверности или меньшая допустимая погрешность требуют больших выборок.

Используйте консервативный подход - равное разбиение на две группы в пропорциях 50/50.

Если популяция ограничена, используйте поправку для конечной популяции и постарайтесь максимально увеличить охват. В случае очень малых выборок используйте непараметрические методы анализа и учитывайте пониженную статистическую мощность.

Если выбрать слишком маленький MDE, то потребуется огромная выборка, что может быть непрактично. Если выбрать слишком большой MDE, можно пропустить небольшие, но важные эффекты. Оптимальный MDE должен отражать бизнес- или исследовательскую ценность эффекта.

Статистическая мощность — это вероятность обнаружения реального эффекта (если он существует) и избежания ошибки типа II (ложноотрицательного результата). Более высокая мощность (обычно 80% или более) требует большего размера выборки для обеспечения того, чтобы вы не упустили значимый результат.

Чем больше вариабельность в данных генеральной совокупности (стандартное отклонение), тем больше размер выборки необходим для достижения той же точности. Это связано с тем, что большая вариабельность затрудняет получение точной оценки среднего значения генеральной совокупности.

Для сравнительных исследований вам необходим расчет размера выборки, который учитывает минимальный обнаруживаемый эффект (наименьшую разницу, которую вы считаете важной) и статистическую мощность, чтобы гарантировать, что ваш эксперимент способен обнаружить эту разницу.