Үлгі көлемі калькуляторы не істейді
Үлгі көлемі калькуляторы (Sample Size Calculator) статистикалық тұрғыдан сенімді нәтижелер алу үшін қанша бақылау қажет екенін анықтауға көмектеседі. Ол базалық конверсия көрсеткіші, анықталатын ең аз әсер (MDE), статистикалық маңыздылық деңгейі және статистикалық қуат негізінде эксперименттер мен зерттеулерге қажетті ең аз үлгі көлемін есептейді.
Бұл құрал келесі мүмкіндіктерді ұсынады:
A/B тестілері үшін қажетті үлгі көлемін есептеу;
эксперименттің жылдамдығы мен нәтиже дәлдігі арасындағы теңгерімді таңдау;
MDE-нің тест ұзақтығына әсерін бағалау;
маңыздылық деңгейін (α) және статистикалық қуатты (1−β) ескеру;
есептеу параметрлерін кейін пайдалану үшін ортақ сілтеме ретінде сақтау.
Құрал өнім аналитиктеріне, маркетологтарға, CRO мамандарына, зерттеушілерге және деректер талдаушыларына арналған.
Қолданылатын параметрлер
Параметр | Сипаттамасы |
|---|
Базалық конверсия | Бақылау тобының ағымдағы конверсия деңгейі |
MDE (анықталатын ең аз әсер) | Анықтағыңыз келетін конверсияның ең аз өзгерісі |
Сенімділік деңгейі | Статистикалық сенімділік деңгейі (мысалы, 95%) |
Статистикалық қуат | Нақты әсерді анықтау ықтималдығы |
Әсер түрі | Конверсияның абсолюттік немесе салыстырмалы өзгерісі |
Құралды пайдалану жолы
Ағымдағы конверсия деңгейін енгізіңіз.
Практикалық тұрғыдан маңызды ең аз әсерді таңдаңыз.
Сенімділік деңгейін таңдаңыз.
Қажет болса, статистикалық қуатты өзгертіңіз.
Әсер түрін таңдаңыз — абсолюттік немесе салыстырмалы.
Эксперименттің әрбір нұсқасы үшін қажетті ең аз үлгі көлемін алыңыз.
Есептелген мән бүкіл эксперименттің жалпы көлемін емес, әр топқа қажетті пайдаланушылардың (немесе басқа бақылау бірліктерінің) санын көрсетеді.
Үлгі көлеміне әсер ететін факторлар
Фактор | Әсері |
|---|
MDE неғұрлым аз болса | Қатысушылар көбірек қажет |
Статистикалық қуат жоғары болса | Үлгі көлемі үлкенірек қажет |
Сенімділік деңгейі жоғары болса | Қажетті үлгі көлемі артады |
Базалық конверсия жоғары болса | Әсер күтілетін әсер шамасына байланысты болады |
MDE қалай таңдалады
Анықталатын ең аз әсер (Minimum Detectable Effect, MDE) — бизнес үшін практикалық маңызы бар ең аз өзгеріс.
Мысалы:
Базалық конверсия | MDE | Түсіндірме |
|---|
5% | +0.5% | Өте аз әсер |
5% | +1% | Өнімдік эксперименттерде жиі қолданылады |
5% | +2% | Экспериментті жылдамырақ аяқтауға мүмкіндік береді |
Тым аз MDE таңдау қажетті үлгі көлемі мен эксперимент ұзақтығын едәуір арттырады.
Практикалық ұсыныстар
MDE-ні мүмкіндігінше ең аз өзгерісті анықтау ниетіне емес, бизнес құндылығына сүйене отырып таңдаңыз.
Үлгі көлемін азайту үшін маңыздылық деңгейін төмендетпеңіз.
Көптеген өнімдік эксперименттер үшін стандарт ретінде 80–90% статистикалық қуатты пайдаланыңыз.
Қажетті үлгі көлемін алғашқы нәтижелерді көргеннен кейін емес, эксперимент басталмас бұрын есептеңіз.
Арнайы тізбекті талдау (Sequential Analysis) әдістерін қолданбасаңыз, қажетті үлгі көлеміне жетпей экспериментті тоқтатпаңыз.
Үлгі көлемінің жеткіліксіз болуы қате қорытынды жасау қаупін арттырады және тиімсіз өзгерістерді енгізуге әкелуі мүмкін.
Жиі кездесетін қателер
Қажетті үлгі көлемін есептемей экспериментті бастау.
Өте аз айырмашылықтарды анықтау үшін шынайы емес тым аз MDE таңдау.
Алғашқы «статистикалық маңызды» нәтиже шыққаннан кейін экспериментті бірден тоқтату.
Эксперимент жүріп жатқан кезде оның параметрлерін өзгерту.
Статистикалық маңыздылықты әсердің жоғары практикалық құндылығының дәлелі ретінде қабылдау.
Құралдың шектеулері
Есептеу келесі болжамдарға негізделген:
бақылаулар бір-бірінен тәуелсіз;
пайдаланушылар эксперимент нұсқаларына кездейсоқ бөлінеді;
деректер дұрыс жиналады;
жүйелі өлшеу қателері жоқ.
Егер бұл шарттар сақталмаса, эксперименттің нақты сенімділігі есептелген мәннен өзгеше болуы мүмкін.
Қорытынды
Үлгі көлемін есептеу — кез келген статистикалық экспериментті дайындаудың алғашқы кезеңі. Ол қажетті деректер көлемін алдын ала анықтауға және эксперименттің тым ерте аяқталуын немесе негізсіз ұзаққа созылуын болдырмауға көмектеседі.
Қажетті үлгі көлемін анықтағаннан кейін экспериментті толық талдау үшін келесі құралдарды да пайдалану ұсынылады:
Егер пайдаланушылардың эксперимент нұсқалары арасында дұрыс бөлінгеніне көз жеткізгіңіз келсе, қосымша Sample Ratio Mismatch (SRM) калькуляторын пайдаланыңыз.
