χ² (Chi-Square) тесті не істейді
χ² (Chi-Square) тесті калькуляторы категориялық айнымалы бойынша екі топ арасындағы айырмашылықтардың статистикалық тұрғыдан маңызды екенін немесе олардың кездейсоқ пайда болғанын анықтауға көмектеседі.
Құрал тәуелсіз іріктемелердегі сәтті және сәтсіз нәтижелердің санын талдауға арналған. Ол p-value мәнін автоматты түрде есептейді, бұл A/B тестілерінің, маркетингтік науқандардың және бинарлық метрикалар қолданылатын басқа эксперименттердің нәтижелерін жылдам бағалауға мүмкіндік береді.
Өнім аналитикасы, маркетинг, UX зерттеулері, ғылыми эксперименттер және конверсияларды талдау үшін қолайлы.
Қажетті енгізу деректері
Әрбір іріктеме үшін келесі мәндерді енгізіңіз:
Параметр | Сипаттамасы |
|---|
Сәтті нәтижелер | Сәтті нәтижелер саны (мысалы, конверсиялар) |
Сынақтар саны | Бақылаулардың жалпы саны |
Сенімділік деңгейі | Тестте қолданылатын статистикалық маңыздылық деңгейі |
Осы деректер негізінде құрал іріктемелер арасындағы айырмашылықтардың статистикалық маңыздылығын есептейді.
Құрал не көрсетеді
Есептеу аяқталғаннан кейін келесі нәтижелер көрсетіледі:
Көрсеткіш | Сипаттамасы |
|---|
Жақсырақ нәтиже көрсеткен іріктеме | Бақыланған сәттілік үлесі жоғары топ |
p-value | Мұндай айырмашылықтың кездейсоқ пайда болу ықтималдығы |
Үлестірім графигі | Екі іріктеменің нәтижелерін көрнекі салыстыру |
Есептеу сілтемесі | Талдау параметрлерін сақтайтын ортақ пайдалануға болатын сілтеме |
Нәтижелерді қалай түсіндіруге болады
Негізгі көрсеткіш — p-value.
Нәтиже | Түсіндірме |
|---|
p-value < α | Айырмашылық статистикалық тұрғыдан маңызды |
p-value ≥ α | Айырмашылықтың статистикалық тұрғыдан маңызды екенін айтуға жеткілікті дәлел жоқ |
Мұнда α таңдалған маңыздылық деңгейін білдіреді.
Статистикалық маңыздылық әсердің көлемін немесе оның практикалық маңызын білдірмейтінін ескеріңіз. Ол тек байқалған айырмашылықтың кездейсоқ пайда болу ықтималдығы қаншалықты төмен екенін көрсетеді.
χ² тестін қашан қолдану керек
Құрал әсіресе келесілерді талдау үшін пайдалы:
веб-сайттың конверсия коэффициенті;
жарнамалық науқандардың CTR көрсеткіші;
электрондық хаттардың ашылу деңгейі;
пайдаланушылардың тіркелуі;
аяқталған сатып алулар;
конверсиялық воронканың аяқталу деңгейі;
бинарлық метрикалары бар A/B тестілерінің нәтижелері;
«сәттілік / сәтсіздік» түріндегі кез келген деректер.
Басқа тесті қашан қолданған дұрыс
χ² тесті категориялық деректерге арналған. Егер үздіксіз айнымалылардың орташа мәндерін (мысалы, орташа тапсырыс құны, сайтта өткізілген уақыт немесе сессия ұзақтығы) салыстыру қажет болса, онда Екі іріктемеге арналған T-тестті қолданған дұрыс.
χ² тесті келесі сұраққа жауап береді: Топтар арасындағы сәтті нәтижелердің үлесі әртүрлі ме? Ал T-тест келесі сұраққа жауап береді: Үздіксіз метриканың орташа мәндері топтар арасында әртүрлі ме?
Жиі кездесетін қателер
χ² тестін үздіксіз сандық метрикаларды салыстыру үшін пайдалану.
Тәуелді іріктемелерге тест қолдану.
Статистикалық қуатты қамтамасыз ету үшін жеткіліксіз көлемдегі іріктемелерді пайдалану.
Талдау әдісін түзетпестен бірнеше реттік дәйекті маңыздылық тесттерін жүргізу.
Статистикалық маңыздылықты өзгерістің жоғары практикалық әсерінің дәлелі ретінде түсіндіру.
Құралдың шектеулері
Тест нәтижелері әрқашан зерттеу контексінде түсіндірілуі керек.
Қорытындылардың дұрыстығына келесі факторлар әсер етуі мүмкін:
іріктеме көлемінің аз болуы;
пайдаланушыларды кездейсоқ бөлу қағидасының бұзылуы;
деректерді жинау қателері;
жүйелі ығысу (bias);
тәуелді бақылаулар.
Тест байқалған айырмашылықтардың кездейсоқ пайда болу ықтималдығын бағалайды, бірақ олардың неліктен пайда болғанын түсіндірмейді.
Қорытынды
χ² тесті екі тәуелсіз топтағы сәтті нәтижелер үлесінің айырмашылығы статистикалық тұрғыдан маңызды екенін жылдам бағалауға мүмкіндік береді. Ол әсіресе A/B тестілерінде конверсияларды, басуларды, тіркелулерді және басқа бинарлық метрикаларды талдау үшін тиімді.
Эксперименттерді жан-жақты талдау үшін оны басқа статистикалық құралдармен бірге қолдану ұсынылады. Экспериментті бастамас бұрын қажетті іріктеме көлемін Іріктеме көлемінің калькуляторы арқылы есептеңіз. Егер экспериментте категориялық нәтижелер емес, үздіксіз метрикалар өлшенсе, χ² тестінің орнына Екі іріктемеге арналған T-тестті пайдаланыңыз. Сондай-ақ A/B тестілерін жүргізгенде пайдаланушылардың нұсқалар арасында дұрыс бөлінгенін Sample Ratio Mismatch (SRM) калькуляторы арқылы тексеру ұсынылады.
