Sample Ratio Mismatch (SRM) дегеніміз не?
Sample Ratio Mismatch (SRM) — бұл A/B тестіндегі пайдаланушылардың нақты үлестірілуі жоспарланған үлестірумен сәйкес келетінін анықтайтын статистикалық тексеру.
Егер бақыланған үлестірім күтілгеннен айтарлықтай өзгеше болса, бұл рандомизацияда, оқиғаларды тіркеуде (event logging), экспериментті баптауда немесе деректерді жинауда ақаулар бар екенін көрсетуі мүмкін. SRM тексеруі эксперимент нәтижелерін талдамас бұрын жүргізілуі керек, өйткені SRM болуы A/B тестінің қорытындыларын сенімсіз етуі мүмкін.
Құрал күтілетін және нақты топ өлшемдерін салыстыру үшін хи-квадрат (χ²) тестін қолданады және p-value мәнін автоматты түрде есептейді.
Құрал нені көрсетеді?
Есептеуден кейін келесі нәтижелер көрсетіледі:
Көрсеткіш | Сипаттамасы |
|---|
Хи-квадрат статистикасы | Үлестірімді бағалау үшін қолданылатын χ² статистикасы |
p-value | Бақыланған ауытқудың кездейсоқ пайда болу ықтималдығы |
Тексеру күйі | Sample Ratio Mismatch анықталғанын немесе анықталмағанын көрсетеді |
Есептеу сілтемесі | Тексеру параметрлерін сақтайтын бөлісуге болатын сілтеме |
Құралды қалай пайдалану керек?
Әр топтағы нақты пайдаланушылар санын енгізіңіз.
Әр топ үшін жоспарланған үлестіру үлесін көрсетіңіз.
Қажет болса, эксперименттің қосымша нұсқаларын қосыңыз.
Тексеруді іске қосыңыз.
Алынған нәтижелерді талдаңыз.
Мысалы, егер эксперимент 50% / 50% трафик үлестіруімен жоспарланған болса, бірақ нақты топ өлшемдері 1 000 және 1 050 пайдаланушыны құраса, құрал бұл айырмашылықты кездейсоқ ауытқумен түсіндіруге болатынын бағалайды.
SRM-ді қашан тексеру қажет?
SRM тексеруі әсіресе келесі жағдайларда пайдалы:
кез келген A/B тестінің нәтижелерін талдамас бұрын;
пайдаланушыларды үлестірудің жаңа механизмін енгізгеннен кейін;
бірнеше нұсқасы бар эксперименттер жүргізгенде;
аналитикалық оқиғалардың жоғалуы күдік тудырғанда;
оқиғаларды тіркеу жүйесі өзгертілгеннен кейін;
рандомизация механизмі өзгертілгеннен кейін;
топтардың өлшемдері күтпегендей ерекшеленгенде.
Көптеген ұйымдарда SRM тексеруі кез келген экспериментті талдамас бұрын міндетті кезең болып саналады.
Sample Ratio Mismatch неге пайда болады?
Ең жиі кездесетін себептер:
пайдаланушыларды рандомизациялау қателері;
қате бапталған feature flag жүйелері;
эксперимент платформасындағы мәселелер;
аналитикалық оқиғалардың жоғалуы;
пайдаланушылардың бір бөлігінің сүзгіден шығарылуы;
пайдаланушыларды сәйкестендіру қателері;
cookie немесе аутентификация мәселелері;
трафиктің дұрыс үлестірілмеуі;
бағдарламалық қателер.
SRM-нің өзі мәселенің түпкі себебін анықтамайды — ол тек нақты пайдаланушылар үлестірімінің күтілген үлестіруден өзгеше екенін көрсетеді.
A/B тестінің нәтижелеріне қашан сенуге болады?
Егер SRM анықталса, эксперимент нәтижелерін өте сақтықпен түсіндіру қажет.
Тіпті нұсқалар арасындағы айырмашылықтар статистикалық тұрғыдан маңызды болып көрінсе де, олар өнімдегі өзгерістен емес, пайдаланушыларды үлестірудегі қателерден туындаған болуы мүмкін.
Тәжірибеде командалар алдымен SRM себебін анықтап, оны түзетеді, содан кейін ғана экспериментті қайта іске қосады.
Құралдың шектеулері
Құрал тек эксперимент топтары арасындағы пайдаланушылардың дұрыс үлестірілгенін тексереді.
Ол қай нұсқаның жақсырақ жұмыс істейтінін анықтамайды, конверсия көрсеткіштерін салыстырмайды және әсер мөлшерін есептемейді.
Сонымен қатар, SRM тексеруі мәселенің қайдан шыққанын анықтамайды — ол тек бақыланған үлестірімнің күтілген үлестірімнен статистикалық тұрғыдан өзгеше екенін көрсетеді.
Қорытынды
Sample Ratio Mismatch Calculator пайдаланушылардың эксперимент нұсқалары арасында дұрыс үлестірілгенін жылдам тексеруге мүмкіндік береді. Бұл кез келген A/B тестіндегі алғашқы тексеру кезеңдерінің бірі болып табылады және өнім көрсеткіштерін талдамас бұрын іске асырудағы қателерді анықтауға көмектеседі.
Эксперименттерді жан-жақты талдау үшін бұл құралды басқа статистикалық калькуляторлармен бірге пайдалану ұсынылады. Экспериментті бастамас бұрын қажетті таңдама көлемін Sample Size Calculator арқылы есептеңіз. SRM тексеруі сәтті өткеннен кейін нәтижелерді үздіксіз көрсеткіштер үшін Two-Sample T-Test көмегімен, ал конверсиялар мен басқа бинарлық көрсеткіштер үшін Chi-Square Test көмегімен талдаңыз.
