מחשבון בדיקות A/B: בדיקת SRM (אי-איזון יחס מדגם)
בדקו איזון חלוקת תנועה בבדיקות A/B. הזינו מספרים וקבלו תוצאה.
בדיקת SRM לקבוצות
תוצאת SRM
ערך צ'י מרובע
1.2195
ערך P
p = 0.2695
בדקו איזון חלוקת תנועה בבדיקות A/B. הזינו מספרים וקבלו תוצאה.
ערך צ'י מרובע
1.2195
ערך P
p = 0.2695
משתמש בסטטיסטיקות Chi-squad כדי לחשב את מידת אי ההתאמה בין התפלגות התנועה הצפויה והממשית במבחני A/B.
מזהה באופן מיידי מתי חלוקת התעבורה חורגת מהפרופורציות המתוכננות, ועוזרת לשמור על שלמות הבדיקה.
מספק מחווני מצב מקודדי צבע (רגיל, אזהרה, קריטי) להערכה מהירה של בעיות הפצה.
מחשבון SRM עוזר לזהות בעיות בניסויי בדיקות A/B על ידי ניתוח התפלגות התעבורה בין קבוצות הבדיקה. הוא משתמש בסטטיסטיקה בריבוע כי כדי לזהות חריגות סטטיסטיות שעשויות להשפיע על תוקף הבדיקה.
כלי זה חיוני עבור מומחי נתונים, אנליסטים ומשווקים שצריכים להבטיח את תקינות מבחני ה-A/B שלהם. זה עוזר לזהות מתי חלוקת התעבורה חורגת מהפרופורציות הצפויות.
המחשבון מספק פרשנות ברורה לתוצאות עם מדדי מצב מקודדים בצבע, מה שמקל על הבנה מתי יש צורך בהתערבות כדי לשמור על איכות הבדיקה.
Sample Ratio Mismatch (SRM) היא שגיאה סטטיסטית המתרחשת כאשר דגימות במבחני A/B אינן תואמות זו לזו. זה יכול להוביל לתוצאות לא מדויקות ולמסקנות שגויות.
מחשבון SRM משתמש בשיטות סטטיסטיות להערכת SRM על סמך גודל המדגם, המרת קו הבסיס ורמת המובהקות. זה מראה מתי SRM יכול להיות קריטי.
השתמש במחשבון כדי להעריך SRM במבחני A/B. הגדר את גודל המדגם, ההמרה הבסיסית ורמת המובהקות, והכלי יציין מתי SRM יכול להיות קריטי.
כן, המחשבון מתאים לא רק למבחני A/B קלאסיים אלא גם לניסויים מרובי משתנים. זה יעזור לזהות חוסר איזון בהתפלגות בין קבוצות מרובות.
מחשבון Sample Ratio Mismatch (SRM) אידיאלי עבור מבחני A/B עם עלויות תצפית גבוהות, שבהם חשוב לחסוך במשאבים. זה גם שימושי להשגת תוצאות מהירה בקמפיינים שיווקיים.
הסיבות הנפוצות כוללות שגיאות ביישום פיצול תנועה (באגים בקוד), בעיות ניתוב מחדש, אי הכללת קובצי cookie שגויה, בוטים או סורקים המעוותים נתונים והדרת משתמשים מקבוצות מסוימות.
כן, SRM משמעותי (מסומן על ידי ערך p נמוך) הוא סימן חזק שמשהו לא בסדר עם ההגדרה או היישום של מבחן ה-A/B שלך. התעלמות מ-SRM עלולה להוביל לתוצאות בדיקה לא חוקיות ולהחלטות עסקיות שגויות.
תיקון SRM כרוך בדרך כלל בחקירה מעמיקה של קוד היישום של בדיקת A/B, בדיקת לוגיקה של פיצול תעבורה, הבטחת אי הכללות משתמשים מיושמות כהלכה וניתוח תעבורה לאיתור חריגות (למשל, תעבורת בוטים).