מחשבון בדיקות A/B: בדיקת SRM (אי-איזון יחס מדגם)

מהו Sample Ratio Mismatch (SRM)?

Sample Ratio Mismatch (SRM) הוא בדיקה סטטיסטית שנועדה לקבוע האם ההתפלגות בפועל של המשתמשים בין הווריאציות של מבחן A/B תואמת את ההתפלגות שתוכננה מראש.

אם ההתפלגות שנצפתה שונה באופן מובהק מההתפלגות הצפויה, הדבר עשוי להעיד על בעיות באקראיות ההקצאה (Randomization), ברישום האירועים (Event Logging), בהגדרת הניסוי או באיסוף הנתונים. מומלץ לבצע בדיקת SRM לפני ניתוח תוצאות הניסוי, משום שנוכחות של SRM עלולה להפוך את מסקנות מבחן ה-A/B לבלתי מהימנות.

הכלי משתמש במבחן כי-בריבוע (χ²) כדי להשוות בין גדלי הקבוצות הצפויים והנצפים, ומחשב באופן אוטומטי את ערך ה-p-value.

מה הכלי מציג

לאחר החישוב יוצגו התוצאות הבאות:

כיצד להשתמש בכלי

1. הזינו את מספר המשתמשים בפועל בכל קבוצה.

2. ציינו את יחס ההקצאה המתוכנן עבור כל קבוצה.

3. הוסיפו וריאציות נוספות לניסוי במידת הצורך.

4. הפעילו את הבדיקה.

5. עיינו בתוצאות.

לדוגמה, אם הניסוי תוכנן עם חלוקת תנועה של 50% / 50%, אך בפועל התקבלו קבוצות בגודל 1,000 ו-1,050 משתמשים, הכלי יעריך האם ניתן להסביר סטייה זו באמצעות תנודות אקראיות.

מתי כדאי לבצע בדיקת SRM?

בדיקת SRM שימושית במיוחד:

• לפני ניתוח התוצאות של כל מבחן A/B;

• לאחר פריסה של מנגנון חדש להקצאת משתמשים;

• בעת הרצת ניסויים עם מספר וריאציות;

• כאשר קיים חשד לאובדן אירועי אנליטיקה;

• לאחר שינוי מערכת רישום האירועים;

• לאחר שינוי מנגנון האקראיות;

• כאשר גדלי הקבוצות שונים מהמצופה.

בארגונים רבים, בדיקת SRM היא שלב חובה לפני ניתוח כל ניסוי.

מדוע נוצר Sample Ratio Mismatch?

הגורמים הנפוצים ביותר כוללים:

• שגיאות באקראיות הקצאת המשתמשים;

• Feature Flags שהוגדרו בצורה שגויה;

• בעיות בפלטפורמת הניסויים;

• אובדן אירועי אנליטיקה;

• סינון של חלק מהמשתמשים;

• שגיאות בזיהוי משתמשים;

• בעיות בקובצי Cookie או באימות המשתמשים;

• חלוקת תנועה שגויה;

• באגים בתוכנה.

בדיקת SRM אינה מזהה את שורש הבעיה — היא רק מצביעה על כך שהתפלגות המשתמשים בפועל שונה מההתפלגות הצפויה.

מתי ניתן לסמוך על תוצאות מבחן A/B?

אם זוהה SRM, יש לפרש את תוצאות הניסוי בזהירות רבה.

גם אם ההבדלים בין הווריאציות נראים מובהקים סטטיסטית, ייתכן שהם נובעים מבעיות בהקצאת המשתמשים ולא מהשינוי שבוצע במוצר.

בפועל, צוותים בדרך כלל מאתרים ומתקנים את הגורם ל-SRM לפני שהם מריצים מחדש את הניסוי.

מגבלות הכלי

הכלי בודק רק את תקינות הקצאת המשתמשים בין קבוצות הניסוי.

הוא אינו קובע איזו וריאציה טובה יותר, אינו משווה שיעורי המרה ואינו מחשב את גודל האפקט.

בנוסף, בדיקת SRM אינה מזהה את מקור הבעיה — היא רק מצביעה על כך שההתפלגות שנצפתה שונה סטטיסטית מההתפלגות הצפויה.

סיכום

מחשבון Sample Ratio Mismatch מספק דרך מהירה לוודא שהמשתמשים חולקו בצורה תקינה בין וריאציות הניסוי. זהו אחד משלבי האימות הראשונים בכל מבחן A/B, והוא מסייע לזהות בעיות ביישום עוד לפני ניתוח מדדי המוצר.

לצורך ניתוח מקיף של ניסויים, מומלץ להשתמש בכלי זה יחד עם מחשבונים סטטיסטיים נוספים. לפני השקת ניסוי, חשבו את גודל המדגם הדרוש באמצעות מחשבון גודל המדגם. לאחר שבדיקת ה-SRM עברה בהצלחה, ניתן לנתח את תוצאות הניסוי באמצעות מבחן t לשני מדגמים עבור מדדים רציפים, או באמצעות מבחן כי-בריבוע עבור שיעורי המרה ומדדים בינאריים אחרים.