מחשבון בדיקות A/B: דגימה רציפה

מהו Sequential Sampling?

Sequential Sampling (דגימה סדרתית או בדיקה סדרתית) הוא גישה סטטיסטית המאפשרת לנתח את תוצאות בדיקת A/B תוך כדי הצטברות נתונים חדשים, מבלי להמתין עד להגעה לגודל מדגם שנקבע מראש.

בניגוד לבדיקות A/B מסורתיות, שבהן נהוג לנתח את התוצאות רק לאחר סיום הניסוי, ניתוח סדרתי מאפשר לקבל החלטות מוקדם יותר אם הנתונים שנאספו כבר מספקים ראיות סטטיסטיות מספקות.

מחשבון Sequential Sampling מסייע להעריך כמה תצפיות עשויות להידרש כדי לקבוע אם וריאציית הבקרה או וריאציית הניסוי היא המנצחת בהתאם להגדרות הניסוי.

פרמטרי הקלט

כדי לבצע את החישוב, יש להזין את המאפיינים העיקריים של הניסוי המתוכנן.

ניתן לשנות כל אחד מהפרמטרים ולראות באופן מיידי כיצד הוא משפיע על כמות הנתונים המשוערת הנדרשת.

כיצד להשתמש בכלי

1. הזן את שיעור ההמרה הנוכחי של קבוצת הבקרה.

2. ציין את גודל האפקט המינימלי בעל משמעות עסקית.

3. בחר האם האפקט מוגדר כשינוי מוחלט או יחסי.

4. הגדר את העוצמה הסטטיסטית ואת רמת המובהקות.

5. עיין במספר התצפיות המשוער הדרוש לקבלת החלטה.

הכלי שימושי במיוחד בשלב תכנון הניסוי, ומסייע להעריך תוך כמה זמן ניתן יהיה לקבל תוצאות בעלות מובהקות סטטיסטית.

מתי להשתמש ב-Sequential Sampling

ניתוח סדרתי שימושי במיוחד:

• עבור בדיקות A/B ממושכות;

• כאשר נפח התנועה היומי גבוה;

• כאשר יש צורך לקבל החלטות מוקדם ככל האפשר;

• עבור ניסויי מוצר עם ניטור רציף;

• כאשר משך הניסוי מוגבל;

• בסביבות של ניסויים מתמשכים (Continuous Experimentation).

מתי ייתכן שהשיטה אינה מתאימה

Sequential Sampling אינו תמיד הבחירה הטובה ביותר.

תכנון מסורתי עם גודל מדגם קבוע לרוב פשוט יותר כאשר:

• נפח התנועה נמוך יחסית;

• התוצאות מנותחות פעם אחת בלבד לאחר סיום הבדיקה;

• תהליך הניסויים בארגון כבר מבוסס על גדלי מדגם קבועים.

יש לבחור את השיטה הסטטיסטית לפני תחילת הניסוי.

מגבלות הכלי

המחשבון מעריך את כמות הנתונים המשוערת הדרושה לקבלת החלטה בניסוי סדרתי.

הוא אינו מנתח תוצאות אמיתיות של בדיקות A/B, אינו מחשב ערכי p-value, ואינו קובע איזו וריאציה היא המנצחת.

לצורך ניתוח הנתונים שנאספו, יש להשתמש במבחנים הסטטיסטיים המתאימים.

סיכום

מחשבון Sequential Sampling מסייע להעריך מראש את כמות הנתונים הדרושה לניתוח סדרתי של בדיקות A/B, ובכך מאפשר תכנון יעיל יותר של ניסויים. גישה זו שימושית במיוחד עבור צוותים המנטרים באופן רציף את ביצועי הניסויים שלהם ומעוניינים לקבל החלטות מבוססות סטטיסטית מבלי להמתין להגעה לגודל מדגם קבוע. לתהליך ניסויים מלא מומלץ להשתמש גם בכלים נוספים ל-A/B Testing.