מחשבון בדיקות A/B: דגימה רציפה

המחשבון לניתוח בדיקות A/B ברצף הוא כלי שעוזר לקבוע את הרגע האופטימלי להפסקת ניסוי בהתבסס על נתונים סטטיסטיים. זה לוקח בחשבון את ההמרה הבסיסית, ההשפעה המינימלית הניתנת לזיהוי, הכוח הסטטיסטי ורמת המובהקות כדי לעזור לך לקבל החלטה מושכלת לגבי המשך או הפסקת הבדיקה.

המחשבון משתמש בשיטות סטטיסטיות כדי להעריך את גודל המדגם המינימלי בהתבסס על המרה בסיסית, השפעה מינימלית ניתנת לזיהוי, כוח סטטיסטי ורמת מובהקות. זה מראה מתי ניתן להפסיק את הניסוי.

השפעה מוחלטת היא הבדל באחוזים (למשל, עלייה של 5% בהמרה). השפעה יחסית היא שינוי באחוזים מההמרה הבסיסית (למשל, עלייה של 25% מהמרה של 20% מהבסיס).

כוח סטטיסטי (60-95%) קובע את ההסתברות לגילוי השפעה אם היא קיימת. רמת המובהקות (1-10%) קובעת את ההסתברות לחיוב שגוי. הספק גבוה יותר דורש גודל מדגם גדול יותר. אתה יכול להתאים את ההספק הסטטיסטי ואת רמת המובהקות במחשבון.

בדיקה רציפה היא אידיאלית עבור מבחני A/B עם עלויות תצפית גבוהות, שבהן חשוב לחסוך במשאבים. זה גם שימושי להשגת תוצאות מהירה בקמפיינים שיווקיים.

שגיאה מסוג I (אלפא) היא כאשר אתה דוחה השערת אפס אמיתית (מסקנה שיש הבדל כאשר אין). שגיאה מסוג II (בטא) היא כאשר אינך מצליח לדחות השערת אפס שגויה (מסקנה שאין הבדל כאשר ישנה).

דגימה רציפה שימושית במיוחד כאשר העלות של כל תצפית גבוהה או כאשר אתה רוצה להשיג תוצאות מהר יותר. עם זאת, זה דורש ניטור מתמיד של תוצאות, מה שיכול להיות מאתגר יותר ליישום מאשר בדיקה בגודל קבוע.

המרה בסיסית היא שיעור ההמרה הנוכחי או הצפוי של קבוצת הבקרה שלך (הגרסה המקורית). זוהי נקודת הייחוס שממנה אתה מודד את ההשפעה הפוטנציאלית של הגרסה החדשה שלך (קבוצת הבדיקה).