מה עושה מבחן כי-בריבוע?
מחשבון מבחן כי-בריבוע (χ²) מסייע לקבוע האם ההבדלים בין שתי קבוצות עבור משתנה קטגוריאלי הם מובהקים סטטיסטית או שסביר שנוצרו באקראי.
הכלי מיועד לניתוח מספר התוצאות המוצלחות והלא מוצלחות במדגמים בלתי תלויים. הוא מחשב באופן אוטומטי את ערך ה-p (p-value), ומאפשר להעריך במהירות את תוצאותיהם של מבחני A/B, קמפיינים שיווקיים וניסויים נוספים המשתמשים במדדים בינאריים.
הכלי מתאים לאנליטיקת מוצר, שיווק, מחקרי UX, ניסויים מדעיים וניתוח שיעורי המרה.
נתוני הקלט הנדרשים
עבור כל מדגם יש להזין את הנתונים הבאים:
פרמטר | תיאור |
|---|
הצלחות | מספר התוצאות המוצלחות (למשל, המרות) |
ניסויים | מספר התצפיות הכולל |
רמת ביטחון | רמת המובהקות הסטטיסטית שבה נעשה שימוש בבדיקה |
על בסיס נתונים אלה, הכלי מחשב את המובהקות הסטטיסטית של ההבדלים בין המדגמים.
מה מציג הכלי?
לאחר החישוב יוצגו התוצאות הבאות:
מדד | תיאור |
|---|
המדגם בעל הביצועים הטובים יותר | הקבוצה עם שיעור ההצלחות הנצפה הגבוה יותר |
p-value | ההסתברות לקבל הבדל כזה באקראי |
תרשים התפלגות | השוואה חזותית של תוצאות שני המדגמים |
קישור לחישוב | קישור שניתן לשתף וששומר את פרמטרי הניתוח |
כיצד לפרש את התוצאות
המדד המרכזי הוא ערך ה-p (p-value).
תוצאה | פירוש |
|---|
p-value < α | ההבדל מובהק סטטיסטית |
p-value ≥ α | אין מספיק ראיות כדי להסיק שההבדל מובהק סטטיסטית |
כאן α מייצג את רמת המובהקות שנבחרה.
חשוב לזכור שמובהקות סטטיסטית אינה מעידה על גודל האפקט או על חשיבותו המעשית. היא רק מציינת עד כמה לא סביר שההבדל שנצפה נוצר באקראי.
מתי להשתמש במבחן כי-בריבוע?
הכלי שימושי במיוחד לניתוח:
שיעורי המרה באתרי אינטרנט;
שיעור הקלקה (CTR) של קמפיינים פרסומיים;
שיעורי פתיחה של דיוור אלקטרוני;
הרשמות משתמשים;
רכישות שהושלמו;
שיעורי השלמת משפך ההמרה;
תוצאות מבחני A/B עם מדדים בינאריים;
כל נתון המורכב מתוצאות מסוג "הצלחה" לעומת "כישלון".
מתי כדאי להשתמש במבחן אחר?
מבחן χ² מיועד לנתונים קטגוריאליים. אם ברצונכם להשוות ממוצעים של משתנים רציפים (כגון ערך הזמנה ממוצע, זמן שהייה באתר או משך ביקור), הבחירה המתאימה יותר היא מבחן T לשני מדגמים.
מבחן כי-בריבוע עונה על השאלה: האם שיעורי ההצלחה שונים בין הקבוצות? מבחן T עונה על השאלה: האם הממוצעים של מדד רציף שונים בין הקבוצות?
טעויות נפוצות
שימוש במבחן χ² להשוואת מדדים מספריים רציפים.
יישום המבחן על מדגמים תלויים.
שימוש במדגמים קטנים מדי שאינם מספקים עוצמה סטטיסטית מספקת.
ביצוע מספר בדיקות מובהקות עוקבות ללא התאמת מתודולוגיית הניתוח.
פירוש מובהקות סטטיסטית כהוכחה לכך שלשינוי יש השפעה מעשית גדולה.
מגבלות הכלי
יש לפרש את תוצאות המבחן תמיד בהקשר של המחקר.
מהימנות המסקנות עשויה להיות מושפעת מ:
המבחן מעריך את ההסתברות שההבדלים שנצפו נוצרו באקראי, אך אינו מסביר מדוע הבדלים אלה קיימים.
סיכום
מבחן כי-בריבוע מספק דרך מהירה להעריך האם ההבדלים בשיעורי ההצלחה בין שתי קבוצות בלתי תלויות הם מובהקים סטטיסטית. הוא יעיל במיוחד לניתוח המרות, הקלקות, הרשמות ומדדים בינאריים נוספים במסגרת מבחני A/B.
לצורך ניתוח מקיף של ניסויים מומלץ להשתמש בו יחד עם כלים סטטיסטיים נוספים. לפני השקת ניסוי, העריכו את גודל המדגם הנדרש באמצעות מחשבון גודל המדגם. אם הניסוי שלכם מודד משתנים רציפים ולא תוצאות קטגוריאליות, השתמשו במבחן T לשני מדגמים במקום במבחן χ². בעת ביצוע מבחני A/B מומלץ גם לוודא שהמשתמשים מחולקים בצורה תקינה בין הווריאציות באמצעות מחשבון Sample Ratio Mismatch (SRM).
