מחשבון בדיקות A/B: מבחן t לשתי קבוצות

מה עושה מבחן T לשני מדגמים

מחשבון מבחן T לשני מדגמים מסייע לקבוע האם ההבדל בין שני מדגמים בלתי תלויים הוא מובהק סטטיסטית או שניתן להסבירו באמצעות שונות אקראית.

הכלי מחשב את סטטיסטי t, ערך ה-p (p-value), רווחי הסמך, גודל האפקט, ומציג באופן חזותי את התפלגויות המדגמים, כך שניתן לפרש את תוצאות הניסוי ללא שימוש בתוכנה סטטיסטית ייעודית.

הוא מתאים לניתוח מבחני A/B, אנליטיקת מוצר, מחקרי שיווק, ניסויים מדעיים והשוואה של כל סוגי הנתונים הכמותיים.

אילו מדדים הכלי מחשב

לאחר ביצוע החישוב יוצגו המדדים הבאים:

כיצד להשתמש בכלי

1. הדביקו את ערכי המדגם הראשון.

2. הדביקו את ערכי המדגם השני.

3. בחרו את רמת הביטחון (בדרך כלל 95%).

4. הפעילו את החישוב.

5. בחנו את המדדים והתרשימים שהתקבלו.

יש להזין כל תצפית בשורה נפרדת. אין חובה שמספר התצפיות בשני המדגמים יהיה זהה.

כיצד לפרש את התוצאות

המדד המרכזי הוא ערך ה-p (p-value). אם ערך ה-p קטן מרמת המובהקות שנבחרה (α), ההבדל נחשב למובהק סטטיסטית.

כאן α מייצג את רמת המובהקות שנבחרה, הנקבעת בהתאם לרמת הביטחון.

בנוסף, מומלץ להתייחס גם ל:

• הפרש הממוצעים (d) — מציין את גודל ההבדל בין הקבוצות;

• שגיאת התקן (SE) — משקפת את מידת הדיוק של אומדן ההפרש;

• רווח הסמך — מציג את הטווח שבו צפוי להימצא ההפרש האמיתי בין הממוצעים.

מתי להשתמש במבחן T לשני מדגמים

הכלי מתאים להשוואת:

• ההכנסה הממוצעת למשתמש;

• ערך ההזמנה הממוצע;

• זמן השלמת משימה;

• זמן טעינת עמוד;

• מספר פעולות של משתמש;

• משך הסשן;

• תוצאות של ניסויי מוצר;

• כל מדד כמותי הנמדד בשתי קבוצות בלתי תלויות.

הנחות היסוד של מבחן T

לצורך פרשנות אמינה, מומלץ שבדרך כלל יתקיימו התנאים הבאים:

• המדגמים בלתי תלויים;

• התצפיות נאספו באופן אקראי;

• הנתונים הם כמותיים;

• ההתפלגות קרובה לנורמלית, או שגודל המדגם גדול מספיק;

• אין ערכים חריגים קיצוניים המשפיעים באופן משמעותי על ממוצעי המדגמים.

כאשר המדגמים גדולים מספיק, מבחן T נחשב בדרך כלל לעמיד גם במקרה של סטיות מתונות מהתפלגות נורמלית.

המלצות מעשיות

• חשבו את גודל המדגם הנדרש לפני תחילת הניסוי.

• העריכו לא רק את ערך ה-p אלא גם את גודל הפרש הממוצעים.

• שימו לב לרווח הסמך, שכן הוא מסייע להעריך את הטווח הסביר של האפקט האמיתי.

• השתמשו באותם כללי הכנת נתונים עבור שני המדגמים.

• פרשו את התוצאות הסטטיסטיות יחד עם מדדי הביצועים העסקיים.

מובהקות סטטיסטית אינה מעידה בהכרח שלתוצאה שנמצאה יש משמעות מעשית או עסקית.

טעויות נפוצות

• סיום הניסוי מיד לאחר קבלת תוצאה מובהקת סטטיסטית.

• ביצוע מספר רב של בדיקות מובהקות חוזרות ללא התאמת מתודולוגיית הניתוח.

• התעלמות מרווחי הסמך.

• שימוש במבחן T לשני מדגמים עבור מדגמים מזווגים או תלויים.

• שימוש במבחן T עבור נתונים קטגוריאליים במקום במבחנים סטטיסטיים מתאימים.

מגבלות הכלי

יש לפרש את התוצאות תמיד בהקשר של המחקר.

המסקנות עשויות להיות מושפעות מ:

• גודל מדגם לא מספיק;

• ערכים חריגים קיצוניים;

• הפרות של הקצאה אקראית;

• שגיאות באיסוף הנתונים;

• הטיות שיטתיות.

המבחן הסטטיסטי מעריך את ההסתברות שההבדל שנצפה נוצר במקרה, אך אינו מוכיח קשר סיבתי.

סיכום

מבחן T לשני מדגמים מסייע לקבוע האם ההבדל בין שני מדגמים בלתי תלויים הוא מובהק סטטיסטית. זהו אחד הכלים המרכזיים לניתוח מבחני A/B, ניסויי מוצר ומחקרים כמותיים.

לפני תחילת הניסוי, מומלץ להעריך את גודל המדגם הנדרש באמצעות מחשבון גודל המדגם. אם ייתכן שהניסוי יסתיים מוקדם על סמך הנתונים המצטברים, השתמשו ב-מחשבון Sequential Sampling. לאחר איסוף התוצאות, מומלץ גם לוודא שהמשתמשים חולקו כראוי בין וריאציות הניסוי באמצעות מחשבון Sample Ratio Mismatch (SRM), כדי לזהות בעיות רנדומיזציה שעלולות להשפיע על המסקנות הסטטיסטיות.