A/B-Test-Rechner: Stichprobengrößen-Schätzung

Die Stichprobengröße hängt vom gewünschten Konfidenzniveau, der Fehlertoleranz, der Populationsgröße und der erwarteten Effektgröße (MDE) ab. Große Effekte erfordern kleinere Stichproben, während kleinere Effekte größere Stichproben erfordern, um erkannt zu werden.

Das Konfidenzniveau (normalerweise 95 %) gibt an, wie sicher Sie sich Ihrer Ergebnisse sind. Die Fehlertoleranz ist der Unsicherheitsbereich um Ihre Schätzung. Ein höheres Konfidenzniveau oder eine kleinere Fehlertoleranz erfordern größere Stichproben.

Verwenden Sie einen konservativen Ansatz – eine gleichmäßige Aufteilung in zwei Gruppen im Verhältnis 50/50.

Wenn die Population begrenzt ist, verwenden Sie eine Korrektur für endliche Populationen und versuchen Sie, die Abdeckung so weit wie möglich zu maximieren. Bei sehr kleinen Stichproben verwenden Sie nicht-parametrische Analysemethoden und berücksichtigen Sie eine verringerte statistische Power.

Wenn ein zu kleiner MDE gewählt wird, ist eine riesige Stichprobe erforderlich, was unpraktisch sein kann. Wenn ein zu großer MDE gewählt wird, können kleine, aber wichtige Effekte übersehen werden. Ein optimaler MDE sollte den Geschäfts- oder Forschungswert des Effekts widerspiegeln.

Statistische Power ist die Wahrscheinlichkeit, einen tatsächlichen Effekt zu erkennen (falls vorhanden) und einen Fehler vom Typ II (falsch negatives Ergebnis) zu vermeiden. Eine höhere Power (typischerweise 80 % oder mehr) erfordert eine größere Stichprobengröße, um sicherzustellen, dass Sie kein signifikantes Ergebnis übersehen.

Je größer die Variabilität in den Populationsdaten (Standardabweichung), desto größer ist die Stichprobengröße, die zur Erzielung der gleichen Präzision erforderlich ist. Dies liegt daran, dass eine größere Variabilität es schwieriger macht, eine genaue Schätzung des Populationsmittelwerts zu erhalten.

Für Vergleichsstudien benötigen Sie eine Stichprobengrößenberechnung, die den minimalen nachweisbaren Effekt (den kleinsten Unterschied, den Sie für wichtig halten) und die statistische Power berücksichtigt, um sicherzustellen, dass Ihr Experiment diesen Unterschied erkennen kann.