Was der Stichprobenumfang-Rechner macht
Der Stichprobenumfang-Rechner hilft dabei zu bestimmen, wie viele Beobachtungen erforderlich sind, um statistisch zuverlässige Ergebnisse zu erhalten. Er berechnet den minimal erforderlichen Stichprobenumfang für Experimente und Studien anhand der Basis-Conversion-Rate, des Minimum Detectable Effect (MDE), des Signifikanzniveaus und der statistischen Teststärke.
Das Tool hilft Ihnen dabei:
den erforderlichen Stichprobenumfang für A/B-Tests zu berechnen;
ein Gleichgewicht zwischen Experimentdauer und Ergebnisgenauigkeit zu finden;
abzuschätzen, wie sich der MDE auf die Testdauer auswirkt;
das Signifikanzniveau (α) und die statistische Teststärke (1−β) zu berücksichtigen;
Berechnungsparameter als teilbaren Link für die spätere Verwendung zu speichern.
Es eignet sich für Produktanalysten, Marketingexperten, CRO-Spezialisten, Forschende und Datenanalysten.
Verwendete Parameter
Parameter | Beschreibung |
|---|
Basis-Conversion-Rate | Die aktuelle Conversion-Rate der Kontrollgruppe |
MDE (Minimum Detectable Effect) | Die kleinste Änderung der Conversion-Rate, die erkannt werden soll |
Konfidenzniveau | Das statistische Konfidenzniveau (zum Beispiel 95 %) |
Statistische Teststärke | Die Wahrscheinlichkeit, einen tatsächlich vorhandenen Effekt zu erkennen |
Effekttyp | Absolute oder relative Änderung der Conversion-Rate |
Geben Sie die aktuelle Conversion-Rate ein.
Wählen Sie den kleinsten Effekt aus, der praktisch relevant ist.
Legen Sie das Konfidenzniveau fest.
Passen Sie bei Bedarf die statistische Teststärke an.
Wählen Sie den Effekttyp – absolut oder relativ.
Lassen Sie sich den minimal erforderlichen Stichprobenumfang für jede Experimentvariante berechnen.
Der berechnete Wert gibt die Anzahl der Benutzer (oder anderer Beobachtungseinheiten) an, die für jede Gruppe benötigt wird – nicht den gesamten Stichprobenumfang des Experiments.
Welche Faktoren den Stichprobenumfang beeinflussen
Faktor | Auswirkung |
|---|
Kleinerer MDE | Erfordert mehr Teilnehmer |
Höhere statistische Teststärke | Erfordert eine größere Stichprobe |
Höheres Konfidenzniveau | Erhöht den erforderlichen Stichprobenumfang |
Höhere Basis-Conversion-Rate | Die Auswirkung hängt von der erwarteten Effektgröße ab |
So wählen Sie einen MDE
Der Minimum Detectable Effect (MDE) ist die kleinste Änderung, die einen praktischen Nutzen für das Unternehmen hat.
Beispiele:
Basis-Conversion-Rate | MDE | Interpretation |
|---|
5 % | +0,5 % | Sehr kleiner Effekt |
5 % | +1 % | Häufig in Produktexperimenten verwendet |
5 % | +2 % | Ermöglicht einen schnelleren Abschluss des Experiments |
Ein zu klein gewählter MDE erhöht sowohl den erforderlichen Stichprobenumfang als auch die Dauer des Experiments erheblich.
Praktische Empfehlungen
Wählen Sie den MDE auf Grundlage des geschäftlichen Nutzens und nicht mit dem Ziel, möglichst kleine Änderungen nachzuweisen.
Senken Sie das Signifikanzniveau nicht nur, um den erforderlichen Stichprobenumfang zu verkleinern.
Verwenden Sie eine statistische Teststärke von 80–90 %, da dies der Standard für die meisten Produktexperimente ist.
Berechnen Sie den erforderlichen Stichprobenumfang vor Beginn des Experiments und nicht erst nach den ersten Ergebnissen.
Beenden Sie ein Experiment nicht vor Erreichen des erforderlichen Stichprobenumfangs, es sei denn, Sie verwenden spezielle Verfahren der sequenziellen Analyse.
Ein unzureichender Stichprobenumfang erhöht das Risiko falscher Schlussfolgerungen und kann zur Umsetzung unwirksamer Änderungen führen.
Häufige Fehler
Ein Experiment ohne Berechnung des erforderlichen Stichprobenumfangs starten.
Einen unrealistisch kleinen MDE wählen, um minimale Unterschiede zu erkennen.
Das Experiment unmittelbar nach dem ersten „statistisch signifikanten“ Ergebnis beenden.
Die Parameter des Experiments während seiner Durchführung ändern.
Statistische Signifikanz als Beweis für einen hohen praktischen Nutzen des Effekts interpretieren.
Die Berechnung setzt Folgendes voraus:
unabhängige Beobachtungen;
zufällige Zuweisung der Benutzer zu den Experimentvarianten;
korrekte Datenerfassung;
keine systematischen Messfehler.
Werden diese Voraussetzungen verletzt, kann die tatsächliche Aussagekraft des Experiments von den berechneten Werten abweichen.
Fazit
Die Berechnung des Stichprobenumfangs ist der erste Schritt bei der Planung jedes statistischen Experiments. Sie hilft dabei, den erforderlichen Datenumfang im Voraus zu bestimmen und verhindert, dass Experimente zu früh beendet oder unnötig lange fortgeführt werden.
Nach der Bestimmung des erforderlichen Stichprobenumfangs empfiehlt es sich, weitere Tools für einen vollständigen Analyseprozess zu verwenden:
Chi-Quadrat-(χ²)-Rechner — zur Analyse kategorialer Daten und zum Vergleich von Conversion-Raten, wenn dieses statistische Modell geeignet ist.
Zwei-Stichproben-T-Test-Rechner — zur Bewertung der statistischen Signifikanz von Unterschieden zwischen Experimentvarianten nach Abschluss eines A/B-Tests.
Wenn Sie außerdem überprüfen möchten, ob die Benutzer korrekt auf die Experimentvarianten verteilt wurden, verwenden Sie zusätzlich den Sample Ratio Mismatch (SRM)-Rechner.
