Was der Chi-Quadrat-Test macht
Der Chi-Quadrat-Test (χ²)-Rechner hilft festzustellen, ob die Unterschiede zwischen zwei Gruppen bei einer kategorialen Variable statistisch signifikant sind oder wahrscheinlich zufällig entstanden sind.
Das Tool ist für die Analyse der Anzahl erfolgreicher und erfolgloser Ereignisse in unabhängigen Stichproben ausgelegt. Es berechnet automatisch den p-Wert (p-value) und ermöglicht eine schnelle Auswertung von A/B-Tests, Marketingkampagnen und anderen Experimenten mit binären Kennzahlen.
Es eignet sich für Produktanalysen, Marketing, UX-Forschung, wissenschaftliche Experimente und Conversion-Analysen.
Erforderliche Eingabedaten
Für jede Stichprobe geben Sie folgende Werte ein:
Parameter | Beschreibung |
|---|
Erfolge | Anzahl erfolgreicher Ereignisse (z. B. Conversions) |
Versuche | Gesamtzahl der Beobachtungen |
Konfidenzniveau | Das für den Test verwendete Signifikanzniveau |
Anhand dieser Eingaben berechnet das Tool die statistische Signifikanz der Unterschiede zwischen den Stichproben.
Nach der Berechnung werden folgende Ergebnisse angezeigt:
Kennzahl | Beschreibung |
|---|
Erfolgreichere Stichprobe | Die Gruppe mit der höheren beobachteten Erfolgsquote |
p-Wert | Die Wahrscheinlichkeit, einen solchen Unterschied zufällig zu beobachten |
Verteilungsdiagramm | Visueller Vergleich der Ergebnisse beider Stichproben |
Berechnungslink | Freigabefähiger Link mit den gespeicherten Analyseparametern |
So interpretieren Sie die Ergebnisse
Die wichtigste Kennzahl ist der p-Wert.
Ergebnis | Interpretation |
|---|
p-value < α | Der Unterschied ist statistisch signifikant |
p-value ≥ α | Es gibt nicht genügend Hinweise, um den Unterschied als statistisch signifikant anzusehen |
Dabei steht α für das gewählte Signifikanzniveau.
Beachten Sie, dass die statistische Signifikanz nicht die Größe oder praktische Bedeutung eines Effekts beschreibt. Sie zeigt lediglich, wie unwahrscheinlich der beobachtete Unterschied wäre, wenn er zufällig entstanden wäre.
Wann sollte der Chi-Quadrat-Test verwendet werden?
Das Tool eignet sich besonders für die Analyse von:
Conversion-Raten von Websites;
Klickrate (CTR) von Werbekampagnen;
Öffnungsraten von E-Mail-Kampagnen;
Benutzerregistrierungen;
abgeschlossenen Bestellungen;
Abschlussraten von Conversion-Funnels;
Ergebnissen von A/B-Tests mit binären Kennzahlen;
allen Daten mit den Ergebnissen „Erfolg“ oder „Misserfolg“.
Wann sollte ein anderer Test verwendet werden?
Der χ²-Test ist für kategoriale Daten vorgesehen. Wenn Sie die Mittelwerte kontinuierlicher Variablen vergleichen möchten (z. B. durchschnittlicher Bestellwert, Verweildauer auf der Website oder Sitzungsdauer), ist der Zwei-Stichproben-T-Test die geeignetere Wahl.
Der Chi-Quadrat-Test beantwortet die Frage: Unterscheiden sich die Anteile erfolgreicher Ereignisse zwischen den Gruppen? Der T-Test beantwortet die Frage: Unterscheiden sich die Mittelwerte einer kontinuierlichen Kennzahl zwischen den Gruppen?
Häufige Fehler
Verwendung des χ²-Tests zum Vergleich kontinuierlicher numerischer Kennzahlen.
Anwendung des Tests auf abhängige Stichproben.
Verwendung zu kleiner Stichproben, die keine ausreichende Teststärke bieten.
Durchführung mehrerer aufeinanderfolgender Signifikanztests ohne Anpassung der Analysemethodik.
Interpretation der statistischen Signifikanz als Beweis für eine hohe praktische Wirkung einer Änderung.
Die Testergebnisse sollten stets im Kontext der jeweiligen Untersuchung interpretiert werden.
Die Aussagekraft der Ergebnisse kann beeinflusst werden durch:
kleine Stichprobengrößen;
Verstöße gegen die zufällige Zuweisung von Nutzern;
Fehler bei der Datenerhebung;
systematische Verzerrungen;
abhängige Beobachtungen.
Der Test schätzt die Wahrscheinlichkeit, dass die beobachteten Unterschiede zufällig entstanden sind, erklärt jedoch nicht, warum diese Unterschiede bestehen.
Fazit
Der Chi-Quadrat-Test bietet eine schnelle Möglichkeit zu beurteilen, ob sich die Anteile erfolgreicher Ereignisse zwischen zwei unabhängigen Gruppen statistisch signifikant unterscheiden. Er eignet sich besonders für die Analyse von Conversions, Klicks, Registrierungen und anderen binären Kennzahlen in A/B-Tests.
Für eine umfassende Analyse von Experimenten sollte er zusammen mit weiteren statistischen Werkzeugen verwendet werden. Schätzen Sie vor dem Start eines Experiments die erforderliche Stichprobengröße mit dem Stichprobengrößen-Rechner. Falls Ihr Experiment kontinuierliche Kennzahlen statt kategorialer Ergebnisse analysiert, verwenden Sie anstelle des χ²-Tests den Zwei-Stichproben-T-Test. Bei A/B-Tests empfiehlt es sich außerdem, die korrekte Verteilung der Nutzer auf die Varianten mit dem Sample Ratio Mismatch (SRM)-Rechner zu überprüfen.
