Was ist ein Sample Ratio Mismatch (SRM)?
Ein Sample Ratio Mismatch (SRM) ist eine statistische Überprüfung, mit der festgestellt wird, ob die tatsächliche Verteilung der Nutzer auf die Varianten eines A/B-Tests der geplanten Verteilung entspricht.
Weicht die beobachtete Verteilung erheblich von der erwarteten ab, kann dies auf Probleme bei der Randomisierung, der Ereignisprotokollierung, der Experimentkonfiguration oder der Datenerfassung hinweisen. Die SRM-Prüfung sollte vor der Analyse der Versuchsergebnisse durchgeführt werden, da ein vorhandenes SRM die Schlussfolgerungen eines A/B-Tests unzuverlässig machen kann.
Das Tool verwendet den Chi-Quadrat-Test (χ²), um die erwarteten und beobachteten Gruppengrößen zu vergleichen, und berechnet automatisch den p-Wert.
Nach der Berechnung werden folgende Ergebnisse angezeigt:
Kennzahl | Beschreibung |
|---|
Chi-Quadrat-Statistik | Die χ²-Teststatistik zur Bewertung der Verteilung |
p-Wert | Die Wahrscheinlichkeit, dass die beobachtete Abweichung zufällig entstanden ist |
Validierungsstatus | Zeigt an, ob ein Sample Ratio Mismatch erkannt wurde |
Link zur Berechnung | Ein teilbarer Link, der die Prüfparameter speichert |
Geben Sie die tatsächliche Anzahl der Nutzer in jeder Gruppe ein.
Geben Sie das geplante Verteilungsverhältnis für jede Gruppe an.
Fügen Sie bei Bedarf weitere Versuchsvarianten hinzu.
Starten Sie die Überprüfung.
Analysieren Sie die Ergebnisse.
Wenn ein Experiment beispielsweise mit einer 50 % / 50 %-Verteilung geplant wurde, die tatsächlichen Gruppengrößen jedoch 1.000 und 1.050 Nutzer betragen, bewertet das Tool, ob diese Abweichung plausibel durch zufällige Schwankungen erklärt werden kann.
Wann sollte SRM überprüft werden?
Eine SRM-Prüfung ist besonders sinnvoll:
vor der Analyse der Ergebnisse eines A/B-Tests;
nach der Einführung eines neuen Mechanismus zur Nutzerverteilung;
bei Experimenten mit mehreren Varianten;
wenn ein Verlust von Analytics-Ereignissen vermutet wird;
nach Änderungen am Ereignisprotokollierungssystem;
nach Änderungen am Randomisierungsmechanismus;
wenn die Gruppengrößen unerwartet voneinander abweichen.
In vielen Unternehmen ist die SRM-Prüfung ein verpflichtender Schritt vor der Auswertung jedes Experiments.
Warum tritt ein Sample Ratio Mismatch auf?
Zu den häufigsten Ursachen gehören:
Fehler bei der Randomisierung der Nutzer;
falsch konfigurierte Feature Flags;
Probleme mit der Experimentierplattform;
Verlust von Analytics-Ereignissen;
das Herausfiltern bestimmter Nutzer;
Fehler bei der Nutzeridentifikation;
Probleme mit Cookies oder der Authentifizierung;
fehlerhafte Traffic-Verteilung;
Softwarefehler.
Ein SRM zeigt nicht die eigentliche Ursache des Problems an – es weist lediglich darauf hin, dass die beobachtete Nutzerverteilung von der erwarteten Verteilung abweicht.
Wann können Sie den Ergebnissen eines A/B-Tests vertrauen?
Wird ein SRM festgestellt, sollten die Ergebnisse des Experiments mit äußerster Vorsicht interpretiert werden.
Selbst wenn die Unterschiede zwischen den Varianten statistisch signifikant erscheinen, können sie auf Fehler bei der Nutzerverteilung und nicht auf die Produktänderung selbst zurückzuführen sein.
In der Praxis untersuchen Teams zunächst die Ursache des SRM, beheben das Problem und führen das Experiment anschließend erneut durch.
Das Tool überprüft ausschließlich die Korrektheit der Nutzerverteilung zwischen den Versuchsgruppen.
Es bestimmt nicht, welche Variante besser abschneidet, vergleicht keine Konversionsraten und schätzt auch keine Effektgröße.
Die SRM-Prüfung identifiziert außerdem nicht die Ursache des Problems – sie zeigt lediglich an, dass die beobachtete Verteilung statistisch von der erwarteten Verteilung abweicht.
Fazit
Der Sample Ratio Mismatch Calculator ermöglicht eine schnelle Überprüfung, ob Nutzer korrekt auf die Varianten eines Experiments verteilt wurden. Er ist einer der ersten Validierungsschritte in jedem A/B-Test und hilft dabei, Implementierungsfehler zu erkennen, bevor Produktmetriken analysiert werden.
Für eine umfassende Analyse von Experimenten sollte dieses Tool zusammen mit anderen statistischen Rechnern verwendet werden. Schätzen Sie vor dem Start eines Experiments die erforderliche Stichprobengröße mit dem Sample Size Calculator. Nach einer erfolgreichen SRM-Prüfung können Sie die Versuchsergebnisse mit dem Two-Sample T-Test für kontinuierliche Metriken oder dem Chi-Square Test für Konversionsraten und andere binäre Metriken analysieren.
