Apa itu Sample Ratio Mismatch (SRM)?
Sample Ratio Mismatch (SRM) adalah validasi statistik yang menentukan apakah distribusi aktual pengguna di antara varian dalam uji A/B sesuai dengan alokasi yang telah direncanakan.
Jika distribusi yang diamati berbeda secara signifikan dari yang diharapkan, hal ini dapat mengindikasikan adanya masalah pada proses randomisasi, pencatatan peristiwa (event logging), konfigurasi eksperimen, atau pengumpulan data. Validasi SRM sebaiknya dilakukan sebelum menganalisis hasil eksperimen, karena keberadaan SRM dapat membuat kesimpulan dari uji A/B menjadi tidak dapat diandalkan.
Alat ini menggunakan uji Chi-Square (χ²) untuk membandingkan ukuran kelompok yang diharapkan dan yang diamati, serta secara otomatis menghitung p-value.
Apa yang Ditampilkan oleh Alat
Setelah perhitungan selesai, hasil berikut akan ditampilkan:
Metrik | Deskripsi |
|---|
Statistik Chi-Square | Statistik uji χ² yang digunakan untuk mengevaluasi distribusi |
p-value | Probabilitas bahwa penyimpangan yang diamati terjadi secara kebetulan |
Status Validasi | Menunjukkan apakah Sample Ratio Mismatch terdeteksi |
Tautan Perhitungan | Tautan yang dapat dibagikan dan menyimpan parameter validasi |
Cara Menggunakan Alat
Masukkan jumlah pengguna aktual untuk setiap kelompok.
Tentukan rasio alokasi yang direncanakan untuk setiap kelompok.
Tambahkan varian eksperimen lain jika diperlukan.
Jalankan validasi.
Tinjau hasilnya.
Sebagai contoh, jika sebuah eksperimen dirancang dengan pembagian lalu lintas 50% / 50%, tetapi ukuran kelompok yang diamati adalah 1.000 dan 1.050 pengguna, alat ini akan mengevaluasi apakah penyimpangan tersebut masih dapat dijelaskan oleh variasi acak.
Kapan Perlu Memeriksa SRM
Validasi SRM sangat berguna:
sebelum menganalisis hasil uji A/B apa pun;
setelah menerapkan mekanisme baru untuk alokasi pengguna;
saat menjalankan eksperimen dengan beberapa varian;
ketika dicurigai terjadi kehilangan event analitik;
setelah mengubah sistem pencatatan event;
setelah mengubah mekanisme randomisasi;
ketika ukuran kelompok berbeda secara tidak terduga.
Di banyak organisasi, validasi SRM merupakan langkah wajib sebelum menganalisis hasil eksperimen apa pun.
Mengapa Sample Ratio Mismatch Terjadi?
Penyebab yang paling umum meliputi:
kesalahan dalam randomisasi pengguna;
feature flag yang dikonfigurasi secara tidak benar;
masalah pada platform eksperimen;
hilangnya event analitik;
penyaringan sebagian pengguna;
kesalahan identifikasi pengguna;
masalah pada cookie atau autentikasi;
alokasi lalu lintas yang tidak benar;
bug perangkat lunak.
SRM sendiri tidak mengidentifikasi akar penyebab masalah—SRM hanya menunjukkan bahwa distribusi pengguna yang diamati berbeda dari alokasi yang diharapkan.
Kapan Anda Dapat Mempercayai Hasil Uji A/B?
Jika SRM terdeteksi, hasil eksperimen harus ditafsirkan dengan sangat hati-hati.
Meskipun perbedaan antarvarian tampak signifikan secara statistik, perbedaan tersebut mungkin disebabkan oleh masalah dalam alokasi pengguna, bukan oleh perubahan pada produk itu sendiri.
Dalam praktiknya, tim biasanya menyelidiki dan memperbaiki penyebab SRM terlebih dahulu sebelum menjalankan ulang eksperimen.
Keterbatasan Alat
Alat ini hanya memvalidasi apakah alokasi pengguna ke dalam kelompok eksperimen sudah benar.
Alat ini tidak menentukan varian mana yang berkinerja lebih baik, tidak membandingkan tingkat konversi, dan tidak memperkirakan ukuran efek.
Validasi SRM juga tidak mengidentifikasi sumber masalah—alat ini hanya menunjukkan bahwa distribusi yang diamati berbeda secara statistik dari distribusi yang diharapkan.
Kesimpulan
Sample Ratio Mismatch Calculator menyediakan cara cepat untuk memverifikasi apakah pengguna telah didistribusikan dengan benar ke berbagai varian eksperimen. Ini merupakan salah satu langkah validasi pertama dalam setiap uji A/B dan membantu mengidentifikasi masalah implementasi sebelum metrik produk dianalisis.
Untuk analisis eksperimen yang lebih komprehensif, gunakan alat ini bersama kalkulator statistik lainnya. Sebelum meluncurkan eksperimen, perkirakan ukuran sampel yang diperlukan menggunakan Sample Size Calculator. Setelah pemeriksaan SRM berhasil dilalui, analisis hasil eksperimen menggunakan Two-Sample T-Test untuk metrik kontinu atau Chi-Square Test untuk tingkat konversi dan metrik biner lainnya.
