Kalkulator A/B testing: Ukuran Sampel

Ukuran sampel tergantung pada tingkat kepercayaan yang diinginkan, margin kesalahan, ukuran populasi, dan ukuran efek yang diharapkan (MDE). Efek yang lebih besar memerlukan sampel yang lebih kecil, sedangkan efek yang lebih kecil memerlukan sampel yang lebih besar untuk dideteksi.

Tingkat kepercayaan (biasanya 95%) menunjukkan seberapa yakin Anda dengan hasil Anda. Margin kesalahan adalah rentang ketidakpastian di sekitar perkiraan Anda. Tingkat kepercayaan yang lebih tinggi atau margin kesalahan yang lebih kecil membutuhkan sampel yang lebih besar.

Gunakan pendekatan konservatif - pembagian yang sama menjadi dua kelompok dalam proporsi 50/50.

Jika populasi terbatas, gunakan koreksi populasi terbatas dan coba maksimalkan cakupan. Dalam kasus sampel yang sangat kecil, gunakan metode analisis non-parametrik dan pertimbangkan pengurangan kekuatan statistik.

Jika Anda memilih MDE yang terlalu kecil, sampel yang sangat besar akan diperlukan, yang mungkin tidak praktis. Jika Anda memilih MDE yang terlalu besar, Anda mungkin melewatkan efek kecil tapi penting. MDE yang optimal harus mencerminkan nilai bisnis atau penelitian dari efek tersebut.

Kekuatan statistik adalah probabilitas mendeteksi efek nyata (jika ada) dan menghindari kesalahan Tipe II (negatif palsu). Kekuatan yang lebih tinggi (biasanya 80% atau lebih) memerlukan ukuran sampel yang lebih besar untuk memastikan Anda tidak melewatkan hasil yang signifikan.

Semakin besar variabilitas dalam data populasi (deviasi standar), semakin besar ukuran sampel yang dibutuhkan untuk mencapai presisi yang sama. Ini karena variabilitas yang lebih besar membuat lebih sulit untuk mendapatkan estimasi yang akurat dari rata-rata populasi.

Untuk studi komparatif, Anda memerlukan perhitungan ukuran sampel yang mempertimbangkan Minimum Detectable Effect (perbedaan terkecil yang Anda anggap penting) dan kekuatan statistik untuk memastikan eksperimen Anda mampu mendeteksi perbedaan tersebut.