Máy tính kiểm tra A/B: Ước tính kích thước mẫu

Kích thước mẫu phụ thuộc vào mức độ tin cậy mong muốn, sai số cho phép, kích thước dân số và kích thước hiệu ứng dự kiến (MDE). Các hiệu ứng lớn hơn đòi hỏi các mẫu nhỏ hơn, trong khi các hiệu ứng nhỏ hơn đòi hỏi các mẫu lớn hơn để phát hiện.

Mức độ tin cậy (thường là 95%) cho biết bạn tự tin như thế nào về kết quả của mình. Sai số cho phép là phạm vi không chắc chắn xung quanh ước tính của bạn. Mức độ tin cậy cao hơn hoặc sai số cho phép nhỏ hơn đòi hỏi các mẫu lớn hơn.

Sử dụng một cách tiếp cận thận trọng - chia đều thành hai nhóm theo tỷ lệ 50/50.

Nếu dân số bị hạn chế, hãy sử dụng hiệu chỉnh cho dân số hữu hạn và cố gắng tối đa hóa phạm vi tiếp cận. Trong trường hợp các mẫu rất nhỏ, hãy sử dụng các phương pháp phân tích phi tham số và xem xét công suất thống kê giảm.

Nếu chọn MDE quá nhỏ, sẽ cần một mẫu rất lớn, điều này có thể không thực tế. Nếu chọn MDE quá lớn, có thể bỏ lỡ các hiệu ứng nhỏ nhưng quan trọng. MDE tối ưu phải phản ánh giá trị kinh doanh hoặc nghiên cứu của hiệu ứng.

Công suất thống kê là xác suất phát hiện một hiệu ứng thực (nếu có) và tránh sai lầm loại II (kết quả âm tính giả). Công suất cao hơn (thường là 80% trở lên) đòi hỏi kích thước mẫu lớn hơn để đảm bảo bạn không bỏ lỡ một kết quả có ý nghĩa.

Sự biến thiên trong dữ liệu của tổng thể càng lớn (độ lệch chuẩn), thì kích thước mẫu cần thiết để đạt được cùng một độ chính xác càng lớn. Điều này là do sự biến thiên lớn hơn gây khó khăn cho việc thu được một ước tính chính xác về giá trị trung bình của tổng thể.

Đối với các nghiên cứu so sánh, bạn cần một tính toán kích thước mẫu có tính đến hiệu ứng tối thiểu có thể phát hiện được (sự khác biệt nhỏ nhất mà bạn cho là quan trọng) và công suất thống kê để đảm bảo rằng thử nghiệm của bạn có khả năng phát hiện sự khác biệt đó.