Máy tính kiểm tra A/B: Kiểm tra tuần tự

Máy tính phân tích tuần tự các bài kiểm tra A/B là một công cụ giúp xác định thời điểm tối ưu để dừng một thử nghiệm dựa trên dữ liệu thống kê. Nó xem xét tỷ lệ chuyển đổi cơ bản, hiệu ứng tối thiểu có thể phát hiện được, công suất thống kê và mức ý nghĩa để giúp bạn đưa ra quyết định sáng suốt về việc tiếp tục hay dừng bài kiểm tra.

Máy tính sử dụng các phương pháp thống kê để tính toán kích thước mẫu tối thiểu dựa trên tỷ lệ chuyển đổi cơ bản, hiệu ứng tối thiểu có thể phát hiện được, công suất thống kê và mức ý nghĩa. Nó cho biết khi nào bạn có thể dừng thử nghiệm.

Hiệu ứng tuyệt đối là sự khác biệt về phần trăm (ví dụ, tăng 5% tỷ lệ chuyển đổi). Hiệu ứng tương đối là sự thay đổi phần trăm so với tỷ lệ chuyển đổi cơ bản (ví dụ, tăng 25% so với tỷ lệ chuyển đổi cơ bản 20%).

Công suất thống kê (60-95%) xác định xác suất phát hiện một hiệu ứng nếu nó tồn tại. Mức ý nghĩa (1-10%) xác định xác suất có kết quả dương tính giả. Công suất cao hơn đòi hỏi kích thước mẫu lớn hơn. Bạn có thể thiết lập công suất thống kê và mức ý nghĩa trong máy tính.

Kiểm tra tuần tự lý tưởng cho các bài kiểm tra A/B có chi phí quan sát cao, khi việc tiết kiệm tài nguyên là quan trọng. Nó cũng hữu ích để nhanh chóng nhận được kết quả trong các chiến dịch marketing.

Sai lầm loại I (alpha) là khi bạn bác bỏ một giả thuyết không đúng (đi đến kết luận rằng có sự khác biệt khi không có). Sai lầm loại II (beta) là khi bạn không thể bác bỏ một giả thuyết không sai (đi đến kết luận rằng không có sự khác biệt khi có).

Lấy mẫu tuần tự đặc biệt hữu ích khi chi phí của mỗi quan sát là cao hoặc khi bạn muốn có kết quả nhanh hơn. Tuy nhiên, nó đòi hỏi phải theo dõi kết quả liên tục, điều này có thể khó thực hiện hơn so với một bài kiểm tra có kích thước cố định.

Tỷ lệ chuyển đổi cơ bản là tỷ lệ chuyển đổi hiện tại hoặc dự kiến của nhóm kiểm soát của bạn (biến thể ban đầu). Đây là điểm tham chiếu mà bạn đo lường tác động tiềm năng của biến thể mới của mình (nhóm thử nghiệm).