Sample Ratio Mismatch (SRM) là gì?
Sample Ratio Mismatch (SRM) là một phép kiểm định thống kê nhằm xác định xem việc phân bổ thực tế người dùng giữa các biến thể của thử nghiệm A/B có khớp với tỷ lệ phân bổ đã được lên kế hoạch hay không.
Nếu phân bổ quan sát được khác biệt đáng kể so với phân bổ kỳ vọng, điều đó có thể cho thấy có vấn đề trong quá trình ngẫu nhiên hóa, ghi nhận sự kiện (event logging), cấu hình thử nghiệm hoặc thu thập dữ liệu. Việc kiểm tra SRM nên được thực hiện trước khi phân tích kết quả thử nghiệm, vì sự xuất hiện của SRM có thể khiến các kết luận từ thử nghiệm A/B trở nên không đáng tin cậy.
Công cụ sử dụng kiểm định Chi-Square (χ²) để so sánh kích thước nhóm kỳ vọng và kích thước nhóm quan sát được, đồng thời tự động tính p-value.
Công cụ hiển thị những gì
Sau khi tính toán, công cụ sẽ hiển thị các kết quả sau:
Chỉ số | Mô tả |
|---|
Thống kê Chi-Square | Giá trị thống kê χ² dùng để đánh giá sự phân bổ |
p-value | Xác suất sai lệch quan sát được xảy ra do ngẫu nhiên |
Trạng thái kiểm tra | Cho biết có phát hiện Sample Ratio Mismatch hay không |
Liên kết phép tính | Liên kết có thể chia sẻ, lưu lại các tham số kiểm tra |
Cách sử dụng công cụ
Nhập số lượng người dùng thực tế trong từng nhóm.
Chỉ định tỷ lệ phân bổ dự kiến cho từng nhóm.
Thêm các biến thể thử nghiệm nếu cần.
Chạy kiểm tra.
Xem và phân tích kết quả.
Ví dụ: nếu một thử nghiệm được thiết kế với tỷ lệ phân bổ 50% / 50%, nhưng số lượng người dùng thực tế là 1.000 và 1.050, công cụ sẽ đánh giá xem sai lệch này có thể được giải thích hợp lý bằng biến động ngẫu nhiên hay không.
Khi nào cần kiểm tra SRM
Việc kiểm tra SRM đặc biệt hữu ích:
trước khi phân tích kết quả của bất kỳ thử nghiệm A/B nào;
sau khi triển khai cơ chế phân bổ người dùng mới;
khi chạy thử nghiệm với nhiều biến thể;
khi nghi ngờ có mất dữ liệu sự kiện phân tích;
sau khi thay đổi hệ thống ghi nhận sự kiện;
sau khi thay đổi cơ chế ngẫu nhiên hóa;
khi kích thước các nhóm khác biệt bất thường.
Trong nhiều tổ chức, việc kiểm tra SRM là một bước bắt buộc trước khi phân tích bất kỳ thử nghiệm nào.
Vì sao xảy ra Sample Ratio Mismatch
Các nguyên nhân phổ biến nhất bao gồm:
lỗi trong quá trình ngẫu nhiên hóa người dùng;
feature flag được cấu hình không chính xác;
sự cố của nền tảng thử nghiệm;
mất dữ liệu sự kiện phân tích;
lọc bỏ một số người dùng;
lỗi định danh người dùng;
sự cố liên quan đến cookie hoặc xác thực;
phân bổ lưu lượng truy cập không chính xác;
lỗi phần mềm.
Bản thân SRM không xác định nguyên nhân gốc rễ của vấn đề — nó chỉ cho biết rằng phân bổ người dùng quan sát được khác với phân bổ dự kiến.
Khi nào có thể tin tưởng kết quả thử nghiệm A/B
Nếu phát hiện SRM, kết quả của thử nghiệm cần được diễn giải hết sức thận trọng.
Ngay cả khi sự khác biệt giữa các biến thể có vẻ đạt ý nghĩa thống kê, nguyên nhân có thể đến từ lỗi phân bổ người dùng chứ không phải do chính thay đổi của sản phẩm.
Trong thực tế, các nhóm thường điều tra và khắc phục nguyên nhân gây SRM trước khi chạy lại thử nghiệm.
Giới hạn của công cụ
Công cụ chỉ kiểm tra tính chính xác của việc phân bổ người dùng giữa các nhóm trong thử nghiệm.
Công cụ không xác định biến thể nào hoạt động tốt hơn, không so sánh tỷ lệ chuyển đổi và cũng không ước lượng kích thước hiệu ứng.
Ngoài ra, việc kiểm tra SRM cũng không xác định nguồn gốc của vấn đề — nó chỉ cho biết rằng phân bổ quan sát được khác biệt có ý nghĩa thống kê so với phân bổ kỳ vọng.
Kết luận
Công cụ tính Sample Ratio Mismatch cung cấp một cách nhanh chóng để xác minh xem người dùng đã được phân bổ chính xác giữa các biến thể của thử nghiệm hay chưa. Đây là một trong những bước xác thực đầu tiên của bất kỳ thử nghiệm A/B nào và giúp phát hiện các vấn đề triển khai trước khi phân tích các chỉ số sản phẩm.
Để phân tích thử nghiệm một cách toàn diện, hãy sử dụng công cụ này cùng với các công cụ thống kê khác. Trước khi bắt đầu thử nghiệm, hãy ước tính kích thước mẫu cần thiết bằng Sample Size Calculator. Sau khi kiểm tra SRM thành công, bạn có thể phân tích kết quả thử nghiệm bằng Two-Sample T-Test đối với các chỉ số liên tục hoặc Chi-Square Test đối với tỷ lệ chuyển đổi và các chỉ số nhị phân khác.
