A/B 测试计算器：样本大小

样本量计算器的功能

样本量计算器（Sample Size Calculator）用于确定获得统计学可靠结果所需的观测数量。该工具根据基线转化率（Baseline Conversion Rate）、最小可检测效应（MDE）、统计显著性水平和统计功效，计算实验和研究所需的最小样本量。

该工具可帮助您：

• 计算 A/B 测试所需的样本量；

• 平衡实验速度与结果准确性；

• 评估 MDE 对实验持续时间的影响；

• 考虑显著性水平（α）和统计功效（1−β）；

• 将计算参数保存为可共享链接，以便后续使用。

适用于产品分析师、市场营销人员、CRO 专家、研究人员和数据分析师。

使用的参数

如何使用该工具

1. 输入当前的转化率。

2. 选择具有实际业务意义的最小效应。

3. 选择置信水平。

4. 如有需要，调整统计功效。

5. 选择效应类型——绝对变化或相对变化。

6. 查看每个实验变体所需的最小样本量。

计算结果表示每个实验组所需的用户数量（或其他观测单位），而不是整个实验的总样本量。

影响样本量的因素

如何选择 MDE

最小可检测效应（Minimum Detectable Effect，MDE）是指对业务具有实际价值的最小变化。

例如：

选择过小的 MDE 会显著增加所需样本量和实验持续时间。

实践建议

• 根据业务价值选择 MDE，而不是一味追求检测尽可能小的变化。

• 不要仅为了减少样本量而降低显著性水平。

• 对于大多数产品实验，建议使用 80–90% 的统计功效。

• 应在实验开始之前计算所需样本量，而不是看到初步结果之后。

• 除非采用专门的序贯分析（Sequential Analysis）方法，否则不要在达到所需样本量之前提前结束实验。

样本量不足会增加得出错误结论的风险，并可能导致实施无效的改动。

常见错误

• 未计算所需样本量就开始实验。

• 为检测极小差异而选择不切实际的过小 MDE。

• 获得第一个“统计显著”结果后立即结束实验。

• 在实验进行过程中修改实验参数。

• 将统计显著性误认为效应具有较高实际价值的证明。

工具的局限性

该计算基于以下假设：

• 观测值彼此独立；

• 用户被随机分配到各实验变体；

• 数据采集准确；

• 不存在系统性测量误差。

如果这些假设不成立，则实验的实际可靠性可能与计算结果存在差异。

总结

样本量估算是准备任何统计实验的第一步。它有助于提前确定所需的数据量，避免实验过早结束或持续时间过长。

确定所需样本量后，建议结合以下工具完成完整的实验分析流程：

• 卡方检验（χ²）计算器 —— 用于分析分类数据，并在适用时比较转化率。

• 双样本 T 检验计算器 —— 用于在 A/B 测试结束后评估实验变体之间差异的统计显著性。

如果您还希望验证用户是否已正确分配到各实验变体，请使用 Sample Ratio Mismatch（SRM）计算器。