A/B 测试计算器:顺序采样 (Sequential Sampling)

顺序采样有助于实时决策。我们的工具适用于顺序A/B测试。

序贯抽样计算

10%
1%

灰色区域的转化率将无法与基线区分。

如果最小效应确实存在,检测到该效应的概率

如果实际上没有差异,检测到差异的概率

序贯分析结果

对照组获胜条件:

0

总转化次数

实验组获胜条件:

0

领先的转化次数

保存结果

https://devbox.tools/zh/utils/sequential-sampling-calculator/#!rate=10&power=80&alpha=5&effect=1&type=absolute

"序贯抽样计算器" 工具功能

顺序测试样本量计算

根据基线转化率、最小检测效应和统计参数计算顺序测试的最优样本量。

统计功效与显著性水平设置

可设置统计功效(60-95%)和显著性水平(1-10%),获得准确测试结果。

A/B 测试资源优化

通过在达到统计显著性时提前结束实验,帮助节省资源。

使用指南与详细说明

什么是 Sequential Sampling?

Sequential Sampling(序贯抽样或序贯检验)是一种统计方法,允许您在新数据不断积累的过程中持续分析 A/B 测试结果,而无需等待达到预先设定的样本量。

与传统 A/B 测试通常需要等实验结束后再分析结果不同,序贯分析可以在累计数据已经提供足够统计证据时,更早地做出决策。

Sequential Sampling 计算器可帮助您估算在给定实验参数下,需要多少观测值才能确认对照组(Control)或测试组(Test Variation)为获胜方案。

输入参数

进行计算时,请指定计划实验的主要参数。

参数

说明

基准转化率

对照组当前的转化率

最小可检测效应(MDE)

希望检测到的最小转化率变化

效应类型

绝对效应或相对效应

统计功效

当真实效应存在时检测到该效应的概率

显著性水平(α)

可接受的假阳性(第一类错误)概率

您可以调整任意参数,并立即查看其对所需数据量估算结果的影响。

如何使用该工具

  1. 输入对照组当前的转化率。

  2. 指定对您的业务具有实际意义的最小效应大小。

  3. 选择效应以绝对变化还是相对变化表示。

  4. 设置统计功效和显著性水平。

  5. 查看做出决策所需的预计观测数量。

该工具在实验规划阶段尤为实用,可帮助您估算获得具有统计意义结果所需的时间。

何时使用 Sequential Sampling?

序贯分析尤其适用于以下场景:

  • 长周期 A/B 测试;

  • 每日流量较高;

  • 希望尽早做出决策;

  • 持续监控的产品实验;

  • 实验时间有限;

  • 持续实验(Continuous Experimentation)环境。

何时可能不适合使用该方法?

Sequential Sampling 并非始终都是最佳选择。

在以下情况下,传统的固定样本量设计通常更加简单:

  • 流量规模相对较小;

  • 仅在测试结束后分析一次结果;

  • 您所在组织的实验流程已围绕固定样本量建立。

统计方法应在实验开始之前确定。

工具限制

本计算器用于估算在序贯实验中做出决策所需的大致数据量。

不会分析实际的 A/B 测试结果,不会计算 p 值(p-value),也不会判断哪一个变体获胜。

如需分析已收集的实验数据,应使用相应的统计检验方法。

总结

Sequential Sampling 计算器可帮助您预估进行序贯 A/B 测试分析所需的数据量,从而更高效地规划实验。对于持续监控实验表现、希望在无需等待固定样本量的情况下做出具有统计依据决策的团队而言,这种方法尤其有价值。若要完成完整的实验流程,建议结合使用其他 A/B Testing 工具

工具说明

alien

顺序抽样计算器帮助确定顺序 A/B 测试的最优样本量。该工具采用统计方法计算获得可靠结果所需的最小观测数。

顺序测试允许在达到统计显著性时提前结束实验,从而节省时间和资源。工具可设置基线转化率、最小检测效应和统计功效。

该计算器对市场营销人员、数据分析师和 A/B 测试专家尤为有用,帮助优化实验流程并获得快速结果。

常见问题 (FAQ)

A/B 测试序列分析计算器是一种工具,可根据统计数据帮助确定实验的最佳停止时间。它考虑了基线转化率、最小可检测效应、统计功效和显著性水平,以帮助您做出继续或停止测试的明智决定。

计算器使用统计方法,根据基线转化率、最小可检测效应、统计功效和显著性水平计算最小样本量。它显示何时可以停止实验。

绝对效应是百分比差异(例如,转化率增加 5%)。相对效应是基线转化率的百分比变化(例如,基线转化率 20% 增加 25%)。

统计功效 (60-95%) 决定了检测效应(如果存在)的概率。显著性水平 (1-10%) 决定了假阳性的概率。更高的功效需要更大的样本量。您可以在计算器中调整统计功效和显著性水平。

序列测试非常适合具有高观测成本的 A/B 测试,此时节省资源很重要。它也适用于在营销活动中快速获得结果。

第一类错误(α)是指您拒绝了真实的零假设(得出存在差异的结论,而实际上没有)。第二类错误(β)是指您未能拒绝错误的零假设(得出没有差异的结论,而实际上有)。

当每次观察成本较高或您希望更快获得结果时,序列抽样特别有用。但是,它需要持续监测结果,这可能比固定大小的测试更难实施。

基线转化率是您的对照组(原始变体)的当前或预期转化率。它是您衡量新变体(测试组)潜在影响的参考点。

评价此工具
4.5(24 位用户评分)