网站运营做AB测试，最常见的坑就是样本量不够就下结论，或者跑了很久还不知道什么时候该停。核心问题其实就两个：你需要多少样本才能得出可靠结论？以及怎么判断两组数据之间的差异是真实的还是随机波动？直接给答案——样本量取决于你的基线转化率、你期望检测到的最小提升幅度、以及你能接受的统计显著性水平（通常设为95%）和统计功效（通常设为80%）。用公式算出来的数字往往比你直觉认为的要大得多，这就是为什么很多人AB测试做了等于没做。

这篇文章会把样本量计算的完整逻辑、显著性检验的具体方法、实际操作中的注意事项全部讲透。不管你是运营新手还是有经验的增长负责人，看完都能直接上手算、上手用。

一、AB测试为什么必须算样本量

很多团队做AB测试的方式是"先跑着看"，跑个三五天发现B版本转化率高了2%，就急着全量上线。这种做法风险极大。因为流量本身有波动，三天的数据可能刚好赶上某个时段用户质量偏高，并不代表B版本真的更好。样本量计算的本质，就是用数学方法告诉你：在当前条件下，你至少需要多少数据，才能有足够的把握说"这个差异是真实的"。

样本量不够会导致两类错误。第一类叫"假阳性"（Type I Error），就是实际上没有差异，你却以为有差异，错误地上线了一个没用甚至更差的方案。第二类叫"假阴性"（Type II Error），就是实际上有差异，你却没检测出来，错过了一个真正有效的优化。算样本量就是在控制这两类错误的概率。

二、样本量计算的核心公式与参数解释

对于最常见的转化率类AB测试（比如点击率、注册率、购买率），样本量计算有一个经典公式。每组所需样本量n的近似计算方式如下：

n = (Zα/2 + Zβ)² × [p1(1-p1) + p2(1-p2)] / (p1 - p2)²

这里面每个参数的含义：

Zα/2：对应显著性水平。如果你设95%置信度，Z值约为1.96。如果设99%置信度，Z值约为2.576。置信度越高，需要的样本量越大。

Zβ：对应统计功效。如果你设80%功效，Z值约为0.84。功效越高，意味着你检测出真实差异的能力越强，但同样需要更多样本。

p1：对照组（A版本）的基线转化率。这个需要你根据历史数据来估计，比如过去30天该页面的平均转化率是5%，那p1=0.05。

p2：实验组（B版本）的预期转化率。通常你会设定一个"最小可检测效应"（MDE，Minimum Detectable Effect），比如你希望至少检测到20%的相对提升，那p2 = 0.05 × 1.2 = 0.06。

举个实际例子：基线转化率5%，期望检测20%相对提升（即绝对提升1个百分点），95%置信度，80%功效。代入公式，每组大约需要约6347个样本，两组加起来就是12694个。如果你的页面日均UV是2000，那至少需要跑6天多才能达到最低样本量要求。这还是理想情况，实际中通常建议再多跑20%-30%作为缓冲。

三、用Python快速计算样本量

手动算公式比较麻烦，实际工作中建议用代码。下面是一个简单的Python函数，输入参数直接出结果：

import math
from scipy.stats import norm

def calculate_sample_size(p1, mde_relative, alpha=0.05, power=0.8):
    p2 = p1 * (1 + mde_relative)
    z_alpha = norm.ppf(1 - alpha / 2)
    z_beta = norm.ppf(power)
    numerator = (z_alpha + z_beta)  2 * (p1 * (1 - p1) + p2 * (1 - p2))
    denominator = (p2 - p1)  2
    n = math.ceil(numerator / denominator)
    return n

# 示例：基线5%，期望检测20%相对提升
n_per_group = calculate_sample_size(p1=0.05, mde_relative=0.2)
print(f"每组需要样本量: {n_per_group}")
print(f"两组合计: {n_per_group * 2}")

这段代码用了scipy库里的norm.ppf函数来获取Z值，比查表方便得多。你可以根据自己的业务参数随意调整，几秒钟就能算出来。

四、显著性检验：怎么判断差异是不是真的

样本量够了之后，下一步就是检验。最常用的是双比例Z检验（Two-Proportion Z-Test），专门用来比较两组转化率是否有显著差异。检验的逻辑是：先假设两组没有差异（零假设H0），然后看实际观测到的差异在零假设下出现的概率有多大。如果这个概率（p值）小于你设定的显著性水平（比如0.05），就拒绝零假设，认为差异是显著的。

Z检验的计算公式：

Z = (p2 - p1) / sqrt(p_pool * (1 - p_pool) * (1/n1 + 1/n2))

其中 p_pool = (x1 + x2) / (n1 + n2)
x1, x2 分别是两组的转化数
n1, n2 分别是两组的样本量

算出Z值后，查标准正态分布表或者用代码算p值。如果p值 < 0.05，说明在95%置信度下差异显著。注意，这里说的"显著"是统计意义上的显著，不代表业务意义上的重要。一个0.1%的提升可能统计显著，但对业务几乎没影响，所以还要结合实际效果来判断。

用Python做检验也很简单：

from statsmodels.stats.proportion import proportions_ztest

# 假设A组：10000样本，520转化；B组：10000样本，580转化
count = [520, 580]
nobs = [10000, 10000]

z_stat, p_value = proportions_ztest(count, nobs)
print(f"Z统计量: {z_stat:.4f}")
print(f"P值: {p_value:.4f}")

if p_value < 0.05:
    print("差异显著，可以考虑上线B版本")
else:
    print("差异不显著，需要更多数据或更大的效应")

五、实际运营中最容易犯的五个错误

第一，提前看结果。很多人忍不住每天盯着数据看，发现B版本领先就想停。这叫"窥探问题"（Peeking Problem），会大幅增加假阳性的概率。正确做法是提前算好样本量，没达到之前不要做任何判断。

第二，忽视流量分配不均。如果A组和B组的用户特征本身就不一样（比如分配时没有随机化），那检验结果毫无意义。一定要确保流量是随机且均匀分配的。

第三，只看转化率不看样本量。一个页面转化率从2%提升到2.5%，如果样本只有500，这个提升很可能是噪音。但如果样本有50000，那就值得认真对待了。

第四，同时跑太多测试。如果你在同一个页面上同时测试标题、按钮颜色、图片三个变量，每个变量两个版本，组合起来就是8个版本。样本会被严重稀释，每个组合分到的流量很少，很难得出可靠结论。建议一次只测一个核心变量。

第五，忽略业务周期。如果你的网站有明显的周内波动（比如工作日和周末转化率差异大），测试周期至少要覆盖一个完整的业务周期，通常建议至少一到两周，避免结论被周期效应干扰。

六、不同场景下的样本量参考范围

给大家一个直观的参考。假设基线转化率5%：

如果你想检测10%的相对提升（绝对提升0.5个百分点），每组大约需要15000-16000样本。如果想检测30%的相对提升（绝对提升1.5个百分点），每组只需要约2000样本。提升幅度越大，需要的样本越少，这是反直觉但很重要的一点。

如果基线转化率本身很低，比如只有1%，那检测同样的相对提升需要的样本量会更大，因为低转化率意味着方差更大，数据更"噪"。反过来，如果基线是30%，同样的相对提升需要的样本量会小很多。

对于连续型指标（比如客单价、页面停留时长），不能用比例检验，要用t检验或者非参数检验，样本量计算方式也不同，需要估计标准差而不是转化率。但核心逻辑是一样的：效应越小、方差越大、要求越严格，需要的样本就越多。

七、什么时候该用贝叶斯方法替代传统检验

传统的频率学派方法（就是上面讲的Z检验、p值那套）有一个问题：它只能告诉你"差异是否显著"，不能告诉你"B版本比A版本好的概率是多少"。贝叶斯AB测试可以直接给出这个概率，比如"B版本有95%的概率比A版本好"，对业务决策更直观。

贝叶斯方法不需要提前算样本量，可以随时看结果，也不存在"窥探问题"。但它需要设定先验分布，对新手来说有一定门槛。如果你的团队有数据分析能力，建议尝试；如果没有，用传统方法严格执行也完全够用。

八、总结：一套可执行的AB测试流程

把上面的内容串起来，一个规范的AB测试应该这样做：第一步，明确测试目标和核心指标。第二步，根据历史数据估计基线转化率。第三步，确定你能接受的最小可检测效应（MDE）。第四步，用公式或工具算出每组所需样本量。第五步，确保流量随机分配，开始测试。第六步，达到样本量后用Z检验或t检验做显著性判断。第七步，结合统计显著性和业务实际效果做决策。第八步，如果上线了，持续监控长期效果，因为短期提升不一定能持续。

AB测试不是玄学，是数学。样本量算对了、检验方法用对了、执行流程规范了，你的每一次测试结论都是有底气的。反之，拍脑袋做的测试，花了时间和流量，最后可能什么都没学到。把这套方法用起来，网站运营的优化效率会有质的提升。