邮件 A/B 测试的科学：统计显著性与实验设计
A/B 测试不是「随便发两版看哪个好」，而是有假设、有样本、有结论的科学方法。很多团队的结论其实是噪声。
一、一次只改一个变量
如果你同时改了标题和发送时间，赢了也不知道是谁的功劳。变量要单一：标题的利益点 vs 好奇点、有无数字、有无 emoji、长短句，逐一验证。
二、样本量与显著性
样本太小，差异可能只是随机波动。在下结论前，要确认样本量足够、置信水平达标（常用 95%）。可用在线样本量计算器预先估算需要多少发送量，避免提前叫停得出错误结论。
| 错误做法 | 正确做法 |
|---|---|
| 发 200 封就下结论 | 按样本量公式算够再停 |
| 同时测标题+图片 | 一次只测一个变量 |
| 赢家直接定死 | 赢家进入下一轮继续优化 |
三、变量选择的优先级
ROI 从高到低：标题（决定打开）> 发送时间/频率 > CTA 文案与设计 > 正文排版。优先测高杠杆变量，更快拿到可复用的洞见。
四、避开干扰
节假日、大促、名单结构突变都会污染实验。保持对照组与实验组在同期、同名单上对比，排除外部因素后再解读结果。
本文由邮件营销知识库整理发布，供运营参考。
