如何确定网站A/B测试的测试周期？

一、确定测试周期的核心原则：拒绝 “固定思维”，坚持 “数据达标”

1. 统计显著性优先：必须达到「95% 以上置信度」+「80% 以上统计功效」（行业通用标准），否则结果可能是随机波动，而非真实差异。
2. 覆盖完整用户周期：避免因 “局部时间偏差”（如仅测工作日、忽略周末）导致结果失真，需覆盖 1 个完整的用户行为周期（如周度、月度）。

二、影响测试周期的 4 个关键因素（附实操方法）

1. 测试目标的 “转化频率”：转化越靠后，周期越长

2. 样本量需求：用 “样本量计算器” 精准估算

• 什么是 “有效样本”：仅统计 “真正参与测试的用户”（排除机器人、重复访问、未完整浏览页面的用户）。
• 如何估算样本量：用行业通用的「A/B 测试样本量计算器」（如 Optimizely Sample Size Calculator、Google Optimize 内置工具），输入 3 个关键参数：
  1. 基准转化率（Baseline Conversion Rate）：测试前，当前版本（A 版）的转化数据（如过去 30 天的平均转化率）。
  2. 小可检测效应（MDE）：你希望检测到的 “小有意义差异”（如希望提升 5% 的转化率，MDE 即 5%）。MDE 越小，所需样本量越大，周期越长。
  3. 置信度（Confidence Level）：默认 95%（即结果有 95% 概率是真实的，而非随机）。

3. 网站流量规模：流量越高，周期越短

4. 用户行为周期：必须覆盖 1 个 “完整周期”

• 周度周期：多数网站（如电商、内容站）存在 “周末流量高、转化高”“工作日流量平稳” 的规律。若只测 “周一 - 周五”（5 天），会低估周末的转化表现，结果不准确。
  → 建议：至少覆盖 1 个完整周（7 天），若测试目标是 “高频行为”（如点击），7 天足够；若为 “低频行为”（如购买），可覆盖 2 个周（14 天）。
• 月度周期：部分行业有 “月度规律”（如工资日消费高峰、月底促销转化高），如金融类网站（理财购买）、母婴类网站（奶粉囤货）。
  → 建议：若测试目标与月度行为强相关（如 “理财产品注册”），需覆盖 1 个完整月（30 天），避免错过关键转化节点。
• 特殊周期：避开节假日、大促（如 618、双 11）、平台活动等 “干扰期”—— 这些时期用户行为异常（如冲动消费），测试结果无法复现，需暂停测试或延长周期（待活动结束后补测）。

三、确定测试周期的实操流程（5 步走）

1. 明确测试目标与基准数据
   先确定 “测什么”（如 “商品详情页按钮文案”）和 “评什么”（如 “加购转化率”），并提取过去 30 天的基准转化率（如加购率 3%）。
2. 用计算器估算样本量
   输入基准转化率（3%）、MDE（如 5%）、置信度（95%），得出每组需 10000 个样本（示例）。
3. 结合流量算 “理论周期”
   若网站日均流量 2000，分流量 50%（A/B 各 1000 人 / 天），则每组需 10 天（10000÷1000=10 天），理论周期为 10 天。
4. 叠加 “用户行为周期” 修正
   若测试目标（加购）有周度规律，理论周期 10 天已覆盖 1 个完整周（7 天），无需额外延长；若理论周期仅 5 天（未覆盖周末），则需延长至 7 天。
5. 实时监测统计显著性，达标即结束
   测试启动后，每天查看统计工具（如 Google Analytics、Optimizely）的 “置信度” 和 “统计功效”：
   • 若达到 95% 置信度 + 80% 功效，且已覆盖完整用户周期，即可结束测试；
   • 若未达标，继续延长周期（多不超过 30 天，若 30 天仍不达标，需重新审视测试设计，如是否 MDE 设得太小、目标是否太浅）。

四、常见误区：这些 “定周期” 的方式不可取

1. “固定 7 天，到点就停”：若 7 天未达统计显著性，结果不可信；若 2 天就达标，硬等 7 天会浪费流量。
2. “看到 B 版比 A 版好就停”：初期数据可能是随机波动（如前 2 天 B 版转化高，后 3 天又低于 A 版），过早停止会得出错误结论。
3. “低流量网站强行缩短周期”：如日均 500 流量，硬把周期定 7 天，样本仅 3500，未达统计标准，优化决策易出错。

总结