什么是 A/B 测试?新手入门指南:6 步流程、统计显著性与样本量

HeatMapX Engineering Team43 min read
  • ab-testing
  • cro
  • how-to
  • beginners

文章摘要

  • A/B 测试是一种方法:将访客随机分流,在同一时期分别展示原页面(A)和修改后的页面(B),再用数据比较哪一个效果更好
  • 简单的前后对比,无法把改动本身的效果与季节、广告、星期几等因素的影响区分开。同时运行两个版本,正是 A/B 测试的核心
  • 流程分为 6 步:目标与指标 → 假设 → 制作变体 → 运行 → 判断 → 应用。所需样本量(数据量)和测试时长要在开始前确定
  • “统计显著性”是判断差异是否难以仅用随机波动来解释的参考标准。p 值不是“B 获胜的概率”
  • 多数失败源于“反复查看结果并提前结束”“一次改动太多”和“测试时间太短”
  • 流量较低的网站也可以转换思路,例如聚焦幅度更大的改动,或者观察更靠前环节的指标,从而获得更多参考依据

“把标题改一下,也许注册的人会更多。”“按钮是不是应该放在页面更靠上的位置?”运营网站时,改进的想法层出不穷。但一项改动最终会让情况变好还是变坏,不试一下就无从知道。而且即使改动之后数字上升了,也往往无法判断功劳该归于这次改动,还是恰好那一周增加了广告投放。

想要把某项改动的效果与其他因素分开确认时,就要用到 A/B 测试。

本文先讲解 A/B 测试的含义和原理,然后依次介绍实际操作的步骤、假设的写法、需要多少数据和时间、“显著差异”究竟是什么意思,以及新手最常犯的错误。文中会涉及一些统计知识,但公式尽量精简,以理解思路为先。本文所有计算示例均使用为说明而设定的假设数字。

什么是 A/B 测试?

A/B 测试是将页面的两个版本随机展示给访客,并利用同一时期的数据比较哪一个效果更好的方法。它有时也被称为“分割测试(split testing)”。

  • A(对照组 / 原版本):当前的页面,是比较的基准
  • B(变体 / 修改版本):对页面的一部分做了修改的页面,是你想尝试的方案

例如,把 A 版本展示给一半访客,把 B 版本展示给另一半,然后比较各组完成注册的比例。这个比例称为转化率(CVR)。转化是指访客在网站上完成的你期望的行为,例如购买、注册、索取资料等。

“A/B 测试”这个名称来自两个版本的比较,但也可以同时比较三个或更多版本(称为 A/B/n 测试)。思路是一样的。

原理:随机分流,同时比较

A/B 测试之所以成立,靠的是三个机制。

A/B 测试的原理:访客被随机分到 A 和 B,两个版本在同一时期展示,并比较转化率(数字为示例)

1. 访客被随机分配。访客看到 A 还是 B,由工具使用随机数决定。不是人为选择,也不是“上午 A、下午 B”这样的规则。随机分配意味着访客之间的差异,例如新访客与回访访客、手机与电脑、来自广告的人与来自搜索的人,会以大致相同的比例混合在 A 和 B 两组中。

2. 两个版本在同一时期运行。A 和 B 同时投放。因此促销、季节、电视节目提及、星期几的波动等外部影响,会以相同的方式作用于 A 和 B。

3. 同一个人始终看到同一个版本。如果被分到 B 的人下次访问时看到了 A,就无法判断是哪个版本影响了他的注册。因此,多数工具会利用保存在浏览器中的标记(例如 Cookie),让同一位访客始终看到同一个版本。

当这三个条件都满足时,A 和 B 之间唯一的区别就是“你在页面上改动的内容”。所以当结果出现差异时,更容易把差异归因于这次改动。这与用于检验药物效果的随机对照试验是同一种思路,只是应用到了网站上。

为什么需要 A/B 测试:前后对比无法告诉你的事

你可能会想:“为什么不直接修改页面,然后对比改动前后的数字,非要把访客分流呢?”这种做法叫作前后对比。它很简单,但有一个很大的弱点:无法把改动本身的效果与其他因素区分开。

即使页面没有任何改动,网站的数字每天也会有变化。导致数字变动的因素包括:

  • 季节与活动:奖金季、财年末、节假日、天气等
  • 广告与营销活动:广告投入的增减、广告落地页的变更、邮件通讯的发送
  • 星期几与时段:工作日和周末的访客,其类型和目的可能不同
  • 流量来源的变化:搜索排名的变动、在社交媒体上走红、其他网站的引荐
  • 竞争对手与市场:竞争对手的降价、新闻报道

在前后对比中,只要上述任何一项与改动之后的时期重叠,你就无法判断数字的变化来自改动,还是来自别的原因。即使改动后数字上升了,也有可能这次改动本身其实起了反作用,只是广告增加掩盖了这一点。

A/B 测试在同一时期投放 A 和 B,所以这些因素对两者的影响是相同的。然后你只需查看剩下的差异,就更容易单独分离出改动的效果。

示意图:在前后对比中,广告等因素的影响会与改动的效果混在一起;而在 A/B 测试中,两个版本在同一时期比较,只剩下差异

另一个原因是,制作者的直觉与访客的反应常常对不上。内部所有人都认为“更容易理解”的方案,到了真实访客面前却反响平平,这并不少见。A/B 测试也是一种依据访客实际行为来做决定的方式,而不是看谁嗓门大或谁的职位高。

A/B 测试能告诉你什么,不能告诉你什么

A/B 测试很强大,但它并不能告诉你一切。开始之前先了解它擅长什么、不擅长什么,有助于避免误读结果。

能告诉你的

  • 某项改动是提高、降低还是几乎没有改变你所选的指标(例如注册率)
  • 差异是否大到仅凭随机波动难以解释

不能告诉你的,或者不擅长的

  • 为什么会有差异:原因只是推测。请结合其他数据一起考虑
  • 长期效果:它只能看到测试期间的行为。对于几个月后的留存率或退订率,往往无法得知
  • 与未测试方案的比较:你能知道 A 和 B 哪个更好,却不知道是否存在更好的方案 C
  • 低流量页面上的小幅改进:数据可能不足,无论差异是否存在都无法判断(下文相关章节会讲应对方法)

此外,A/B 测试是“检验想法的工具”,而不是“产生好想法的工具”。你所测试的想法质量,取决于你如何构建假设。

A/B 测试的类型:与多变量测试、重定向测试有何不同

即使在“A/B 测试”之内,也有几种相关的方法。下面介绍最常遇到的几种。

类型 比较内容 最适合的场景 注意事项
A/B 测试 同一 URL 下,改动了某一部分的不同版本 检验单项改动的效果,如标题、按钮或图片 基本形式,从这里开始
A/B/n 测试 三个或更多版本 有多个标题候选,想一次性比较 版本越多,每个版本的数据越少,测试时间越长
多变量测试 多个元素的组合(例如 2 个标题 × 2 张图片 = 4 种组合) 想知道哪种元素组合效果最好 每种组合都需要数据,适合高流量页面
重定向测试(分割 URL 测试) 在不同 URL 上制作的设计不同的页面 想把版式大幅不同的新页面与现有页面比较 重定向可能会让显示略有延迟,还需要考虑搜索引擎
A/A 测试 两个完全相同的版本 想检查工具的流量分配和测量是否正常 用于检查而非改进的测试

多变量测试会同时改动多个元素,并比较每种组合的结果。它甚至能显示元素之间的搭配效果,例如“这个标题配这张图片效果最好”。不过,3 个标题、3 张图片和 2 个按钮就会有 18 种组合,而每种组合都需要足够的数据。对于流量有限的网站,依次进行 A/B 测试更为现实。

重定向测试会把一部分访客引导到另一个 URL 并比较结果,也称为分割 URL 测试。它适合页面结构本身重构这类大幅改动。而在同一 URL 上改写元素的普通 A/B 测试,则适合快速尝试措辞或颜色这类小改动。

在网页之外,发送两个版本的邮件主题或广告素材并比较反应,也被称为 A/B 测试。本文讲的是网页的 A/B 测试。

A/B 测试可以测试什么

可以测试的元素有很多。下面是典型的几类。

  • 标题(主文案):从描述功能改为描述访客能得到的结果。目的是在最初几秒内传达“这与我有关”
  • CTA(行动号召按钮):改变文案、位置、大小或颜色。目的是让下一步行动清晰明确
  • 主图或视频:比较单独的产品照片和使用场景中的照片。目的是直观传达价值
  • 表单:减少字段数量、分步填写、添加输入示例。目的是减少操作负担和犹豫
  • 价格的展示方式:月付价和年付价的排布方式、套餐的顺序、含税价的显示位置。目的是让比较和决策更容易
  • 建立信任的信息:客户案例、用户评价、保障与支持信息的位置。目的是在注册前减少顾虑
  • 版式与信息顺序:把关键信息上移、缩短过长的页面。目的是帮助访客更快找到所需信息
  • 导航:改变菜单项的数量或措辞。目的是减少困惑,引导访客到达想去的页面

CTA 是“Call To Action”的缩写,指促使访客行动的按钮或链接,例如“注册”“索取资料”。

原则上,应根据与成果的接近程度和被看到的多少来决定从哪里入手。像注册按钮和表单这类与成果直接相关的位置,以及许多访客都会看到的页面顶部,是改动最有可能见效的地方。相反,在大多数人根本看不到的页面底部做的小改动,即使有效也要花很长时间才能检测出来。

“按钮颜色”常被当作 A/B 测试的例子,但仅仅改变颜色不一定会带来很大的差异。比颜色本身更重要的,是问题是否在于按钮与周围融为一体、没有被注意到。改什么应该从假设倒推,这一点下面会讲。

如何开展 A/B 测试【6 步】

A/B 测试按以下 6 步进行。重要的是,在开始运行之前,就确定好指标、所需数据量、时长和判断标准。

设定目标与指标

把想要改进的内容收敛为一件事,并确定衡量它的指标。要用能用数字衡量的方式来表述,例如“提高索取资料的完成率”。用于判断的指标只用一个(主要指标)。

形成假设

写下“问题出在哪里、要改什么以及怎么改、为什么认为这样会改善”。基于网站分析和热力图等数据,可以减少猜测。

制作要测试的变体

根据假设制作修改后的版本(B)。为了能判断是什么起了作用,请把改动限制在一个假设所涵盖的范围内。同时检查它在手机和电脑上的显示效果。

确定所需数据量和时长,然后运行

估算所需的样本量和测试时长,确定流量分配比例,然后开始。刚开始后,要检查流量分配和测量是否正常工作。

期满后做出判断

只有在达到事先确定的时长和数据量之后,才查看结果。检查主要指标的差异,以及该差异是否在随机波动所能解释的范围之内。

应用结果,进入下一个假设

正式采用表现更好的版本,并清理测试设置。即使没有差异,也要记录所学到的内容,并用于下一个假设。

下面各节将更详细地讲解每一步背后的思路。

如何选择目标与指标

按照作用来整理指标会很有帮助。

  • 主要指标:决定测试胜负的指标。只选一个。例如购买完成率、索取资料完成率、免费注册率
  • 次要指标:用来理解主要指标为何变化的指标。例如按钮点击率、表单开始填写率、滚动深度
  • 护栏指标:用来确保没有变差的监控指标。例如跳出率、页面加载速度、退货或退订、咨询数量

只限定一个主要指标的原因是:如果把许多指标摆在一起,只要其中任何一个改善就算成功,那么很可能挑中一个纯属偶然而看起来更好的指标。这就是“多重比较”问题,后文还会再次提到。

选择主要指标时,要尽可能贴近业务成果。有时按钮点击率上升了,注册却没有增加。引人点击的文案会让更多人按下按钮,但如果后续内容与他们的预期不符,他们就会离开。

另一方面,购买或签约这类发生次数少的指标,收集足够数据需要更长时间。对于流量有限的网站,一种做法是把更靠前环节的指标(例如到达表单)作为主要指标。这时,需要牢记一个前提:“即使靠前环节的指标改善了,最终成果也不一定会改善”。

假设的写法:把行为数据变成改动的理由

A/B 测试能否成功,很大程度上取决于假设的质量。如果没有假设就不断尝试各种点子,最后只会得到一连串没有差异的测试,即使有差异,也无法在此基础上继续积累。

按以下形式书写假设,可以减少疏漏。

“从(数据中看到的事实),我们认为(对问题的推测)。所以如果(做出这项改动),(这个指标)应该会改善。”

举个例子,假设有如下情形(假设情景)。

  • 事实:在价格页面上,很少有访客滚动到足以看到注册按钮的位置
  • 对问题的推测:按钮位置太靠下,所以即使想注册的访客也找不到
  • 改动:在套餐表格的正下方也放置一个注册按钮
  • 指标:注册完成率

这样写,等结果出来之后你就可以回头检查,到底是“推测错了,还是改动力度不够”。

可以为假设提供依据的数据包括以下几类。

  • 网站分析:哪些页面流失很多,哪些流量来源的成果较低。适合找出哪个“页面”有问题
  • 热力图:人们阅读到页面的多深、在哪里点击、是否点击了并非链接的内容。适合找出哪个“位置”有问题
  • 咨询以及销售或客服记录:访客对什么感到困惑和担心
  • 对用户的问卷调查和访谈:提供数字中看不出的原因线索

热力图是一种把访客行为以颜色深浅的区域叠加在页面上的工具(类型和读法见什么是热力图?)。它可以帮你发现页面内的问题点,例如“重要按钮没有被点击”或“许多人读到一半就停了”。关于分工,即用热力图发现问题、用 A/B 测试验证修改,请参阅热力图与 A/B 测试:区别与使用方法。

当有多个假设时,可以按“预期影响的大小”“证据的强度”和“实施所需的工作量”这三点排序。优先处理预期影响大、工作量小的假设,会更容易推进。

理解样本量

样本量是测试所需的数据量,也就是看到每个版本的访客数量。在 A/B 测试中,要在运行之前估算好。如果数据太少,你更常会漏掉真实存在的差异,而且即使碰巧出现了显著差异,其大小也往往看起来比实际更大。

所需样本量主要由以下四个因素决定。

  1. 当前转化率:转化率越低,需要的数据越多
  2. 想要检测的差异大小:想发现的差异越小,需要的数据越多。想要能够检测到的最小差异(比它更小的差异漏掉也无妨)称为最小可检测效应(MDE)
  3. 显著性水平:你愿意接受多大程度的“明明没有差异却宣称有差异”的错误。常用 5%
  4. 统计功效:真实存在差异时能够发现它的概率。常用 80%

其中,第二项影响最大。当想要发现的差异缩小一半时,所需数据量大约增加到 4 倍。

下面用一个计算示例来帮助你建立大致概念。以下是假设当前转化率为 2.0% 时,每个版本所需访客数的大致数字(使用比较两个比例的标准公式计算,采用双侧检验、5% 显著性水平和 80% 统计功效)。

想要检测的提升幅度(相对) 改动后的转化率 每个版本所需访客数(约)
+10% 2.0% → 2.2% 约 80,700
+20% 2.0% → 2.4% 约 21,100
+30% 2.0% → 2.6% 约 9,800
+50% 2.0% → 3.0% 约 3,800

想要检测的提升幅度所对应的所需样本量:+10% 约 80,700,+20% 约 21,100,+30% 约 9,800,+50% 约 3,800

这张表说明了两件事。第一,确认小幅提升所需的数据比你想象的要多。要在转化率为 2.0% 的页面上确认 10% 的提升,A 和 B 加起来需要超过 160,000 名访客。第二,改动的目标提升幅度越大,判断所需的数据就越少。

实际估算时,使用 A/B 测试工具内置的计算器或公开的样本量计算器,只需输入这四个值就能得到答案。你不需要背公式。重要的是先确定“我想发现多大的差异”,然后检查你网站的流量能否在合理的时间内达到。

如果估算出的所需数量太大,除了放弃测试,还有其他选择:聚焦于可能产生更大差异的改动、在高流量页面上测试,或者观察漏斗中更靠前环节的指标。“流量低的网站怎么办”一节会讲具体做法。

如何确定测试时长

用所需样本量除以测试页面每天的访客数,就能估算出测试时长。

举个例子。假设上表显示你需要“每个版本约 21,100”。目标页面每天有 1,000 名访客,假设所有人都纳入测试,并在 A 和 B 之间对半分配,则每个版本每天 500 人。21,100 ÷ 500 约为 42 天,也就是约 6 周。

确定时长时,除了数据量,还要考虑以下几点。

以整周为单位。访客行为会随星期几变化。工作日可能是为工作做调研,周末则是个人购物,因此访客的类型和目的可能不同。如果只测了周一到周四这四天就结束,就缺少了周末访客的反应。从同一个星期几开始、在同一个星期几结束,以 7 天的倍数为单位,可以避免星期几带来的偏差。

避免时间过短。即使是在几天内就能达到所需数量的超高流量网站,常见的经验法则也是至少运行 1 周,最好是 2 周。除了星期几偏差之外,改动刚上线时,仅仅因为它是新的,反应可能就更好(或者因为回访访客不适应而更差)。

也要避免时间过长。测试运行得越久,干扰就越容易出现,例如 Cookie 被删除导致同一个人看到不同版本,或者季节和市场状况发生变化。如果你的估算结果远超过 2 个月,我们建议重新审视测试的设计(想要检测的差异大小、目标页面和指标)。

避开特殊时期。在大型促销或年末假期等访客行为与平时大不相同的时期得到的结果,可能不适用于平常时期。除非你想检验该时期特有的举措,否则避开它们更稳妥。

什么是统计显著性?p 值和置信水平的通俗解释

测试结束后,你会得到类似“A 是 2.0%,B 是 2.4%”的结果。这时需要思考的是,这个差异是真实的,还是只是偶然。

即使把完全相同的页面展示给两组人,他们的转化率也几乎不会完全一致。就像抛 100 次硬币不一定正好出现 50 次正面一样,数字存在随机波动。因此,你需要一套流程来检验“观察到的差异是否在仅靠随机波动就能解释的范围之内”。这就是统计假设检验,其结论所用的术语是统计显著性。

什么是 p 值?

在检验中,你首先假设“A 和 B 之间确实没有差异”。然后计算如果确实没有差异,偶然看到至少与观察到的差异一样大的差异的概率。这个概率就是 p 值。

  • p 值小 → 在没有差异的假设下,很少会出现这样的差异 → “没有差异”的假设看起来可疑
  • p 值大 → 即使没有差异,这么大的差异也经常因偶然而出现 → 不能说存在差异

显著性水平与置信水平

p 值需要小到什么程度才能断定“存在差异”,这个门槛称为显著性水平。按惯例,常用 5%(0.05)。当 p 值低于显著性水平时,我们就说“存在统计上显著的差异”。

在 A/B 测试工具的界面上,经常能看到“95% 置信水平”或“95% 置信度”之类的显示。这通常意味着工具是以 5% 的显著性水平在做判断(显示的含义因工具而异,请查阅你所用工具的文档)。

5% 的显著性水平是一种约定:“我们接受最多 5% 的概率,在其实没有差异时宣称存在差异。”换个说法,如果你测试 20 项完全没有效果的改动,平均会有 1 项被显示为“显著”。显著差异并不是确定无疑的证明,而是把出错的可能性控制在设定水平以下的参考标准。

关于 p 值的常见误解

其他常见的误解还有以下几种。

  • “不显著”不等于“没有差异”:这也包括数据不足、无法判断是否存在差异的情形
  • 显著的差异不一定是对你的业务有意义的大小:当数据量非常大时,即使微小的差异也会变得显著。也要看差异的大小
  • p 值越小不代表效果越大:p 值还取决于数据量

用计算示例来验证

我们用假设的数字来验证。假设 A 和 B 各分配了 10,000 名访客。

  • 示例 1:A 有 200 次转化(2.0%),B 有 240 次(2.4%)。p 值约为 0.054,刚好高于 5% 的显著性水平。尽管能看到 20% 的相对差异,但在这个数据量下还不能称为“显著”
  • 示例 2:A 有 200 次转化(2.0%),B 有 250 次(2.5%)。p 值约为 0.017,低于 5% 的显著性水平

比例相同时,如果数据更少,结论就会改变。如果 A 和 B 各有 1,000 名访客,A 有 20 次转化(2.0%),B 有 24 次(2.4%),则 p 值约为 0.54。这意味着即使没有差异,这么大的差距也有一半以上的时候会因偶然而出现。

(以上全部是用两个比例之差的双侧检验计算出的示例。实际判断时,请遵循你所用工具的方法。)

也要看置信区间

p 值容易变成“显著还是不显著”的是非题,而查看置信区间可以让你感受到差异的大小。置信区间是真实差异被认为可能落入的范围。

在上面的示例 1 中,转化率之差(B 减 A)为 0.4 个百分点,95% 置信区间大致为 −0.01 到 +0.81 个百分点。由于区间刚好跨过零点,可以解读为“B 看起来更好,但无法排除没有差异的可能”。区间很宽,说明数据还不够。

三个计算示例中转化率之差及其 95% 置信区间。区间跨过零点的示例不能称为显著

有些工具显示“B 胜过 A 的概率”

有些工具不显示 p 值,而是显示类似“B 胜过 A 的概率”的数字。这个值基于一种称为贝叶斯统计的不同方法,其前提和含义与 p 值不同。两者并无简单的对错之分,只是不同的学派。重要的是确认你看到的数字采用的是哪种方法,不要把它们混同为同一类数字。

如何解读结果以及测试之后该做什么

期满之后,请按以下顺序检查结果。

  1. 流量分配是否按设计进行:如果设置了对半分配,A 和 B 的访客数是否严重失衡?如果失衡很大,分配或测量可能存在问题,直接相信结果是危险的
  2. 主要指标的差异及其显著性:差异的方向、大小、p 值和置信区间
  3. 护栏指标:主要指标改善的同时,其他重要数字是否变差了?
  4. 次要指标:用于思考为什么会得到这样结果的线索

结果大致分为三种情况。

B 显著更好。正式采用 B。应用之后继续观察一段时间的数字,确认与测试期间的趋势一致。

B 显著更差。保留 A。这不是失败,这个结果意味着你在向所有人展示之前阻止了一项糟糕的改动。思考它为什么更差,会提高下一个假设的准确度。

没有显著差异。在 A/B 测试中,这是最常见的结果之一。此时,请避免在计划期满后“延长测试直到变得显著”(下一节会解释原因)。没有差异时,要分清楚是假设错了、改动太小,还是数据不足。如果两种结果相同,选择更容易运营或更符合品牌规范的那个也没问题。

按设备或流量来源拆分查看结果(细分分析)也很有用,但需要谨慎。切分得越细,每组的数据就越少,也就越容易捕捉到偶然的差异。把切分后发现的趋势当作“接下来要验证的假设”,而不是“结论”,会更安全。

最后,请保留测试记录。把假设、改动、时长、数据量、结果和心得集中放在一处,可以避免重复同样的测试,并且即使负责人更换,也能传承所学到的东西。

A/B 测试的常见错误及避免方法

由于 A/B 测试的机制很简单,方法不对就可能得出一个带着看似可信数字的错误结论。下面是典型的错误。

常见错误 问题所在 对策
反复查看结果,一旦变显著就立刻停止 把偶然的差异称为“显著”的错误,会比你设定的显著性水平更频繁地出现 事先确定所需数据量和时长,达到之后再判断
一次改动多个元素 即使有差异,也无法判断是什么起了作用 把改动限制在一个假设所涵盖的范围内
测试时间短 结果会受星期几偏差和改动刚上线时的短暂反应左右 以 7 天的倍数运行,至少 1 到 2 周
在低流量下做判断 随机波动大,结论不稳定 事先估算所需数量,不够就重新考虑设计
星期几或季节性偏差 只用工作日或只用促销期的结果,不适用于平时 从同一个星期几开始和结束,避开特殊时期
罗列许多指标和许多变体,然后只挑好的那个 比较的次数越多,越有可能因偶然而看起来不错 确定一个主要指标,并限制变体的数量
没有假设就开始测试 即使有了结果,也没有可供积累的收获 开始之前写明事实、问题、改动和指标
中途更改设置或变体 前后数据的性质发生变化,无法比较 如果想改动,就停止并作为新测试重新开始

尤其要小心的是第一项,即“偷看(peeking)”问题。几乎每天查看测试的中期进展,本身是尽早发现问题所必需的。问题在于,一旦中期结果显示出显著差异,就立刻停止测试并宣布获胜。

随着数据的积累,p 值会上下波动。即使确实没有差异,只要你查看很多次,它也可能在某个时刻碰巧低于显著性水平。如果你在那一刻停止,“没有差异却宣称有差异的错误”就会比你预期的 5% 更频繁地发生。等到达到事先确定的数据量和时长再做判断,这条规则正是为了防止这种错误。

有些工具还提供即使中途判断也不会增加错误的判断方法(例如所谓的序贯检验)。这种情况下,请遵循工具提供的流程。

关于“一次改动多个元素”再补充一点。即使同时改动标题、图片和按钮的 B 获胜了,你也不知道是哪一个起了作用。有可能标题很好,但图片拖了后腿。不过,如果你的目标是将完全重做的页面与现有页面比较,那么一起改动是合理的。此时请接受“不会知道是哪个元素起了作用”,并通过重定向测试之类的方式进行比较。

流量分配比例与 A/B 分配比例的思路

设置 A/B 测试时会出现两个“百分比”设置。它们很容易混淆,所以要分开理解。

  • 流量分配比例(纳入实验的访客比例):全部访客中有多少百分比被纳入测试。测试之外的访客看到的仍是原页面
  • A/B 分配比例:被纳入测试的访客在 A 和 B 之间按什么比例划分

例如,如果把流量分配比例设为 20%,A/B 分配比例设为对半分,那么全部访客中有 80% 在测试之外、看到原页面,10% 在测试中并看到 A,另外 10% 看到 B。

流量分配比例 20%、A/B 分配比例对半分的示例:全部访客中 80% 在测试之外,10% 看到 A,10% 看到 B

A/B 对半分配是默认设置。在访客数量相同的情况下,均匀分配收集所需数据最快。你也可以给 B 分配较小的份额,但必须等到较小的那一方收集到足够的数据,所以时长会变长。

应在风险与时长之间权衡来选择流量分配比例。降低流量分配比例,可以在改动适得其反时减少受影响的访客数量。代价是测试中的访客更少,所以收集所需数据要花更长时间。常见的做法是:对影响难以预料的大幅改动,先用较低的流量分配比例开始,确认没有问题后,如果一切顺利再扩大。对于影响很小的改动,例如替换一些措辞,从一开始就纳入所有人并缩短时长会更合理。

这两个百分比的区别在A/B 测试中的分流比例与 A/B 分配比例中有详细解释,设计思路则见为什么分流比例和 A/B 分配比例应该是独立的设置。

A/B 测试与 SEO:限制对搜索的影响

一个常见的担忧是“A/B 测试会不会损害我的搜索排名”。Google 在 Google 搜索中心文档中发布了关于如何在开展测试的同时限制对搜索的影响的指南。要点如下。

  • 不要做伪装(cloaking):有意向搜索引擎爬虫(访问并读取页面的程序)和真人访客展示不同的内容,称为伪装,这违反垃圾内容政策。无论是否正在进行测试,这一点都成立。请避免任何仅向爬虫展示某个特定版本的设置
  • 对分设在不同 URL 的测试使用 rel="canonical":当像重定向测试那样跨多个 URL 测试时,请在测试 URL 上添加 rel="canonical"(一种告诉搜索引擎首选 URL 的标签),以表明原 URL 是应优先处理的页面。为此,Google 推荐使用 rel="canonical" 而不是 noindex
  • 重定向时使用临时重定向(302):从原 URL 重定向到测试 URL 时,请使用表示临时重定向的 302,而不是表示永久重定向的 301。JavaScript 重定向也被认为是可以的
  • 只在必要的时间内运行测试:收集到足够的数据后,请尽快结束测试,并移除测试 URL、脚本等。Google 解释说,测试运行的时间超过必要的长度,可能会被解读为企图欺骗搜索引擎

换句话说,不让测试一直挂着,不仅对统计很重要,对搜索也很重要。请把整个流程做完:清理已经结束的测试,并把采用的版本应用到网站本身。

请注意,这里介绍的只是 Google 已发布指南的概述。对搜索排名的影响因网站而异,因此在开展涉及大幅改动的测试之前,我们建议同时查看原始文档和你所用工具的文档。

流量低的网站怎么办

正如我们在样本量一节中看到的,A/B 测试需要相当多的数据。那么,对于每月只有几千名访客的网站,A/B 测试就没有意义了吗?未必。转换思路可以让你获得更多参考依据。

测试大幅改动。想要发现的差异越大,所需数据就越少。与其微调按钮文案这类小改动,不如聚焦于能产生大差异的改动:改变核心卖点、重组页面结构,或大幅削减表单字段。

在高流量页面上测试。即使整个网站流量不大,也应该存在访客集中的页面。请选择访客最多的位置,例如首页或接收广告流量的页面。

使用更靠前环节的指标。购买和签约的数量很少,因此要检测出差异需要时间。把更频繁发生的靠前行为作为主要指标,例如“到达表单”或“进入价格页面”,可以降低所需的数据量。只需记住,靠前环节指标的改善不一定会带来最终成果的改善。

只保留两个变体。增加第三个、第四个会减少每个变体的数据量。流量低的时候,只比较 A 和 B。

将流量分配比例设为 100%,A/B 分配比例设为对半分。缩小受众范围或使用不均等的分配,都会拉长时长。

给予更长的周期,如果这样仍然不够,就接受局限。如果即使给出约 4 到 8 周也无法达到所需数量,你还需要做出决定:不要执意用 A/B 测试来定论。

当 A/B 测试不太适合时,其他方法可以提供帮助。

  • 用热力图观察行为:即使流量很少,你也能大致了解“人们没有读到哪里”和“没有点击哪里”
  • 直接询问用户:只要让几个人使用这个页面,同时观察他们在哪里卡住,就能发现许多问题
  • 无需测试就修复明显的问题:失效的链接、难以阅读的文字、无法使用的按钮之类,很难想象修复它们会让情况变差,不需要等待验证

A/B 测试工具的类型与选择方法

要开展 A/B 测试,需要一个处理流量分配、切换展示内容、测量和报告的工具。就工作方式而言,大致有两种类型。

客户端

  • 工作方式:在页面中添加一段标签(用于测量的一小段代码),页面的一部分会在访客的浏览器中被改写
  • 主要由谁负责:营销人员和网站运营人员。许多工具允许通过屏幕操作来创建改动
  • 适合:措辞、图片、颜色和版式等视觉上的改动
  • 注意:可能出现“闪烁”,即在改写之前,原始显示会短暂可见

服务器端

  • 工作方式:由服务器端代码为每位访客切换所显示的内容
  • 主要由谁负责:工程师。需要修改代码
  • 适合:涉及后端处理的改动,例如价格计算、搜索或排序的工作方式,以及应用功能
  • 注意:设置和运营需要投入开发工作量

对于本文设想的用途,即在网页上尝试标题和按钮,客户端工具是首选。

选择工具时,请检查以下几点。

  • 是可以通过屏幕操作创建改动,还是需要编写代码
  • 它使用哪种统计方法进行判断,以及如何显示结果
  • 能否分别设置流量分配比例和 A/B 分配比例
  • 是否支持重定向测试
  • 定价随什么而变化(访客数量、追踪事件数量、用户数量等)
  • 能否与你用于构建假设的数据(例如热力图)一起查看

Google Optimize 的终结

曾作为免费 A/B 测试工具被广泛使用的 Google Optimize,已于 2023 年 9 月停止服务。原先使用 Google Optimize 的网站不得不迁移到其他工具。

如今有各种选择:Optimizely、VWO 和 AB Tasty 等专门的 A/B 测试工具;日本的 Ptengine 和 SiTest 等结合了热力图和 A/B 测试的工具;以及面向开发者的实验平台。你所需的功能和预算会因网站规模而大不相同,所以选择适合自己用途的工具很重要。关于主要工具在价格区间和方法上的差异,请参阅 2026 年 A/B 测试工具全景。

结合热力图与站内互动,持续改进

A/B 测试与其他工具结合使用,比单独使用能发挥更大的作用。

改进的流程是一个“发现 → 制作修改方案 → 验证”的循环往复。

改进循环:发现、制作修改方案、用 A/B 测试验证、应用,如此反复

  1. 发现:用网站分析找出有问题的页面,用热力图精确定位页面内的问题点
  2. 制作修改方案:根据发现的问题形成假设,并制作改动
  3. 验证:用 A/B 测试检验这项改动是否真的改善了成果
  4. 应用并继续:应用表现更好的版本,并再次用热力图观察改动后的页面

在 A/B 测试结果出来之后再看热力图也很有用。当 B 获胜时,检查访客行为有何变化(人们是否读得更深、点击的位置是否发生了变化),可以为“为什么更好”提供线索,并引出下一个假设。

A/B 测试的思路也同样适用于站内互动举措,即不改动页面本身,而是用弹窗或固定提示条展示引导信息。无论你比较的是展示与不展示、文案,还是展示的时机,原则都是一样的:将访客随机分流,并在同一时期进行比较。站内互动的基础知识请参阅什么是站内互动?。

关于 HeatMapX

HeatMapX 是一款只需在网站上添加一段标签就能测量热力图的工具,你可以从免费的 Free 套餐开始使用(套餐详情请见价格页面)。A/B 测试功能正在分阶段推出。先用热力图了解你自己的网站是如何被浏览的,并准备好关于在哪里做实验的假设,这样在开始 A/B 测试时就能快速行动。

如果你想在选择之前将热力图工具与其他产品进行比较,也请参阅热力图工具对比。

A/B 测试常见问题

简单来说,什么是 A/B 测试?

这是一种方法:在同一时期将页面的两个版本随机展示给访客,并用数字比较哪一个效果更好。与比较改动前后不同,它能让你把改动的效果与季节、广告等其他因素分开确认。

A/B 测试应该运行多久?

用所需样本量除以每天的访客数来估算。为避免星期几偏差,请以 7 天的倍数为单位,常见的经验法则是至少运行 1 到 2 周。即使高流量网站在几天内就达到了所需数量,我们也建议继续运行一周。反过来,如果估算结果远超过 2 个月,就要重新审视设计。

运行 A/B 测试需要多少流量?

没有统一标准。这取决于你当前的转化率和想要检测的差异大小。在本文的计算示例中,要在转化率为 2.0% 的页面上确认 20% 的相对提升,每个版本需要约 21,100 名访客。如果你的流量较低,可以通过聚焦更大幅度的改动或使用更靠前环节的指标来降低所需数量。

如果没有显著差异该怎么办?

避免在计划期满后延长测试直到变显著。记录下“这项改动没有显示出我们想要检测的那种大小的差异”,并回顾是假设错了还是改动太小。如果两种结果相同,选择更容易运营的那个也没问题。没有显著差异不是失败,而是结果的一种。

如果 p 值低于 0.05,就可以说 B 更好吗?

不可以。p 值是“如果确实没有差异,偶然看到至少与观察到的差异一样大的差异的概率”,而不是“B 更好的概率”。以 5% 的显著性水平判断时,在没有效果的改动中,大约每 20 项仍会有 1 项显示出显著差异。还要查看差异的大小、置信区间和护栏指标,对于重要的改动,应用之后也要继续观察数字。

A/B 测试会损害 SEO 吗?

Google 发布的指南表示,只要遵循指南,就可以限制对搜索的影响。四个要点是:不要向爬虫和真人展示不同的内容;在分设于不同 URL 的测试中添加 rel="canonical";重定向使用 302;以及在必要的时间过去后结束测试并清理设置。详情请参阅上文的“A/B 测试与 SEO”一节。

总结:从一个假设开始

A/B 测试是一种将访客随机分流并在同一时期进行比较的方法,这样你就能把改动的效果与其他因素分开确认。以下是本文的要点。

  • 原理:随机分配访客,在同一时期投放两个版本,并让同一个人始终看到同一个版本。这样就把差异的原因缩小到“你所改动的内容”
  • 推进方式:目标与指标 → 假设 → 制作变体 → 运行 → 判断 → 应用,共 6 步。在运行之前确定指标、数据量、时长和判断标准
  • 数据与时长:想确认的差异越小,需要的数据越多。以 7 天的倍数为单位,至少 1 到 2 周
  • 显著性:判断差异是否难以用偶然解释的参考标准。p 值不是“B 获胜的概率”,“不显著”也不等于“没有差异”
  • 避免错误:不要根据中期结果停止,把改动限制在一个假设所涵盖的范围内,并使用一个主要指标
  • 流量较低时:聚焦大幅改动、高流量页面和更靠前环节的指标,如果仍然不够,就用观察和访谈来补足

作为下一步,我们建议你选出网站上最接近成果且访客较多的一个页面,先用数据检查该页面的问题。用热力图和网站分析找出“似乎有问题的地方”,然后写出一个把事实、问题、改动和指标这四点讲清楚的假设。有了一个假设,你就可以估算所需的数据量和时长,设计出你的第一个 A/B 测试。

一次测试未必会让你的数字发生翻天覆地的变化。但是,一点一滴积累经过验证的事实,是不凭直觉改进网站的基础。

热力图、A/B 测试和网站互动营销,免费开始。

粘贴一行标签即可开始。连接 Claude 等 AI,在对话中完成从分析到改进的全过程。