A/B 測試的「流量分配比例」與「A/B 分配比例」有什麼不同?正確設計的思考方式
HeatMapX Engineering Team4 min read
- ab-testing
- cro
- how-to
本文重點
- 「流量分配比例」=所有訪客中,有多少百分比會被納入實驗
- 「A/B 分配比例」=在納入實驗的訪客中,A 與 B 以什麼比例呈現
- 這兩者是不同的概念。分開思考,就能在控制風險的同時進行驗證
設定 A/B 測試時,會出現兩個「比例」設定,容易讓人混淆,那就是「流量分配比例(納入實驗的比例)」與「A/B 分配比例」。這兩者的意義完全不同。只要分開理解,就能安全地推進驗證。
什麼是「流量分配比例」:要讓多少人參與實驗
流量分配比例(納入實驗的比例)指的是,所有訪客中,有多少百分比會被納入實驗對象。
- 設為 100%,所有訪客都會看到 A 或 B 其中之一。
- 設為 20%,只有兩成訪客會被納入實驗對象,其餘八成則會看到平常的頁面(維持原樣)。
縮小流量分配比例的目的在於風險管理。對於效果難以預測的變更,一開始就展示給所有人會令人擔心。可以先讓一部分人試用,確認沒有問題後再逐步擴大範圍。
什麼是「A/B 分配比例」:A 與 B 要以什麼比例呈現
A/B 分配比例指的是,在被納入實驗對象的訪客中,A 與 B 要以什麼比例呈現。
- 基本上是 50% 對 50%。這樣既能公平比較,也能較快收集到所需資料。
- 若對變更內容感到不安,也可以讓 A(原版)比例較高、B(變更後版本)比例較低,以較謹慎的方式推出。
兩者組合起來會是什麼樣子?
舉例來說,「流量分配比例 20%、A/B 分配比例 50:50」的情況如下。
| 訪客 | 比例 |
|---|---|
| 未納入實驗(一般頁面=維持原樣) | 80% |
| 納入實驗並看到 A(Control) | 10% |
| 納入實驗並看到 B(Variant B) | 10% |
如上所示,重點在於**「要讓多少人參與(流量分配比例)」與「參與者中如何呈現(A/B 分配比例)」可以獨立決定**。
為什麼分開設定比較好
如果把流量分配比例與 A/B 分配比例合併成一個設定,「控制風險」與「公平比較」這兩個不同目的就會混在一起,導致設定變得難以理解。
只要將兩者分開,就能做到:
- 用流量分配比例調整風險大小,
- 用A/B 分配比例維持比較的公平性,
依照各自的目的單純地進行設定。這也是主流 A/B 測試工具所採用的思考方式。
HeatMapX 的設計
在 HeatMapX 的 A/B 測試中,同樣可以將「納入實驗的比例(流量分配比例)」與「A/B 分配比例」分開設定。可以先將流量分配比例設得小一些,安全地進行測試,並根據實際成效逐步擴大範圍。
總結
「流量分配比例」決定要讓多少人參與實驗,「A/B 分配比例」則決定在參與者中 A 與 B 要如何呈現。將這兩者分開思考,正是在控制風險的同時正確驗證的訣竅。