什麼是 A/B 測試?新手也看得懂的 6 步驟流程、統計顯著性與樣本數完整指南
- ab-testing
- cro
- how-to
- beginners
文章摘要
- A/B 測試是將訪客隨機分流,在同一段期間內分別呈現原版頁面(A)與修改後的頁面(B),再用數字比較哪一個表現較好的方法
- 單純比較改版前後,無法把改版的效果與季節、廣告、星期幾等因素的影響分開。同時執行兩個版本,正是 A/B 測試的核心
- 流程分為 6 個步驟:目標與指標 → 假設 → 製作變體 → 執行 → 判斷 → 套用。所需的樣本數(資料量)與測試期間,要在開始之前就決定好
- 「統計顯著性」是判斷差異是否難以單靠隨機波動來解釋的參考依據。p 值並不是「B 勝出的機率」
- 多數失敗都出自「一再查看結果而提早停止」「一次改太多地方」「測試時間太短」
- 流量較少的網站,只要換個做法,例如聚焦在幅度更大的改變,或改看較前段的指標,仍然能得到更多判斷依據
「把標題改一改,說不定會有更多人註冊?」「按鈕是不是放在頁面更上面比較好?」經營網站時,改善的點子總是源源不絕。但改了之後究竟會變好還是變差,不實際試試看就不會知道。而且就算改版後數字上升了,往往也無法判斷是改版的功勞,還是剛好那一週增加了廣告預算。
想把改版的效果與其他因素分開來確認時,就要用 A/B 測試。
本文會先說明 A/B 測試的意義與運作原理,再依序介紹實務上的步驟、假設的寫法、需要多少資料與時間、「顯著差異」究竟是什麼意思,以及新手最常犯的錯誤。文中會出現一些統計概念,但公式盡量減到最少,以理解觀念為優先。本文所有計算範例,都是為了說明而設定的假設數字。
什麼是 A/B 測試?
A/B 測試是將頁面的兩個版本隨機呈現給訪客,並使用同一段期間的資料,比較哪一個成效比較好的方法。有時也稱為「分割測試(split testing)」。
- A(Control/原版):目前的頁面,是比較的基準
- B(Variant/修改版):更動了部分內容的頁面,是你想嘗試的點子
舉例來說,把 A 版呈現給一半的訪客,把 B 版呈現給另一半,然後比較各組完成註冊的比例。這個比例稱為轉換率(CVR)。轉換是指你希望訪客在網站上採取的行動,例如購買、註冊或索取資料。
「A/B 測試」這個名稱來自兩個版本的比較,不過也可以同時比較三個以上的版本(稱為 A/B/n 測試),基本觀念是一樣的。
運作原理:隨機分流,同時比較
A/B 測試之所以能成立,靠的是三個機制。
1. 訪客是隨機分配的。 訪客看到 A 還是 B,是由工具使用亂數來決定。不是由人挑選,也不會依照「上午 A、下午 B」這類規則分配。隨機分配的意義在於,新訪客與回訪者、手機與電腦、廣告來的人與搜尋來的人等訪客之間的差異,會以大致相同的比例混在 A 與 B 兩組裡。
2. 兩個版本在同一段期間執行。 A 與 B 是同時呈現的。因此特賣活動、季節、電視報導、星期幾的波動等外在影響,會以相同的方式作用在 A 與 B 上。
3. 同一個人會持續看到同一個版本。 如果被分到 B 的人下次造訪時看到的是 A,就無法判斷是哪個版本影響了他的註冊行為。因此多數工具會利用儲存在瀏覽器中的標記(例如 Cookie),讓同一位訪客持續看到相同的版本。
當這三個條件都滿足時,A 與 B 之間唯一的差別就只剩「你在頁面上改了什麼」。所以當結果出現差異時,比較容易把原因歸給這項改動。這與用來檢驗藥物效果的隨機對照試驗是同樣的概念,只是應用在網站上。
為什麼需要 A/B 測試:改版前後比較看不出來的事
你或許會想:「不分流,直接改頁面再比較改版前後的數字就好了吧?」這種做法稱為改版前後比較。雖然簡單,卻有一個很大的弱點:無法把改版的效果與其他因素分開。
即使頁面完全沒改,網站的數字每天也會變動。會讓數字變動的因素包括:
- 季節與活動:獎金季、會計年度結束、連假、天氣等
- 廣告與行銷活動:廣告預算增減、廣告連結目的地變更、電子報寄送
- 星期幾與時段:平日與假日的訪客,類型與目的可能不同
- 流量來源的變化:搜尋排名變動、在社群媒體上爆紅、其他網站的導流
- 競爭對手與市場:競爭對手降價、新聞報導
在改版前後比較中,只要上述任何一項與改版後的期間重疊,就無法判斷數字的變化是來自你的改版,還是來自其他因素。就算改版後數字上升了,也有可能是改版本身其實造成了反效果,只是被廣告增加的效果掩蓋了。
A/B 測試是在同一段期間內同時呈現 A 與 B,因此這些因素對兩者的影響是相同的。接著只要看剩下的差異,就比較容易單獨看出改版本身的效果。
另一個原因是,製作者的直覺與訪客的反應經常對不上。內部大家都認為「比較好懂」的點子,在真實訪客面前卻不受青睞,並不罕見。A/B 測試也是一種依據訪客實際行為來做決定的方式,而不是看誰的嗓門大、誰的職位高。
A/B 測試能告訴你什麼、不能告訴你什麼
A/B 測試很強大,但並非萬能。事先了解它擅長與不擅長的事,有助於避免誤讀結果。
它能告訴你的事
- 某項改動讓你選定的指標(例如註冊率)上升、下降,還是幾乎沒變
- 這個差異是否大到單靠隨機波動很難解釋
它無法告訴你、或不擅長的事
- 為什麼會有差異:原因只是推測。請搭配其他資料一起思考
- 長期效果:它只能看到測試期間內的行為。對於數個月後的留存率或解約率,往往無法得知
- 與沒測試過的點子相比的結果:你只會知道 A 與 B 哪個比較好,但不知道是否存在更好的選項 C
- 低流量頁面上的小幅改善:資料量可能不足,無論有沒有差異都無法判斷(後面有一節專門說明該怎麼辦)
此外,A/B 測試是「用來驗證點子的工具」,而不是「用來想出好點子的工具」。要測試的點子品質如何,取決於你怎麼建立假設。
A/B 測試的類型:與多變量測試、轉址測試有何不同
即使同樣叫做「A/B 測試」,也有好幾種相關的方法。以下整理最常見的幾種。
| 類型 | 比較的對象 | 適合的情境 | 注意事項 |
|---|---|---|---|
| A/B 測試 | 在同一個網址上,只改動一個部分的版本 | 確認單一改動的效果,例如標題、按鈕或圖片 | 最基本的形式,建議從這個開始 |
| A/B/n 測試 | 三個以上的版本 | 手上有好幾個標題候選,想一次比較 | 版本越多,每個版本分到的資料越少,測試時間也越長 |
| 多變量測試 | 多個元素的組合(例如 2 種標題 × 2 種圖片 = 4 種組合) | 想知道哪種元素組合效果最好 | 每一種組合都需要資料,適合高流量頁面 |
| 轉址測試(分割網址測試) | 在不同網址上製作、設計不同的頁面 | 想把版面大幅改動的新頁面與現行頁面做比較 | 轉址可能讓顯示稍微延遲,也需要考量搜尋引擎 |
| A/A 測試 | 兩個完全相同的版本 | 想檢查工具的流量分流與測量是否正常運作 | 這是用來檢查的測試,不是用來改善的測試 |
多變量測試會同時改動多個元素,並比較每種組合的結果。它甚至能看出元素之間的搭配效果,例如「這個標題配這張圖片效果最好」。不過,3 種標題、3 種圖片、2 種按鈕就有 18 種組合,而且每一種組合都需要足夠的資料。對流量有限的網站來說,接連進行 A/B 測試會比較實際。
轉址測試是把一部分訪客導向另一個網址再比較結果,也稱為分割網址測試。它適合像是重新建構頁面本身結構這類的大幅改動。至於在同一網址上改寫元素的一般 A/B 測試,則適合快速嘗試文案或顏色這類小改動。
在網頁以外,寄出兩種版本的電子郵件主旨或廣告素材並比較反應,也稱為 A/B 測試。本文談的是網頁的 A/B 測試。
A/B 測試要測什麼
可以測試的元素有很多,以下是具代表性的幾項。
- 標題(主要文案):從描述功能改成描述訪客能得到的成果。目的是在最初幾秒傳達「這跟我有關」
- CTA(行動呼籲按鈕):更改文字、位置、大小或顏色。目的是讓下一步行動一目了然
- 主視覺圖片或影片:比較單獨的商品照與使用情境的照片。目的是讓人直覺地理解價值
- 表單:減少欄位數、分成多個步驟、加上輸入範例。目的是減輕負擔與猶豫
- 價格的呈現方式:月繳與年繳價格的排列方式、方案的順序、含稅價格的顯示位置。目的是讓比較與決定變得更容易
- 建立信任的資訊:客戶實績、使用者心得、保證與客服資訊的擺放位置。目的是降低註冊前的不安
- 版面配置與資訊順序:把重要資訊往上移、縮短過長的頁面。目的是讓訪客更快找到所需資訊
- 導覽列:更改選單項目的數量或文字。目的是減少困惑,引導訪客前往想去的頁面
CTA 是「Call To Action」的縮寫,指的是促使訪客採取行動的按鈕或連結,例如「立即註冊」「索取資料」。
原則上,要從哪裡開始,可以依據與成果的距離以及被看到的程度來決定。註冊按鈕和表單這類與成果直接相關的地方,以及許多訪客都會看到的頁面上方,是最容易看出改動效果的地方。相反地,如果是大多數人根本不會捲到的頁面下方,即使是小改動有效,也要花很長的時間才能偵測得到。
「按鈕顏色」常被拿來當作 A/B 測試的例子,但光是改顏色,不一定會產生很大的差異。比顏色本身更重要的是,問題是否出在按鈕與周圍融為一體而不顯眼。要改什麼,應該從假設倒推回來決定,這點下面會說明。
A/B 測試怎麼做【6 個步驟】
A/B 測試依照以下 6 個步驟進行。重點在於,要在開始執行之前,就決定好指標、所需的資料量、期間,以及判斷的標準。
設定目標與指標
把想改善的事縮小到一件,並決定用來衡量它的指標。請用能以數字衡量的方式來表達,例如「提高索取資料的完成率」。用來判斷的指標只能有一個(主要指標)。
建立假設
寫下「問題出在哪裡、要改什麼、怎麼改,以及為什麼認為這樣會變好」。以網站分析和熱區圖等資料作為依據,可以減少憑空猜測。
製作要測試的變體
依據假設製作修改後的版本(B)。為了能看出是什麼起了作用,請把改動限制在單一假設所涵蓋的範圍內。同時確認它在手機與電腦上的顯示狀況。
決定所需資料與期間,然後執行
估算所需的樣本數與測試期間,決定流量分配比例,再開始測試。開始後要立刻確認流量分流與測量是否正常運作。
期間結束後再判斷
要等到達成事先決定的期間與資料量,才查看結果。確認主要指標的差異,以及這個差異是否落在隨機波動就能解釋的範圍內。
套用結果,進入下一個假設
正式採用表現較好的版本,並整理測試設定。即使沒有差異,也請記錄學到的事,用在下一個假設上。
以下各節會更詳細說明每個步驟背後的思考方式。
目標與指標的選擇方式
依照角色來整理指標會比較容易掌握。
- 主要指標:決定測試勝負的指標,只選一個。例如購買完成率、索取資料完成率、免費註冊率
- 次要指標:用來理解主要指標為何變動的輔助指標。例如按鈕點擊率、開始填寫表單的比例、捲動深度
- 護欄指標:用來確認沒有任何地方變差的監控指標。例如跳出率、頁面載入速度、退貨或解約、諮詢件數
主要指標只限一個,是因為如果把許多指標排在一起,只要其中任何一個有進步就算成功,就很容易挑到純粹因為偶然而看起來比較好的指標。這就是「多重比較」問題,後面的章節還會再提到。
主要指標請選擇盡可能貼近商業成果的項目。按鈕點擊率上升、註冊卻沒有增加的情況是有可能發生的。吸引人點擊的文案會讓更多人按下按鈕,但如果接下來的內容與期待不符,他們就會離開。
另一方面,購買或簽約這類發生次數少的指標,需要更長的時間才能蒐集到足夠的資料。對流量有限的網站來說,其中一個辦法是把較前段的指標(例如到達表單頁)當作主要指標。這時要記得一個前提:「即使前段指標改善了,最終成果也不一定會改善。」
假設的寫法:把行為資料變成改動的理由
A/B 測試的成敗,很大程度取決於假設的品質。如果沒有假設就不斷嘗試各種點子,最後只會得到一連串沒有差異的測試,就算出現差異,也無法延續累積。
用下面的形式來寫假設,可以減少漏洞。
「從(資料上看到的事實),我們認為(對問題的推測)。所以如果(做這項改動),(這個指標)應該會改善。」
舉個例子,假設情境如下(假設性範例)。
- 事實:在價格頁面,很少有訪客捲動到足以看到註冊按鈕的位置
- 對問題的推測:按鈕太靠下方,所以即使想註冊的訪客也找不到
- 改動:在方案表格正下方也放一個註冊按鈕
- 指標:註冊完成率
這樣寫的話,結果出來後回頭檢討時,就能分辨是「推測錯了」,還是「改動的力道不夠」。
可以用來建立假設的資料包括以下幾種。
- 網站分析:哪些頁面流失很多、哪些流量來源成效偏低。適合用來找出哪個「頁面」有問題
- 熱區圖:人們讀到頁面的多下面、點擊了哪裡、有沒有點擊不是連結的東西。適合用來找出哪個「位置」有問題
- 諮詢與業務或客服紀錄:訪客對什麼感到困惑、擔心什麼
- 使用者問卷與訪談:數字上看不出來的原因線索
熱區圖是把訪客的行為以顏色深淺疊加在頁面上呈現的工具(種類與看法請參閱什麼是熱區圖?)。它能幫助你找出頁面內的問題點,例如「重要按鈕沒有被點擊」或「很多人讀到一半就停了」。至於先用熱區圖找出問題、再用 A/B 測試確認改善結果的分工方式,請參閱熱區圖與 A/B 測試:差異與使用時機。
當你有多個假設時,可以依「預期影響的大小」「證據的強度」「實作所需的工夫」這三點來排序。從預期影響大且工夫少的開始,會比較容易推動。
了解樣本數
樣本數是測試所需的資料量,也就是看過各個版本的訪客人數。在 A/B 測試中,要在執行之前先估算這個數字。如果資料太少,就更常漏掉確實存在的差異;而且即使剛好出現顯著差異,其大小也容易看起來比實際更大。
所需的樣本數主要由以下四項決定。
- 目前的轉換率:越低,需要的資料越多
- 想偵測的差異大小:想找出的差異越小,需要的資料越多。你希望能偵測到、而比它更小的差異就算漏掉也無妨的那個最小差異,稱為最小可偵測效應(MDE)
- 顯著水準:你願意接受多大程度的錯誤,也就是明明沒有差異卻判定「有差異」。一般常用 5%
- 檢定力:實際存在差異時,能夠找出它的機率。一般常用 80%
其中第二項的影響最大。想找出的差異縮小一半時,所需的資料量大約會增加為 4 倍。
下面用一個計算範例來呈現大致的概念。這是假設目前的轉換率為 2.0% 時,每個變體大約需要的訪客人數(使用比較兩個比例的標準公式計算,採雙尾檢定、5% 顯著水準、80% 檢定力)。
| 想偵測的改善幅度(相對值) | 改版後的轉換率 | 每個變體所需的訪客數(約) |
|---|---|---|
| +10% | 2.0% → 2.2% | 約 80,700 |
| +20% | 2.0% → 2.4% | 約 21,100 |
| +30% | 2.0% → 2.6% | 約 9,800 |
| +50% | 2.0% → 3.0% | 約 3,800 |
這張表說明了兩件事。第一,要確認小幅度的改善,所需的資料比你想像的還多。要在轉換率為 2.0% 的頁面上確認 10% 的改善,A 與 B 加起來需要超過 160,000 位訪客。第二,改動所追求的改善幅度越大,判斷時需要的資料就越少。
實際估算時,只要利用 A/B 測試工具內建的計算器,或是公開的樣本數計算器,輸入這四個數值就能得到答案,不需要背公式。重要的是先決定「我想找出多大的差異」,再確認以你網站的流量,能不能在合理的時間內做到。
如果估算出來的所需人數太大,除了放棄測試之外還有其他選擇:聚焦在更可能產生大差異的改動、在高流量頁面上進行測試,或是改看漏斗中較前段的指標。「低流量網站該怎麼辦」那一節會說明做法。
如何決定測試期間
測試期間的估算方式,是把所需的樣本數除以測試頁面每天的訪客人數。
舉個例子。假設上表告訴你每個變體需要「約 21,100」位訪客。若目標頁面每天有 1,000 位訪客,並假設所有人都納入測試、A 與 B 各分一半,則每個變體每天有 500 位。21,100 ÷ 500 約為 42 天,也就是約 6 週。
在決定期間時,除了資料量之外,也請考量以下幾點。
以整週為單位。 訪客的行為會隨星期幾而變。平日可能是為了工作而查資料,假日則是個人購物,因此訪客的類型與目的可能不同。如果只做了週一到週四四天就結束,就會缺少週末訪客的反應。從同一個星期幾開始、同一個星期幾結束,以 7 天的倍數為單位,可以避免星期幾造成的偏差。
避免期間太短。 即使是流量非常大、幾天內就達到所需人數的網站,一般的經驗法則仍是至少執行 1 週,理想上是 2 週。除了星期幾的偏差之外,改版後剛開始的反應,可能只因為「新鮮感」而比較好(也可能因為回訪者感到不習慣而比較差)。
也要避免期間太長。 測試時間拉得越長,就越容易混入干擾,例如 Cookie 被刪除導致同一個人看到不同版本,或是季節與市場狀況改變。如果你的估算結果遠遠超過 2 個月,建議重新檢視測試的設計(想偵測的差異大小、目標頁面與指標)。
避開特殊時期。 在大型特賣或年末連假等訪客行為與平常大不相同的時期所得到的結果,可能不適用於一般時期。除非你想確認的是該時期特有的措施,否則避開比較安全。
什麼是統計顯著性?用白話說明 p 值與信賴水準
測試結束後,你會得到像是「A 是 2.0%,B 是 2.4%」這樣的結果。此時需要思考的是,這個差異是真的,還是只是偶然。
即使把完全相同的頁面呈現給兩組人,兩組的轉換率幾乎也不會完全一致。就像擲 100 次硬幣,不一定剛好出現 50 次正面一樣,數字本來就有隨機波動。所以需要一套程序來確認「觀察到的差異,是否落在單靠隨機波動就能解釋的範圍內」。這就是統計假設檢定,而它的結論所使用的詞彙就是統計顯著性。
什麼是 p 值?
在檢定中,首先要假設「A 與 B 之間確實沒有差異」。接著計算如果真的沒有差異,單憑偶然看到至少與觀察結果一樣大的差異的機率。這個機率就是 p 值。
- p 值小 → 在沒有差異的假設下,很少會出現這樣的差異 → 「沒有差異」的假設看起來有疑問
- p 值大 → 即使沒有差異,這種程度的差異也常因偶然出現 → 無法說有差異
顯著水準與信賴水準
p 值必須小到什麼程度才下「有差異」的結論,這個門檻稱為顯著水準。依慣例,一般常用 5%(0.05)。當 p 值低於顯著水準時,我們就說「有統計上的顯著差異」。
在 A/B 測試工具的畫面上,常會看到「95% 信賴水準」或「95% 信賴度」之類的顯示。這通常表示工具是以 5% 顯著水準在判斷(顯示的意義會因工具而異,請確認你所用工具的說明文件)。
5% 的顯著水準是一種約定:「明明沒有差異卻宣稱有差異的機率,最多接受到 5%」。換句話說,如果你測試 20 個完全沒有效果的改動,平均會有 1 個被判定為「顯著」。顯著差異並不是確定無疑的證明,而是把出錯的機率控制在一定水準以下的參考依據。
對 p 值常見的誤解
其他常見的誤解還有以下幾點。
- 「不顯著」不代表「沒有差異」:這也包括資料不足、無法判斷有沒有差異的情況
- 顯著差異不一定是對你的事業有意義的大小:資料量非常龐大時,連極小的差異都會變得顯著。請一併查看差異的大小
- p 值越小不代表效果越大:p 值也會受資料量影響
用計算範例確認
我們用假設的數字來確認。假設 A 與 B 各分配 10,000 位訪客。
- 範例 1:A 有 200 次轉換(2.0%),B 有 240 次(2.4%)。p 值約為 0.054,略高於 5% 的顯著水準。雖然看得到相對 20% 的差異,但以這樣的資料量還不能稱為「顯著」
- 範例 2:A 有 200 次轉換(2.0%),B 有 250 次(2.5%)。p 值約為 0.017,低於 5% 的顯著水準
同樣的比率,如果資料更少,結論就會改變。若 A 與 B 各只有 1,000 位訪客,A 有 20 次轉換(2.0%)、B 有 24 次(2.4%),p 值約為 0.54。這代表即使沒有差異,超過一半的時候也會因偶然出現這種程度的差距。
(以上全部都是用雙尾檢定、兩個比例之差計算出來的範例。實際判斷時,請依照你所用工具的方法。)
也要看信賴區間
p 值容易變成「顯著或不顯著」的二選一問題,但如果同時查看信賴區間,就能掌握差異的大小。信賴區間是真實差異被認為可能落入的範圍。
在上面的範例 1 中,轉換率的差異(B 減 A)是 0.4 個百分點,95% 信賴區間大約是 −0.01 到 +0.81 個百分點。由於區間剛好略微跨過零,可以解讀為「B 看起來比較好,但無法排除沒有差異的可能」。區間很寬,就表示資料量還不夠。
有些工具會顯示「B 勝過 A 的機率」
有些工具不顯示 p 值,而是顯示「B 勝過 A 的機率」這類數字。這個數值是以貝氏統計這種不同的思路為基礎,其前提與意義和 p 值不同。兩者並沒有誰對誰錯,只是不同的學派。重要的是確認你看到的數字使用的是哪一種方法,不要把它們當成同一種數字而混淆。
結果的判讀方式與測試之後該做什麼
期間結束後,請依下列順序確認結果。
- 流量分流是否照設計進行:如果設定為各半,A 與 B 的訪客數是否嚴重失衡?如果失衡很大,可能是分流或測量有問題,直接相信結果是危險的
- 主要指標的差異與顯著性:差異的方向與大小、p 值與信賴區間
- 護欄指標:主要指標改善的同時,其他重要的數字有沒有變差?
- 次要指標:用來思考為什麼會得到這個結果的線索
結果大致可以分成三種情況。
B 顯著較好。 正式採用 B。套用之後的一段時間,請持續觀察數字,確認和測試期間走的是相同的趨勢。
B 顯著較差。 維持 A。這並不是失敗,而是在把不好的改動呈現給所有人之前就先擋下來的結果。思考為什麼會變差,也會提高下一個假設的準確度。
沒有顯著差異。 在 A/B 測試中,這是最常見的結果之一。這時請避免在預定期間結束後「一直延長測試直到變顯著」(原因會在下一節說明)。沒有差異時,要分辨是假設錯了、改動太小,還是資料不足。如果不管選哪個結果都一樣,那麼選擇比較容易營運、或比較符合品牌規範的那一個也無妨。
依裝置或流量來源拆開來看結果(區隔分析)也很有用,但需要謹慎。切得越細,每一組的資料就越少,也越容易撿到偶然的差異。比較安全的做法,是把切開後發現的趨勢視為「接下來要確認的假設」,而不是「結論」。
最後,請把測試記錄下來。把假設、改動內容、期間、資料量、結果與心得集中在同一處,可以避免重複做相同的測試,即使負責人換人,也能把學到的東西傳承下去。
A/B 測試常見的失誤與避免方法
由於 A/B 測試的機制很單純,做法一旦錯誤,就可能得出看似有數字佐證的錯誤結論。以下是典型的失誤。
| 常見失誤 | 問題所在 | 解決方式 |
|---|---|---|
| 一再查看結果,一變顯著就停止 | 把偶然的差異判成「顯著」的錯誤,會比你設定的顯著水準更常發生 | 事先決定所需的資料與期間,達成後再判斷 |
| 一次改動許多元素 | 即使有差異,也不知道是什麼起了作用 | 把改動限制在單一假設所涵蓋的範圍 |
| 測試期間太短 | 結果會被星期幾的偏差與改版後的短暫反應左右 | 以 7 天的倍數執行,至少 1 到 2 週 |
| 在低流量下判斷 | 隨機波動大,結論不穩定 | 事先估算所需人數,不夠就重新思考設計 |
| 星期幾或季節的偏差 | 只有平日或只有特賣期間的結果,不適用於平常時期 | 從同一個星期幾開始與結束,並避開特殊時期 |
| 排出許多指標與許多變體,只挑好的那個 | 比較的次數越多,越容易有東西因偶然而看起來不錯 | 決定一個主要指標,並限制變體的數量 |
| 沒有假設就測試 | 即使有結果,也沒有可以延續累積的學習 | 開始前先寫出事實、問題、改動與指標 |
| 中途更改設定或變體 | 前後的資料性質不同,無法比較 | 想更改的話,就停止並當作新測試重新開始 |
特別要小心的是第一項,也就是「偷看(peeking)」的問題。幾乎每天查看測試的中途進度,本身是及早發現問題所必需的。問題在於,一看到中途結果出現顯著差異,就停止測試並宣告獲勝。
p 值會隨著資料累積而上下起伏。即使真的沒有差異,只要你查看很多次,在某個時間點也可能因偶然而低於顯著水準。如果在那個時間點停止,「明明沒有差異卻宣稱有差異」的錯誤,就會比你預計的 5% 更常發生。等到事先決定的資料量與期間之後再判斷的規則,就是為了防止這種錯誤而存在的。
有些工具也有一種判斷方式,設計成即使中途判斷也不會增加錯誤(例如所謂的序貫檢定)。這種情況下,請遵照該工具提供的程序。
關於「一次改很多東西」也補充一點。即使同時更動標題、圖片和按鈕的 B 版獲勝,你也不會知道是哪一個起了作用。有可能是標題很好,卻被圖片拖了後腿。不過,如果你的目的是把整個重做的頁面與現行頁面做比較,那麼一起改動是合理的。這種情況下,要接受「無法得知是哪個元素起了作用」,並用轉址測試之類的方式來比較。
流量分配比例與 A/B 分配比例的思考方式
設定 A/B 測試時,會出現兩個「百分比」的設定。它們很容易混淆,請分開來理解。
- 流量分配比例(納入實驗的訪客比例):所有訪客中,有多少百分比被納入測試。不在測試中的訪客,會直接看到原版頁面
- A/B 分配比例:被納入測試的訪客,要以什麼比例分到 A 與 B
舉例來說,若將流量分配比例設為 20%、A/B 分配比例設為各半,則所有訪客中有 80% 不在測試中,看到的是原版頁面;10% 在測試中並看到 A,另外 10% 看到 B。
A/B 分配比例預設為各半。 在訪客人數相同的情況下,平均分配能最快蒐集到所需的資料。你也可以讓 B 的比例小一點,但必須等到比例較小的那一邊蒐集到足夠的資料,所以期間會變長。
流量分配比例要在風險與期間之間取得平衡。 降低流量分配比例,可以在改動造成反效果時,減少受影響的訪客人數。代價是納入測試的訪客變少,需要花更長的時間才能蒐集到所需的資料。常見的做法是,影響難以預測的大幅改動先以低流量分配比例開始,確認沒有問題後,若一切順利再逐步擴大。至於像更換部分文案這種影響較小的改動,從一開始就納入所有人並縮短期間會比較合理。
這兩個百分比的差異,已在A/B 測試的「流量分配比例」與「A/B 分配比例」有什麼不同?中說明,設計上的思考方式則收錄於為什麼流量分配比例與 A/B 分配比例應該分開設定。
A/B 測試與 SEO:把對搜尋的影響降到最低
很常見的擔憂是「A/B 測試會不會傷害我的搜尋排名」。Google 在 Google 搜尋中心文件中,公開了如何在執行測試的同時盡量降低對搜尋影響的指引。重點如下。
- 不要做 cloaking(偽裝):刻意向搜尋引擎爬蟲(造訪並讀取頁面的程式)與真人訪客呈現不同的內容,稱為 cloaking,違反垃圾內容政策。不論有沒有在做測試,這一點都一樣。請避免任何只對爬蟲呈現特定版本的設定
- 在不同網址的測試中使用 rel="canonical":在像轉址測試這類跨多個網址的測試中,請在測試網址上加入 rel="canonical"(用來告訴搜尋引擎偏好網址的標籤),表明原始網址才是要優先處理的頁面。為了這個目的,Google 建議使用 rel="canonical" 而非 noindex
- 轉址時使用暫時性轉址(302):從原始網址轉址到測試網址時,請使用表示暫時轉址的 302,而不是表示永久轉址的 301。據說使用 JavaScript 轉址也沒有問題
- 測試只執行必要的時間:蒐集到足夠的資料後,請盡快結束測試,並移除測試網址、指令碼等。Google 說明,把測試執行得比必要的時間更長,可能會被解讀為企圖欺騙搜尋引擎
換句話說,不要讓測試一直掛著,不只對統計很重要,對搜尋也很重要。請把整個流程做完:整理已經結束的測試,並把採用的版本套用到網站本身。
請注意,這裡介紹的是 Google 所公開指引的概要。對搜尋排名的影響會因網站而異,所以在進行涉及大幅改動的測試之前,建議同時確認原始文件與你所用工具的說明文件。
低流量網站該怎麼辦
如同在樣本數那一節看到的,A/B 測試需要相當程度的資料。那麼,對於每月只有幾千訪客的網站,A/B 測試是不是就沒有意義了呢?不盡然。換個做法,可以得到更多判斷依據。
測試大幅度的改動。 想找出的差異越大,需要的資料就越少。與其微調按鈕文字這類小改動,不如聚焦在可能產生大差異的改動:改變核心訴求、重新整理頁面結構,或大幅減少表單欄位。
在高流量頁面上做測試。 就算整個網站流量不多,應該也會有訪客集中的頁面。請選擇訪客最多的地方,例如首頁或接收廣告流量的頁面。
使用較前段的指標。 購買與簽約的件數少,要偵測差異需要時間。把更頻繁發生的前段行為當作主要指標,例如「到達表單」或「前往價格頁面」,可以壓低所需的資料量。只要記得,前段指標的改善不一定會帶來最終成果的改善。
變體只限兩個。 加上第三個、第四個,會減少每個變體分到的資料。流量低的時候,只比較 A 與 B。
將流量分配比例設為 100%,A/B 分配比例設為各半。 縮小受眾範圍或使用不均等的分配,都會拉長期間。
把期間放長,若仍然不夠,就接受其中的限制。 如果即使給了大約 4 到 8 週,仍然無法達到所需人數,你也需要決定不再堅持用 A/B 測試來定案。
當 A/B 測試不太適合時,還有其他方法可以幫上忙。
- 用熱區圖觀察行為:即使流量不多,也能掌握「人們沒有讀的地方」和「人們沒有點擊的地方」
- 直接詢問使用者:光是請幾個人操作畫面,並看他們在哪裡卡住,就能找出許多問題
- 明顯的問題直接修正,不必測試:像是壞掉的連結、難以閱讀的文字、無法運作的按鈕等,很難想像修好之後會變差的項目,就不需要等驗證
A/B 測試工具的類型與選擇方式
要執行 A/B 測試,需要一個能處理流量分流、切換顯示內容、測量與報表的工具。依運作方式,大致可分為兩種類型。
用戶端(Client-side)
- 運作方式:在頁面上加入標籤(用於測量的一小段程式碼),並在訪客的瀏覽器中改寫頁面的一部分
- 主要負責人:行銷人員與網站相關人員。許多工具讓你透過畫面操作就能建立改動
- 適合的情境:文案、圖片、顏色與版面等視覺上的改動
- 注意事項:可能發生「閃爍」,也就是在改寫之前,原本的畫面會短暫地被看到
伺服器端(Server-side)
- 運作方式:由伺服器端的程式碼,針對每位訪客切換要呈現的內容
- 主要負責人:工程師。需要修改程式碼
- 適合的情境:涉及後端處理的改動,例如價格計算、搜尋或排序的運作方式,以及應用程式功能
- 注意事項:設定與營運需要投入開發工夫
以本文設想的用途,也就是在網頁上嘗試標題與按鈕來說,用戶端工具是首選。
選擇工具時,請確認以下幾點。
- 是否能透過畫面操作建立改動,還是需要撰寫程式碼
- 判斷時使用哪一種統計方法,以及結果如何顯示
- 是否能分別設定流量分配比例與 A/B 分配比例
- 是否支援轉址測試
- 費用是依什麼而定(訪客數、追蹤事件數、使用者人數等)
- 是否能與熱區圖等用來建立假設的資料一起查看
Google Optimize 的終止
曾被廣泛使用的免費 A/B 測試工具 Google Optimize,已於 2023 年 9 月終止服務。原本使用 Google Optimize 的網站,已經不得不轉移到其他工具。
現在有各式各樣的選擇:Optimizely、VWO、AB Tasty 等專門的 A/B 測試工具;日本的 Ptengine 與 SiTest 這類結合熱區圖與 A/B 測試的工具;以及給開發人員使用的實驗平台。所需的功能與預算會依網站規模而有很大的不同,因此重要的是選擇符合自身用途的工具。關於各大工具在價格帶與做法上的差異,請參閱2026 年 A/B 測試工具總覽。
結合熱區圖與站內互動,持續改善
A/B 測試與其他工具搭配使用,會比單獨使用更有成效。
改善的流程是「發現 → 製作改善方案 → 驗證」的重複循環。
- 發現:用網站分析找出有問題的頁面,再用熱區圖找出頁面內的問題點
- 製作改善方案:根據找到的問題建立假設,並製作改動
- 驗證:用 A/B 測試確認這項改動是否真的改善了成效
- 套用並繼續:套用表現較好的版本,並再次用熱區圖觀察改動後的頁面
在 A/B 測試結果出來之後再看熱區圖,也很有幫助。當 B 勝出時,確認訪客行為有什麼改變(是不是讀得更下面、點擊的位置有沒有移動),能得到「為什麼比較好」的線索,進而引出下一個假設。
A/B 測試的思維,也可以直接套用在站內互動措施上,也就是不更動頁面本身,而是用彈窗或固定橫幅來顯示引導訊息。不論是比較要不要顯示、文案,還是顯示的時機,原則都一樣:把訪客隨機分流,並在同一段期間內比較。站內互動的基礎知識,請參閱什麼是網站互動(Web Engagement)?。
關於 HeatMapX
HeatMapX 是一款只要在網站上加入標籤就能測量熱區圖的工具,你可以從免費的 Free 方案開始(方案詳情請見價格頁面)。A/B 測試功能正分階段推出中。建議先用熱區圖了解你自己的網站是怎麼被瀏覽的,並先備妥「想在哪裡做實驗」的假設,這樣開始 A/B 測試時就能很快上手。
如果你想先把熱區圖工具與其他產品比較再做選擇,也請參閱熱區圖工具比較。
A/B 測試常見問題
簡單來說,什麼是 A/B 測試?
這是一種在同一段期間內,將頁面的兩個版本隨機呈現給訪客,並用數字比較哪一個表現較好的方法。與比較改版前後不同,它能把改動的效果與季節、廣告等其他因素分開來確認。
A/B 測試應該執行多久?
用所需的樣本數除以每天的訪客數來估算。為了避免星期幾的偏差,請以 7 天的倍數為單位;一般的經驗法則是至少執行 1 到 2 週。即使是高流量網站,在幾天內就達到所需人數,我們也建議持續執行一週。反過來說,如果估算結果遠遠超過 2 個月,就請重新檢視設計。
要做 A/B 測試,需要多少流量?
沒有單一的標準。這取決於你目前的轉換率與想偵測的差異大小。以本文的計算範例來說,要在轉換率為 2.0% 的頁面上確認相對 20% 的改善,每個變體需要約 21,100 位訪客。如果你的流量偏低,可以聚焦在幅度更大的改動,或使用較前段的指標,來降低所需的人數。
沒有顯著差異時該怎麼辦?
請避免在預定期間結束後,把測試延長到變顯著為止。請記錄下「這項改動沒有顯示出我們想偵測的那種大小的差異」,並回頭檢討是假設錯了,還是改動太小。如果不管選哪個結果都一樣,選擇比較容易營運的那一個也無妨。沒有顯著差異並不是失敗,而是結果的其中一種。
p 值低於 0.05,就能說 B 比較好嗎?
不能。p 值是「如果真的沒有差異,單憑偶然看到至少與觀察結果一樣大的差異的機率」,而不是「B 比較好的機率」。以 5% 顯著水準來判斷時,每 20 個沒有效果的改動中,仍然大約會有 1 個顯示出顯著差異。此外也請確認差異的大小、信賴區間與護欄指標,而且對於重要的改動,套用之後請持續觀察數字。
A/B 測試會傷害 SEO 嗎?
Google 公開了指引,說明只要遵循,就能把對搜尋的影響降到最低。四個重點是:不要對爬蟲和人呈現不同的內容、在不同網址的測試中加入 rel="canonical"、轉址時使用 302,以及在必要的期間過後結束測試並整理設定。詳情請參閱上面的「A/B 測試與 SEO」一節。
總結:從一個假設開始
A/B 測試是將訪客隨機分流並在同一段期間內比較的方法,讓你能把改動的效果與其他因素分開來確認。以下是本文的重點整理。
- 運作原理:隨機分配訪客、在同一段期間呈現兩個版本,並讓同一個人持續看到同一個版本。這樣就能把差異的原因縮小到「你改動的部分」
- 進行方式:目標與指標 → 假設 → 製作變體 → 執行 → 判斷 → 套用,共 6 個步驟。在執行前就決定好指標、資料量、期間與判斷標準
- 資料與期間:想確認的差異越小,需要的資料就越多。以 7 天的倍數為單位,至少 1 到 2 週
- 顯著性:判斷差異是否難以用偶然來解釋的參考依據。p 值不是「B 勝出的機率」,而「不顯著」也不等於「沒有差異」
- 避免失誤:不要因為中途結果就停止、把改動限制在單一假設所涵蓋的範圍,並使用一個主要指標
- 流量低的時候:聚焦在大幅度的改動、高流量頁面與較前段的指標,若仍不夠,就用觀察與訪談來補足
建議的下一步是,挑出網站上最貼近成果、且訪客眾多的一個頁面,先從用資料確認該頁面的問題開始。用熱區圖和網站分析找出「看起來有問題的地方」,接著寫出一個明確包含事實、問題、改動與指標這四點的假設。有了一個假設,你就能估算所需的資料與期間,設計出你的第一個 A/B 測試。
一次測試不一定會讓你的數字大幅改變。但是一個一個累積經過驗證的事實,正是不靠直覺來改善網站的基礎。