A/B testing คืออะไร? คู่มือสำหรับมือใหม่ว่าด้วยกระบวนการ 6 ขั้นตอน นัยสำคัญทางสถิติ และขนาดกลุ่มตัวอย่าง
- ab-testing
- cro
- how-to
- beginners
สรุปบทความ
- A/B testing คือวิธีที่คุณสุ่มแบ่งผู้เยี่ยมชม แสดงหน้าเดิม (A) และหน้าที่แก้ไขแล้ว (B) ในช่วงเวลาเดียวกัน แล้วเปรียบเทียบด้วยตัวเลขว่าฝั่งไหนทำผลงานได้ดีกว่า
- การเปรียบเทียบก่อน-หลังแบบง่าย ๆ แยกผลของการเปลี่ยนแปลงออกจากผลของฤดูกาล โฆษณา วันในสัปดาห์ และปัจจัยอื่น ๆ ไม่ได้ การรันทั้งสองเวอร์ชันพร้อมกันคือหัวใจของ A/B testing
- กระบวนการมี 6 ขั้นตอน ได้แก่ เป้าหมายและตัวชี้วัด → สมมติฐาน → สร้างเวอร์ชันทดสอบ → รันทดสอบ → ตัดสินผล → นำไปใช้ ให้กำหนดขนาดกลุ่มตัวอย่าง (ปริมาณข้อมูล) และระยะเวลาที่ต้องใช้ ก่อนเริ่ม
- "นัยสำคัญทางสถิติ" เป็นเกณฑ์ชี้วัดว่าความแตกต่างนั้นอธิบายด้วยความผันผวนแบบสุ่มเพียงอย่างเดียวได้ยากหรือไม่ ค่า p-value ไม่ใช่ "ความน่าจะเป็นที่ B กำลังชนะ"
- ความล้มเหลวส่วนใหญ่มาจาก "การเช็กผลซ้ำ ๆ แล้วหยุดทดสอบก่อนเวลา" "การเปลี่ยนหลายอย่างพร้อมกัน" และ "การรันทดสอบสั้นเกินไป"
- บนเว็บไซต์ที่มีทราฟฟิกน้อย คุณยังมีข้อมูลให้ใช้ตัดสินใจได้มากขึ้นด้วยการเปลี่ยนวิธีการ เช่น เน้นการเปลี่ยนแปลงที่ใหญ่ขึ้น หรือดูตัวชี้วัดในขั้นตอนที่เร็วกว่า
"ลองเปลี่ยนพาดหัวแล้วคนสมัครเพิ่มขึ้นไหมนะ" "ปุ่มควรอยู่สูงขึ้นในหน้าหรือเปล่า" เมื่อคุณดูแลเว็บไซต์ ไอเดียสำหรับการปรับปรุงจะเกิดขึ้นเรื่อย ๆ แต่การเปลี่ยนแปลงนั้นจะทำให้ดีขึ้นหรือแย่ลงจริง ๆ เป็นสิ่งที่คุณจะรู้ไม่ได้จนกว่าจะลองทำ และแม้ตัวเลขจะเพิ่มขึ้นหลังจากเปลี่ยนแปลง ก็มักแยกไม่ออกว่าการเปลี่ยนแปลงนั้นสมควรได้รับเครดิต หรือเป็นเพียงเพราะสัปดาห์นั้นคุณบังเอิญเพิ่มค่าโฆษณา
เมื่อต้องการยืนยันผลของการเปลี่ยนแปลงโดยแยกออกจากปัจจัยอื่น ๆ คุณจะใช้ การทดสอบ A/B
บทความนี้จะพาไปดูว่า A/B testing หมายถึงอะไรและทำงานอย่างไร จากนั้นจึงครอบคลุมขั้นตอนปฏิบัติ วิธีเขียนสมมติฐาน ปริมาณข้อมูลและเวลาที่ต้องใช้ "ความแตกต่างที่มีนัยสำคัญ" หมายความว่าอย่างไรกันแน่ และข้อผิดพลาดที่มือใหม่พบบ่อยที่สุด แม้จะมีสถิติเข้ามาเกี่ยวข้องบ้าง แต่ผมจะใช้สูตรให้น้อยที่สุดและให้ความสำคัญกับการทำความเข้าใจแนวคิดเป็นอันดับแรก ตัวอย่างการคำนวณทั้งหมดในบทความนี้ใช้ตัวเลขสมมติที่เลือกมาเพื่อประกอบการอธิบาย
A/B testing คืออะไร?
A/B testing คือ วิธีที่คุณสุ่มแสดงหน้าเว็บหนึ่งในสองเวอร์ชันให้ผู้เยี่ยมชม แล้วเปรียบเทียบว่าเวอร์ชันไหนให้ผลลัพธ์ดีกว่า โดยใช้ข้อมูลจากช่วงเวลาเดียวกัน บางครั้งเรียกว่า "split testing"
- A (control / เวอร์ชันเดิม): หน้าปัจจุบัน เป็นเกณฑ์พื้นฐานสำหรับการเปรียบเทียบ
- B (variant / เวอร์ชันที่แก้ไข): หน้าที่เปลี่ยนแปลงบางส่วน เป็นไอเดียที่คุณอยากลอง
ตัวอย่างเช่น คุณแสดงเวอร์ชัน A ให้ผู้เยี่ยมชมครึ่งหนึ่งและเวอร์ชัน B ให้อีกครึ่งหนึ่ง จากนั้นเปรียบเทียบสัดส่วนของแต่ละกลุ่มที่สมัครสำเร็จ สัดส่วนนี้เรียกว่า อัตราคอนเวอร์ชัน (CVR) คอนเวอร์ชันคือการกระทำที่คุณอยากให้ผู้เยี่ยมชมทำบนเว็บไซต์ เช่น การซื้อ การสมัครสมาชิก หรือการขอเอกสาร
ชื่อ "A/B testing" มาจากการเปรียบเทียบสองเวอร์ชัน แต่คุณก็เปรียบเทียบสามเวอร์ชันขึ้นไปพร้อมกันได้เช่นกัน (เรียกว่า A/B/n testing) หลักคิดเหมือนกัน
หลักการทำงาน: สุ่มแบ่งแล้วเปรียบเทียบพร้อมกัน
A/B test ทำงานได้ด้วยกลไกสามอย่าง
1. ผู้เยี่ยมชมถูกกำหนดเวอร์ชันแบบสุ่ม ผู้เยี่ยมชมจะเห็น A หรือ B ถูกตัดสินโดยเครื่องมือด้วยการสุ่มตัวเลข ไม่ใช่คนเป็นผู้เลือก และการแบ่งก็ไม่ได้เป็นไปตามกฎอย่าง "ช่วงเช้าแสดง A ช่วงบ่ายแสดง B" การกำหนดแบบสุ่มทำให้ความแตกต่างระหว่างผู้เยี่ยมชม เช่น ผู้เยี่ยมชมใหม่กับผู้ที่กลับมา สมาร์ตโฟนกับเดสก์ท็อป หรือคนที่มาจากโฆษณากับคนที่มาจากการค้นหา ถูกผสมกันในสัดส่วนใกล้เคียงกันทั้งใน A และ B
2. ทั้งสองเวอร์ชันรันในช่วงเวลาเดียวกัน A และ B ถูกแสดงพร้อมกัน ดังนั้นปัจจัยภายนอก เช่น การลดราคา ฤดูกาล การถูกพูดถึงในโทรทัศน์ หรือความผันผวนตามวันในสัปดาห์ จะส่งผลต่อ A และ B ในลักษณะเดียวกัน
3. คนเดิมเห็นเวอร์ชันเดิมต่อเนื่อง หากคนที่ถูกกำหนดให้เห็น B กลับมาเห็น A ในการเข้าชมครั้งถัดไป คุณจะบอกไม่ได้อีกต่อไปว่าเวอร์ชันไหนมีอิทธิพลต่อการสมัครของเขา ด้วยเหตุนี้ เครื่องมือส่วนใหญ่จึงใช้เครื่องหมายที่เก็บไว้ในเบราว์เซอร์ (เช่น คุกกี้) เพื่อแสดงเวอร์ชันเดิมให้ผู้เยี่ยมชมคนเดิมเสมอ
เมื่อเงื่อนไขทั้งสามข้อนี้ครบ ความแตกต่างเพียงอย่างเดียวระหว่าง A และ B ก็คือ "สิ่งที่คุณเปลี่ยนบนหน้าเว็บ" นี่คือเหตุผลที่เมื่อผลลัพธ์ต่างกัน จะสรุปได้ง่ายขึ้นว่าความต่างนั้นมาจากการเปลี่ยนแปลง แนวคิดนี้เหมือนกับการทดลองแบบสุ่มที่มีกลุ่มควบคุม (randomized controlled trial) ซึ่งใช้ทดสอบผลของยา เพียงแต่นำมาใช้กับเว็บไซต์
ทำไมต้องใช้ A/B testing: สิ่งที่การเปรียบเทียบก่อน-หลังบอกคุณไม่ได้
คุณอาจสงสัยว่า "ทำไมไม่เปลี่ยนหน้าเว็บแล้วเปรียบเทียบตัวเลขก่อนและหลังโดยไม่ต้องแบ่งผู้เยี่ยมชมล่ะ" วิธีนี้เรียกว่าการเปรียบเทียบก่อน-หลัง ทำได้ง่ายแต่มีจุดอ่อนใหญ่ คือ คุณแยกผลของการเปลี่ยนแปลงออกจากปัจจัยอื่นไม่ได้
ตัวเลขของเว็บไซต์ขยับไปมาในแต่ละวันแม้คุณจะไม่ได้เปลี่ยนอะไรบนหน้าเว็บ ปัจจัยที่ทำให้ขยับมีดังนี้
- ฤดูกาลและอีเวนต์: ช่วงโบนัส ปลายปีงบประมาณ วันหยุด สภาพอากาศ และอื่น ๆ
- โฆษณาและแคมเปญ: งบโฆษณาที่เพิ่มหรือลด การเปลี่ยนหน้าปลายทางของโฆษณา การส่งจดหมายข่าวทางอีเมล
- วันในสัปดาห์และช่วงเวลาของวัน: ผู้เยี่ยมชมวันธรรมดากับวันหยุดสุดสัปดาห์อาจแตกต่างกันทั้งประเภทและวัตถุประสงค์
- การเปลี่ยนแปลงของแหล่งที่มาของทราฟฟิก: อันดับการค้นหาที่เปลี่ยนไป การเป็นกระแสไวรัลบนโซเชียลมีเดีย การแนะนำมาจากเว็บไซต์อื่น
- คู่แข่งและตลาด: คู่แข่งลดราคา ข่าวที่ถูกนำเสนอ
ในการเปรียบเทียบก่อน-หลัง หากปัจจัยเหล่านี้ข้อใดทับซ้อนกับช่วงหลังการเปลี่ยนแปลง คุณจะบอกไม่ได้ว่าตัวเลขที่เปลี่ยนไปมาจากการเปลี่ยนแปลงของคุณหรือจากสิ่งอื่น แม้ตัวเลขจะสูงขึ้นหลังการเปลี่ยนแปลง ก็เป็นไปได้ว่าการเปลี่ยนแปลงนั้นทำให้แย่ลงจริง ๆ แต่โฆษณาที่เพิ่มขึ้นบังเอิญปิดบังไว้
A/B test แสดง A และ B ในช่วงเวลาเดียวกัน ปัจจัยเหล่านี้จึงส่งผลต่อทั้งสองฝั่งเท่ากัน จากนั้นคุณดูความแตกต่างที่เหลืออยู่ ซึ่งทำให้แยกผลของการเปลี่ยนแปลงเพียงอย่างเดียวได้ง่ายขึ้น
อีกเหตุผลหนึ่งคือ สัญชาตญาณของผู้สร้างกับปฏิกิริยาของผู้เยี่ยมชมมักไม่ตรงกัน ไม่ใช่เรื่องแปลกที่ไอเดียซึ่งทุกคนในองค์กรเห็นพ้องว่า "เข้าใจง่ายกว่า" จะไม่ได้ผลกับผู้เยี่ยมชมจริง A/B testing จึงเป็นวิธีตัดสินใจจากสิ่งที่ผู้เยี่ยมชมทำจริง ไม่ใช่จากว่าใครเสียงดังที่สุดหรือใครมีตำแหน่งสูงกว่า
A/B testing บอกอะไรได้และบอกอะไรไม่ได้
A/B testing ทรงพลัง แต่ก็บอกทุกอย่างไม่ได้ การรู้ก่อนเริ่มว่ามันเก่งและไม่เก่งเรื่องอะไรช่วยให้คุณหลีกเลี่ยงการอ่านผลผิด
สิ่งที่บอกได้
- การเปลี่ยนแปลงทำให้ตัวชี้วัดที่คุณเลือก (เช่น อัตราการสมัคร) สูงขึ้น ลดลง หรือแทบไม่เปลี่ยนแปลง
- ความแตกต่างใหญ่พอที่ความผันผวนแบบสุ่มเพียงอย่างเดียวอธิบายได้ยากหรือไม่
สิ่งที่บอกไม่ได้หรือไม่ถนัด
- ทำไมจึงมีความแตกต่าง: เหตุผลเป็นเพียงการคาดเดา ให้พิจารณาร่วมกับข้อมูลอื่น
- ผลระยะยาว: เห็นเพียงพฤติกรรมในช่วงทดสอบ มักบอกเรื่องการรักษาลูกค้าไว้หรืออัตราการยกเลิกในอีกหลายเดือนข้างหน้าไม่ได้
- การเปรียบเทียบกับไอเดียที่ไม่ได้ทดสอบ: คุณรู้ว่า A หรือ B ดีกว่า แต่ไม่รู้ว่ามีตัวเลือก C ที่ดีกว่าอยู่หรือไม่
- การปรับปรุงเล็ก ๆ บนหน้าที่มีทราฟฟิกน้อย: อาจมีข้อมูลไม่พอที่จะบอกได้ไม่ว่าจะมีความแตกต่างหรือไม่ (หัวข้อด้านล่างว่าด้วยเรื่องนี้จะบอกว่าควรทำอย่างไร)
นอกจากนี้ A/B testing เป็น "เครื่องมือสำหรับตรวจสอบไอเดีย" ไม่ใช่ "เครื่องมือสำหรับคิดไอเดียดี ๆ" คุณภาพของไอเดียที่คุณทดสอบถูกกำหนดโดยวิธีสร้างสมมติฐานของคุณ
ประเภทของ A/B test: ต่างจาก multivariate test และ redirect test อย่างไร
แม้ในกลุ่ม "A/B testing" ก็ยังมีวิธีที่เกี่ยวข้องกันอยู่หลายแบบ ต่อไปนี้คือแบบที่พบบ่อยที่สุด
| ประเภท | สิ่งที่เปรียบเทียบ | เหมาะสำหรับ | ข้อควรระวัง |
|---|---|---|---|
| A/B test | เวอร์ชันที่ URL เดียวกันโดยเปลี่ยนเพียงบางส่วน | ตรวจสอบผลของการเปลี่ยนแปลงเดียว เช่น พาดหัว ปุ่ม หรือรูปภาพ | เป็นรูปแบบพื้นฐาน เริ่มต้นที่นี่ |
| A/B/n test | สามเวอร์ชันขึ้นไป | มีพาดหัวหลายตัวเลือกและอยากเปรียบเทียบพร้อมกัน | ยิ่งมีเวอร์ชันมาก ข้อมูลต่อเวอร์ชันยิ่งน้อยและการทดสอบยิ่งนาน |
| Multivariate test | การผสมกันของหลายองค์ประกอบ (เช่น พาดหัว 2 แบบ × รูปภาพ 2 แบบ = 4 ชุด) | อยากรู้ว่าองค์ประกอบชุดไหนผสมกันแล้วได้ผลดีที่สุด | ต้องมีข้อมูลครบทุกชุด เหมาะกับหน้าที่มีทราฟฟิกสูง |
| Redirect test (split URL test) | หน้าที่ออกแบบต่างกันซึ่งสร้างไว้ที่ URL แยกกัน | อยากเปรียบเทียบหน้าใหม่ที่เลย์เอาต์ต่างจากเดิมมากกับหน้าปัจจุบัน | การรีไดเรกต์อาจทำให้การแสดงผลช้าลงเล็กน้อย และต้องคำนึงถึงเสิร์ชเอนจิน |
| A/A test | สองเวอร์ชันที่เหมือนกันทุกประการ | อยากตรวจสอบว่าการแบ่งทราฟฟิกและการวัดผลของเครื่องมือทำงานถูกต้อง | เป็นการทดสอบเพื่อตรวจสอบ ไม่ใช่เพื่อปรับปรุง |
Multivariate test เปลี่ยนหลายองค์ประกอบพร้อมกันและเปรียบเทียบผลของแต่ละชุด จึงเห็นได้ด้วยว่าองค์ประกอบต่าง ๆ เข้ากันได้ดีแค่ไหน เช่น "พาดหัวนี้ผสมกับรูปภาพนี้ได้ผลดีที่สุด" อย่างไรก็ตาม พาดหัว 3 แบบ รูปภาพ 3 แบบ และปุ่ม 2 แบบ รวมเป็น 18 ชุด และแต่ละชุดต้องมีข้อมูลเพียงพอ สำหรับเว็บไซต์ที่ทราฟฟิกจำกัด การรัน A/B test ต่อเนื่องกันไปทีละรอบเป็นแนวทางที่สมจริงกว่า
Redirect test ส่งผู้เยี่ยมชมบางส่วนไปยัง URL อื่นแล้วเปรียบเทียบผลลัพธ์ หรือเรียกว่า split URL test เหมาะกับการเปลี่ยนแปลงใหญ่ เช่น การสร้างโครงสร้างของหน้าใหม่ทั้งหมด ส่วน A/B test ทั่วไปที่เขียนองค์ประกอบใหม่ที่ URL เดิมเหมาะกับการลองเปลี่ยนเล็ก ๆ อย่างถ้อยคำหรือสีได้อย่างรวดเร็ว
นอกเว็บไซต์ การส่งหัวเรื่องอีเมลหรือครีเอทีฟโฆษณาสองเวอร์ชันแล้วเปรียบเทียบการตอบสนองก็เรียกว่า A/B testing เช่นกัน บทความนี้ครอบคลุม A/B testing ของหน้าเว็บ
สิ่งที่ควรทดสอบใน A/B test
มีองค์ประกอบมากมายที่ทดสอบได้ ต่อไปนี้คือองค์ประกอบทั่วไป
- พาดหัว (ข้อความหลัก): เปลี่ยนจากการอธิบายฟีเจอร์เป็นการอธิบายผลลัพธ์ที่ผู้เยี่ยมชมจะได้รับ จุดมุ่งหมายคือสื่อสารให้ได้ใน 2-3 วินาทีแรกว่า "นี่เกี่ยวข้องกับฉัน"
- CTA (ปุ่มกระตุ้นให้ลงมือทำ): เปลี่ยนถ้อยคำ ตำแหน่ง ขนาด หรือสี จุดมุ่งหมายคือทำให้การกระทำถัดไปชัดเจน
- ภาพหรือวิดีโอหลัก: เปรียบเทียบภาพถ่ายสินค้าอย่างเดียวกับภาพขณะใช้งาน จุดมุ่งหมายคือสื่อคุณค่าให้เข้าใจได้โดยสัญชาตญาณ
- ฟอร์ม: ลดจำนวนช่อง แบ่งเป็นหลายขั้นตอน เพิ่มตัวอย่างการกรอก จุดมุ่งหมายคือลดความยุ่งยากและความลังเล
- วิธีแสดงราคา: การจัดวางราคารายเดือนและรายปี ลำดับของแผน ตำแหน่งที่แสดงราคารวมภาษี จุดมุ่งหมายคือทำให้เปรียบเทียบและตัดสินใจง่ายขึ้น
- ข้อมูลสร้างความน่าเชื่อถือ: ผลงานของลูกค้า คำรับรอง การวางข้อมูลการรับประกันและการสนับสนุน จุดมุ่งหมายคือลดความกังวลก่อนสมัคร
- เลย์เอาต์และลำดับข้อมูล: ย้ายข้อมูลสำคัญให้สูงขึ้น ทำให้หน้าที่ยาวสั้นลง จุดมุ่งหมายคือให้ผู้เยี่ยมชมไปถึงข้อมูลที่ต้องการได้เร็วขึ้น
- การนำทาง: เปลี่ยนจำนวนรายการเมนูหรือถ้อยคำ จุดมุ่งหมายคือลดความสับสนและพาผู้เยี่ยมชมไปยังหน้าที่ต้องการ
CTA ย่อมาจาก "Call To Action" หมายถึงปุ่มหรือลิงก์ที่กระตุ้นให้ผู้เยี่ยมชมลงมือทำ เช่น "สมัครสมาชิก" หรือ "ขอเอกสาร"
โดยหลักการ ให้ตัดสินใจว่าจะเริ่มที่ไหนจาก ความใกล้ชิดกับผลลัพธ์ และ ปริมาณที่คนเห็น จุดที่เชื่อมโดยตรงกับผลลัพธ์ เช่น ปุ่มสมัครและฟอร์ม และส่วนบนของหน้าที่ผู้เยี่ยมชมจำนวนมากเห็น เป็นที่ที่การเปลี่ยนแปลงมีแนวโน้มแสดงผลมากที่สุด ในทางกลับกัน การเปลี่ยนเล็ก ๆ ใกล้ส่วนล่างของหน้าที่คนส่วนใหญ่เลื่อนไปไม่ถึง ต้องใช้เวลานานกว่าจะตรวจพบแม้จะได้ผลก็ตาม
"สีของปุ่ม" มักถูกยกเป็นตัวอย่างของ A/B testing แต่การเปลี่ยนสีอย่างเดียวไม่จำเป็นต้องสร้างความแตกต่างใหญ่ สิ่งที่สำคัญกว่าตัวสีเองคือปัญหาอยู่ที่ปุ่มกลืนไปกับสิ่งรอบข้างจนไม่มีใครสังเกตหรือไม่ สิ่งที่ควรเปลี่ยนควรคิดย้อนกลับมาจากสมมติฐาน ซึ่งจะกล่าวถึงต่อไป
วิธีทำ A/B test [6 ขั้นตอน]
A/B test ดำเนินไปตาม 6 ขั้นตอนต่อไปนี้ สิ่งสำคัญคือ ต้องกำหนดตัวชี้วัด ปริมาณข้อมูลที่ต้องใช้ ระยะเวลา และเกณฑ์การตัดสินให้เรียบร้อยก่อนเริ่มรัน
ตั้งเป้าหมายและตัวชี้วัด
จำกัดสิ่งที่อยากปรับปรุงให้เหลือเพียงอย่างเดียว และกำหนดตัวชี้วัดที่ใช้วัดสิ่งนั้น ระบุให้วัดผลเป็นตัวเลขได้ เช่น "เพิ่มอัตราการขอเอกสารสำเร็จ" ใช้ตัวชี้วัดเพียงตัวเดียวสำหรับการตัดสิน (ตัวชี้วัดหลัก)
สร้างสมมติฐาน
เขียนว่า "ปัญหาอยู่ที่ไหน จะเปลี่ยนอะไรและอย่างไร และทำไมคุณจึงคิดว่าจะดีขึ้น" การอิงข้อมูลอย่างเว็บอนาลิติกส์และฮีทแมปช่วยลดการคาดเดา
สร้างเวอร์ชันที่จะทดสอบ
ตามสมมติฐาน ให้สร้างเวอร์ชันที่เปลี่ยนแปลง (B) เพื่อให้บอกได้ว่าอะไรได้ผล ให้จำกัดการเปลี่ยนแปลงไว้เท่าที่สมมติฐานเดียวครอบคลุม ตรวจสอบการแสดงผลทั้งบนสมาร์ตโฟนและเดสก์ท็อป
กำหนดข้อมูลและระยะเวลาที่ต้องใช้ แล้วรัน
ประมาณขนาดกลุ่มตัวอย่างที่ต้องใช้และระยะเวลาทดสอบ กำหนดการจัดสรรทราฟฟิก แล้วจึงเริ่ม หลังเริ่มทันทีให้ตรวจสอบว่าการแบ่งทราฟฟิกและการวัดผลทำงานถูกต้อง
ตัดสินผลเมื่อสิ้นสุดระยะเวลา
ดูผลลัพธ์ก็ต่อเมื่อถึงระยะเวลาและปริมาณข้อมูลที่กำหนดไว้ล่วงหน้าแล้วเท่านั้น ตรวจสอบความแตกต่างของตัวชี้วัดหลัก และดูว่าความแตกต่างนั้นอยู่ในขอบเขตที่ความผันผวนแบบสุ่มอธิบายได้หรือไม่
นำผลไปใช้และไปสู่สมมติฐานถัดไป
นำเวอร์ชันที่ทำได้ดีกว่ามาใช้อย่างเป็นทางการและเก็บกวาดการตั้งค่าทดสอบ แม้จะไม่มีความแตกต่าง ก็ให้บันทึกสิ่งที่ได้เรียนรู้และนำไปใช้กับสมมติฐานถัดไป
หัวข้อต่อไปนี้จะอธิบายแนวคิดเบื้องหลังแต่ละขั้นตอนโดยละเอียดยิ่งขึ้น
วิธีเลือกเป้าหมายและตัวชี้วัด
การจัดระเบียบตัวชี้วัดตามบทบาทช่วยได้มาก
- ตัวชี้วัดหลัก (primary metric): ตัวชี้วัดที่ตัดสินว่าใครชนะการทดสอบ เลือกเพียงตัวเดียว ตัวอย่างเช่น อัตราการซื้อสำเร็จ อัตราการขอเอกสารสำเร็จ และอัตราการสมัครใช้ฟรี
- ตัวชี้วัดรอง (secondary metrics): ตัวชี้วัดที่ดูเพื่อทำความเข้าใจว่าตัวชี้วัดหลักขยับอย่างไร ตัวอย่างเช่น อัตราการคลิกปุ่ม อัตราการเริ่มกรอกฟอร์ม และความลึกในการเลื่อนหน้า
- ตัวชี้วัดป้องกัน (guardrail metrics): ตัวชี้วัดที่เฝ้าดูเพื่อให้แน่ใจว่าไม่มีอะไรแย่ลง ตัวอย่างเช่น อัตราการตีกลับ (bounce rate) ความเร็วในการโหลดหน้า การคืนสินค้าหรือการยกเลิก และจำนวนการสอบถาม
เหตุผลที่ควรจำกัดตัวชี้วัดหลักไว้เพียงตัวเดียวคือ หากคุณเรียงตัวชี้วัดไว้มากมายแล้วนับว่าสำเร็จเมื่อตัวใดตัวหนึ่งดีขึ้น คุณมีแนวโน้มจะเลือกตัวชี้วัดที่ดูดีขึ้นเพียงเพราะบังเอิญ นี่คือปัญหา "การเปรียบเทียบหลายครั้ง" (multiple comparisons) ซึ่งจะกลับมากล่าวถึงอีกในหัวข้อต่อไป
เลือกตัวชี้วัดหลักที่ ใกล้เคียงกับผลลัพธ์ทางธุรกิจมากที่สุดเท่าที่จะเป็นไปได้ อาจเกิดกรณีที่อัตราการคลิกปุ่มเพิ่มขึ้นแต่การสมัครไม่เพิ่ม ถ้อยคำที่ชวนให้คลิกทำให้คนกดปุ่มมากขึ้น แต่หากสิ่งที่ตามมาไม่ตรงกับความคาดหวัง พวกเขาก็จะออกไป
ในทางกลับกัน ตัวชี้วัดที่เกิดขึ้นน้อย เช่น การซื้อหรือการทำสัญญา ใช้เวลานานกว่าจะเก็บข้อมูลได้พอ สำหรับเว็บไซต์ที่ทราฟฟิกจำกัด ทางเลือกหนึ่งคือใช้ตัวชี้วัดในขั้นตอนที่เร็วกว่า (เช่น การไปถึงฟอร์ม) เป็นตัวชี้วัดหลัก ในกรณีนั้นสิ่งสำคัญคือต้องจำข้อสมมติฐานไว้ว่า "แม้ตัวชี้วัดขั้นต้นจะดีขึ้น ผลลัพธ์สุดท้ายก็ไม่จำเป็นต้องดีขึ้น"
วิธีเขียนสมมติฐาน: เปลี่ยนข้อมูลพฤติกรรมให้เป็นเหตุผลในการเปลี่ยนแปลง
ความสำเร็จของ A/B test ขึ้นอยู่กับคุณภาพของสมมติฐานเป็นอย่างมาก หากลองไอเดียไปเรื่อย ๆ โดยไม่มีสมมติฐาน คุณจะได้การทดสอบที่ไม่แสดงความแตกต่างต่อกันเป็นพรวน และแม้มีความแตกต่าง ก็นำไปต่อยอดไม่ได้
การเขียนสมมติฐานในรูปแบบต่อไปนี้ช่วยลดช่องโหว่
"จาก (ข้อเท็จจริงที่เห็นในข้อมูล) เราคิดว่า (การคาดเดาเกี่ยวกับปัญหา) ดังนั้นหากเรา (ทำการเปลี่ยนแปลงนี้) แล้ว (ตัวชี้วัดนี้) น่าจะดีขึ้น"
ตัวอย่างเช่น สมมติสถานการณ์ต่อไปนี้ (สมมติ)
- ข้อเท็จจริง: ในหน้าราคา มีผู้เยี่ยมชมเพียงไม่กี่คนที่เลื่อนลงไปไกลพอจะถึงปุ่มสมัคร
- การคาดเดาเกี่ยวกับปัญหา: ปุ่มอยู่ต่ำเกินไป ผู้เยี่ยมชมที่อยากสมัครจึงหาไม่เจอ
- การเปลี่ยนแปลง: วางปุ่มสมัครไว้ใต้ตารางแผนด้วย
- ตัวชี้วัด: อัตราการสมัครสำเร็จ
การเขียนเช่นนี้ทำให้คุณย้อนกลับมาดูหลังผลออกได้ว่า "การคาดเดานั้นผิด หรือการเปลี่ยนแปลงยังไม่พอ"
ข้อมูลที่ใช้เป็นฐานของสมมติฐานได้มีดังนี้
- เว็บอนาลิติกส์: หน้าไหนมีคนออกจากหน้ามาก แหล่งทราฟฟิกไหนให้ผลลัพธ์ต่ำ เหมาะกับการหาว่า "หน้า" ไหนมีปัญหา
- ฮีทแมป: คนอ่านลงไปถึงตรงไหนของหน้า คลิกที่ไหน คลิกสิ่งที่ไม่ใช่ลิงก์หรือไม่ เหมาะกับการหาว่า "จุด" ไหนมีปัญหา
- การสอบถามและบันทึกการขายหรือการสนับสนุน: ผู้เยี่ยมชมสับสนและกังวลเรื่องอะไร
- แบบสำรวจและการสัมภาษณ์ผู้ใช้: เบาะแสถึงเหตุผลที่ไม่ปรากฏในตัวเลข
ฮีทแมปคือเครื่องมือที่ซ้อนพฤติกรรมของผู้เยี่ยมชมลงบนหน้าเว็บเป็นพื้นที่สีอ่อนและเข้ม (ดูประเภทและวิธีอ่านได้ที่ ฮีทแมปคืออะไร?) ช่วยให้หาจุดที่มีปัญหาภายในหน้าได้ เช่น "ปุ่มสำคัญไม่ถูกคลิก" หรือ "หลายคนหยุดอ่านกลางหน้า" สำหรับการแบ่งบทบาท คือหาปัญหาด้วยฮีทแมปและตรวจสอบการแก้ไขด้วย A/B test ดูได้ที่ ฮีทแมปกับ A/B testing: ความแตกต่างและวิธีใช้แต่ละอย่าง
เมื่อมีสมมติฐานหลายข้อ ให้จัดอันดับตามสามประเด็น ได้แก่ "ขนาดผลกระทบที่คาดหวัง" "ความหนักแน่นของหลักฐาน" และ "ความพยายามในการลงมือทำ" การเริ่มจากข้อที่คาดว่ามีผลกระทบสูงและใช้ความพยายามต่ำจะทำให้เดินหน้าได้ง่ายขึ้น
ทำความเข้าใจขนาดกลุ่มตัวอย่าง
ขนาดกลุ่มตัวอย่างคือปริมาณข้อมูลที่ต้องใช้สำหรับการทดสอบ นั่นคือ จำนวนผู้เยี่ยมชมที่เห็นแต่ละเวอร์ชัน ใน A/B test คุณประมาณค่านี้ก่อนรัน หากข้อมูลน้อยเกินไป คุณจะพลาดไม่พบความแตกต่างที่มีอยู่จริงบ่อยขึ้น และแม้จะบังเอิญปรากฏความแตกต่างที่มีนัยสำคัญ ขนาดของมันก็มักดูใหญ่กว่าความจริง
ขนาดกลุ่มตัวอย่างที่ต้องใช้ถูกกำหนดโดยปัจจัยหลักสี่อย่างนี้
- อัตราคอนเวอร์ชันปัจจุบัน: ยิ่งต่ำ ยิ่งต้องใช้ข้อมูลมาก
- ขนาดของความแตกต่างที่ต้องการตรวจพบ: ยิ่งอยากหาความแตกต่างที่เล็ก ยิ่งต้องใช้ข้อมูลมาก ความแตกต่างที่เล็กที่สุดที่คุณอยากตรวจพบ โดยยอมพลาดสิ่งที่เล็กกว่านั้น เรียกว่าผลกระทบที่ตรวจพบได้ขั้นต่ำ (minimum detectable effect หรือ MDE)
- ระดับนัยสำคัญ: คุณยอมรับความผิดพลาดจากการประกาศว่า "มีความแตกต่าง" ทั้งที่ไม่มีได้มากเท่าใด โดยทั่วไปใช้ 5%
- อำนาจการทดสอบทางสถิติ (statistical power): ความน่าจะเป็นที่จะพบความแตกต่างเมื่อมีอยู่จริง โดยทั่วไปใช้ 80%
ในบรรดาสี่อย่างนี้ ข้อที่สองมีผลมากที่สุด เมื่อความแตกต่างที่ต้องการหาลดลงครึ่งหนึ่ง ปริมาณข้อมูลที่ต้องใช้จะเพิ่มขึ้นประมาณ 4 เท่า
ต่อไปนี้คือตัวอย่างการคำนวณเพื่อให้เห็นภาพคร่าว ๆ เป็นจำนวนผู้เยี่ยมชมโดยประมาณที่ต้องใช้ต่อเวอร์ชัน โดยสมมติว่าอัตราคอนเวอร์ชันปัจจุบันคือ 2.0% (คำนวณด้วยสูตรมาตรฐานสำหรับเปรียบเทียบสัดส่วนสองค่า ใช้การทดสอบสองด้าน ระดับนัยสำคัญ 5% และอำนาจการทดสอบ 80%)
| การปรับปรุงที่ต้องการตรวจพบ (สัมพัทธ์) | อัตราคอนเวอร์ชันหลังเปลี่ยน | ผู้เยี่ยมชมที่ต้องใช้ต่อเวอร์ชัน (โดยประมาณ) |
|---|---|---|
| +10% | 2.0% → 2.2% | ประมาณ 80,700 |
| +20% | 2.0% → 2.4% | ประมาณ 21,100 |
| +30% | 2.0% → 2.6% | ประมาณ 9,800 |
| +50% | 2.0% → 3.0% | ประมาณ 3,800 |
ตารางนี้แสดงสองสิ่ง ประการแรก การยืนยันการปรับปรุงเล็ก ๆ ต้องใช้ข้อมูลมากกว่าที่คุณคิด เพื่อยืนยันการปรับปรุง 10% บนหน้าที่มีอัตราคอนเวอร์ชัน 2.0% คุณจะต้องมีผู้เยี่ยมชมมากกว่า 160,000 คนรวม A และ B ประการที่สอง ยิ่งการเปลี่ยนแปลงมุ่งหวังการปรับปรุงที่ใหญ่ ก็ยิ่งใช้ข้อมูลน้อยลงในการตัดสิน
เมื่อประมาณจริง เครื่องคำนวณที่มีอยู่ในเครื่องมือ A/B testing หรือเครื่องคำนวณขนาดกลุ่มตัวอย่างที่เปิดให้ใช้สาธารณะช่วยให้คุณได้คำตอบเพียงใส่ค่าทั้งสี่ ไม่จำเป็นต้องท่องสูตร สิ่งสำคัญคือกำหนดก่อนว่า "ต้องการหาความแตกต่างใหญ่แค่ไหน" แล้วตรวจสอบว่าทราฟฟิกของเว็บไซต์คุณพาไปถึงจุดนั้นได้ภายในเวลาที่สมเหตุสมผลหรือไม่
หากจำนวนที่ต้องใช้ซึ่งคุณประมาณได้มากเกินไป ก็ยังมีทางเลือกอื่นนอกจากเลิกทดสอบ ได้แก่ เน้นการเปลี่ยนแปลงที่น่าจะสร้างความแตกต่างได้มากกว่า รันทดสอบบนหน้าที่มีทราฟฟิกสูง หรือ ดูตัวชี้วัดที่อยู่ต้นกว่าในกรวยการแปลง (funnel) หัวข้อ "สิ่งที่ควรทำบนเว็บไซต์ที่มีทราฟฟิกน้อย" จะอธิบายวิธีการ
วิธีกำหนดระยะเวลาทดสอบ
ประมาณระยะเวลาทดสอบโดยหารขนาดกลุ่มตัวอย่างที่ต้องใช้ด้วยจำนวนคนที่เข้าชมหน้าที่ทดสอบต่อวัน
ตัวอย่างเช่น สมมติว่าตารางข้างต้นบอกว่าต้องใช้ "ประมาณ 21,100 ต่อเวอร์ชัน" หน้าเป้าหมายมีผู้เยี่ยมชมวันละ 1,000 คน และสมมติว่าทุกคนถูกรวมในการทดสอบและแบ่งครึ่งต่อครึ่งระหว่าง A และ B ดังนั้นแต่ละเวอร์ชันได้วันละ 500 คน 21,100 ÷ 500 ได้ประมาณ 42 วัน หรือประมาณ 6 สัปดาห์
เมื่อกำหนดระยะเวลา ให้พิจารณาประเด็นต่อไปนี้ควบคู่กับปริมาณข้อมูล
ใช้จำนวนสัปดาห์เต็ม พฤติกรรมผู้เยี่ยมชมเปลี่ยนไปตามวันในสัปดาห์ วันธรรมดาอาจเป็นการค้นคว้าเรื่องงาน ส่วนวันหยุดสุดสัปดาห์เป็นการช้อปปิ้งส่วนตัว ประเภทและวัตถุประสงค์ของผู้เยี่ยมชมจึงต่างกันได้ หากจบหลังเพียงสี่วัน คือวันจันทร์ถึงวันพฤหัสบดี ปฏิกิริยาของผู้เยี่ยมชมวันหยุดสุดสัปดาห์จะหายไป การเริ่มและจบในวันเดียวกันของสัปดาห์ โดยใช้ จำนวนวันที่หาร 7 ลงตัว จะหลีกเลี่ยงอคติจากวันในสัปดาห์ได้
หลีกเลี่ยงช่วงเวลาที่สั้นเกินไป แม้เว็บไซต์ที่มีทราฟฟิกสูงมากซึ่งถึงจำนวนที่ต้องใช้ภายในไม่กี่วัน กฎเกณฑ์ทั่วไปคือรันอย่างน้อย 1 สัปดาห์ และจะดีที่สุดคือ 2 สัปดาห์ นอกจากอคติจากวันในสัปดาห์แล้ว ปฏิกิริยาอาจดีขึ้นทันทีหลังเปลี่ยนเพียงเพราะมันใหม่ (หรือแย่ลงเพราะผู้เยี่ยมชมที่กลับมาเกิดความงุนงง)
หลีกเลี่ยงช่วงเวลาที่ยาวเกินไปด้วย ยิ่งรันทดสอบนาน ยิ่งมีสิ่งรบกวนแทรกเข้ามา เช่น คุกกี้ถูกลบจนคนเดิมเห็นเวอร์ชันต่างออกไป หรือฤดูกาลและสภาพตลาดเปลี่ยนไป หากค่าประมาณของคุณออกมายาวกว่า 2 เดือนมาก เราแนะนำให้ทบทวนการออกแบบการทดสอบ (ขนาดของความแตกต่างที่ต้องการตรวจพบ หน้าเป้าหมาย และตัวชี้วัด)
หลีกเลี่ยงช่วงเวลาที่ผิดปกติ ผลลัพธ์จากช่วงที่พฤติกรรมผู้เยี่ยมชมต่างจากปกติมาก เช่น เทศกาลลดราคาครั้งใหญ่หรือวันหยุดปลายปี อาจใช้กับช่วงปกติไม่ได้ เว้นแต่คุณต้องการตรวจสอบมาตรการเฉพาะช่วงนั้น การหลีกเลี่ยงไว้ก่อนปลอดภัยกว่า
นัยสำคัญทางสถิติคืออะไร? อธิบายค่า p-value และระดับความเชื่อมั่นแบบเข้าใจง่าย
เมื่อการทดสอบสิ้นสุด คุณจะได้ผลลัพธ์ประมาณว่า "A คือ 2.0% B คือ 2.4%" สิ่งที่คุณต้องคิดตรงนี้คือ ความแตกต่างนี้เป็นของจริงหรือเป็นเพียงความบังเอิญ
แม้แสดงหน้าเดียวกันทุกประการให้สองกลุ่ม อัตราคอนเวอร์ชันของทั้งสองกลุ่มก็แทบไม่เคยตรงกันพอดี เหมือนการโยนเหรียญ 100 ครั้งไม่ได้ออกหัวพอดี 50 ครั้งเสมอไป ตัวเลขมีความผันผวนแบบสุ่ม คุณจึงต้องมีขั้นตอนตรวจสอบ "ว่าความแตกต่างที่สังเกตเห็นอยู่ในขอบเขตที่ความผันผวนแบบสุ่มเพียงอย่างเดียวอธิบายได้หรือไม่" นี่คือการทดสอบสมมติฐานทางสถิติ และคำที่ใช้เรียกข้อสรุปของมันคือ นัยสำคัญทางสถิติ
ค่า p-value คืออะไร?
ในการทดสอบ ขั้นแรกคุณสมมติว่า "ไม่มีความแตกต่างจริง ๆ ระหว่าง A และ B" จากนั้นคำนวณ ความน่าจะเป็นที่จะเห็นความแตกต่างอย่างน้อยเท่ากับที่สังเกตได้ โดยบังเอิญ หากไม่มีความแตกต่างจริง ๆ ความน่าจะเป็นนี้คือ ค่า p-value
- ค่า p-value ต่ำ → ภายใต้สมมติฐานว่าไม่มีความแตกต่าง ความแตกต่างเช่นนี้แทบไม่เกิดขึ้น → สมมติฐานว่าไม่มีความแตกต่างดูน่าสงสัย
- ค่า p-value สูง → ความแตกต่างขนาดนี้เกิดขึ้นบ่อยโดยบังเอิญแม้ไม่มีความแตกต่าง → คุณพูดไม่ได้ว่ามีความแตกต่าง
ระดับนัยสำคัญและระดับความเชื่อมั่น
เกณฑ์ว่าค่า p-value ต้องต่ำแค่ไหนจึงจะสรุปว่า "มีความแตกต่าง" เรียกว่า ระดับนัยสำคัญ ตามธรรมเนียม มักใช้ 5% (0.05) เมื่อค่า p-value ต่ำกว่าระดับนัยสำคัญ เราจะกล่าวว่า "มีความแตกต่างที่มีนัยสำคัญทางสถิติ"
บนหน้าจอของเครื่องมือ A/B testing คุณมักเห็นการแสดงผลอย่าง "ระดับความเชื่อมั่น 95%" หรือ "ความเชื่อมั่น 95%" โดยปกติหมายความว่าเครื่องมือกำลังตัดสินที่ระดับนัยสำคัญ 5% (ความหมายของการแสดงผลต่างกันไปตามเครื่องมือ จึงควรตรวจสอบเอกสารของเครื่องมือที่ใช้)
ระดับนัยสำคัญ 5% เป็นข้อตกลงว่า "เรายอมรับโอกาสสูงสุด 5% ที่จะประกาศว่ามีความแตกต่างทั้งที่จริง ๆ ไม่มี" อีกนัยหนึ่ง หากคุณทดสอบการเปลี่ยนแปลง 20 อย่างที่ไม่มีผลเลย โดยเฉลี่ยจะมี 1 อย่างที่ปรากฏเป็น "มีนัยสำคัญ" ความแตกต่างที่มีนัยสำคัญไม่ใช่หลักฐานของความแน่นอน แต่เป็นเกณฑ์ชี้วัดเพื่อรักษาโอกาสผิดพลาดให้ต่ำกว่าระดับที่ตั้งไว้
ความเข้าใจผิดที่พบบ่อยเกี่ยวกับค่า p-value
ความเข้าใจผิดที่พบบ่อยอื่น ๆ มีดังนี้
- "ไม่มีนัยสำคัญ" ไม่ได้แปลว่า "ไม่มีความแตกต่าง": รวมถึงสถานการณ์ที่มีข้อมูลไม่พอจะบอกว่ามีความแตกต่างหรือไม่
- ความแตกต่างที่มีนัยสำคัญไม่จำเป็นต้องมีขนาดที่มีความหมายต่อธุรกิจของคุณ: เมื่อมีข้อมูลมหาศาล แม้ความแตกต่างเล็กน้อยก็กลายเป็นมีนัยสำคัญ ให้ดูขนาดของความแตกต่างด้วย
- ค่า p-value ที่เล็กกว่าไม่ได้แปลว่าผลกระทบใหญ่กว่า: ค่า p-value ขึ้นอยู่กับปริมาณข้อมูลด้วย
ตรวจสอบด้วยตัวอย่างการคำนวณ
ลองตรวจสอบด้วยตัวเลขสมมติ สมมติว่ามีผู้เยี่ยมชม 10,000 คนถูกกำหนดให้ A และ B ฝั่งละ 10,000 คน
- ตัวอย่างที่ 1: A มี 200 คอนเวอร์ชัน (2.0%) และ B มี 240 (2.4%) ค่า p-value ประมาณ 0.054 สูงกว่าระดับนัยสำคัญ 5% เล็กน้อย แม้จะเห็นความแตกต่างสัมพัทธ์ 20% แต่ด้วยปริมาณข้อมูลเท่านี้ก็เรียกว่า "มีนัยสำคัญ" ไม่ได้
- ตัวอย่างที่ 2: A มี 200 คอนเวอร์ชัน (2.0%) และ B มี 250 (2.5%) ค่า p-value ประมาณ 0.017 ต่ำกว่าระดับนัยสำคัญ 5%
ด้วยอัตราเท่าเดิม หากข้อมูลน้อยลง ข้อสรุปจะเปลี่ยน หาก A และ B มีผู้เยี่ยมชมฝั่งละ 1,000 คน โดย A มี 20 คอนเวอร์ชัน (2.0%) และ B มี 24 (2.4%) ค่า p-value จะประมาณ 0.54 นั่นหมายความว่าแม้ไม่มีความแตกต่าง ช่องว่างขนาดนี้ก็ปรากฏโดยบังเอิญมากกว่าครึ่งหนึ่งของเวลา
(ทั้งหมดนี้เป็นตัวอย่างที่คำนวณด้วยการทดสอบสองด้านสำหรับความแตกต่างของสัดส่วนสองค่า สำหรับการตัดสินจริง ให้ทำตามวิธีที่เครื่องมือของคุณใช้)
ดูช่วงความเชื่อมั่นด้วย
ค่า p-value มักกลายเป็นคำถามแบบใช่หรือไม่ว่า "มีนัยสำคัญหรือไม่" แต่การดู ช่วงความเชื่อมั่น จะทำให้รู้สึกถึงขนาดของความแตกต่าง ช่วงความเชื่อมั่นคือช่วงที่ความแตกต่างที่แท้จริงถือว่ามีแนวโน้มตกอยู่
ในตัวอย่างที่ 1 ข้างต้น ความแตกต่างของอัตราคอนเวอร์ชัน (B ลบ A) คือ 0.4 จุดเปอร์เซ็นต์ และช่วงความเชื่อมั่น 95% คำนวณได้ประมาณ −0.01 ถึง +0.81 จุดเปอร์เซ็นต์ เนื่องจากช่วงนี้คร่อมศูนย์เพียงเล็กน้อย คุณอ่านได้ว่า "B ดูดีกว่า แต่เราตัดความเป็นไปได้ที่ไม่มีความแตกต่างออกไม่ได้" ช่วงที่กว้างเป็นสัญญาณว่ายังมีข้อมูลไม่พอ
บางเครื่องมือแสดง "ความน่าจะเป็นที่ B ชนะ A"
บางเครื่องมือแสดงตัวเลขอย่าง "ความน่าจะเป็นที่ B ชนะ A" แทนค่า p-value ค่านี้อิงแนวทางที่ต่างออกไปเรียกว่าสถิติแบบเบย์ (Bayesian) ซึ่งข้อสมมติและความหมายต่างจากค่า p-value ทั้งสองแบบไม่ได้ถูกหรือผิดอย่างตรงไปตรงมา แต่เป็นสำนักคิดที่ต่างกัน สิ่งสำคัญคือตรวจสอบว่าตัวเลขที่คุณดูใช้วิธีใด และไม่สับสนว่าเป็นตัวเลขประเภทเดียวกัน
วิธีอ่านผลลัพธ์และสิ่งที่ต้องทำหลังการทดสอบ
เมื่อสิ้นสุดระยะเวลา ให้ตรวจสอบผลลัพธ์ตามลำดับนี้
- การแบ่งทราฟฟิกเป็นไปตามที่ออกแบบหรือไม่: หากตั้งไว้ครึ่งต่อครึ่ง จำนวนผู้เยี่ยมชมของ A และ B เบี่ยงเบนมากหรือไม่ หากไม่สมดุลมาก อาจมีปัญหากับการแบ่งหรือการวัดผล และการเชื่อผลลัพธ์ตามที่เห็นเป็นอันตราย
- ความแตกต่างของตัวชี้วัดหลักและนัยสำคัญ: ทิศทางของความแตกต่าง ขนาด ค่า p-value และช่วงความเชื่อมั่น
- ตัวชี้วัดป้องกัน: ขณะที่ตัวชี้วัดหลักดีขึ้น ตัวเลขสำคัญอื่น ๆ แย่ลงหรือไม่
- ตัวชี้วัดรอง: เบาะแสสำหรับคิดว่าทำไมจึงได้ผลลัพธ์นี้
ผลลัพธ์แบ่งได้เป็นสามกรณีใหญ่
B ดีกว่าอย่างมีนัยสำคัญ นำ B มาใช้อย่างเป็นทางการ เฝ้าดูตัวเลขต่อไปอีกสักพักหลังนำไปใช้ เพื่อยืนยันว่าแนวโน้มเดียวกับช่วงทดสอบยังคงอยู่
B แย่กว่าอย่างมีนัยสำคัญ ใช้ A ต่อไป นี่ไม่ใช่ความล้มเหลว ผลลัพธ์คือคุณหยุดการเปลี่ยนแปลงที่ไม่ดีก่อนจะแสดงให้ทุกคนเห็น การคิดว่าทำไมจึงแย่กว่าจะช่วยเพิ่มความแม่นยำของสมมติฐานครั้งถัดไป
ไม่มีความแตกต่างที่มีนัยสำคัญ ใน A/B testing นี่เป็นหนึ่งในผลลัพธ์ที่พบบ่อยที่สุด ในกรณีนี้ ให้หลีกเลี่ยงการ "ขยายการทดสอบจนกว่าจะมีนัยสำคัญ" หลังสิ้นสุดระยะเวลาที่วางแผนไว้ (หัวข้อถัดไปอธิบายเหตุผล) เมื่อไม่มีความแตกต่าง ให้แยกแยะว่าสมมติฐานผิด การเปลี่ยนแปลงเล็กเกินไป หรือข้อมูลไม่พอ หากผลลัพธ์เหมือนกันไม่ว่าเลือกแบบไหน การเลือกแบบที่ดูแลง่ายกว่าหรือเข้ากับแนวทางของแบรนด์ก็ไม่มีปัญหา
การดูผลลัพธ์แยกตามอุปกรณ์หรือแหล่งทราฟฟิก (segment analysis) ก็มีประโยชน์เช่นกัน แต่ต้องระมัดระวัง ยิ่งแบ่งละเอียด ข้อมูลของแต่ละกลุ่มยิ่งน้อย และยิ่งพบความแตกต่างที่เกิดจากความบังเอิญได้ง่าย การถือว่าแนวโน้มที่พบจากการแบ่งเป็น "สมมติฐานที่ต้องตรวจสอบต่อไป" ไม่ใช่ "ข้อสรุป" จะปลอดภัยกว่า
สุดท้าย ให้เก็บบันทึกของการทดสอบ การรวมสมมติฐาน การเปลี่ยนแปลง ระยะเวลา ปริมาณข้อมูล ผลลัพธ์ และข้อสรุปไว้ในที่เดียวช่วยป้องกันการทำการทดสอบซ้ำ และส่งต่อสิ่งที่เรียนรู้ได้แม้ผู้รับผิดชอบจะเปลี่ยนไป
ข้อผิดพลาดที่พบบ่อยใน A/B testing และวิธีหลีกเลี่ยง
เนื่องจากกลไกของ A/B testing เรียบง่าย การทำผิดวิธีจึงอาจให้ข้อสรุปที่ผิดพร้อมตัวเลขที่ดูน่าเชื่อถือ ต่อไปนี้คือข้อผิดพลาดทั่วไป
| ข้อผิดพลาดที่พบบ่อย | ปัญหาคืออะไร | วิธีแก้ |
|---|---|---|
| เช็กผลซ้ำ ๆ แล้วหยุดทันทีที่มีนัยสำคัญ | ความผิดพลาดจากการเรียกความแตกต่างที่เกิดจากความบังเอิญว่า "มีนัยสำคัญ" เกิดบ่อยกว่าระดับนัยสำคัญที่ตั้งไว้ | กำหนดข้อมูลและระยะเวลาที่ต้องใช้ล่วงหน้า และตัดสินหลังจากถึงเกณฑ์เหล่านั้น |
| เปลี่ยนหลายองค์ประกอบพร้อมกัน | แม้มีความแตกต่าง ก็บอกไม่ได้ว่าอะไรได้ผล | จำกัดการเปลี่ยนแปลงไว้เท่าที่สมมติฐานเดียวครอบคลุม |
| ระยะเวลาทดสอบสั้น | ผลลัพธ์ถูกกระทบโดยอคติจากวันในสัปดาห์และปฏิกิริยาชั่วคราวหลังการเปลี่ยนแปลง | รันเป็นจำนวนวันที่หาร 7 ลงตัว อย่างน้อย 1 ถึง 2 สัปดาห์ |
| ตัดสินเมื่อทราฟฟิกน้อย | ความผันผวนแบบสุ่มมีมากและข้อสรุปไม่เสถียร | ประมาณจำนวนที่ต้องใช้ล่วงหน้า และคิดการออกแบบใหม่หากไม่พอ |
| อคติจากวันในสัปดาห์หรือฤดูกาล | ผลลัพธ์จากวันธรรมดาเท่านั้นหรือช่วงลดราคาเท่านั้นใช้กับช่วงปกติไม่ได้ | เริ่มและจบในวันเดียวกันของสัปดาห์ และหลีกเลี่ยงช่วงเวลาที่ผิดปกติ |
| เรียงตัวชี้วัดและเวอร์ชันจำนวนมากแล้วเลือกเฉพาะอันที่ดี | ยิ่งเปรียบเทียบมาก ยิ่งมีโอกาสที่บางอย่างดูดีโดยบังเอิญ | กำหนดตัวชี้วัดหลักเพียงตัวเดียวและจำกัดจำนวนเวอร์ชัน |
| ทดสอบโดยไม่มีสมมติฐาน | แม้มีผลลัพธ์ ก็ไม่เหลือบทเรียนให้ต่อยอด | เขียนข้อเท็จจริง ปัญหา การเปลี่ยนแปลง และตัวชี้วัดให้ชัดก่อนเริ่ม |
| เปลี่ยนการตั้งค่าหรือเวอร์ชันระหว่างทาง | ลักษณะของข้อมูลก่อนและหลังต่างกัน จึงเปรียบเทียบกันไม่ได้ | หากต้องการเปลี่ยนอะไร ให้หยุดแล้วเริ่มใหม่เป็นการทดสอบใหม่ |
ข้อที่ต้องระวังเป็นพิเศษคือข้อแรก ปัญหา "peeking" การเช็กความคืบหน้าระหว่างทางของการทดสอบเกือบทุกวันนั้นเป็นสิ่งจำเป็นเพื่อจับปัญหาได้เร็ว ปัญหาอยู่ที่ การหยุดทดสอบและประกาศชัยชนะทันทีที่ผลระหว่างทางแสดงความแตกต่างที่มีนัยสำคัญ
ค่า p-value แกว่งขึ้นลงเมื่อข้อมูลสะสม แม้ไม่มีความแตกต่างจริง ๆ หากคุณเช็กหลายครั้ง สักช่วงหนึ่งมันอาจบังเอิญตกต่ำกว่าระดับนัยสำคัญ ถ้าคุณหยุดในจังหวะนั้น "ความผิดพลาดจากการประกาศว่ามีความแตกต่างทั้งที่ไม่มี" จะเกิดบ่อยกว่า 5% ที่คุณวางแผนไว้ กฎที่ให้รอตัดสินจนถึงปริมาณข้อมูลและระยะเวลาที่กำหนดไว้ล่วงหน้ามีไว้เพื่อป้องกันความผิดพลาดนี้
บางเครื่องมือยังมีวิธีตัดสินที่ออกแบบให้ความผิดพลาดไม่เพิ่มขึ้นแม้ตัดสินระหว่างทาง (เช่น สิ่งที่เรียกว่า sequential testing) ในกรณีนั้นให้ทำตามขั้นตอนที่เครื่องมือกำหนด
ขอกล่าวถึง "การเปลี่ยนหลายอย่างพร้อมกัน" เพิ่มเติม แม้ B ที่เปลี่ยนพาดหัว รูปภาพ และปุ่มพร้อมกันจะชนะ คุณก็ไม่รู้ว่าอะไรได้ผล เป็นไปได้ว่าพาดหัวดีแต่รูปภาพฉุดลง อย่างไรก็ตาม หากเป้าหมายของคุณคือเปรียบเทียบหน้าที่สร้างใหม่ทั้งหมดกับหน้าปัจจุบัน การเปลี่ยนพร้อมกันก็สมเหตุสมผล ในกรณีนั้น ให้ยอมรับว่า "คุณจะไม่รู้ว่าองค์ประกอบไหนได้ผล" และเปรียบเทียบด้วยวิธีอย่าง redirect test
แนวคิดเรื่องการจัดสรรทราฟฟิกและสัดส่วน A/B
มีการตั้งค่า "เปอร์เซ็นต์" สองอย่างปรากฏเมื่อคุณกำหนดค่า A/B test ซึ่งสับสนกันได้ง่าย จึงควรทำความเข้าใจแยกกัน
- การจัดสรรทราฟฟิก (สัดส่วนผู้เยี่ยมชมที่นำเข้าสู่การทดลอง): ผู้เยี่ยมชมทั้งหมดกี่เปอร์เซ็นต์ที่ถูกรวมในการทดสอบ ผู้เยี่ยมชมนอกการทดสอบเห็นหน้าเดิมตามปกติ
- สัดส่วน A/B: ผู้เยี่ยมชมที่ถูกรวมในการทดสอบถูกแบ่งระหว่าง A และ B ในอัตราส่วนเท่าใด
ตัวอย่างเช่น หากตั้งการจัดสรรทราฟฟิกเป็น 20% และสัดส่วน A/B เป็นครึ่งต่อครึ่ง ผู้เยี่ยมชมทั้งหมด 80% อยู่นอกการทดสอบและเห็นหน้าเดิม 10% อยู่ในการทดสอบและเห็น A และอีก 10% เห็น B
สัดส่วน A/B แบบครึ่งต่อครึ่งคือค่าเริ่มต้น เมื่อมีผู้เยี่ยมชมจำนวนเท่ากัน การแบ่งเท่า ๆ กันเก็บข้อมูลที่ต้องใช้ได้เร็วที่สุด คุณให้ B มีสัดส่วนน้อยกว่าได้ แต่ต้องรอจนฝั่งที่น้อยกว่าเก็บข้อมูลได้พอ ระยะเวลาจึงยาวขึ้น
เลือกการจัดสรรทราฟฟิกโดยชั่งน้ำหนักระหว่างความเสี่ยงกับระยะเวลา การลดการจัดสรรทราฟฟิกช่วยลดจำนวนผู้เยี่ยมชมที่ได้รับผลกระทบหากการเปลี่ยนแปลงให้ผลตรงข้าม แต่ผู้เยี่ยมชมในการทดสอบจะน้อยลง จึงใช้เวลานานขึ้นกว่าจะเก็บข้อมูลที่ต้องการได้ แนวทางทั่วไปคือเริ่มการเปลี่ยนแปลงใหญ่ที่ผลกระทบคาดเดาไม่ได้ด้วยการจัดสรรทราฟฟิกต่ำ ยืนยันว่าไม่มีปัญหา แล้วขยายหากทุกอย่างเรียบร้อย สำหรับการเปลี่ยนแปลงที่มีผลกระทบน้อย เช่น การสลับถ้อยคำบางส่วน การรวมทุกคนตั้งแต่แรกและทำให้ระยะเวลาสั้นลงเป็นทางเลือกที่สมเหตุสมผลกว่า
ความแตกต่างระหว่างเปอร์เซ็นต์ทั้งสองอธิบายไว้ใน อัตราการกระจายทราฟฟิกกับสัดส่วน A/B ในการทดสอบ A/B และแนวคิดการออกแบบกล่าวถึงใน ทำไมการจัดสรรทราฟฟิกและสัดส่วน A/B ควรเป็นการตั้งค่าแยกกัน
A/B testing กับ SEO: จำกัดผลกระทบต่อการค้นหา
ความกังวลที่พบบ่อยคือ "A/B testing จะทำให้อันดับการค้นหาของฉันแย่ลงหรือไม่" Google เผยแพร่แนวทางว่าจะรันการทดสอบอย่างไรโดยจำกัดผลกระทบต่อการค้นหาไว้ในเอกสาร Google Search Central ประเด็นสำคัญมีดังนี้
- ห้ามทำ cloaking: การจงใจแสดงเนื้อหาต่างกันให้ครอว์เลอร์ของเสิร์ชเอนจิน (โปรแกรมที่เข้าไปอ่านหน้าเว็บ) กับผู้เยี่ยมชมที่เป็นมนุษย์ เรียกว่า cloaking และละเมิดนโยบายสแปม ไม่ว่าจะมีการทดสอบอยู่หรือไม่ก็ตาม หลีกเลี่ยงการตั้งค่าใด ๆ ที่แสดงเวอร์ชันใดเวอร์ชันหนึ่งเฉพาะครอว์เลอร์
- ใช้ rel="canonical" สำหรับการทดสอบบน URL แยก: เมื่อทดสอบข้ามหลาย URL เช่นใน redirect test ให้เพิ่ม rel="canonical" (แท็กที่บอกเสิร์ชเอนจินว่า URL ใดเป็น URL ที่ต้องการ) ไว้ที่ URL ทดสอบเพื่อระบุว่า URL เดิมคือหน้าที่ควรให้ความสำคัญ สำหรับวัตถุประสงค์นี้ Google แนะนำ rel="canonical" มากกว่า noindex
- ใช้การรีไดเรกต์ชั่วคราว (302) สำหรับการรีไดเรกต์: เมื่อรีไดเรกต์จาก URL เดิมไปยัง URL ทดสอบ ให้ใช้ 302 ซึ่งบอกว่าเป็นการรีไดเรกต์ชั่วคราว ไม่ใช่ 301 ซึ่งบอกว่าถาวร กล่าวกันว่าการรีไดเรกต์ด้วย JavaScript ก็ใช้ได้เช่นกัน
- รันการทดสอบเท่าที่จำเป็น: เมื่อเก็บข้อมูลได้พอแล้ว ให้จบการทดสอบและลบ URL ทดสอบ สคริปต์ และอื่น ๆ โดยเร็วที่สุด Google อธิบายว่าการรันทดสอบนานกว่าที่จำเป็นอาจถูกตีความว่าเป็นความพยายามหลอกเสิร์ชเอนจิน
กล่าวอีกนัยหนึ่ง การไม่ปล่อยให้การทดสอบค้างอยู่สำคัญไม่เฉพาะทางสถิติ แต่สำคัญต่อการค้นหาด้วย ให้ทำให้ครบทั้งกระบวนการ คือเก็บกวาดการทดสอบที่เสร็จแล้ว และนำเวอร์ชันที่เลือกไปใช้กับเว็บไซต์จริง
โปรดทราบว่าสิ่งที่แนะนำไว้ที่นี่เป็นภาพรวมของแนวทางที่ Google เผยแพร่ ผลต่ออันดับการค้นหาแตกต่างกันไปตามเว็บไซต์ ดังนั้นก่อนรันการทดสอบที่เกี่ยวข้องกับการเปลี่ยนแปลงใหญ่ เราแนะนำให้ตรวจสอบเอกสารต้นฉบับและเอกสารของเครื่องมือของคุณด้วย
สิ่งที่ควรทำบนเว็บไซต์ที่มีทราฟฟิกน้อย
ดังที่เห็นในหัวข้อขนาดกลุ่มตัวอย่าง A/B testing ต้องใช้ข้อมูลพอสมควร แล้ว A/B testing ไร้ความหมายสำหรับเว็บไซต์ที่มีผู้เยี่ยมชมต่อเดือนเพียงไม่กี่พันคนหรือ? ไม่เสมอไป การเปลี่ยนวิธีการอาจทำให้คุณมีข้อมูลให้ใช้มากขึ้น
ทดสอบการเปลี่ยนแปลงที่ใหญ่ ยิ่งความแตกต่างที่ต้องการหาใหญ่ ก็ยิ่งใช้ข้อมูลน้อย แทนที่จะเปลี่ยนเล็ก ๆ อย่างปรับถ้อยคำของปุ่ม ให้เน้นการเปลี่ยนแปลงที่สร้างความแตกต่างใหญ่ได้ เช่น เปลี่ยนจุดขายหลัก จัดโครงสร้างของหน้าใหม่ หรือตัดช่องในฟอร์มลงอย่างมาก
รันทดสอบบนหน้าที่มีทราฟฟิกสูง แม้ทั้งเว็บไซต์จะมีทราฟฟิกน้อย ก็น่าจะมีหน้าที่ผู้เยี่ยมชมกระจุกตัวอยู่ เลือกที่ที่มีผู้เยี่ยมชมมากที่สุด เช่น หน้าแรกหรือหน้าที่รับทราฟฟิกจากโฆษณา
ใช้ตัวชี้วัดในขั้นตอนที่เร็วกว่า การซื้อและการทำสัญญามีน้อย การตรวจพบความแตกต่างจึงใช้เวลา การใช้การกระทำในขั้นต้นที่เกิดบ่อยกว่าเป็นตัวชี้วัดหลัก เช่น "การไปถึงฟอร์ม" หรือ "การไปที่หน้าราคา" ช่วยให้ข้อมูลที่ต้องใช้น้อยลง เพียงแต่ต้องจำไว้ว่าการปรับปรุงตัวชี้วัดขั้นต้นไม่จำเป็นต้องนำไปสู่การปรับปรุงผลลัพธ์สุดท้าย
จำกัดไว้ที่สองเวอร์ชัน การเพิ่มเวอร์ชันที่สามและสี่ทำให้ข้อมูลต่อเวอร์ชันน้อยลง ขณะที่ทราฟฟิกต่ำ ให้เปรียบเทียบเฉพาะ A และ B
ตั้งการจัดสรรทราฟฟิกเป็น 100% และสัดส่วน A/B เป็นครึ่งต่อครึ่ง การจำกัดกลุ่มเป้าหมายหรือใช้สัดส่วนที่ไม่เท่ากันทำให้ระยะเวลายาวขึ้น
เผื่อเวลาให้นานขึ้น และยอมรับข้อจำกัดหากยังไม่พอ หากคุณไปไม่ถึงจำนวนที่ต้องใช้แม้เผื่อไว้ราว 4 ถึง 8 สัปดาห์ คุณก็ต้องตัดสินใจไม่ยืนกรานที่จะสรุปด้วย A/B test
เมื่อ A/B testing ไม่เหมาะ มีวิธีอื่นที่ช่วยได้
- สังเกตพฤติกรรมด้วยฮีทแมป: แม้ทราฟฟิกน้อย คุณก็พอเห็นภาพว่า "คนไม่อ่านตรงไหน" และ "ไม่คลิกตรงไหน"
- ถามผู้ใช้โดยตรง: เพียงให้ผู้ใช้สองสามคนลองใช้หน้าจอขณะที่คุณดูว่าพวกเขาติดขัดตรงไหน ก็พบปัญหามากมาย
- แก้ปัญหาที่เห็นชัดโดยไม่ต้องทดสอบ: ลิงก์เสีย ข้อความอ่านยาก ปุ่มที่ใช้ไม่ได้ และสิ่งทำนองนี้ ที่นึกภาพไม่ออกว่าการแก้ไขจะทำให้แย่ลง ไม่ต้องรอการพิสูจน์
ประเภทของเครื่องมือ A/B testing และวิธีเลือก
หากจะรัน A/B test คุณต้องมีเครื่องมือที่จัดการการแบ่งทราฟฟิก การสลับสิ่งที่แสดง การวัดผล และการรายงาน ในแง่ของหลักการทำงาน มีสองประเภทใหญ่
ฝั่งไคลเอนต์ (Client-side)
- หลักการทำงาน: คุณเพิ่มแท็ก (โค้ดสั้น ๆ สำหรับการวัดผล) ลงในหน้า และบางส่วนของหน้าถูกเขียนใหม่ในเบราว์เซอร์ของผู้เยี่ยมชม
- ผู้ดูแลหลัก: นักการตลาดและเจ้าหน้าที่เว็บ เครื่องมือจำนวนมากให้คุณสร้างการเปลี่ยนแปลงผ่านการใช้งานบนหน้าจอ
- เหมาะกับ: การเปลี่ยนแปลงที่มองเห็นได้ เช่น ถ้อยคำ รูปภาพ สี และเลย์เอาต์
- ข้อควรระวัง: อาจเกิด "อาการกะพริบ" ที่เห็นการแสดงผลเดิมชั่วขณะก่อนถูกเขียนใหม่
ฝั่งเซิร์ฟเวอร์ (Server-side)
- หลักการทำงาน: โค้ดฝั่งเซิร์ฟเวอร์สลับสิ่งที่แสดงให้ผู้เยี่ยมชมแต่ละคน
- ผู้ดูแลหลัก: วิศวกร ต้องมีการเปลี่ยนโค้ด
- เหมาะกับ: การเปลี่ยนแปลงที่เกี่ยวข้องกับการประมวลผลฝั่งหลังบ้าน เช่น การคำนวณราคา วิธีการทำงานของการค้นหาหรือการจัดลำดับ และฟีเจอร์ของแอป
- ข้อควรระวัง: การติดตั้งและการดำเนินงานต้องใช้แรงงานด้านการพัฒนา
สำหรับการใช้งานที่บทความนี้สมมติไว้ คือการลองพาดหัวและปุ่มบนหน้าเว็บ เครื่องมือฝั่งไคลเอนต์เป็นตัวเลือกแรก
เมื่อเลือกเครื่องมือ ให้ตรวจสอบประเด็นต่อไปนี้
- สร้างการเปลี่ยนแปลงผ่านการใช้งานบนหน้าจอได้หรือต้องเขียนโค้ด
- ใช้วิธีทางสถิติแบบไหนในการตัดสิน และแสดงผลลัพธ์อย่างไร
- ตั้งการจัดสรรทราฟฟิกและสัดส่วน A/B แยกกันได้หรือไม่
- รองรับ redirect test หรือไม่
- ราคาผันแปรตามอะไร (จำนวนผู้เยี่ยมชม จำนวนอีเวนต์ที่ติดตาม จำนวนผู้ใช้ และอื่น ๆ)
- ดูร่วมกับข้อมูลที่ใช้สร้างสมมติฐาน เช่น ฮีทแมป ได้หรือไม่
การสิ้นสุดของ Google Optimize
Google Optimize ซึ่งใช้กันอย่างกว้างขวางในฐานะเครื่องมือ A/B testing ฟรี ถูกยกเลิกในเดือนกันยายน 2023 เว็บไซต์ที่เคยใช้ Google Optimize จึงต้องย้ายไปใช้เครื่องมืออื่น
ปัจจุบันมีหลายตัวเลือก ได้แก่ เครื่องมือ A/B testing เฉพาะทาง เช่น Optimizely, VWO และ AB Tasty เครื่องมือที่รวมฮีทแมปและ A/B testing เช่น Ptengine และ SiTest จากญี่ปุ่น และแพลตฟอร์มการทดลองสำหรับนักพัฒนา ฟีเจอร์และงบประมาณที่ต้องใช้แตกต่างกันมากตามขนาดของเว็บไซต์ จึงสำคัญที่จะเลือกสิ่งที่เหมาะกับการใช้งานของคุณเอง สำหรับความแตกต่างของช่วงราคาและแนวทางระหว่างเครื่องมือหลัก ๆ ดู ภาพรวมเครื่องมือ A/B testing ปี 2026
ปรับปรุงต่อเนื่องด้วยการผสมฮีทแมปและ on-site engagement
A/B testing ให้ผลมากขึ้นเมื่อใช้ร่วมกับเครื่องมืออื่นมากกว่าใช้เดี่ยว ๆ
ขั้นตอนการปรับปรุงคือวัฏจักรที่วนซ้ำของ "ค้นหา → สร้างการแก้ไข → ตรวจสอบ"
- ค้นหา: ใช้เว็บอนาลิติกส์ระบุหน้าที่มีปัญหา และใช้ฮีทแมปชี้จุดที่มีปัญหาภายในหน้า
- สร้างการแก้ไข: สร้างสมมติฐานจากปัญหาที่พบและสร้างการเปลี่ยนแปลง
- ตรวจสอบ: ใช้ A/B test ตรวจสอบว่าการเปลี่ยนแปลงทำให้ผลลัพธ์ดีขึ้นจริงหรือไม่
- นำไปใช้และไปต่อ: นำเวอร์ชันที่ทำได้ดีกว่ามาใช้ และสังเกตหน้าที่เปลี่ยนแล้วด้วยฮีทแมปอีกครั้ง
การดูฮีทแมปหลังได้ผล A/B test ก็มีประโยชน์เช่นกัน เมื่อ B ชนะ การตรวจสอบว่าพฤติกรรมของผู้เยี่ยมชมเปลี่ยนไปอย่างไร (คนอ่านลงไปลึกขึ้นหรือไม่ จุดที่คลิกย้ายไปหรือไม่) จะให้เบาะแสถึง "ทำไมจึงดีกว่า" และนำไปสู่สมมติฐานถัดไป
แนวคิดของ A/B testing ใช้ได้โดยตรงกับมาตรการ on-site engagement ด้วย ซึ่งแทนที่จะเปลี่ยนหน้าเว็บเอง คุณแสดงคำแนะนำในป๊อปอัปหรือแถบข้อความแบบตายตัว ไม่ว่าจะเปรียบเทียบการแสดงกับไม่แสดง ถ้อยคำ หรือจังหวะการแสดง หลักการเหมือนกัน คือสุ่มแบ่งผู้เยี่ยมชมและเปรียบเทียบในช่วงเวลาเดียวกัน พื้นฐานของ on-site engagement อธิบายไว้ใน On-Site Engagement คืออะไร?
เกี่ยวกับ HeatMapX
HeatMapX เป็นเครื่องมือที่ช่วยให้คุณวัดฮีทแมปได้เพียงเพิ่มแท็กลงในเว็บไซต์ และคุณเริ่มต้นได้ด้วยแผน Free ที่ใช้ฟรี (ดูรายละเอียดแผนที่ หน้าราคา) ฟีเจอร์ A/B testing กำลังเปิดให้ใช้เป็นขั้นตอน เริ่มต้นด้วยการใช้ฮีทแมปเพื่อทำความเข้าใจว่าเว็บไซต์ของคุณถูกมองอย่างไร และมีสมมติฐานเตรียมไว้ว่าจะทดลองตรงไหน จะช่วยให้คุณเดินหน้าได้เร็วเมื่อเริ่ม A/B testing
หากต้องการเปรียบเทียบเครื่องมือฮีทแมปกับผลิตภัณฑ์อื่นก่อนเลือก ดู การเปรียบเทียบเครื่องมือฮีทแมป ด้วย
คำถามที่พบบ่อยเกี่ยวกับ A/B testing
A/B testing คืออะไร พูดให้ง่าย ๆ
เป็นวิธีที่คุณสุ่มแสดงหน้าเว็บสองเวอร์ชันให้ผู้เยี่ยมชมในช่วงเวลาเดียวกัน แล้วเปรียบเทียบด้วยตัวเลขว่าเวอร์ชันไหนทำผลงานได้ดีกว่า ต่างจากการเปรียบเทียบก่อนและหลังการเปลี่ยนแปลง ตรงที่ช่วยให้คุณตรวจสอบผลของการเปลี่ยนแปลงโดยแยกออกจากปัจจัยอื่น เช่น ฤดูกาลและโฆษณา
A/B test ควรรันนานแค่ไหน
ประมาณโดยหารขนาดกลุ่มตัวอย่างที่ต้องใช้ด้วยจำนวนผู้เยี่ยมชมต่อวัน เพื่อหลีกเลี่ยงอคติจากวันในสัปดาห์ ให้ใช้จำนวนวันที่หาร 7 ลงตัว กฎเกณฑ์ทั่วไปคือรันอย่างน้อย 1 ถึง 2 สัปดาห์ แม้เว็บไซต์ที่มีทราฟฟิกสูงจะถึงจำนวนที่ต้องใช้ภายในไม่กี่วัน เราก็แนะนำให้รันต่อไปหนึ่งสัปดาห์ ในทางกลับกัน หากค่าประมาณยาวกว่า 2 เดือนมาก ให้ทบทวนการออกแบบ
ต้องมีทราฟฟิกเท่าไรจึงจะรัน A/B test ได้
ไม่มีเกณฑ์เดียว ขึ้นอยู่กับอัตราคอนเวอร์ชันปัจจุบันและขนาดของความแตกต่างที่ต้องการตรวจพบ ในตัวอย่างการคำนวณของบทความนี้ การยืนยันการปรับปรุงสัมพัทธ์ 20% บนหน้าที่มีอัตราคอนเวอร์ชัน 2.0% ต้องใช้ผู้เยี่ยมชมประมาณ 21,100 คนต่อเวอร์ชัน หากทราฟฟิกของคุณต่ำ คุณลดจำนวนที่ต้องใช้ได้โดยเน้นการเปลี่ยนแปลงที่ใหญ่ขึ้น หรือใช้ตัวชี้วัดในขั้นตอนที่เร็วกว่า
ควรทำอย่างไรหากไม่มีความแตกต่างที่มีนัยสำคัญ
หลีกเลี่ยงการขยายการทดสอบจนกว่าจะมีนัยสำคัญหลังสิ้นสุดระยะเวลาที่วางแผนไว้ ให้บันทึกว่า "การเปลี่ยนแปลงนี้ไม่ได้แสดงความแตกต่างในขนาดที่เราต้องการตรวจพบ" และย้อนดูว่าสมมติฐานผิดหรือการเปลี่ยนแปลงเล็กเกินไป หากผลลัพธ์เหมือนกันไม่ว่าเลือกแบบไหน การเลือกแบบที่ดูแลง่ายกว่าก็ไม่มีปัญหา การไม่มีนัยสำคัญไม่ใช่ความล้มเหลว แต่เป็นผลลัพธ์ประเภทหนึ่ง
ถ้าค่า p-value ต่ำกว่า 0.05 พูดได้ไหมว่า B ดีกว่า
ไม่ได้ ค่า p-value คือ "ความน่าจะเป็นที่จะเห็นความแตกต่างอย่างน้อยเท่ากับที่สังเกตได้ โดยบังเอิญ หากไม่มีความแตกต่างจริง ๆ" ไม่ใช่ "ความน่าจะเป็นที่ B ดีกว่า" เมื่อตัดสินที่ระดับนัยสำคัญ 5% การเปลี่ยนแปลงที่ไม่มีผลประมาณ 1 ใน 20 ก็ยังจะแสดงความแตกต่างที่มีนัยสำคัญอยู่ดี ให้ตรวจสอบขนาดของความแตกต่าง ช่วงความเชื่อมั่น และตัวชี้วัดป้องกันด้วย และสำหรับการเปลี่ยนแปลงสำคัญ ให้เฝ้าดูตัวเลขต่อไปหลังนำไปใช้
A/B testing ส่งผลเสียต่อ SEO หรือไม่
Google เผยแพร่แนวทางที่ระบุว่าผลกระทบต่อการค้นหาสามารถจำกัดได้หากทำตาม ประเด็นสำคัญสี่ข้อคือ อย่าแสดงเนื้อหาต่างกันให้ครอว์เลอร์กับคน เพิ่ม rel="canonical" ในการทดสอบบน URL แยก ใช้ 302 สำหรับการรีไดเรกต์ และจบการทดสอบรวมถึงเก็บกวาดการตั้งค่าเมื่อพ้นระยะเวลาที่จำเป็น สำหรับรายละเอียด ดูหัวข้อ "A/B testing กับ SEO" ด้านบน
สรุป: เริ่มต้นด้วยสมมติฐานเดียว
A/B testing คือวิธีสุ่มแบ่งผู้เยี่ยมชมและเปรียบเทียบในช่วงเวลาเดียวกัน เพื่อให้คุณยืนยันผลของการเปลี่ยนแปลงโดยแยกออกจากปัจจัยอื่น ประเด็นสำคัญของบทความนี้มีดังนี้
- หลักการทำงาน: กำหนดเวอร์ชันให้ผู้เยี่ยมชมแบบสุ่ม แสดงทั้งสองเวอร์ชันในช่วงเวลาเดียวกัน และแสดงเวอร์ชันเดิมให้คนเดิมต่อเนื่อง ทำให้สาเหตุของความแตกต่างแคบลงเหลือเพียง "สิ่งที่คุณเปลี่ยน"
- วิธีดำเนินการ: 6 ขั้นตอน คือ เป้าหมายและตัวชี้วัด → สมมติฐาน → สร้างเวอร์ชันทดสอบ → รันทดสอบ → ตัดสินผล → นำไปใช้ กำหนดตัวชี้วัด ปริมาณข้อมูล ระยะเวลา และเกณฑ์การตัดสินก่อนรัน
- ข้อมูลและระยะเวลา: ยิ่งความแตกต่างที่ต้องการยืนยันเล็ก ยิ่งต้องใช้ข้อมูลมาก ใช้จำนวนวันที่หาร 7 ลงตัว อย่างน้อย 1 ถึง 2 สัปดาห์
- นัยสำคัญ: เกณฑ์ชี้วัดว่าความแตกต่างอธิบายด้วยความบังเอิญได้ยากหรือไม่ ค่า p-value ไม่ใช่ "ความน่าจะเป็นที่ B กำลังชนะ" และ "ไม่มีนัยสำคัญ" ไม่ได้แปลว่า "ไม่มีความแตกต่าง"
- การหลีกเลี่ยงข้อผิดพลาด: อย่าหยุดตามผลระหว่างทาง จำกัดการเปลี่ยนแปลงไว้เท่าที่สมมติฐานเดียวครอบคลุม และใช้ตัวชี้วัดหลักเพียงตัวเดียว
- เมื่อทราฟฟิกต่ำ: เน้นการเปลี่ยนแปลงใหญ่ หน้าที่มีทราฟฟิกสูง และตัวชี้วัดในขั้นตอนที่เร็วกว่า และหากยังไม่พอ ให้เติมช่องว่างด้วยการสังเกตและการสัมภาษณ์
ขั้นตอนถัดไปที่เราแนะนำคือเลือก หนึ่งหน้าบนเว็บไซต์ของคุณที่ใกล้ผลลัพธ์ที่สุดและมีผู้เยี่ยมชมมาก และเริ่มต้นด้วยการตรวจสอบปัญหาของหน้านั้นด้วยข้อมูล ใช้ฮีทแมปและเว็บอนาลิติกส์หา "จุดที่ดูเหมือนมีปัญหา" แล้วเขียนสมมติฐานหนึ่งข้อที่ระบุสี่ประเด็น คือ ข้อเท็จจริง ปัญหา การเปลี่ยนแปลง และตัวชี้วัด เมื่อมีสมมติฐานหนึ่งข้อในมือ คุณก็ประมาณข้อมูลและระยะเวลาที่ต้องใช้ และออกแบบ A/B test ครั้งแรกของคุณได้
การทดสอบเพียงครั้งเดียวไม่จำเป็นต้องเปลี่ยนตัวเลขของคุณอย่างก้าวกระโดด แต่การสะสมข้อเท็จจริงที่ผ่านการตรวจสอบทีละอย่างคือรากฐานของการปรับปรุงเว็บไซต์โดยไม่พึ่งการเดา