A/B testing คืออะไร? คู่มือสำหรับมือใหม่ว่าด้วยกระบวนการ 6 ขั้นตอน นัยสำคัญทางสถิติ และขนาดกลุ่มตัวอย่าง

HeatMapX Engineering Team44 min read
  • ab-testing
  • cro
  • how-to
  • beginners

สรุปบทความ

  • A/B testing คือวิธีที่คุณสุ่มแบ่งผู้เยี่ยมชม แสดงหน้าเดิม (A) และหน้าที่แก้ไขแล้ว (B) ในช่วงเวลาเดียวกัน แล้วเปรียบเทียบด้วยตัวเลขว่าฝั่งไหนทำผลงานได้ดีกว่า
  • การเปรียบเทียบก่อน-หลังแบบง่าย ๆ แยกผลของการเปลี่ยนแปลงออกจากผลของฤดูกาล โฆษณา วันในสัปดาห์ และปัจจัยอื่น ๆ ไม่ได้ การรันทั้งสองเวอร์ชันพร้อมกันคือหัวใจของ A/B testing
  • กระบวนการมี 6 ขั้นตอน ได้แก่ เป้าหมายและตัวชี้วัด → สมมติฐาน → สร้างเวอร์ชันทดสอบ → รันทดสอบ → ตัดสินผล → นำไปใช้ ให้กำหนดขนาดกลุ่มตัวอย่าง (ปริมาณข้อมูล) และระยะเวลาที่ต้องใช้ ก่อนเริ่ม
  • "นัยสำคัญทางสถิติ" เป็นเกณฑ์ชี้วัดว่าความแตกต่างนั้นอธิบายด้วยความผันผวนแบบสุ่มเพียงอย่างเดียวได้ยากหรือไม่ ค่า p-value ไม่ใช่ "ความน่าจะเป็นที่ B กำลังชนะ"
  • ความล้มเหลวส่วนใหญ่มาจาก "การเช็กผลซ้ำ ๆ แล้วหยุดทดสอบก่อนเวลา" "การเปลี่ยนหลายอย่างพร้อมกัน" และ "การรันทดสอบสั้นเกินไป"
  • บนเว็บไซต์ที่มีทราฟฟิกน้อย คุณยังมีข้อมูลให้ใช้ตัดสินใจได้มากขึ้นด้วยการเปลี่ยนวิธีการ เช่น เน้นการเปลี่ยนแปลงที่ใหญ่ขึ้น หรือดูตัวชี้วัดในขั้นตอนที่เร็วกว่า

"ลองเปลี่ยนพาดหัวแล้วคนสมัครเพิ่มขึ้นไหมนะ" "ปุ่มควรอยู่สูงขึ้นในหน้าหรือเปล่า" เมื่อคุณดูแลเว็บไซต์ ไอเดียสำหรับการปรับปรุงจะเกิดขึ้นเรื่อย ๆ แต่การเปลี่ยนแปลงนั้นจะทำให้ดีขึ้นหรือแย่ลงจริง ๆ เป็นสิ่งที่คุณจะรู้ไม่ได้จนกว่าจะลองทำ และแม้ตัวเลขจะเพิ่มขึ้นหลังจากเปลี่ยนแปลง ก็มักแยกไม่ออกว่าการเปลี่ยนแปลงนั้นสมควรได้รับเครดิต หรือเป็นเพียงเพราะสัปดาห์นั้นคุณบังเอิญเพิ่มค่าโฆษณา

เมื่อต้องการยืนยันผลของการเปลี่ยนแปลงโดยแยกออกจากปัจจัยอื่น ๆ คุณจะใช้ การทดสอบ A/B

บทความนี้จะพาไปดูว่า A/B testing หมายถึงอะไรและทำงานอย่างไร จากนั้นจึงครอบคลุมขั้นตอนปฏิบัติ วิธีเขียนสมมติฐาน ปริมาณข้อมูลและเวลาที่ต้องใช้ "ความแตกต่างที่มีนัยสำคัญ" หมายความว่าอย่างไรกันแน่ และข้อผิดพลาดที่มือใหม่พบบ่อยที่สุด แม้จะมีสถิติเข้ามาเกี่ยวข้องบ้าง แต่ผมจะใช้สูตรให้น้อยที่สุดและให้ความสำคัญกับการทำความเข้าใจแนวคิดเป็นอันดับแรก ตัวอย่างการคำนวณทั้งหมดในบทความนี้ใช้ตัวเลขสมมติที่เลือกมาเพื่อประกอบการอธิบาย

A/B testing คืออะไร?

A/B testing คือ วิธีที่คุณสุ่มแสดงหน้าเว็บหนึ่งในสองเวอร์ชันให้ผู้เยี่ยมชม แล้วเปรียบเทียบว่าเวอร์ชันไหนให้ผลลัพธ์ดีกว่า โดยใช้ข้อมูลจากช่วงเวลาเดียวกัน บางครั้งเรียกว่า "split testing"

  • A (control / เวอร์ชันเดิม): หน้าปัจจุบัน เป็นเกณฑ์พื้นฐานสำหรับการเปรียบเทียบ
  • B (variant / เวอร์ชันที่แก้ไข): หน้าที่เปลี่ยนแปลงบางส่วน เป็นไอเดียที่คุณอยากลอง

ตัวอย่างเช่น คุณแสดงเวอร์ชัน A ให้ผู้เยี่ยมชมครึ่งหนึ่งและเวอร์ชัน B ให้อีกครึ่งหนึ่ง จากนั้นเปรียบเทียบสัดส่วนของแต่ละกลุ่มที่สมัครสำเร็จ สัดส่วนนี้เรียกว่า อัตราคอนเวอร์ชัน (CVR) คอนเวอร์ชันคือการกระทำที่คุณอยากให้ผู้เยี่ยมชมทำบนเว็บไซต์ เช่น การซื้อ การสมัครสมาชิก หรือการขอเอกสาร

ชื่อ "A/B testing" มาจากการเปรียบเทียบสองเวอร์ชัน แต่คุณก็เปรียบเทียบสามเวอร์ชันขึ้นไปพร้อมกันได้เช่นกัน (เรียกว่า A/B/n testing) หลักคิดเหมือนกัน

หลักการทำงาน: สุ่มแบ่งแล้วเปรียบเทียบพร้อมกัน

A/B test ทำงานได้ด้วยกลไกสามอย่าง

หลักการทำงานของ A/B testing: สุ่มแบ่งผู้เยี่ยมชมเป็น A และ B แสดงทั้งสองเวอร์ชันในช่วงเวลาเดียวกัน แล้วเปรียบเทียบอัตราคอนเวอร์ชัน (ตัวเลขเป็นตัวอย่าง)

1. ผู้เยี่ยมชมถูกกำหนดเวอร์ชันแบบสุ่ม ผู้เยี่ยมชมจะเห็น A หรือ B ถูกตัดสินโดยเครื่องมือด้วยการสุ่มตัวเลข ไม่ใช่คนเป็นผู้เลือก และการแบ่งก็ไม่ได้เป็นไปตามกฎอย่าง "ช่วงเช้าแสดง A ช่วงบ่ายแสดง B" การกำหนดแบบสุ่มทำให้ความแตกต่างระหว่างผู้เยี่ยมชม เช่น ผู้เยี่ยมชมใหม่กับผู้ที่กลับมา สมาร์ตโฟนกับเดสก์ท็อป หรือคนที่มาจากโฆษณากับคนที่มาจากการค้นหา ถูกผสมกันในสัดส่วนใกล้เคียงกันทั้งใน A และ B

2. ทั้งสองเวอร์ชันรันในช่วงเวลาเดียวกัน A และ B ถูกแสดงพร้อมกัน ดังนั้นปัจจัยภายนอก เช่น การลดราคา ฤดูกาล การถูกพูดถึงในโทรทัศน์ หรือความผันผวนตามวันในสัปดาห์ จะส่งผลต่อ A และ B ในลักษณะเดียวกัน

3. คนเดิมเห็นเวอร์ชันเดิมต่อเนื่อง หากคนที่ถูกกำหนดให้เห็น B กลับมาเห็น A ในการเข้าชมครั้งถัดไป คุณจะบอกไม่ได้อีกต่อไปว่าเวอร์ชันไหนมีอิทธิพลต่อการสมัครของเขา ด้วยเหตุนี้ เครื่องมือส่วนใหญ่จึงใช้เครื่องหมายที่เก็บไว้ในเบราว์เซอร์ (เช่น คุกกี้) เพื่อแสดงเวอร์ชันเดิมให้ผู้เยี่ยมชมคนเดิมเสมอ

เมื่อเงื่อนไขทั้งสามข้อนี้ครบ ความแตกต่างเพียงอย่างเดียวระหว่าง A และ B ก็คือ "สิ่งที่คุณเปลี่ยนบนหน้าเว็บ" นี่คือเหตุผลที่เมื่อผลลัพธ์ต่างกัน จะสรุปได้ง่ายขึ้นว่าความต่างนั้นมาจากการเปลี่ยนแปลง แนวคิดนี้เหมือนกับการทดลองแบบสุ่มที่มีกลุ่มควบคุม (randomized controlled trial) ซึ่งใช้ทดสอบผลของยา เพียงแต่นำมาใช้กับเว็บไซต์

ทำไมต้องใช้ A/B testing: สิ่งที่การเปรียบเทียบก่อน-หลังบอกคุณไม่ได้

คุณอาจสงสัยว่า "ทำไมไม่เปลี่ยนหน้าเว็บแล้วเปรียบเทียบตัวเลขก่อนและหลังโดยไม่ต้องแบ่งผู้เยี่ยมชมล่ะ" วิธีนี้เรียกว่าการเปรียบเทียบก่อน-หลัง ทำได้ง่ายแต่มีจุดอ่อนใหญ่ คือ คุณแยกผลของการเปลี่ยนแปลงออกจากปัจจัยอื่นไม่ได้

ตัวเลขของเว็บไซต์ขยับไปมาในแต่ละวันแม้คุณจะไม่ได้เปลี่ยนอะไรบนหน้าเว็บ ปัจจัยที่ทำให้ขยับมีดังนี้

  • ฤดูกาลและอีเวนต์: ช่วงโบนัส ปลายปีงบประมาณ วันหยุด สภาพอากาศ และอื่น ๆ
  • โฆษณาและแคมเปญ: งบโฆษณาที่เพิ่มหรือลด การเปลี่ยนหน้าปลายทางของโฆษณา การส่งจดหมายข่าวทางอีเมล
  • วันในสัปดาห์และช่วงเวลาของวัน: ผู้เยี่ยมชมวันธรรมดากับวันหยุดสุดสัปดาห์อาจแตกต่างกันทั้งประเภทและวัตถุประสงค์
  • การเปลี่ยนแปลงของแหล่งที่มาของทราฟฟิก: อันดับการค้นหาที่เปลี่ยนไป การเป็นกระแสไวรัลบนโซเชียลมีเดีย การแนะนำมาจากเว็บไซต์อื่น
  • คู่แข่งและตลาด: คู่แข่งลดราคา ข่าวที่ถูกนำเสนอ

ในการเปรียบเทียบก่อน-หลัง หากปัจจัยเหล่านี้ข้อใดทับซ้อนกับช่วงหลังการเปลี่ยนแปลง คุณจะบอกไม่ได้ว่าตัวเลขที่เปลี่ยนไปมาจากการเปลี่ยนแปลงของคุณหรือจากสิ่งอื่น แม้ตัวเลขจะสูงขึ้นหลังการเปลี่ยนแปลง ก็เป็นไปได้ว่าการเปลี่ยนแปลงนั้นทำให้แย่ลงจริง ๆ แต่โฆษณาที่เพิ่มขึ้นบังเอิญปิดบังไว้

A/B test แสดง A และ B ในช่วงเวลาเดียวกัน ปัจจัยเหล่านี้จึงส่งผลต่อทั้งสองฝั่งเท่ากัน จากนั้นคุณดูความแตกต่างที่เหลืออยู่ ซึ่งทำให้แยกผลของการเปลี่ยนแปลงเพียงอย่างเดียวได้ง่ายขึ้น

ภาพประกอบ: ในการเปรียบเทียบก่อน-หลัง ผลของโฆษณาและปัจจัยอื่นจะปะปนกับผลของการเปลี่ยนแปลง ส่วนใน A/B test จะเปรียบเทียบทั้งสองเวอร์ชันในช่วงเวลาเดียวกัน จึงเหลือเฉพาะความแตกต่าง

อีกเหตุผลหนึ่งคือ สัญชาตญาณของผู้สร้างกับปฏิกิริยาของผู้เยี่ยมชมมักไม่ตรงกัน ไม่ใช่เรื่องแปลกที่ไอเดียซึ่งทุกคนในองค์กรเห็นพ้องว่า "เข้าใจง่ายกว่า" จะไม่ได้ผลกับผู้เยี่ยมชมจริง A/B testing จึงเป็นวิธีตัดสินใจจากสิ่งที่ผู้เยี่ยมชมทำจริง ไม่ใช่จากว่าใครเสียงดังที่สุดหรือใครมีตำแหน่งสูงกว่า

A/B testing บอกอะไรได้และบอกอะไรไม่ได้

A/B testing ทรงพลัง แต่ก็บอกทุกอย่างไม่ได้ การรู้ก่อนเริ่มว่ามันเก่งและไม่เก่งเรื่องอะไรช่วยให้คุณหลีกเลี่ยงการอ่านผลผิด

สิ่งที่บอกได้

  • การเปลี่ยนแปลงทำให้ตัวชี้วัดที่คุณเลือก (เช่น อัตราการสมัคร) สูงขึ้น ลดลง หรือแทบไม่เปลี่ยนแปลง
  • ความแตกต่างใหญ่พอที่ความผันผวนแบบสุ่มเพียงอย่างเดียวอธิบายได้ยากหรือไม่

สิ่งที่บอกไม่ได้หรือไม่ถนัด

  • ทำไมจึงมีความแตกต่าง: เหตุผลเป็นเพียงการคาดเดา ให้พิจารณาร่วมกับข้อมูลอื่น
  • ผลระยะยาว: เห็นเพียงพฤติกรรมในช่วงทดสอบ มักบอกเรื่องการรักษาลูกค้าไว้หรืออัตราการยกเลิกในอีกหลายเดือนข้างหน้าไม่ได้
  • การเปรียบเทียบกับไอเดียที่ไม่ได้ทดสอบ: คุณรู้ว่า A หรือ B ดีกว่า แต่ไม่รู้ว่ามีตัวเลือก C ที่ดีกว่าอยู่หรือไม่
  • การปรับปรุงเล็ก ๆ บนหน้าที่มีทราฟฟิกน้อย: อาจมีข้อมูลไม่พอที่จะบอกได้ไม่ว่าจะมีความแตกต่างหรือไม่ (หัวข้อด้านล่างว่าด้วยเรื่องนี้จะบอกว่าควรทำอย่างไร)

นอกจากนี้ A/B testing เป็น "เครื่องมือสำหรับตรวจสอบไอเดีย" ไม่ใช่ "เครื่องมือสำหรับคิดไอเดียดี ๆ" คุณภาพของไอเดียที่คุณทดสอบถูกกำหนดโดยวิธีสร้างสมมติฐานของคุณ

ประเภทของ A/B test: ต่างจาก multivariate test และ redirect test อย่างไร

แม้ในกลุ่ม "A/B testing" ก็ยังมีวิธีที่เกี่ยวข้องกันอยู่หลายแบบ ต่อไปนี้คือแบบที่พบบ่อยที่สุด

ประเภท สิ่งที่เปรียบเทียบ เหมาะสำหรับ ข้อควรระวัง
A/B test เวอร์ชันที่ URL เดียวกันโดยเปลี่ยนเพียงบางส่วน ตรวจสอบผลของการเปลี่ยนแปลงเดียว เช่น พาดหัว ปุ่ม หรือรูปภาพ เป็นรูปแบบพื้นฐาน เริ่มต้นที่นี่
A/B/n test สามเวอร์ชันขึ้นไป มีพาดหัวหลายตัวเลือกและอยากเปรียบเทียบพร้อมกัน ยิ่งมีเวอร์ชันมาก ข้อมูลต่อเวอร์ชันยิ่งน้อยและการทดสอบยิ่งนาน
Multivariate test การผสมกันของหลายองค์ประกอบ (เช่น พาดหัว 2 แบบ × รูปภาพ 2 แบบ = 4 ชุด) อยากรู้ว่าองค์ประกอบชุดไหนผสมกันแล้วได้ผลดีที่สุด ต้องมีข้อมูลครบทุกชุด เหมาะกับหน้าที่มีทราฟฟิกสูง
Redirect test (split URL test) หน้าที่ออกแบบต่างกันซึ่งสร้างไว้ที่ URL แยกกัน อยากเปรียบเทียบหน้าใหม่ที่เลย์เอาต์ต่างจากเดิมมากกับหน้าปัจจุบัน การรีไดเรกต์อาจทำให้การแสดงผลช้าลงเล็กน้อย และต้องคำนึงถึงเสิร์ชเอนจิน
A/A test สองเวอร์ชันที่เหมือนกันทุกประการ อยากตรวจสอบว่าการแบ่งทราฟฟิกและการวัดผลของเครื่องมือทำงานถูกต้อง เป็นการทดสอบเพื่อตรวจสอบ ไม่ใช่เพื่อปรับปรุง

Multivariate test เปลี่ยนหลายองค์ประกอบพร้อมกันและเปรียบเทียบผลของแต่ละชุด จึงเห็นได้ด้วยว่าองค์ประกอบต่าง ๆ เข้ากันได้ดีแค่ไหน เช่น "พาดหัวนี้ผสมกับรูปภาพนี้ได้ผลดีที่สุด" อย่างไรก็ตาม พาดหัว 3 แบบ รูปภาพ 3 แบบ และปุ่ม 2 แบบ รวมเป็น 18 ชุด และแต่ละชุดต้องมีข้อมูลเพียงพอ สำหรับเว็บไซต์ที่ทราฟฟิกจำกัด การรัน A/B test ต่อเนื่องกันไปทีละรอบเป็นแนวทางที่สมจริงกว่า

Redirect test ส่งผู้เยี่ยมชมบางส่วนไปยัง URL อื่นแล้วเปรียบเทียบผลลัพธ์ หรือเรียกว่า split URL test เหมาะกับการเปลี่ยนแปลงใหญ่ เช่น การสร้างโครงสร้างของหน้าใหม่ทั้งหมด ส่วน A/B test ทั่วไปที่เขียนองค์ประกอบใหม่ที่ URL เดิมเหมาะกับการลองเปลี่ยนเล็ก ๆ อย่างถ้อยคำหรือสีได้อย่างรวดเร็ว

นอกเว็บไซต์ การส่งหัวเรื่องอีเมลหรือครีเอทีฟโฆษณาสองเวอร์ชันแล้วเปรียบเทียบการตอบสนองก็เรียกว่า A/B testing เช่นกัน บทความนี้ครอบคลุม A/B testing ของหน้าเว็บ

สิ่งที่ควรทดสอบใน A/B test

มีองค์ประกอบมากมายที่ทดสอบได้ ต่อไปนี้คือองค์ประกอบทั่วไป

  • พาดหัว (ข้อความหลัก): เปลี่ยนจากการอธิบายฟีเจอร์เป็นการอธิบายผลลัพธ์ที่ผู้เยี่ยมชมจะได้รับ จุดมุ่งหมายคือสื่อสารให้ได้ใน 2-3 วินาทีแรกว่า "นี่เกี่ยวข้องกับฉัน"
  • CTA (ปุ่มกระตุ้นให้ลงมือทำ): เปลี่ยนถ้อยคำ ตำแหน่ง ขนาด หรือสี จุดมุ่งหมายคือทำให้การกระทำถัดไปชัดเจน
  • ภาพหรือวิดีโอหลัก: เปรียบเทียบภาพถ่ายสินค้าอย่างเดียวกับภาพขณะใช้งาน จุดมุ่งหมายคือสื่อคุณค่าให้เข้าใจได้โดยสัญชาตญาณ
  • ฟอร์ม: ลดจำนวนช่อง แบ่งเป็นหลายขั้นตอน เพิ่มตัวอย่างการกรอก จุดมุ่งหมายคือลดความยุ่งยากและความลังเล
  • วิธีแสดงราคา: การจัดวางราคารายเดือนและรายปี ลำดับของแผน ตำแหน่งที่แสดงราคารวมภาษี จุดมุ่งหมายคือทำให้เปรียบเทียบและตัดสินใจง่ายขึ้น
  • ข้อมูลสร้างความน่าเชื่อถือ: ผลงานของลูกค้า คำรับรอง การวางข้อมูลการรับประกันและการสนับสนุน จุดมุ่งหมายคือลดความกังวลก่อนสมัคร
  • เลย์เอาต์และลำดับข้อมูล: ย้ายข้อมูลสำคัญให้สูงขึ้น ทำให้หน้าที่ยาวสั้นลง จุดมุ่งหมายคือให้ผู้เยี่ยมชมไปถึงข้อมูลที่ต้องการได้เร็วขึ้น
  • การนำทาง: เปลี่ยนจำนวนรายการเมนูหรือถ้อยคำ จุดมุ่งหมายคือลดความสับสนและพาผู้เยี่ยมชมไปยังหน้าที่ต้องการ

CTA ย่อมาจาก "Call To Action" หมายถึงปุ่มหรือลิงก์ที่กระตุ้นให้ผู้เยี่ยมชมลงมือทำ เช่น "สมัครสมาชิก" หรือ "ขอเอกสาร"

โดยหลักการ ให้ตัดสินใจว่าจะเริ่มที่ไหนจาก ความใกล้ชิดกับผลลัพธ์ และ ปริมาณที่คนเห็น จุดที่เชื่อมโดยตรงกับผลลัพธ์ เช่น ปุ่มสมัครและฟอร์ม และส่วนบนของหน้าที่ผู้เยี่ยมชมจำนวนมากเห็น เป็นที่ที่การเปลี่ยนแปลงมีแนวโน้มแสดงผลมากที่สุด ในทางกลับกัน การเปลี่ยนเล็ก ๆ ใกล้ส่วนล่างของหน้าที่คนส่วนใหญ่เลื่อนไปไม่ถึง ต้องใช้เวลานานกว่าจะตรวจพบแม้จะได้ผลก็ตาม

"สีของปุ่ม" มักถูกยกเป็นตัวอย่างของ A/B testing แต่การเปลี่ยนสีอย่างเดียวไม่จำเป็นต้องสร้างความแตกต่างใหญ่ สิ่งที่สำคัญกว่าตัวสีเองคือปัญหาอยู่ที่ปุ่มกลืนไปกับสิ่งรอบข้างจนไม่มีใครสังเกตหรือไม่ สิ่งที่ควรเปลี่ยนควรคิดย้อนกลับมาจากสมมติฐาน ซึ่งจะกล่าวถึงต่อไป

วิธีทำ A/B test [6 ขั้นตอน]

A/B test ดำเนินไปตาม 6 ขั้นตอนต่อไปนี้ สิ่งสำคัญคือ ต้องกำหนดตัวชี้วัด ปริมาณข้อมูลที่ต้องใช้ ระยะเวลา และเกณฑ์การตัดสินให้เรียบร้อยก่อนเริ่มรัน

ตั้งเป้าหมายและตัวชี้วัด

จำกัดสิ่งที่อยากปรับปรุงให้เหลือเพียงอย่างเดียว และกำหนดตัวชี้วัดที่ใช้วัดสิ่งนั้น ระบุให้วัดผลเป็นตัวเลขได้ เช่น "เพิ่มอัตราการขอเอกสารสำเร็จ" ใช้ตัวชี้วัดเพียงตัวเดียวสำหรับการตัดสิน (ตัวชี้วัดหลัก)

สร้างสมมติฐาน

เขียนว่า "ปัญหาอยู่ที่ไหน จะเปลี่ยนอะไรและอย่างไร และทำไมคุณจึงคิดว่าจะดีขึ้น" การอิงข้อมูลอย่างเว็บอนาลิติกส์และฮีทแมปช่วยลดการคาดเดา

สร้างเวอร์ชันที่จะทดสอบ

ตามสมมติฐาน ให้สร้างเวอร์ชันที่เปลี่ยนแปลง (B) เพื่อให้บอกได้ว่าอะไรได้ผล ให้จำกัดการเปลี่ยนแปลงไว้เท่าที่สมมติฐานเดียวครอบคลุม ตรวจสอบการแสดงผลทั้งบนสมาร์ตโฟนและเดสก์ท็อป

กำหนดข้อมูลและระยะเวลาที่ต้องใช้ แล้วรัน

ประมาณขนาดกลุ่มตัวอย่างที่ต้องใช้และระยะเวลาทดสอบ กำหนดการจัดสรรทราฟฟิก แล้วจึงเริ่ม หลังเริ่มทันทีให้ตรวจสอบว่าการแบ่งทราฟฟิกและการวัดผลทำงานถูกต้อง

ตัดสินผลเมื่อสิ้นสุดระยะเวลา

ดูผลลัพธ์ก็ต่อเมื่อถึงระยะเวลาและปริมาณข้อมูลที่กำหนดไว้ล่วงหน้าแล้วเท่านั้น ตรวจสอบความแตกต่างของตัวชี้วัดหลัก และดูว่าความแตกต่างนั้นอยู่ในขอบเขตที่ความผันผวนแบบสุ่มอธิบายได้หรือไม่

นำผลไปใช้และไปสู่สมมติฐานถัดไป

นำเวอร์ชันที่ทำได้ดีกว่ามาใช้อย่างเป็นทางการและเก็บกวาดการตั้งค่าทดสอบ แม้จะไม่มีความแตกต่าง ก็ให้บันทึกสิ่งที่ได้เรียนรู้และนำไปใช้กับสมมติฐานถัดไป

หัวข้อต่อไปนี้จะอธิบายแนวคิดเบื้องหลังแต่ละขั้นตอนโดยละเอียดยิ่งขึ้น

วิธีเลือกเป้าหมายและตัวชี้วัด

การจัดระเบียบตัวชี้วัดตามบทบาทช่วยได้มาก

  • ตัวชี้วัดหลัก (primary metric): ตัวชี้วัดที่ตัดสินว่าใครชนะการทดสอบ เลือกเพียงตัวเดียว ตัวอย่างเช่น อัตราการซื้อสำเร็จ อัตราการขอเอกสารสำเร็จ และอัตราการสมัครใช้ฟรี
  • ตัวชี้วัดรอง (secondary metrics): ตัวชี้วัดที่ดูเพื่อทำความเข้าใจว่าตัวชี้วัดหลักขยับอย่างไร ตัวอย่างเช่น อัตราการคลิกปุ่ม อัตราการเริ่มกรอกฟอร์ม และความลึกในการเลื่อนหน้า
  • ตัวชี้วัดป้องกัน (guardrail metrics): ตัวชี้วัดที่เฝ้าดูเพื่อให้แน่ใจว่าไม่มีอะไรแย่ลง ตัวอย่างเช่น อัตราการตีกลับ (bounce rate) ความเร็วในการโหลดหน้า การคืนสินค้าหรือการยกเลิก และจำนวนการสอบถาม

เหตุผลที่ควรจำกัดตัวชี้วัดหลักไว้เพียงตัวเดียวคือ หากคุณเรียงตัวชี้วัดไว้มากมายแล้วนับว่าสำเร็จเมื่อตัวใดตัวหนึ่งดีขึ้น คุณมีแนวโน้มจะเลือกตัวชี้วัดที่ดูดีขึ้นเพียงเพราะบังเอิญ นี่คือปัญหา "การเปรียบเทียบหลายครั้ง" (multiple comparisons) ซึ่งจะกลับมากล่าวถึงอีกในหัวข้อต่อไป

เลือกตัวชี้วัดหลักที่ ใกล้เคียงกับผลลัพธ์ทางธุรกิจมากที่สุดเท่าที่จะเป็นไปได้ อาจเกิดกรณีที่อัตราการคลิกปุ่มเพิ่มขึ้นแต่การสมัครไม่เพิ่ม ถ้อยคำที่ชวนให้คลิกทำให้คนกดปุ่มมากขึ้น แต่หากสิ่งที่ตามมาไม่ตรงกับความคาดหวัง พวกเขาก็จะออกไป

ในทางกลับกัน ตัวชี้วัดที่เกิดขึ้นน้อย เช่น การซื้อหรือการทำสัญญา ใช้เวลานานกว่าจะเก็บข้อมูลได้พอ สำหรับเว็บไซต์ที่ทราฟฟิกจำกัด ทางเลือกหนึ่งคือใช้ตัวชี้วัดในขั้นตอนที่เร็วกว่า (เช่น การไปถึงฟอร์ม) เป็นตัวชี้วัดหลัก ในกรณีนั้นสิ่งสำคัญคือต้องจำข้อสมมติฐานไว้ว่า "แม้ตัวชี้วัดขั้นต้นจะดีขึ้น ผลลัพธ์สุดท้ายก็ไม่จำเป็นต้องดีขึ้น"

วิธีเขียนสมมติฐาน: เปลี่ยนข้อมูลพฤติกรรมให้เป็นเหตุผลในการเปลี่ยนแปลง

ความสำเร็จของ A/B test ขึ้นอยู่กับคุณภาพของสมมติฐานเป็นอย่างมาก หากลองไอเดียไปเรื่อย ๆ โดยไม่มีสมมติฐาน คุณจะได้การทดสอบที่ไม่แสดงความแตกต่างต่อกันเป็นพรวน และแม้มีความแตกต่าง ก็นำไปต่อยอดไม่ได้

การเขียนสมมติฐานในรูปแบบต่อไปนี้ช่วยลดช่องโหว่

"จาก (ข้อเท็จจริงที่เห็นในข้อมูล) เราคิดว่า (การคาดเดาเกี่ยวกับปัญหา) ดังนั้นหากเรา (ทำการเปลี่ยนแปลงนี้) แล้ว (ตัวชี้วัดนี้) น่าจะดีขึ้น"

ตัวอย่างเช่น สมมติสถานการณ์ต่อไปนี้ (สมมติ)

  • ข้อเท็จจริง: ในหน้าราคา มีผู้เยี่ยมชมเพียงไม่กี่คนที่เลื่อนลงไปไกลพอจะถึงปุ่มสมัคร
  • การคาดเดาเกี่ยวกับปัญหา: ปุ่มอยู่ต่ำเกินไป ผู้เยี่ยมชมที่อยากสมัครจึงหาไม่เจอ
  • การเปลี่ยนแปลง: วางปุ่มสมัครไว้ใต้ตารางแผนด้วย
  • ตัวชี้วัด: อัตราการสมัครสำเร็จ

การเขียนเช่นนี้ทำให้คุณย้อนกลับมาดูหลังผลออกได้ว่า "การคาดเดานั้นผิด หรือการเปลี่ยนแปลงยังไม่พอ"

ข้อมูลที่ใช้เป็นฐานของสมมติฐานได้มีดังนี้

  • เว็บอนาลิติกส์: หน้าไหนมีคนออกจากหน้ามาก แหล่งทราฟฟิกไหนให้ผลลัพธ์ต่ำ เหมาะกับการหาว่า "หน้า" ไหนมีปัญหา
  • ฮีทแมป: คนอ่านลงไปถึงตรงไหนของหน้า คลิกที่ไหน คลิกสิ่งที่ไม่ใช่ลิงก์หรือไม่ เหมาะกับการหาว่า "จุด" ไหนมีปัญหา
  • การสอบถามและบันทึกการขายหรือการสนับสนุน: ผู้เยี่ยมชมสับสนและกังวลเรื่องอะไร
  • แบบสำรวจและการสัมภาษณ์ผู้ใช้: เบาะแสถึงเหตุผลที่ไม่ปรากฏในตัวเลข

ฮีทแมปคือเครื่องมือที่ซ้อนพฤติกรรมของผู้เยี่ยมชมลงบนหน้าเว็บเป็นพื้นที่สีอ่อนและเข้ม (ดูประเภทและวิธีอ่านได้ที่ ฮีทแมปคืออะไร?) ช่วยให้หาจุดที่มีปัญหาภายในหน้าได้ เช่น "ปุ่มสำคัญไม่ถูกคลิก" หรือ "หลายคนหยุดอ่านกลางหน้า" สำหรับการแบ่งบทบาท คือหาปัญหาด้วยฮีทแมปและตรวจสอบการแก้ไขด้วย A/B test ดูได้ที่ ฮีทแมปกับ A/B testing: ความแตกต่างและวิธีใช้แต่ละอย่าง

เมื่อมีสมมติฐานหลายข้อ ให้จัดอันดับตามสามประเด็น ได้แก่ "ขนาดผลกระทบที่คาดหวัง" "ความหนักแน่นของหลักฐาน" และ "ความพยายามในการลงมือทำ" การเริ่มจากข้อที่คาดว่ามีผลกระทบสูงและใช้ความพยายามต่ำจะทำให้เดินหน้าได้ง่ายขึ้น

ทำความเข้าใจขนาดกลุ่มตัวอย่าง

ขนาดกลุ่มตัวอย่างคือปริมาณข้อมูลที่ต้องใช้สำหรับการทดสอบ นั่นคือ จำนวนผู้เยี่ยมชมที่เห็นแต่ละเวอร์ชัน ใน A/B test คุณประมาณค่านี้ก่อนรัน หากข้อมูลน้อยเกินไป คุณจะพลาดไม่พบความแตกต่างที่มีอยู่จริงบ่อยขึ้น และแม้จะบังเอิญปรากฏความแตกต่างที่มีนัยสำคัญ ขนาดของมันก็มักดูใหญ่กว่าความจริง

ขนาดกลุ่มตัวอย่างที่ต้องใช้ถูกกำหนดโดยปัจจัยหลักสี่อย่างนี้

  1. อัตราคอนเวอร์ชันปัจจุบัน: ยิ่งต่ำ ยิ่งต้องใช้ข้อมูลมาก
  2. ขนาดของความแตกต่างที่ต้องการตรวจพบ: ยิ่งอยากหาความแตกต่างที่เล็ก ยิ่งต้องใช้ข้อมูลมาก ความแตกต่างที่เล็กที่สุดที่คุณอยากตรวจพบ โดยยอมพลาดสิ่งที่เล็กกว่านั้น เรียกว่าผลกระทบที่ตรวจพบได้ขั้นต่ำ (minimum detectable effect หรือ MDE)
  3. ระดับนัยสำคัญ: คุณยอมรับความผิดพลาดจากการประกาศว่า "มีความแตกต่าง" ทั้งที่ไม่มีได้มากเท่าใด โดยทั่วไปใช้ 5%
  4. อำนาจการทดสอบทางสถิติ (statistical power): ความน่าจะเป็นที่จะพบความแตกต่างเมื่อมีอยู่จริง โดยทั่วไปใช้ 80%

ในบรรดาสี่อย่างนี้ ข้อที่สองมีผลมากที่สุด เมื่อความแตกต่างที่ต้องการหาลดลงครึ่งหนึ่ง ปริมาณข้อมูลที่ต้องใช้จะเพิ่มขึ้นประมาณ 4 เท่า

ต่อไปนี้คือตัวอย่างการคำนวณเพื่อให้เห็นภาพคร่าว ๆ เป็นจำนวนผู้เยี่ยมชมโดยประมาณที่ต้องใช้ต่อเวอร์ชัน โดยสมมติว่าอัตราคอนเวอร์ชันปัจจุบันคือ 2.0% (คำนวณด้วยสูตรมาตรฐานสำหรับเปรียบเทียบสัดส่วนสองค่า ใช้การทดสอบสองด้าน ระดับนัยสำคัญ 5% และอำนาจการทดสอบ 80%)

การปรับปรุงที่ต้องการตรวจพบ (สัมพัทธ์) อัตราคอนเวอร์ชันหลังเปลี่ยน ผู้เยี่ยมชมที่ต้องใช้ต่อเวอร์ชัน (โดยประมาณ)
+10% 2.0% → 2.2% ประมาณ 80,700
+20% 2.0% → 2.4% ประมาณ 21,100
+30% 2.0% → 2.6% ประมาณ 9,800
+50% 2.0% → 3.0% ประมาณ 3,800

ขนาดกลุ่มตัวอย่างที่ต้องใช้ตามขนาดของการปรับปรุงที่ต้องการตรวจพบ: ประมาณ 80,700 สำหรับ +10% ประมาณ 21,100 สำหรับ +20% ประมาณ 9,800 สำหรับ +30% ประมาณ 3,800 สำหรับ +50%

ตารางนี้แสดงสองสิ่ง ประการแรก การยืนยันการปรับปรุงเล็ก ๆ ต้องใช้ข้อมูลมากกว่าที่คุณคิด เพื่อยืนยันการปรับปรุง 10% บนหน้าที่มีอัตราคอนเวอร์ชัน 2.0% คุณจะต้องมีผู้เยี่ยมชมมากกว่า 160,000 คนรวม A และ B ประการที่สอง ยิ่งการเปลี่ยนแปลงมุ่งหวังการปรับปรุงที่ใหญ่ ก็ยิ่งใช้ข้อมูลน้อยลงในการตัดสิน

เมื่อประมาณจริง เครื่องคำนวณที่มีอยู่ในเครื่องมือ A/B testing หรือเครื่องคำนวณขนาดกลุ่มตัวอย่างที่เปิดให้ใช้สาธารณะช่วยให้คุณได้คำตอบเพียงใส่ค่าทั้งสี่ ไม่จำเป็นต้องท่องสูตร สิ่งสำคัญคือกำหนดก่อนว่า "ต้องการหาความแตกต่างใหญ่แค่ไหน" แล้วตรวจสอบว่าทราฟฟิกของเว็บไซต์คุณพาไปถึงจุดนั้นได้ภายในเวลาที่สมเหตุสมผลหรือไม่

หากจำนวนที่ต้องใช้ซึ่งคุณประมาณได้มากเกินไป ก็ยังมีทางเลือกอื่นนอกจากเลิกทดสอบ ได้แก่ เน้นการเปลี่ยนแปลงที่น่าจะสร้างความแตกต่างได้มากกว่า รันทดสอบบนหน้าที่มีทราฟฟิกสูง หรือ ดูตัวชี้วัดที่อยู่ต้นกว่าในกรวยการแปลง (funnel) หัวข้อ "สิ่งที่ควรทำบนเว็บไซต์ที่มีทราฟฟิกน้อย" จะอธิบายวิธีการ

วิธีกำหนดระยะเวลาทดสอบ

ประมาณระยะเวลาทดสอบโดยหารขนาดกลุ่มตัวอย่างที่ต้องใช้ด้วยจำนวนคนที่เข้าชมหน้าที่ทดสอบต่อวัน

ตัวอย่างเช่น สมมติว่าตารางข้างต้นบอกว่าต้องใช้ "ประมาณ 21,100 ต่อเวอร์ชัน" หน้าเป้าหมายมีผู้เยี่ยมชมวันละ 1,000 คน และสมมติว่าทุกคนถูกรวมในการทดสอบและแบ่งครึ่งต่อครึ่งระหว่าง A และ B ดังนั้นแต่ละเวอร์ชันได้วันละ 500 คน 21,100 ÷ 500 ได้ประมาณ 42 วัน หรือประมาณ 6 สัปดาห์

เมื่อกำหนดระยะเวลา ให้พิจารณาประเด็นต่อไปนี้ควบคู่กับปริมาณข้อมูล

ใช้จำนวนสัปดาห์เต็ม พฤติกรรมผู้เยี่ยมชมเปลี่ยนไปตามวันในสัปดาห์ วันธรรมดาอาจเป็นการค้นคว้าเรื่องงาน ส่วนวันหยุดสุดสัปดาห์เป็นการช้อปปิ้งส่วนตัว ประเภทและวัตถุประสงค์ของผู้เยี่ยมชมจึงต่างกันได้ หากจบหลังเพียงสี่วัน คือวันจันทร์ถึงวันพฤหัสบดี ปฏิกิริยาของผู้เยี่ยมชมวันหยุดสุดสัปดาห์จะหายไป การเริ่มและจบในวันเดียวกันของสัปดาห์ โดยใช้ จำนวนวันที่หาร 7 ลงตัว จะหลีกเลี่ยงอคติจากวันในสัปดาห์ได้

หลีกเลี่ยงช่วงเวลาที่สั้นเกินไป แม้เว็บไซต์ที่มีทราฟฟิกสูงมากซึ่งถึงจำนวนที่ต้องใช้ภายในไม่กี่วัน กฎเกณฑ์ทั่วไปคือรันอย่างน้อย 1 สัปดาห์ และจะดีที่สุดคือ 2 สัปดาห์ นอกจากอคติจากวันในสัปดาห์แล้ว ปฏิกิริยาอาจดีขึ้นทันทีหลังเปลี่ยนเพียงเพราะมันใหม่ (หรือแย่ลงเพราะผู้เยี่ยมชมที่กลับมาเกิดความงุนงง)

หลีกเลี่ยงช่วงเวลาที่ยาวเกินไปด้วย ยิ่งรันทดสอบนาน ยิ่งมีสิ่งรบกวนแทรกเข้ามา เช่น คุกกี้ถูกลบจนคนเดิมเห็นเวอร์ชันต่างออกไป หรือฤดูกาลและสภาพตลาดเปลี่ยนไป หากค่าประมาณของคุณออกมายาวกว่า 2 เดือนมาก เราแนะนำให้ทบทวนการออกแบบการทดสอบ (ขนาดของความแตกต่างที่ต้องการตรวจพบ หน้าเป้าหมาย และตัวชี้วัด)

หลีกเลี่ยงช่วงเวลาที่ผิดปกติ ผลลัพธ์จากช่วงที่พฤติกรรมผู้เยี่ยมชมต่างจากปกติมาก เช่น เทศกาลลดราคาครั้งใหญ่หรือวันหยุดปลายปี อาจใช้กับช่วงปกติไม่ได้ เว้นแต่คุณต้องการตรวจสอบมาตรการเฉพาะช่วงนั้น การหลีกเลี่ยงไว้ก่อนปลอดภัยกว่า

นัยสำคัญทางสถิติคืออะไร? อธิบายค่า p-value และระดับความเชื่อมั่นแบบเข้าใจง่าย

เมื่อการทดสอบสิ้นสุด คุณจะได้ผลลัพธ์ประมาณว่า "A คือ 2.0% B คือ 2.4%" สิ่งที่คุณต้องคิดตรงนี้คือ ความแตกต่างนี้เป็นของจริงหรือเป็นเพียงความบังเอิญ

แม้แสดงหน้าเดียวกันทุกประการให้สองกลุ่ม อัตราคอนเวอร์ชันของทั้งสองกลุ่มก็แทบไม่เคยตรงกันพอดี เหมือนการโยนเหรียญ 100 ครั้งไม่ได้ออกหัวพอดี 50 ครั้งเสมอไป ตัวเลขมีความผันผวนแบบสุ่ม คุณจึงต้องมีขั้นตอนตรวจสอบ "ว่าความแตกต่างที่สังเกตเห็นอยู่ในขอบเขตที่ความผันผวนแบบสุ่มเพียงอย่างเดียวอธิบายได้หรือไม่" นี่คือการทดสอบสมมติฐานทางสถิติ และคำที่ใช้เรียกข้อสรุปของมันคือ นัยสำคัญทางสถิติ

ค่า p-value คืออะไร?

ในการทดสอบ ขั้นแรกคุณสมมติว่า "ไม่มีความแตกต่างจริง ๆ ระหว่าง A และ B" จากนั้นคำนวณ ความน่าจะเป็นที่จะเห็นความแตกต่างอย่างน้อยเท่ากับที่สังเกตได้ โดยบังเอิญ หากไม่มีความแตกต่างจริง ๆ ความน่าจะเป็นนี้คือ ค่า p-value

  • ค่า p-value ต่ำ → ภายใต้สมมติฐานว่าไม่มีความแตกต่าง ความแตกต่างเช่นนี้แทบไม่เกิดขึ้น → สมมติฐานว่าไม่มีความแตกต่างดูน่าสงสัย
  • ค่า p-value สูง → ความแตกต่างขนาดนี้เกิดขึ้นบ่อยโดยบังเอิญแม้ไม่มีความแตกต่าง → คุณพูดไม่ได้ว่ามีความแตกต่าง

ระดับนัยสำคัญและระดับความเชื่อมั่น

เกณฑ์ว่าค่า p-value ต้องต่ำแค่ไหนจึงจะสรุปว่า "มีความแตกต่าง" เรียกว่า ระดับนัยสำคัญ ตามธรรมเนียม มักใช้ 5% (0.05) เมื่อค่า p-value ต่ำกว่าระดับนัยสำคัญ เราจะกล่าวว่า "มีความแตกต่างที่มีนัยสำคัญทางสถิติ"

บนหน้าจอของเครื่องมือ A/B testing คุณมักเห็นการแสดงผลอย่าง "ระดับความเชื่อมั่น 95%" หรือ "ความเชื่อมั่น 95%" โดยปกติหมายความว่าเครื่องมือกำลังตัดสินที่ระดับนัยสำคัญ 5% (ความหมายของการแสดงผลต่างกันไปตามเครื่องมือ จึงควรตรวจสอบเอกสารของเครื่องมือที่ใช้)

ระดับนัยสำคัญ 5% เป็นข้อตกลงว่า "เรายอมรับโอกาสสูงสุด 5% ที่จะประกาศว่ามีความแตกต่างทั้งที่จริง ๆ ไม่มี" อีกนัยหนึ่ง หากคุณทดสอบการเปลี่ยนแปลง 20 อย่างที่ไม่มีผลเลย โดยเฉลี่ยจะมี 1 อย่างที่ปรากฏเป็น "มีนัยสำคัญ" ความแตกต่างที่มีนัยสำคัญไม่ใช่หลักฐานของความแน่นอน แต่เป็นเกณฑ์ชี้วัดเพื่อรักษาโอกาสผิดพลาดให้ต่ำกว่าระดับที่ตั้งไว้

ความเข้าใจผิดที่พบบ่อยเกี่ยวกับค่า p-value

ความเข้าใจผิดที่พบบ่อยอื่น ๆ มีดังนี้

  • "ไม่มีนัยสำคัญ" ไม่ได้แปลว่า "ไม่มีความแตกต่าง": รวมถึงสถานการณ์ที่มีข้อมูลไม่พอจะบอกว่ามีความแตกต่างหรือไม่
  • ความแตกต่างที่มีนัยสำคัญไม่จำเป็นต้องมีขนาดที่มีความหมายต่อธุรกิจของคุณ: เมื่อมีข้อมูลมหาศาล แม้ความแตกต่างเล็กน้อยก็กลายเป็นมีนัยสำคัญ ให้ดูขนาดของความแตกต่างด้วย
  • ค่า p-value ที่เล็กกว่าไม่ได้แปลว่าผลกระทบใหญ่กว่า: ค่า p-value ขึ้นอยู่กับปริมาณข้อมูลด้วย

ตรวจสอบด้วยตัวอย่างการคำนวณ

ลองตรวจสอบด้วยตัวเลขสมมติ สมมติว่ามีผู้เยี่ยมชม 10,000 คนถูกกำหนดให้ A และ B ฝั่งละ 10,000 คน

  • ตัวอย่างที่ 1: A มี 200 คอนเวอร์ชัน (2.0%) และ B มี 240 (2.4%) ค่า p-value ประมาณ 0.054 สูงกว่าระดับนัยสำคัญ 5% เล็กน้อย แม้จะเห็นความแตกต่างสัมพัทธ์ 20% แต่ด้วยปริมาณข้อมูลเท่านี้ก็เรียกว่า "มีนัยสำคัญ" ไม่ได้
  • ตัวอย่างที่ 2: A มี 200 คอนเวอร์ชัน (2.0%) และ B มี 250 (2.5%) ค่า p-value ประมาณ 0.017 ต่ำกว่าระดับนัยสำคัญ 5%

ด้วยอัตราเท่าเดิม หากข้อมูลน้อยลง ข้อสรุปจะเปลี่ยน หาก A และ B มีผู้เยี่ยมชมฝั่งละ 1,000 คน โดย A มี 20 คอนเวอร์ชัน (2.0%) และ B มี 24 (2.4%) ค่า p-value จะประมาณ 0.54 นั่นหมายความว่าแม้ไม่มีความแตกต่าง ช่องว่างขนาดนี้ก็ปรากฏโดยบังเอิญมากกว่าครึ่งหนึ่งของเวลา

(ทั้งหมดนี้เป็นตัวอย่างที่คำนวณด้วยการทดสอบสองด้านสำหรับความแตกต่างของสัดส่วนสองค่า สำหรับการตัดสินจริง ให้ทำตามวิธีที่เครื่องมือของคุณใช้)

ดูช่วงความเชื่อมั่นด้วย

ค่า p-value มักกลายเป็นคำถามแบบใช่หรือไม่ว่า "มีนัยสำคัญหรือไม่" แต่การดู ช่วงความเชื่อมั่น จะทำให้รู้สึกถึงขนาดของความแตกต่าง ช่วงความเชื่อมั่นคือช่วงที่ความแตกต่างที่แท้จริงถือว่ามีแนวโน้มตกอยู่

ในตัวอย่างที่ 1 ข้างต้น ความแตกต่างของอัตราคอนเวอร์ชัน (B ลบ A) คือ 0.4 จุดเปอร์เซ็นต์ และช่วงความเชื่อมั่น 95% คำนวณได้ประมาณ −0.01 ถึง +0.81 จุดเปอร์เซ็นต์ เนื่องจากช่วงนี้คร่อมศูนย์เพียงเล็กน้อย คุณอ่านได้ว่า "B ดูดีกว่า แต่เราตัดความเป็นไปได้ที่ไม่มีความแตกต่างออกไม่ได้" ช่วงที่กว้างเป็นสัญญาณว่ายังมีข้อมูลไม่พอ

ความแตกต่างของอัตราคอนเวอร์ชันและช่วงความเชื่อมั่น 95% ของตัวอย่างการคำนวณทั้งสามตัวอย่าง ตัวอย่างที่ช่วงคร่อมศูนย์ไม่สามารถเรียกว่ามีนัยสำคัญได้

บางเครื่องมือแสดง "ความน่าจะเป็นที่ B ชนะ A"

บางเครื่องมือแสดงตัวเลขอย่าง "ความน่าจะเป็นที่ B ชนะ A" แทนค่า p-value ค่านี้อิงแนวทางที่ต่างออกไปเรียกว่าสถิติแบบเบย์ (Bayesian) ซึ่งข้อสมมติและความหมายต่างจากค่า p-value ทั้งสองแบบไม่ได้ถูกหรือผิดอย่างตรงไปตรงมา แต่เป็นสำนักคิดที่ต่างกัน สิ่งสำคัญคือตรวจสอบว่าตัวเลขที่คุณดูใช้วิธีใด และไม่สับสนว่าเป็นตัวเลขประเภทเดียวกัน

วิธีอ่านผลลัพธ์และสิ่งที่ต้องทำหลังการทดสอบ

เมื่อสิ้นสุดระยะเวลา ให้ตรวจสอบผลลัพธ์ตามลำดับนี้

  1. การแบ่งทราฟฟิกเป็นไปตามที่ออกแบบหรือไม่: หากตั้งไว้ครึ่งต่อครึ่ง จำนวนผู้เยี่ยมชมของ A และ B เบี่ยงเบนมากหรือไม่ หากไม่สมดุลมาก อาจมีปัญหากับการแบ่งหรือการวัดผล และการเชื่อผลลัพธ์ตามที่เห็นเป็นอันตราย
  2. ความแตกต่างของตัวชี้วัดหลักและนัยสำคัญ: ทิศทางของความแตกต่าง ขนาด ค่า p-value และช่วงความเชื่อมั่น
  3. ตัวชี้วัดป้องกัน: ขณะที่ตัวชี้วัดหลักดีขึ้น ตัวเลขสำคัญอื่น ๆ แย่ลงหรือไม่
  4. ตัวชี้วัดรอง: เบาะแสสำหรับคิดว่าทำไมจึงได้ผลลัพธ์นี้

ผลลัพธ์แบ่งได้เป็นสามกรณีใหญ่

B ดีกว่าอย่างมีนัยสำคัญ นำ B มาใช้อย่างเป็นทางการ เฝ้าดูตัวเลขต่อไปอีกสักพักหลังนำไปใช้ เพื่อยืนยันว่าแนวโน้มเดียวกับช่วงทดสอบยังคงอยู่

B แย่กว่าอย่างมีนัยสำคัญ ใช้ A ต่อไป นี่ไม่ใช่ความล้มเหลว ผลลัพธ์คือคุณหยุดการเปลี่ยนแปลงที่ไม่ดีก่อนจะแสดงให้ทุกคนเห็น การคิดว่าทำไมจึงแย่กว่าจะช่วยเพิ่มความแม่นยำของสมมติฐานครั้งถัดไป

ไม่มีความแตกต่างที่มีนัยสำคัญ ใน A/B testing นี่เป็นหนึ่งในผลลัพธ์ที่พบบ่อยที่สุด ในกรณีนี้ ให้หลีกเลี่ยงการ "ขยายการทดสอบจนกว่าจะมีนัยสำคัญ" หลังสิ้นสุดระยะเวลาที่วางแผนไว้ (หัวข้อถัดไปอธิบายเหตุผล) เมื่อไม่มีความแตกต่าง ให้แยกแยะว่าสมมติฐานผิด การเปลี่ยนแปลงเล็กเกินไป หรือข้อมูลไม่พอ หากผลลัพธ์เหมือนกันไม่ว่าเลือกแบบไหน การเลือกแบบที่ดูแลง่ายกว่าหรือเข้ากับแนวทางของแบรนด์ก็ไม่มีปัญหา

การดูผลลัพธ์แยกตามอุปกรณ์หรือแหล่งทราฟฟิก (segment analysis) ก็มีประโยชน์เช่นกัน แต่ต้องระมัดระวัง ยิ่งแบ่งละเอียด ข้อมูลของแต่ละกลุ่มยิ่งน้อย และยิ่งพบความแตกต่างที่เกิดจากความบังเอิญได้ง่าย การถือว่าแนวโน้มที่พบจากการแบ่งเป็น "สมมติฐานที่ต้องตรวจสอบต่อไป" ไม่ใช่ "ข้อสรุป" จะปลอดภัยกว่า

สุดท้าย ให้เก็บบันทึกของการทดสอบ การรวมสมมติฐาน การเปลี่ยนแปลง ระยะเวลา ปริมาณข้อมูล ผลลัพธ์ และข้อสรุปไว้ในที่เดียวช่วยป้องกันการทำการทดสอบซ้ำ และส่งต่อสิ่งที่เรียนรู้ได้แม้ผู้รับผิดชอบจะเปลี่ยนไป

ข้อผิดพลาดที่พบบ่อยใน A/B testing และวิธีหลีกเลี่ยง

เนื่องจากกลไกของ A/B testing เรียบง่าย การทำผิดวิธีจึงอาจให้ข้อสรุปที่ผิดพร้อมตัวเลขที่ดูน่าเชื่อถือ ต่อไปนี้คือข้อผิดพลาดทั่วไป

ข้อผิดพลาดที่พบบ่อย ปัญหาคืออะไร วิธีแก้
เช็กผลซ้ำ ๆ แล้วหยุดทันทีที่มีนัยสำคัญ ความผิดพลาดจากการเรียกความแตกต่างที่เกิดจากความบังเอิญว่า "มีนัยสำคัญ" เกิดบ่อยกว่าระดับนัยสำคัญที่ตั้งไว้ กำหนดข้อมูลและระยะเวลาที่ต้องใช้ล่วงหน้า และตัดสินหลังจากถึงเกณฑ์เหล่านั้น
เปลี่ยนหลายองค์ประกอบพร้อมกัน แม้มีความแตกต่าง ก็บอกไม่ได้ว่าอะไรได้ผล จำกัดการเปลี่ยนแปลงไว้เท่าที่สมมติฐานเดียวครอบคลุม
ระยะเวลาทดสอบสั้น ผลลัพธ์ถูกกระทบโดยอคติจากวันในสัปดาห์และปฏิกิริยาชั่วคราวหลังการเปลี่ยนแปลง รันเป็นจำนวนวันที่หาร 7 ลงตัว อย่างน้อย 1 ถึง 2 สัปดาห์
ตัดสินเมื่อทราฟฟิกน้อย ความผันผวนแบบสุ่มมีมากและข้อสรุปไม่เสถียร ประมาณจำนวนที่ต้องใช้ล่วงหน้า และคิดการออกแบบใหม่หากไม่พอ
อคติจากวันในสัปดาห์หรือฤดูกาล ผลลัพธ์จากวันธรรมดาเท่านั้นหรือช่วงลดราคาเท่านั้นใช้กับช่วงปกติไม่ได้ เริ่มและจบในวันเดียวกันของสัปดาห์ และหลีกเลี่ยงช่วงเวลาที่ผิดปกติ
เรียงตัวชี้วัดและเวอร์ชันจำนวนมากแล้วเลือกเฉพาะอันที่ดี ยิ่งเปรียบเทียบมาก ยิ่งมีโอกาสที่บางอย่างดูดีโดยบังเอิญ กำหนดตัวชี้วัดหลักเพียงตัวเดียวและจำกัดจำนวนเวอร์ชัน
ทดสอบโดยไม่มีสมมติฐาน แม้มีผลลัพธ์ ก็ไม่เหลือบทเรียนให้ต่อยอด เขียนข้อเท็จจริง ปัญหา การเปลี่ยนแปลง และตัวชี้วัดให้ชัดก่อนเริ่ม
เปลี่ยนการตั้งค่าหรือเวอร์ชันระหว่างทาง ลักษณะของข้อมูลก่อนและหลังต่างกัน จึงเปรียบเทียบกันไม่ได้ หากต้องการเปลี่ยนอะไร ให้หยุดแล้วเริ่มใหม่เป็นการทดสอบใหม่

ข้อที่ต้องระวังเป็นพิเศษคือข้อแรก ปัญหา "peeking" การเช็กความคืบหน้าระหว่างทางของการทดสอบเกือบทุกวันนั้นเป็นสิ่งจำเป็นเพื่อจับปัญหาได้เร็ว ปัญหาอยู่ที่ การหยุดทดสอบและประกาศชัยชนะทันทีที่ผลระหว่างทางแสดงความแตกต่างที่มีนัยสำคัญ

ค่า p-value แกว่งขึ้นลงเมื่อข้อมูลสะสม แม้ไม่มีความแตกต่างจริง ๆ หากคุณเช็กหลายครั้ง สักช่วงหนึ่งมันอาจบังเอิญตกต่ำกว่าระดับนัยสำคัญ ถ้าคุณหยุดในจังหวะนั้น "ความผิดพลาดจากการประกาศว่ามีความแตกต่างทั้งที่ไม่มี" จะเกิดบ่อยกว่า 5% ที่คุณวางแผนไว้ กฎที่ให้รอตัดสินจนถึงปริมาณข้อมูลและระยะเวลาที่กำหนดไว้ล่วงหน้ามีไว้เพื่อป้องกันความผิดพลาดนี้

บางเครื่องมือยังมีวิธีตัดสินที่ออกแบบให้ความผิดพลาดไม่เพิ่มขึ้นแม้ตัดสินระหว่างทาง (เช่น สิ่งที่เรียกว่า sequential testing) ในกรณีนั้นให้ทำตามขั้นตอนที่เครื่องมือกำหนด

ขอกล่าวถึง "การเปลี่ยนหลายอย่างพร้อมกัน" เพิ่มเติม แม้ B ที่เปลี่ยนพาดหัว รูปภาพ และปุ่มพร้อมกันจะชนะ คุณก็ไม่รู้ว่าอะไรได้ผล เป็นไปได้ว่าพาดหัวดีแต่รูปภาพฉุดลง อย่างไรก็ตาม หากเป้าหมายของคุณคือเปรียบเทียบหน้าที่สร้างใหม่ทั้งหมดกับหน้าปัจจุบัน การเปลี่ยนพร้อมกันก็สมเหตุสมผล ในกรณีนั้น ให้ยอมรับว่า "คุณจะไม่รู้ว่าองค์ประกอบไหนได้ผล" และเปรียบเทียบด้วยวิธีอย่าง redirect test

แนวคิดเรื่องการจัดสรรทราฟฟิกและสัดส่วน A/B

มีการตั้งค่า "เปอร์เซ็นต์" สองอย่างปรากฏเมื่อคุณกำหนดค่า A/B test ซึ่งสับสนกันได้ง่าย จึงควรทำความเข้าใจแยกกัน

  • การจัดสรรทราฟฟิก (สัดส่วนผู้เยี่ยมชมที่นำเข้าสู่การทดลอง): ผู้เยี่ยมชมทั้งหมดกี่เปอร์เซ็นต์ที่ถูกรวมในการทดสอบ ผู้เยี่ยมชมนอกการทดสอบเห็นหน้าเดิมตามปกติ
  • สัดส่วน A/B: ผู้เยี่ยมชมที่ถูกรวมในการทดสอบถูกแบ่งระหว่าง A และ B ในอัตราส่วนเท่าใด

ตัวอย่างเช่น หากตั้งการจัดสรรทราฟฟิกเป็น 20% และสัดส่วน A/B เป็นครึ่งต่อครึ่ง ผู้เยี่ยมชมทั้งหมด 80% อยู่นอกการทดสอบและเห็นหน้าเดิม 10% อยู่ในการทดสอบและเห็น A และอีก 10% เห็น B

ตัวอย่างที่การจัดสรรทราฟฟิก 20% และสัดส่วน A/B ครึ่งต่อครึ่ง: ผู้เยี่ยมชมทั้งหมด 80% อยู่นอกการทดสอบ 10% เห็น A และ 10% เห็น B

สัดส่วน A/B แบบครึ่งต่อครึ่งคือค่าเริ่มต้น เมื่อมีผู้เยี่ยมชมจำนวนเท่ากัน การแบ่งเท่า ๆ กันเก็บข้อมูลที่ต้องใช้ได้เร็วที่สุด คุณให้ B มีสัดส่วนน้อยกว่าได้ แต่ต้องรอจนฝั่งที่น้อยกว่าเก็บข้อมูลได้พอ ระยะเวลาจึงยาวขึ้น

เลือกการจัดสรรทราฟฟิกโดยชั่งน้ำหนักระหว่างความเสี่ยงกับระยะเวลา การลดการจัดสรรทราฟฟิกช่วยลดจำนวนผู้เยี่ยมชมที่ได้รับผลกระทบหากการเปลี่ยนแปลงให้ผลตรงข้าม แต่ผู้เยี่ยมชมในการทดสอบจะน้อยลง จึงใช้เวลานานขึ้นกว่าจะเก็บข้อมูลที่ต้องการได้ แนวทางทั่วไปคือเริ่มการเปลี่ยนแปลงใหญ่ที่ผลกระทบคาดเดาไม่ได้ด้วยการจัดสรรทราฟฟิกต่ำ ยืนยันว่าไม่มีปัญหา แล้วขยายหากทุกอย่างเรียบร้อย สำหรับการเปลี่ยนแปลงที่มีผลกระทบน้อย เช่น การสลับถ้อยคำบางส่วน การรวมทุกคนตั้งแต่แรกและทำให้ระยะเวลาสั้นลงเป็นทางเลือกที่สมเหตุสมผลกว่า

ความแตกต่างระหว่างเปอร์เซ็นต์ทั้งสองอธิบายไว้ใน อัตราการกระจายทราฟฟิกกับสัดส่วน A/B ในการทดสอบ A/B และแนวคิดการออกแบบกล่าวถึงใน ทำไมการจัดสรรทราฟฟิกและสัดส่วน A/B ควรเป็นการตั้งค่าแยกกัน

A/B testing กับ SEO: จำกัดผลกระทบต่อการค้นหา

ความกังวลที่พบบ่อยคือ "A/B testing จะทำให้อันดับการค้นหาของฉันแย่ลงหรือไม่" Google เผยแพร่แนวทางว่าจะรันการทดสอบอย่างไรโดยจำกัดผลกระทบต่อการค้นหาไว้ในเอกสาร Google Search Central ประเด็นสำคัญมีดังนี้

  • ห้ามทำ cloaking: การจงใจแสดงเนื้อหาต่างกันให้ครอว์เลอร์ของเสิร์ชเอนจิน (โปรแกรมที่เข้าไปอ่านหน้าเว็บ) กับผู้เยี่ยมชมที่เป็นมนุษย์ เรียกว่า cloaking และละเมิดนโยบายสแปม ไม่ว่าจะมีการทดสอบอยู่หรือไม่ก็ตาม หลีกเลี่ยงการตั้งค่าใด ๆ ที่แสดงเวอร์ชันใดเวอร์ชันหนึ่งเฉพาะครอว์เลอร์
  • ใช้ rel="canonical" สำหรับการทดสอบบน URL แยก: เมื่อทดสอบข้ามหลาย URL เช่นใน redirect test ให้เพิ่ม rel="canonical" (แท็กที่บอกเสิร์ชเอนจินว่า URL ใดเป็น URL ที่ต้องการ) ไว้ที่ URL ทดสอบเพื่อระบุว่า URL เดิมคือหน้าที่ควรให้ความสำคัญ สำหรับวัตถุประสงค์นี้ Google แนะนำ rel="canonical" มากกว่า noindex
  • ใช้การรีไดเรกต์ชั่วคราว (302) สำหรับการรีไดเรกต์: เมื่อรีไดเรกต์จาก URL เดิมไปยัง URL ทดสอบ ให้ใช้ 302 ซึ่งบอกว่าเป็นการรีไดเรกต์ชั่วคราว ไม่ใช่ 301 ซึ่งบอกว่าถาวร กล่าวกันว่าการรีไดเรกต์ด้วย JavaScript ก็ใช้ได้เช่นกัน
  • รันการทดสอบเท่าที่จำเป็น: เมื่อเก็บข้อมูลได้พอแล้ว ให้จบการทดสอบและลบ URL ทดสอบ สคริปต์ และอื่น ๆ โดยเร็วที่สุด Google อธิบายว่าการรันทดสอบนานกว่าที่จำเป็นอาจถูกตีความว่าเป็นความพยายามหลอกเสิร์ชเอนจิน

กล่าวอีกนัยหนึ่ง การไม่ปล่อยให้การทดสอบค้างอยู่สำคัญไม่เฉพาะทางสถิติ แต่สำคัญต่อการค้นหาด้วย ให้ทำให้ครบทั้งกระบวนการ คือเก็บกวาดการทดสอบที่เสร็จแล้ว และนำเวอร์ชันที่เลือกไปใช้กับเว็บไซต์จริง

โปรดทราบว่าสิ่งที่แนะนำไว้ที่นี่เป็นภาพรวมของแนวทางที่ Google เผยแพร่ ผลต่ออันดับการค้นหาแตกต่างกันไปตามเว็บไซต์ ดังนั้นก่อนรันการทดสอบที่เกี่ยวข้องกับการเปลี่ยนแปลงใหญ่ เราแนะนำให้ตรวจสอบเอกสารต้นฉบับและเอกสารของเครื่องมือของคุณด้วย

สิ่งที่ควรทำบนเว็บไซต์ที่มีทราฟฟิกน้อย

ดังที่เห็นในหัวข้อขนาดกลุ่มตัวอย่าง A/B testing ต้องใช้ข้อมูลพอสมควร แล้ว A/B testing ไร้ความหมายสำหรับเว็บไซต์ที่มีผู้เยี่ยมชมต่อเดือนเพียงไม่กี่พันคนหรือ? ไม่เสมอไป การเปลี่ยนวิธีการอาจทำให้คุณมีข้อมูลให้ใช้มากขึ้น

ทดสอบการเปลี่ยนแปลงที่ใหญ่ ยิ่งความแตกต่างที่ต้องการหาใหญ่ ก็ยิ่งใช้ข้อมูลน้อย แทนที่จะเปลี่ยนเล็ก ๆ อย่างปรับถ้อยคำของปุ่ม ให้เน้นการเปลี่ยนแปลงที่สร้างความแตกต่างใหญ่ได้ เช่น เปลี่ยนจุดขายหลัก จัดโครงสร้างของหน้าใหม่ หรือตัดช่องในฟอร์มลงอย่างมาก

รันทดสอบบนหน้าที่มีทราฟฟิกสูง แม้ทั้งเว็บไซต์จะมีทราฟฟิกน้อย ก็น่าจะมีหน้าที่ผู้เยี่ยมชมกระจุกตัวอยู่ เลือกที่ที่มีผู้เยี่ยมชมมากที่สุด เช่น หน้าแรกหรือหน้าที่รับทราฟฟิกจากโฆษณา

ใช้ตัวชี้วัดในขั้นตอนที่เร็วกว่า การซื้อและการทำสัญญามีน้อย การตรวจพบความแตกต่างจึงใช้เวลา การใช้การกระทำในขั้นต้นที่เกิดบ่อยกว่าเป็นตัวชี้วัดหลัก เช่น "การไปถึงฟอร์ม" หรือ "การไปที่หน้าราคา" ช่วยให้ข้อมูลที่ต้องใช้น้อยลง เพียงแต่ต้องจำไว้ว่าการปรับปรุงตัวชี้วัดขั้นต้นไม่จำเป็นต้องนำไปสู่การปรับปรุงผลลัพธ์สุดท้าย

จำกัดไว้ที่สองเวอร์ชัน การเพิ่มเวอร์ชันที่สามและสี่ทำให้ข้อมูลต่อเวอร์ชันน้อยลง ขณะที่ทราฟฟิกต่ำ ให้เปรียบเทียบเฉพาะ A และ B

ตั้งการจัดสรรทราฟฟิกเป็น 100% และสัดส่วน A/B เป็นครึ่งต่อครึ่ง การจำกัดกลุ่มเป้าหมายหรือใช้สัดส่วนที่ไม่เท่ากันทำให้ระยะเวลายาวขึ้น

เผื่อเวลาให้นานขึ้น และยอมรับข้อจำกัดหากยังไม่พอ หากคุณไปไม่ถึงจำนวนที่ต้องใช้แม้เผื่อไว้ราว 4 ถึง 8 สัปดาห์ คุณก็ต้องตัดสินใจไม่ยืนกรานที่จะสรุปด้วย A/B test

เมื่อ A/B testing ไม่เหมาะ มีวิธีอื่นที่ช่วยได้

  • สังเกตพฤติกรรมด้วยฮีทแมป: แม้ทราฟฟิกน้อย คุณก็พอเห็นภาพว่า "คนไม่อ่านตรงไหน" และ "ไม่คลิกตรงไหน"
  • ถามผู้ใช้โดยตรง: เพียงให้ผู้ใช้สองสามคนลองใช้หน้าจอขณะที่คุณดูว่าพวกเขาติดขัดตรงไหน ก็พบปัญหามากมาย
  • แก้ปัญหาที่เห็นชัดโดยไม่ต้องทดสอบ: ลิงก์เสีย ข้อความอ่านยาก ปุ่มที่ใช้ไม่ได้ และสิ่งทำนองนี้ ที่นึกภาพไม่ออกว่าการแก้ไขจะทำให้แย่ลง ไม่ต้องรอการพิสูจน์

ประเภทของเครื่องมือ A/B testing และวิธีเลือก

หากจะรัน A/B test คุณต้องมีเครื่องมือที่จัดการการแบ่งทราฟฟิก การสลับสิ่งที่แสดง การวัดผล และการรายงาน ในแง่ของหลักการทำงาน มีสองประเภทใหญ่

ฝั่งไคลเอนต์ (Client-side)

  • หลักการทำงาน: คุณเพิ่มแท็ก (โค้ดสั้น ๆ สำหรับการวัดผล) ลงในหน้า และบางส่วนของหน้าถูกเขียนใหม่ในเบราว์เซอร์ของผู้เยี่ยมชม
  • ผู้ดูแลหลัก: นักการตลาดและเจ้าหน้าที่เว็บ เครื่องมือจำนวนมากให้คุณสร้างการเปลี่ยนแปลงผ่านการใช้งานบนหน้าจอ
  • เหมาะกับ: การเปลี่ยนแปลงที่มองเห็นได้ เช่น ถ้อยคำ รูปภาพ สี และเลย์เอาต์
  • ข้อควรระวัง: อาจเกิด "อาการกะพริบ" ที่เห็นการแสดงผลเดิมชั่วขณะก่อนถูกเขียนใหม่

ฝั่งเซิร์ฟเวอร์ (Server-side)

  • หลักการทำงาน: โค้ดฝั่งเซิร์ฟเวอร์สลับสิ่งที่แสดงให้ผู้เยี่ยมชมแต่ละคน
  • ผู้ดูแลหลัก: วิศวกร ต้องมีการเปลี่ยนโค้ด
  • เหมาะกับ: การเปลี่ยนแปลงที่เกี่ยวข้องกับการประมวลผลฝั่งหลังบ้าน เช่น การคำนวณราคา วิธีการทำงานของการค้นหาหรือการจัดลำดับ และฟีเจอร์ของแอป
  • ข้อควรระวัง: การติดตั้งและการดำเนินงานต้องใช้แรงงานด้านการพัฒนา

สำหรับการใช้งานที่บทความนี้สมมติไว้ คือการลองพาดหัวและปุ่มบนหน้าเว็บ เครื่องมือฝั่งไคลเอนต์เป็นตัวเลือกแรก

เมื่อเลือกเครื่องมือ ให้ตรวจสอบประเด็นต่อไปนี้

  • สร้างการเปลี่ยนแปลงผ่านการใช้งานบนหน้าจอได้หรือต้องเขียนโค้ด
  • ใช้วิธีทางสถิติแบบไหนในการตัดสิน และแสดงผลลัพธ์อย่างไร
  • ตั้งการจัดสรรทราฟฟิกและสัดส่วน A/B แยกกันได้หรือไม่
  • รองรับ redirect test หรือไม่
  • ราคาผันแปรตามอะไร (จำนวนผู้เยี่ยมชม จำนวนอีเวนต์ที่ติดตาม จำนวนผู้ใช้ และอื่น ๆ)
  • ดูร่วมกับข้อมูลที่ใช้สร้างสมมติฐาน เช่น ฮีทแมป ได้หรือไม่

การสิ้นสุดของ Google Optimize

Google Optimize ซึ่งใช้กันอย่างกว้างขวางในฐานะเครื่องมือ A/B testing ฟรี ถูกยกเลิกในเดือนกันยายน 2023 เว็บไซต์ที่เคยใช้ Google Optimize จึงต้องย้ายไปใช้เครื่องมืออื่น

ปัจจุบันมีหลายตัวเลือก ได้แก่ เครื่องมือ A/B testing เฉพาะทาง เช่น Optimizely, VWO และ AB Tasty เครื่องมือที่รวมฮีทแมปและ A/B testing เช่น Ptengine และ SiTest จากญี่ปุ่น และแพลตฟอร์มการทดลองสำหรับนักพัฒนา ฟีเจอร์และงบประมาณที่ต้องใช้แตกต่างกันมากตามขนาดของเว็บไซต์ จึงสำคัญที่จะเลือกสิ่งที่เหมาะกับการใช้งานของคุณเอง สำหรับความแตกต่างของช่วงราคาและแนวทางระหว่างเครื่องมือหลัก ๆ ดู ภาพรวมเครื่องมือ A/B testing ปี 2026

ปรับปรุงต่อเนื่องด้วยการผสมฮีทแมปและ on-site engagement

A/B testing ให้ผลมากขึ้นเมื่อใช้ร่วมกับเครื่องมืออื่นมากกว่าใช้เดี่ยว ๆ

ขั้นตอนการปรับปรุงคือวัฏจักรที่วนซ้ำของ "ค้นหา → สร้างการแก้ไข → ตรวจสอบ"

วัฏจักรการปรับปรุง: ค้นหา สร้างการแก้ไข ตรวจสอบด้วย A/B test และนำไปใช้ แล้ววนซ้ำ

  1. ค้นหา: ใช้เว็บอนาลิติกส์ระบุหน้าที่มีปัญหา และใช้ฮีทแมปชี้จุดที่มีปัญหาภายในหน้า
  2. สร้างการแก้ไข: สร้างสมมติฐานจากปัญหาที่พบและสร้างการเปลี่ยนแปลง
  3. ตรวจสอบ: ใช้ A/B test ตรวจสอบว่าการเปลี่ยนแปลงทำให้ผลลัพธ์ดีขึ้นจริงหรือไม่
  4. นำไปใช้และไปต่อ: นำเวอร์ชันที่ทำได้ดีกว่ามาใช้ และสังเกตหน้าที่เปลี่ยนแล้วด้วยฮีทแมปอีกครั้ง

การดูฮีทแมปหลังได้ผล A/B test ก็มีประโยชน์เช่นกัน เมื่อ B ชนะ การตรวจสอบว่าพฤติกรรมของผู้เยี่ยมชมเปลี่ยนไปอย่างไร (คนอ่านลงไปลึกขึ้นหรือไม่ จุดที่คลิกย้ายไปหรือไม่) จะให้เบาะแสถึง "ทำไมจึงดีกว่า" และนำไปสู่สมมติฐานถัดไป

แนวคิดของ A/B testing ใช้ได้โดยตรงกับมาตรการ on-site engagement ด้วย ซึ่งแทนที่จะเปลี่ยนหน้าเว็บเอง คุณแสดงคำแนะนำในป๊อปอัปหรือแถบข้อความแบบตายตัว ไม่ว่าจะเปรียบเทียบการแสดงกับไม่แสดง ถ้อยคำ หรือจังหวะการแสดง หลักการเหมือนกัน คือสุ่มแบ่งผู้เยี่ยมชมและเปรียบเทียบในช่วงเวลาเดียวกัน พื้นฐานของ on-site engagement อธิบายไว้ใน On-Site Engagement คืออะไร?

เกี่ยวกับ HeatMapX

HeatMapX เป็นเครื่องมือที่ช่วยให้คุณวัดฮีทแมปได้เพียงเพิ่มแท็กลงในเว็บไซต์ และคุณเริ่มต้นได้ด้วยแผน Free ที่ใช้ฟรี (ดูรายละเอียดแผนที่ หน้าราคา) ฟีเจอร์ A/B testing กำลังเปิดให้ใช้เป็นขั้นตอน เริ่มต้นด้วยการใช้ฮีทแมปเพื่อทำความเข้าใจว่าเว็บไซต์ของคุณถูกมองอย่างไร และมีสมมติฐานเตรียมไว้ว่าจะทดลองตรงไหน จะช่วยให้คุณเดินหน้าได้เร็วเมื่อเริ่ม A/B testing

หากต้องการเปรียบเทียบเครื่องมือฮีทแมปกับผลิตภัณฑ์อื่นก่อนเลือก ดู การเปรียบเทียบเครื่องมือฮีทแมป ด้วย

คำถามที่พบบ่อยเกี่ยวกับ A/B testing

A/B testing คืออะไร พูดให้ง่าย ๆ

เป็นวิธีที่คุณสุ่มแสดงหน้าเว็บสองเวอร์ชันให้ผู้เยี่ยมชมในช่วงเวลาเดียวกัน แล้วเปรียบเทียบด้วยตัวเลขว่าเวอร์ชันไหนทำผลงานได้ดีกว่า ต่างจากการเปรียบเทียบก่อนและหลังการเปลี่ยนแปลง ตรงที่ช่วยให้คุณตรวจสอบผลของการเปลี่ยนแปลงโดยแยกออกจากปัจจัยอื่น เช่น ฤดูกาลและโฆษณา

A/B test ควรรันนานแค่ไหน

ประมาณโดยหารขนาดกลุ่มตัวอย่างที่ต้องใช้ด้วยจำนวนผู้เยี่ยมชมต่อวัน เพื่อหลีกเลี่ยงอคติจากวันในสัปดาห์ ให้ใช้จำนวนวันที่หาร 7 ลงตัว กฎเกณฑ์ทั่วไปคือรันอย่างน้อย 1 ถึง 2 สัปดาห์ แม้เว็บไซต์ที่มีทราฟฟิกสูงจะถึงจำนวนที่ต้องใช้ภายในไม่กี่วัน เราก็แนะนำให้รันต่อไปหนึ่งสัปดาห์ ในทางกลับกัน หากค่าประมาณยาวกว่า 2 เดือนมาก ให้ทบทวนการออกแบบ

ต้องมีทราฟฟิกเท่าไรจึงจะรัน A/B test ได้

ไม่มีเกณฑ์เดียว ขึ้นอยู่กับอัตราคอนเวอร์ชันปัจจุบันและขนาดของความแตกต่างที่ต้องการตรวจพบ ในตัวอย่างการคำนวณของบทความนี้ การยืนยันการปรับปรุงสัมพัทธ์ 20% บนหน้าที่มีอัตราคอนเวอร์ชัน 2.0% ต้องใช้ผู้เยี่ยมชมประมาณ 21,100 คนต่อเวอร์ชัน หากทราฟฟิกของคุณต่ำ คุณลดจำนวนที่ต้องใช้ได้โดยเน้นการเปลี่ยนแปลงที่ใหญ่ขึ้น หรือใช้ตัวชี้วัดในขั้นตอนที่เร็วกว่า

ควรทำอย่างไรหากไม่มีความแตกต่างที่มีนัยสำคัญ

หลีกเลี่ยงการขยายการทดสอบจนกว่าจะมีนัยสำคัญหลังสิ้นสุดระยะเวลาที่วางแผนไว้ ให้บันทึกว่า "การเปลี่ยนแปลงนี้ไม่ได้แสดงความแตกต่างในขนาดที่เราต้องการตรวจพบ" และย้อนดูว่าสมมติฐานผิดหรือการเปลี่ยนแปลงเล็กเกินไป หากผลลัพธ์เหมือนกันไม่ว่าเลือกแบบไหน การเลือกแบบที่ดูแลง่ายกว่าก็ไม่มีปัญหา การไม่มีนัยสำคัญไม่ใช่ความล้มเหลว แต่เป็นผลลัพธ์ประเภทหนึ่ง

ถ้าค่า p-value ต่ำกว่า 0.05 พูดได้ไหมว่า B ดีกว่า

ไม่ได้ ค่า p-value คือ "ความน่าจะเป็นที่จะเห็นความแตกต่างอย่างน้อยเท่ากับที่สังเกตได้ โดยบังเอิญ หากไม่มีความแตกต่างจริง ๆ" ไม่ใช่ "ความน่าจะเป็นที่ B ดีกว่า" เมื่อตัดสินที่ระดับนัยสำคัญ 5% การเปลี่ยนแปลงที่ไม่มีผลประมาณ 1 ใน 20 ก็ยังจะแสดงความแตกต่างที่มีนัยสำคัญอยู่ดี ให้ตรวจสอบขนาดของความแตกต่าง ช่วงความเชื่อมั่น และตัวชี้วัดป้องกันด้วย และสำหรับการเปลี่ยนแปลงสำคัญ ให้เฝ้าดูตัวเลขต่อไปหลังนำไปใช้

A/B testing ส่งผลเสียต่อ SEO หรือไม่

Google เผยแพร่แนวทางที่ระบุว่าผลกระทบต่อการค้นหาสามารถจำกัดได้หากทำตาม ประเด็นสำคัญสี่ข้อคือ อย่าแสดงเนื้อหาต่างกันให้ครอว์เลอร์กับคน เพิ่ม rel="canonical" ในการทดสอบบน URL แยก ใช้ 302 สำหรับการรีไดเรกต์ และจบการทดสอบรวมถึงเก็บกวาดการตั้งค่าเมื่อพ้นระยะเวลาที่จำเป็น สำหรับรายละเอียด ดูหัวข้อ "A/B testing กับ SEO" ด้านบน

สรุป: เริ่มต้นด้วยสมมติฐานเดียว

A/B testing คือวิธีสุ่มแบ่งผู้เยี่ยมชมและเปรียบเทียบในช่วงเวลาเดียวกัน เพื่อให้คุณยืนยันผลของการเปลี่ยนแปลงโดยแยกออกจากปัจจัยอื่น ประเด็นสำคัญของบทความนี้มีดังนี้

  • หลักการทำงาน: กำหนดเวอร์ชันให้ผู้เยี่ยมชมแบบสุ่ม แสดงทั้งสองเวอร์ชันในช่วงเวลาเดียวกัน และแสดงเวอร์ชันเดิมให้คนเดิมต่อเนื่อง ทำให้สาเหตุของความแตกต่างแคบลงเหลือเพียง "สิ่งที่คุณเปลี่ยน"
  • วิธีดำเนินการ: 6 ขั้นตอน คือ เป้าหมายและตัวชี้วัด → สมมติฐาน → สร้างเวอร์ชันทดสอบ → รันทดสอบ → ตัดสินผล → นำไปใช้ กำหนดตัวชี้วัด ปริมาณข้อมูล ระยะเวลา และเกณฑ์การตัดสินก่อนรัน
  • ข้อมูลและระยะเวลา: ยิ่งความแตกต่างที่ต้องการยืนยันเล็ก ยิ่งต้องใช้ข้อมูลมาก ใช้จำนวนวันที่หาร 7 ลงตัว อย่างน้อย 1 ถึง 2 สัปดาห์
  • นัยสำคัญ: เกณฑ์ชี้วัดว่าความแตกต่างอธิบายด้วยความบังเอิญได้ยากหรือไม่ ค่า p-value ไม่ใช่ "ความน่าจะเป็นที่ B กำลังชนะ" และ "ไม่มีนัยสำคัญ" ไม่ได้แปลว่า "ไม่มีความแตกต่าง"
  • การหลีกเลี่ยงข้อผิดพลาด: อย่าหยุดตามผลระหว่างทาง จำกัดการเปลี่ยนแปลงไว้เท่าที่สมมติฐานเดียวครอบคลุม และใช้ตัวชี้วัดหลักเพียงตัวเดียว
  • เมื่อทราฟฟิกต่ำ: เน้นการเปลี่ยนแปลงใหญ่ หน้าที่มีทราฟฟิกสูง และตัวชี้วัดในขั้นตอนที่เร็วกว่า และหากยังไม่พอ ให้เติมช่องว่างด้วยการสังเกตและการสัมภาษณ์

ขั้นตอนถัดไปที่เราแนะนำคือเลือก หนึ่งหน้าบนเว็บไซต์ของคุณที่ใกล้ผลลัพธ์ที่สุดและมีผู้เยี่ยมชมมาก และเริ่มต้นด้วยการตรวจสอบปัญหาของหน้านั้นด้วยข้อมูล ใช้ฮีทแมปและเว็บอนาลิติกส์หา "จุดที่ดูเหมือนมีปัญหา" แล้วเขียนสมมติฐานหนึ่งข้อที่ระบุสี่ประเด็น คือ ข้อเท็จจริง ปัญหา การเปลี่ยนแปลง และตัวชี้วัด เมื่อมีสมมติฐานหนึ่งข้อในมือ คุณก็ประมาณข้อมูลและระยะเวลาที่ต้องใช้ และออกแบบ A/B test ครั้งแรกของคุณได้

การทดสอบเพียงครั้งเดียวไม่จำเป็นต้องเปลี่ยนตัวเลขของคุณอย่างก้าวกระโดด แต่การสะสมข้อเท็จจริงที่ผ่านการตรวจสอบทีละอย่างคือรากฐานของการปรับปรุงเว็บไซต์โดยไม่พึ่งการเดา

ฮีตแมป การทดสอบ A/B และ Web engagement — เริ่มฟรี

วางแท็กเพียงบรรทัดเดียวก็เริ่มได้ เชื่อมต่อ AI อย่าง Claude เพื่อวิเคราะห์และปรับปรุงผ่านการสนทนา