\"อัตราการกระจายทราฟฟิก\" กับ \"สัดส่วน A/B\" ในการทดสอบ A/B ต่างกันอย่างไร แนวคิดการออกแบบที่ถูกต้อง

สรุปบทความนี้

"อัตราการกระจายทราฟฟิก" = สัดส่วนของผู้เข้าชมทั้งหมดที่จะนำเข้าสู่การทดลองกี่เปอร์เซ็นต์

"สัดส่วน A/B" = ภายในกลุ่มที่เข้าร่วมการทดลอง จะแสดง A และ B ในสัดส่วนเท่าใด

สองสิ่งนี้เป็นคนละเรื่องกัน หากแยกคิดจะช่วยให้ตรวจสอบได้อย่างถูกต้องพร้อมควบคุมความเสี่ยง

เมื่อตั้งค่าการทดสอบ A/B บางครั้งอาจสับสนเพราะมีการตั้งค่า "สัดส่วน" อยู่ 2 จุด ได้แก่ "อัตราการกระจายทราฟฟิก (สัดส่วนที่นำเข้าสู่การทดลอง)" และ "สัดส่วน A/B" ซึ่งทั้งสองมีความหมายที่แตกต่างกันโดยสิ้นเชิง หากเข้าใจแยกกันอย่างชัดเจน ก็จะสามารถดำเนินการทดสอบได้อย่างปลอดภัย

"อัตราการกระจายทราฟฟิก" คืออะไร: จะดึงผู้ใช้เข้าสู่การทดลองมากแค่ไหน

อัตราการกระจายทราฟฟิก (สัดส่วนที่นำเข้าสู่การทดลอง) คือ สัดส่วนของผู้เข้าชมทั้งหมดที่จะนำเข้าสู่การทดลองกี่เปอร์เซ็นต์

หากตั้งไว้ที่ 100% ผู้เข้าชมทุกคนจะเห็น A หรือ B อย่างใดอย่างหนึ่ง
หากตั้งไว้ที่ 20% จะมีเพียง 20% ของผู้เข้าชมเท่านั้นที่เข้าร่วมการทดลอง ส่วนอีก 80% จะเห็นหน้าเพจปกติ (เหมือนเดิม)

จุดประสงค์ของการจำกัดอัตราการกระจายทราฟฟิกคือ การบริหารความเสี่ยง การปล่อยการเปลี่ยนแปลงที่ยังไม่ทราบผลลัพธ์แน่ชัดให้กับผู้ใช้ทุกคนในทันทีนั้นมีความเสี่ยงสูง จึงควรทดลองกับผู้ใช้เพียงบางส่วนก่อน แล้วค่อยขยายขอบเขตหากไม่พบปัญหา

"สัดส่วน A/B" คืออะไร: จะแสดง A และ B ในสัดส่วนเท่าใด

สัดส่วน A/B คือ ภายในกลุ่มผู้ใช้ที่เข้าร่วมการทดลอง จะแสดง A และ B ในสัดส่วนเท่าใด

โดยพื้นฐานแล้วมักใช้ 50% ต่อ 50% ซึ่งช่วยให้เปรียบเทียบได้อย่างเป็นธรรม และรวบรวมข้อมูลที่จำเป็นได้เร็วขึ้น
หากยังไม่มั่นใจในการเปลี่ยนแปลง ก็สามารถตั้งให้ A (เดิม) มีสัดส่วนมากกว่า และ B (หลังเปลี่ยนแปลง) มีสัดส่วนน้อยกว่า เพื่อปล่อยอย่างระมัดระวังได้เช่นกัน

เมื่อนำสองสิ่งนี้มารวมกันจะเป็นอย่างไร

ตัวอย่างเช่น หากตั้ง "อัตราการกระจายทราฟฟิก 20% และสัดส่วน A/B 50:50" ผลลัพธ์จะเป็นดังนี้

ผู้เข้าชม	สัดส่วน
ไม่ได้เข้าร่วมการทดลอง (หน้าเพจปกติ = เหมือนเดิม)	80%
เข้าร่วมการทดลองและเห็น A (Control)	10%
เข้าร่วมการทดลองและเห็น B (Variant B)	10%

จุดสำคัญคือ สามารถกำหนด "จะดึงผู้ใช้เข้ามากแค่ไหน (อัตราการกระจายทราฟฟิก)" และ "จะแสดงผลอย่างไรภายในกลุ่มที่เข้าร่วม (สัดส่วน A/B)" ได้อย่างเป็นอิสระต่อกัน

ทำไมการแยกสองสิ่งนี้จึงดี

หากรวม "อัตราการกระจายทราฟฟิก" กับ "สัดส่วน A/B" เข้าไว้ด้วยกัน วัตถุประสงค์ที่แตกต่างกันอย่าง "การควบคุมความเสี่ยง" กับ "การเปรียบเทียบอย่างเป็นธรรม" จะปะปนกัน ทำให้การตั้งค่าเข้าใจยาก

หากแยกทั้งสองออกจากกัน จะสามารถ

ปรับระดับความเสี่ยงด้วย อัตราการกระจายทราฟฟิก
และรักษาความเป็นธรรมในการเปรียบเทียบด้วย สัดส่วน A/B

ทำให้สามารถตั้งค่าตามวัตถุประสงค์ของแต่ละส่วนได้อย่างตรงไปตรงมา แนวคิดนี้ยังเป็นแนวทางที่เครื่องมือทดสอบ A/B ชั้นนำส่วนใหญ่นำมาใช้เช่นกัน

การออกแบบของ HeatMapX

ในการทดสอบ A/B ของ HeatMapX ก็สามารถตั้งค่า "สัดส่วนที่นำเข้าสู่การทดลอง (อัตราการกระจายทราฟฟิก)" และ "สัดส่วน A/B" แยกออกจากกันได้เช่นกัน ทำให้สามารถเริ่มต้นด้วยอัตราการกระจายทราฟฟิกที่น้อยเพื่อทดลองอย่างปลอดภัยก่อน แล้วค่อย ๆ ขยายขอบเขตตามผลตอบรับที่ได้รับ

สรุป

"อัตราการกระจายทราฟฟิก" คือจะดึงผู้ใช้เข้าสู่การทดลองมากแค่ไหน ส่วน "สัดส่วน A/B" คือจะแสดง A และ B อย่างไรภายในกลุ่มที่เข้าร่วม การแยกคิดสองสิ่งนี้ออกจากกันคือเคล็ดลับในการตรวจสอบผลได้อย่างถูกต้องพร้อมทั้งควบคุมความเสี่ยง