เรื่องราวการปรับการออกแบบการกระจายทราฟิกของ A/B Test ให้สอดคล้องกับมาตรฐานอุตสาหกรรม — แยก "อัตราการเผยแพร่" ออกจาก "สัดส่วน A/B"

สรุปบทความนี้

• การตั้งค่าสัดส่วนของ A/B Test มักปะปนกันระหว่างประเด็นที่แตกต่างกันสองเรื่อง คือ "อัตราการเผยแพร่" และ "สัดส่วนการแบ่ง A/B"
• เราจึงแยกทั้งสองออกเป็นพารามิเตอร์อิสระจากกัน
• การแยกเช่นนี้ทำให้สามารถจัดการเรื่อง "การบริหารความเสี่ยง" และ "การเปรียบเทียบที่เป็นธรรม" ได้อย่างตรงไปตรงมา แยกจากกันชัดเจน

ระหว่างการพัฒนาฟีเจอร์ A/B Test ให้กับ HeatMapX มีการตัดสินใจด้านการออกแบบที่ดูเรียบง่ายแต่สำคัญอยู่ประเด็นหนึ่ง นั่นคือจะสร้างแบบจำลอง "สัดส่วน" อย่างไร สรุปแล้วเราได้ แยก "สัดส่วนผู้เข้าชมที่นำเข้าสู่การทดลอง (อัตราการเผยแพร่)" กับ "สัดส่วนการแบ่ง A/B" ออกเป็นพารามิเตอร์อิสระสองตัว บทความนี้จะเล่าเหตุผลเบื้องหลังการตัดสินใจนี้

สองประเด็นที่มักปะปนกัน

"สัดส่วน" ของ A/B Test แท้จริงแล้วประกอบด้วยประเด็นที่มีลักษณะแตกต่างกันสองเรื่อง

• จะให้ผู้เข้าชมเข้าร่วมการทดลองมากน้อยเพียงใด (= การบริหารความเสี่ยง)
• ในกลุ่มผู้เข้าชมที่เข้าร่วมการทดลองนั้น จะแบ่ง A และ B อย่างไร (= ความเป็นธรรมในการเปรียบเทียบ)

ในการออกแบบเบื้องต้นแบบไม่ซับซ้อน มักจะรวมสองประเด็นนี้ไว้ในสไลเดอร์ตัวเดียว แต่การทำเช่นนั้นจะทำให้เป้าหมายที่ต่างกันอย่าง "อยากทดลองแบบปลอดภัยในขอบเขตเล็กๆ" กับ "อยากเปรียบเทียบ A และ B อย่างเป็นธรรม" พันกันจนยากต่อความเข้าใจ ทั้งสำหรับผู้ใช้และสำหรับการพัฒนาระบบ

แบบจำลองที่แยกออกจากกัน

ดังนั้นเราจึงแยกทั้งสองประเด็นออกจากกันให้เป็นอิสระต่อกัน

• traffic_allocation (สัดส่วนผู้เข้าชมที่นำเข้าสู่การทดลอง): อัตราส่วนของผู้เข้าชมทั้งหมดที่จะนำเข้าสู่การทดลอง ตั้งแต่ 0 ถึง 100%
• สัดส่วนการแบ่ง A/B: น้ำหนักของ Control และ Variant B ภายในกลุ่มผู้เข้าชมที่เข้าร่วมการทดลอง

หากเขียนเป็นแนวคิดคร่าวๆ การตัดสินใจแบ่งกลุ่มจะเป็นดังนี้

1. ก่อนอื่น พิจารณาว่าผู้เข้าชมแต่ละคน "เป็นกลุ่มเป้าหมายของการทดลองหรือไม่" โดยใช้อัตราการเผยแพร่
2. จากนั้นเฉพาะผู้เข้าชมที่เป็นกลุ่มเป้าหมาย จะถูกแบ่งไปยัง Control หรือ Variant B ตามสัดส่วนการแบ่ง A/B

ผู้เข้าชมที่ไม่ใช่กลุ่มเป้าหมายจะเห็นหน้าเว็บตามปกติ (ไม่มีการเปลี่ยนแปลงใดๆ)

ข้อดีของการแยกออกจากกัน

• สามารถขยายความเสี่ยงได้ทีละขั้น: สามารถปรับอัตราการเผยแพร่จาก 10% → 30% → 100% ได้ โดยยังคงความเป็นธรรมในการเปรียบเทียบ (50:50) ไว้เหมือนเดิม และปรับเฉพาะระดับความเสี่ยงเท่านั้น
• ความหมายของการตั้งค่าชัดเจนขึ้น: "ปริมาณผู้เข้าร่วม" กับ "วิธีการนำเสนอ" กลายเป็น UI ที่แยกจากกัน ลดความสับสน
• สอดคล้องกับมาตรฐานอุตสาหกรรม: เครื่องมือ A/B Test ชั้นนำก็แยกการจัดสรรทราฟิกออกจากการแบ่งกลุ่มภายในการทดลองในลักษณะเดียวกัน

สะท้อนไปยัง UI ด้วย

การตัดสินใจด้านการออกแบบนี้ถูกสะท้อนไปยัง UI โดยตรง ในหน้าตั้งค่าการทดลอง ผู้ใช้สามารถระบุ "สัดส่วนผู้เข้าชมที่นำเข้าสู่การทดลอง" และ "สัดส่วนการแบ่ง A/B" แยกจากกันได้ และในหน้ารายละเอียดการทดลองก็สามารถตรวจสอบทั้งสองค่าในรูปแบบสรุปได้

สรุป

แม้แต่ "สัดส่วน" ซึ่งดูเหมือนเป็นองค์ประกอบง่ายๆ ก็ยังซ่อนประเด็นที่แตกต่างกันอย่างการบริหารความเสี่ยงและความเป็นธรรมในการเปรียบเทียบเอาไว้ การแยกสร้างแบบจำลองทั้งสองออกจากกันทำให้ A/B Test เข้าใจง่ายขึ้นสำหรับผู้ใช้ และใช้งานได้สะดวกยิ่งขึ้น แม้จะเป็นการตัดสินใจด้านการออกแบบเล็กๆ แต่การสะสมสิ่งเหล่านี้ทีละอย่างคือสิ่งที่กำหนดความสะดวกในการใช้งานโดยรวม