Cerita di Balik Penyelarasan Desain Distribusi A/B Testing dengan Standar Industri — Memisahkan "Rasio Distribusi" dan "Pembagian A/B"

Ringkasan artikel ini

• Pengaturan rasio pada A/B testing rentan mencampurkan dua concern yang sebenarnya berbeda: "rasio distribusi" dan "pembagian A/B"
• Kami memisahkan keduanya menjadi parameter yang independen
• Dengan pemisahan ini, "manajemen risiko" dan "perbandingan yang adil" masing-masing dapat ditangani secara alami

Saat mengimplementasikan fitur A/B testing di HeatMapX, ada satu keputusan desain yang terlihat sepele namun penting: bagaimana memodelkan "rasio". Kesimpulannya, kami memisahkan "rasio pengunjung yang dilibatkan dalam eksperimen (rasio distribusi)" dan "pembagian A/B" menjadi dua parameter yang independen. Artikel ini membagikan alasan di balik keputusan tersebut.

Dua Concern yang Mudah Tercampur

"Rasio" dalam A/B testing sebenarnya mengandung dua concern dengan sifat yang berbeda.

• Berapa banyak pengunjung yang dilibatkan dalam eksperimen (= manajemen risiko)
• Bagaimana pengunjung yang dilibatkan tersebut dibagi antara A dan B (= keadilan perbandingan)

Pada desain awal yang sederhana, kedua hal ini cenderung digabungkan menjadi satu slider. Namun jika demikian, tujuan yang berbeda — "ingin mencoba dengan aman dalam skala kecil" dan "ingin membandingkan A dan B secara adil" — menjadi saling terjalin, sehingga membingungkan baik bagi pengguna maupun dari sisi implementasi.

Model yang Dipisah

Oleh karena itu, kami membuat kedua hal ini independen.

• traffic_allocation (rasio yang dilibatkan dalam eksperimen): proporsi dari seluruh pengunjung yang dijadikan target eksperimen. 0–100%.
• Pembagian A/B: bobot Control dan Variant B di antara pengunjung yang menjadi target eksperimen.

Jika ditulis secara pseudo, proses penentuan alokasinya menjadi seperti berikut.

1. Pertama, tentukan apakah pengunjung "menjadi target eksperimen atau tidak" berdasarkan rasio distribusi.
2. Hanya pengunjung yang menjadi target yang kemudian dibagi ke Control / Variant B sesuai pembagian A/B.

Pengunjung yang tidak menjadi target akan tetap melihat halaman normal (tanpa perubahan) seperti biasa.

Manfaat Pemisahan

• Risiko dapat diperluas secara bertahap: rasio distribusi dapat dinaikkan dari 10% → 30% → 100%, sementara keadilan perbandingan (50:50) tetap terjaga dan hanya risiko yang disesuaikan.
• Makna pengaturan menjadi jelas: "seberapa banyak yang dilibatkan" dan "bagaimana ditampilkan" menjadi UI yang terpisah, sehingga mengurangi kesalahpahaman.
• Selaras dengan standar industri: tool A/B testing utama lainnya juga memperlakukan alokasi traffic dan pembagian di dalam eksperimen secara terpisah.

Tercermin Juga di UI

Keputusan desain ini juga tercermin langsung pada UI. Di layar pengaturan eksperimen, "rasio yang dilibatkan dalam eksperimen" dan "pembagian A/B" dapat ditentukan secara terpisah, dan pada halaman detail eksperimen keduanya dapat dilihat sebagai ringkasan.

Kesimpulan

Di balik elemen "rasio" yang tampak sederhana, tersembunyi dua concern yang berbeda: manajemen risiko dan keadilan perbandingan. Dengan memisahkan dan memodelkan keduanya, A/B testing menjadi lebih mudah dipahami pengguna dan lebih mudah dioperasikan. Ini memang keputusan desain kecil, namun akumulasi hal semacam ini menentukan kenyamanan penggunaan secara keseluruhan.