Apa Itu A/B Testing? Panduan Pemula tentang Proses 6 Langkah, Signifikansi Statistik, dan Ukuran Sampel
- ab-testing
- cro
- how-to
- beginners
Ringkasan artikel
- A/B testing adalah metode di mana Anda membagi pengunjung secara acak, menampilkan halaman asli (A) dan halaman yang diubah (B) pada periode yang sama, lalu membandingkan mana yang berkinerja lebih baik menggunakan angka
- Perbandingan sebelum dan sesudah yang sederhana tidak dapat memisahkan efek perubahan Anda dari efek musim, iklan, hari dalam seminggu, dan sebagainya. Menjalankan kedua versi pada waktu yang sama adalah inti dari A/B testing
- Prosesnya terdiri dari 6 langkah: tujuan dan metrik โ hipotesis โ membuat variasi โ menjalankan โ menilai โ menerapkan. Tentukan ukuran sampel (jumlah data) dan durasi yang dibutuhkan sebelum Anda mulai
- "Signifikansi statistik" adalah patokan untuk menilai apakah suatu perbedaan sulit dijelaskan hanya oleh variasi acak. P-value bukanlah "probabilitas bahwa B menang"
- Sebagian besar kegagalan berasal dari "memeriksa hasil berulang kali lalu berhenti lebih awal", "mengubah terlalu banyak hal sekaligus", dan "menjalankan pengujian terlalu singkat"
- Pada situs dengan traffic rendah, Anda tetap bisa mendapatkan lebih banyak pegangan dengan mengubah pendekatan, misalnya berfokus pada perubahan yang lebih besar atau melihat metrik pada tahap yang lebih awal
"Mungkin kalau headline diganti, pendaftaran akan bertambah." "Bukankah tombolnya sebaiknya diletakkan lebih atas di halaman?" Saat mengelola situs web, ide untuk perbaikan terus berdatangan. Namun, apakah suatu perubahan benar-benar membuat keadaan lebih baik atau lebih buruk tidak bisa Anda ketahui sebelum mencobanya. Dan bahkan jika angka Anda naik setelah perubahan, sering kali mustahil untuk mengetahui apakah perubahan itu yang layak mendapat pujian atau Anda kebetulan menaikkan anggaran iklan pada minggu itu.
Ketika Anda ingin memastikan efek suatu perubahan secara terpisah dari faktor lain, Anda menggunakan A/B test.
Artikel ini membahas apa arti A/B testing dan cara kerjanya, lalu langkah-langkah praktis, cara menulis hipotesis, berapa banyak data dan waktu yang dibutuhkan, apa sebenarnya arti "perbedaan signifikan", dan kesalahan yang paling sering dilakukan pemula. Beberapa statistik akan muncul, tetapi saya menjaga rumus seminimal mungkin dan mengutamakan pemahaman konsep. Semua contoh perhitungan dalam artikel ini menggunakan angka hipotetis yang dipilih untuk ilustrasi.
Apa Itu A/B Testing?
A/B testing adalah metode di mana Anda secara acak menampilkan salah satu dari dua versi halaman kepada pengunjung dan membandingkan mana yang menghasilkan hasil lebih baik, menggunakan data dari periode yang sama. Metode ini kadang disebut "split testing".
- A (control / versi asli): halaman yang sekarang. Ini adalah acuan untuk perbandingan
- B (variant / versi yang diubah): halaman yang sebagian elemennya diubah. Ini adalah ide yang ingin Anda coba
Misalnya, Anda menampilkan versi A kepada separuh pengunjung dan versi B kepada separuh lainnya, lalu membandingkan persentase tiap kelompok yang menyelesaikan pendaftaran. Persentase ini disebut tingkat konversi (CVR). Konversi adalah tindakan yang ingin Anda dorong dari pengunjung di situs Anda, seperti pembelian, pendaftaran, atau permintaan materi.
Nama "A/B testing" berasal dari perbandingan dua versi, tetapi Anda juga dapat membandingkan tiga versi atau lebih sekaligus (ini disebut A/B/n testing). Idenya sama.
Cara kerjanya: bagi secara acak dan bandingkan pada waktu yang sama
Tiga mekanisme membuat A/B test berfungsi.
1. Pengunjung ditetapkan secara acak. Apakah pengunjung melihat A atau B ditentukan oleh alat menggunakan angka acak. Bukan orang yang memilih, dan pembagiannya tidak mengikuti aturan seperti "A di pagi hari, B di sore hari". Penetapan acak berarti perbedaan antarpengunjung, seperti baru versus kembali, smartphone versus desktop, atau orang dari iklan versus orang dari pencarian, akan tercampur dalam proporsi yang kira-kira sama di A maupun B.
2. Kedua versi berjalan pada periode yang sama. A dan B ditayangkan pada saat yang sama. Jadi pengaruh dari luar seperti obral, musim, liputan TV, atau fluktuasi hari dalam seminggu memengaruhi A dan B dengan cara yang sama.
3. Orang yang sama terus melihat versi yang sama. Jika seseorang yang ditetapkan ke B melihat A pada kunjungan berikutnya, Anda tidak lagi bisa mengetahui versi mana yang memengaruhi pendaftarannya. Karena itu, sebagian besar alat menggunakan penanda yang disimpan di browser (seperti cookie) untuk terus menampilkan versi yang sama kepada pengunjung yang sama.
Ketika ketiga kondisi ini terpenuhi, satu-satunya perbedaan antara A dan B adalah "apa yang Anda ubah di halaman". Itulah sebabnya, ketika hasilnya berbeda, perbedaan tersebut lebih mudah dikaitkan dengan perubahan itu. Ini adalah gagasan yang sama dengan uji klinis acak terkontrol (randomized controlled trial) yang digunakan untuk menguji efek obat, diterapkan pada situs web.
Mengapa Anda Membutuhkan A/B Testing: Hal yang Tidak Bisa Dijawab oleh Perbandingan Sebelum dan Sesudah
Anda mungkin bertanya, "Mengapa tidak langsung mengubah halaman dan membandingkan angka sebelum dan sesudahnya, tanpa membagi pengunjung?" Ini disebut perbandingan sebelum dan sesudah. Cara ini mudah, tetapi punya kelemahan besar: Anda tidak dapat memisahkan efek perubahan Anda dari faktor lain.
Angka situs Anda bergerak dari hari ke hari meskipun Anda tidak mengubah apa pun di halaman. Faktor yang menggerakkannya antara lain:
- Musim dan acara: musim bonus, akhir tahun fiskal, hari libur, cuaca, dan sebagainya
- Iklan dan kampanye: naik atau turunnya anggaran iklan, perubahan tujuan iklan, pengiriman newsletter email
- Hari dalam seminggu dan waktu dalam sehari: pengunjung hari kerja dan akhir pekan bisa berbeda jenis dan tujuannya
- Perubahan sumber traffic: pergeseran peringkat pencarian, viral di media sosial, rujukan dari situs lain
- Pesaing dan pasar: pemotongan harga oleh pesaing, pemberitaan
Dalam perbandingan sebelum dan sesudah, jika salah satu faktor ini bertepatan dengan periode setelah perubahan Anda, Anda tidak bisa mengetahui apakah perubahan angka berasal dari perubahan Anda atau dari hal lain. Bahkan jika angka naik setelah perubahan, bisa saja perubahan itu sebenarnya merugikan dan peningkatan iklan menutupinya.
A/B test menayangkan A dan B pada periode yang sama, sehingga faktor-faktor ini memengaruhi keduanya secara setara. Anda kemudian melihat perbedaan yang tersisa, yang memudahkan Anda mengisolasi efek dari perubahan itu saja.
Alasan lainnya adalah intuisi pembuat halaman dan reaksi pengunjung sering kali tidak sejalan. Bukan hal yang jarang bahwa ide yang disepakati semua orang di internal sebagai "lebih mudah dipahami" ternyata tidak mendapat sambutan dari pengunjung sungguhan. A/B testing juga merupakan cara untuk memutuskan berdasarkan apa yang benar-benar dilakukan pengunjung, bukan berdasarkan siapa yang paling lantang berargumen atau siapa yang berjabatan paling tinggi.
Apa yang Bisa dan Tidak Bisa Dijawab oleh A/B Testing
A/B testing sangat ampuh, tetapi tidak bisa memberi tahu Anda segalanya. Mengetahui apa yang menjadi kekuatan dan kelemahannya sebelum mulai akan membantu Anda menghindari salah membaca hasil.
Yang bisa dijawab
- Apakah suatu perubahan menaikkan, menurunkan, atau nyaris tidak mengubah metrik yang Anda pilih (seperti tingkat pendaftaran)
- Apakah perbedaannya cukup besar sehingga variasi acak saja sulit menjelaskannya
Yang tidak bisa dijawab, atau kurang mampu dijawab
- Mengapa ada perbedaan: alasannya hanyalah dugaan. Pertimbangkan bersama data lain
- Efek jangka panjang: hanya melihat perilaku selama periode pengujian. Sering kali tidak bisa memberi tahu tentang retensi atau tingkat pembatalan beberapa bulan kemudian
- Perbandingan dengan ide yang tidak Anda uji: Anda tahu mana yang lebih baik antara A dan B, tetapi tidak tahu apakah ada opsi C yang lebih baik
- Perbaikan kecil pada halaman dengan traffic rendah: mungkin tidak ada cukup data untuk menyimpulkan apa pun, baik ada perbedaan maupun tidak (bagian di bawah tentang hal ini membahas apa yang bisa dilakukan)
Selain itu, A/B testing adalah "alat untuk memeriksa ide", bukan "alat untuk menemukan ide yang bagus". Kualitas ide yang Anda uji ditentukan oleh cara Anda menyusun hipotesis.
Jenis-Jenis A/B Test: Perbedaannya dengan Multivariate Test dan Redirect Test
Bahkan dalam "A/B testing", ada beberapa metode terkait. Berikut yang paling sering muncul.
| Jenis | Yang dibandingkan | Paling cocok untuk | Yang perlu diperhatikan |
|---|---|---|---|
| A/B test | Versi pada URL yang sama dengan satu bagian diubah | Memeriksa efek satu perubahan, seperti headline, tombol, atau gambar | Bentuk dasar. Mulailah dari sini |
| A/B/n test | Tiga versi atau lebih | Anda punya beberapa kandidat headline dan ingin membandingkannya sekaligus | Semakin banyak versi, semakin sedikit data per versi dan semakin lama pengujian |
| Multivariate test | Kombinasi dari beberapa elemen (misalnya 2 headline ร 2 gambar = 4 kombinasi) | Anda ingin tahu kombinasi elemen mana yang paling efektif | Dibutuhkan data untuk setiap kombinasi. Cocok untuk halaman dengan traffic tinggi |
| Redirect test (split URL test) | Halaman dengan desain berbeda yang dibuat di URL terpisah | Anda ingin membandingkan halaman baru dengan tata letak yang sangat berbeda terhadap halaman saat ini | Redirect dapat sedikit menunda tampilan. Perlu mempertimbangkan mesin pencari |
| A/A test | Dua versi yang identik | Anda ingin memeriksa apakah pembagian traffic dan pengukuran pada alat berfungsi dengan benar | Pengujian untuk inspeksi, bukan untuk perbaikan |
Multivariate test mengubah beberapa elemen sekaligus dan membandingkan hasil untuk setiap kombinasi. Pengujian ini bahkan dapat menunjukkan seberapa baik elemen bekerja bersama, seperti "headline ini dikombinasikan dengan gambar ini berhasil paling baik". Namun, 3 headline, 3 gambar, dan 2 tombol menghasilkan 18 kombinasi, dan masing-masing membutuhkan data yang cukup. Untuk situs dengan traffic terbatas, menjalankan A/B test satu demi satu lebih realistis.
Redirect test mengarahkan sebagian pengunjung ke URL yang berbeda dan membandingkan hasilnya; ini juga disebut split URL test. Cocok untuk perubahan besar, seperti membangun ulang struktur halaman itu sendiri. A/B test biasa, yang menulis ulang elemen pada URL yang sama, cocok untuk mencoba perubahan kecil dengan cepat seperti kata-kata atau warna.
Di luar web, mengirim dua versi baris subjek email atau materi iklan lalu membandingkan responsnya juga disebut A/B testing. Artikel ini membahas A/B testing untuk halaman web.
Apa yang Diuji dalam A/B Test
Ada banyak elemen yang dapat diuji. Berikut yang paling umum.
- Headline (copy utama): ubah dari menjelaskan fitur menjadi menjelaskan hasil yang didapat pengunjung. Tujuannya adalah menyampaikan "ini relevan untuk saya" dalam beberapa detik pertama
- CTA (tombol call-to-action): ubah kata-kata, posisi, ukuran, atau warnanya. Tujuannya adalah membuat tindakan berikutnya jelas
- Gambar atau video utama: bandingkan foto produk saja dengan foto produk yang sedang digunakan. Tujuannya adalah menyampaikan nilai secara intuitif
- Formulir: kurangi jumlah kolom, bagi menjadi beberapa langkah, tambahkan contoh isian. Tujuannya adalah mengurangi usaha dan keraguan
- Cara harga ditampilkan: bagaimana harga bulanan dan tahunan ditata, urutan paket, di mana harga termasuk pajak ditampilkan. Tujuannya adalah mempermudah perbandingan dan pengambilan keputusan
- Informasi pembangun kepercayaan: rekam jejak pelanggan, testimoni, penempatan informasi garansi dan dukungan. Tujuannya adalah mengurangi kekhawatiran sebelum mendaftar
- Tata letak dan urutan informasi: pindahkan informasi penting lebih atas, persingkat halaman yang panjang. Tujuannya adalah membantu pengunjung mencapai informasi yang mereka butuhkan lebih cepat
- Navigasi: ubah jumlah item menu atau kata-katanya. Tujuannya adalah mengurangi kebingungan dan mengarahkan pengunjung ke halaman yang mereka inginkan
CTA adalah singkatan dari "Call To Action". Istilah ini merujuk pada tombol atau tautan yang mendorong pengunjung bertindak, seperti "Daftar" atau "Minta materi".
Sebagai aturan, tentukan dari mana memulai berdasarkan kedekatan dengan hasil dan seberapa sering dilihat. Tempat yang terhubung langsung dengan hasil, seperti tombol pendaftaran dan formulir, serta bagian atas halaman yang dilihat banyak pengunjung, adalah tempat perubahan paling mungkin menunjukkan efek. Sebaliknya, perubahan kecil di dekat bagian bawah halaman yang tidak pernah dicapai kebanyakan orang membutuhkan waktu lama untuk terdeteksi meskipun berhasil.
"Warna tombol" sering disebut sebagai contoh A/B testing, tetapi perubahan warna saja tidak selalu menghasilkan perbedaan besar. Yang lebih penting daripada warna itu sendiri adalah apakah masalahnya adalah tombol menyatu dengan sekitarnya dan tidak terlihat. Apa yang akan diubah sebaiknya ditentukan mundur dari hipotesis, yang dibahas selanjutnya.
Cara Menjalankan A/B Test [6 Langkah]
A/B test berjalan dalam 6 langkah berikut. Yang penting adalah menentukan metrik, jumlah data yang dibutuhkan, durasi, dan kriteria penilaian sebelum Anda mulai menjalankannya.
Tetapkan tujuan dan metrik
Persempit apa yang ingin Anda tingkatkan menjadi satu hal, dan tentukan metrik yang mengukurnya. Rumuskan dengan cara yang dapat diukur dengan angka, seperti "naikkan tingkat penyelesaian permintaan materi". Gunakan hanya satu metrik untuk penilaian (metrik utama).
Susun hipotesis
Tuliskan "di mana masalahnya, apa yang akan Anda ubah dan bagaimana, dan mengapa Anda yakin hal itu akan memperbaiki keadaan". Mendasarkannya pada data seperti web analytics dan heatmap mengurangi tebak-tebakan.
Buat variasi yang akan diuji
Berdasarkan hipotesis, buat versi yang diubah (B). Agar dapat mengetahui apa yang berhasil, batasi perubahan pada apa yang dicakup oleh satu hipotesis. Periksa tampilannya di smartphone maupun desktop.
Tentukan data dan durasi yang dibutuhkan, lalu jalankan
Perkirakan ukuran sampel yang dibutuhkan dan durasi pengujian, tentukan alokasi traffic, lalu mulai. Tepat setelah dimulai, periksa bahwa pembagian traffic dan pengukuran berfungsi dengan benar.
Nilai setelah periode berakhir
Lihat hasilnya hanya setelah Anda mencapai durasi dan jumlah data yang telah ditentukan sebelumnya. Periksa perbedaan pada metrik utama dan apakah perbedaan itu masih dalam batas yang dapat dijelaskan oleh variasi acak.
Terapkan hasilnya dan lanjut ke hipotesis berikutnya
Adopsi secara resmi versi yang berkinerja lebih baik dan bersihkan pengaturan pengujian. Bahkan jika tidak ada perbedaan, catat apa yang Anda pelajari dan gunakan untuk hipotesis berikutnya.
Bagian-bagian berikut menjelaskan cara berpikir di balik setiap langkah dengan lebih rinci.
Cara Memilih Tujuan dan Metrik
Akan membantu jika Anda mengelompokkan metrik berdasarkan perannya.
- Metrik utama: metrik yang menentukan pemenang pengujian. Pilih hanya satu. Contohnya tingkat penyelesaian pembelian, tingkat penyelesaian permintaan materi, dan tingkat pendaftaran gratis
- Metrik sekunder: metrik yang Anda lihat untuk memahami bagaimana metrik utama bergerak. Contohnya tingkat klik tombol, tingkat awal pengisian formulir, dan kedalaman scroll
- Metrik guardrail: metrik yang Anda pantau untuk memastikan tidak ada yang memburuk. Contohnya bounce rate, kecepatan muat halaman, retur atau pembatalan, dan jumlah pertanyaan masuk
Alasan membatasi diri pada satu metrik utama adalah karena jika Anda menjajarkan banyak metrik dan menyebutnya berhasil bila salah satunya membaik, Anda cenderung menemukan metrik yang tampak lebih baik hanya karena kebetulan. Inilah masalah "perbandingan berganda" (multiple comparisons), yang muncul lagi di bagian selanjutnya.
Pilih metrik utama yang sedekat mungkin dengan hasil bisnis. Bisa saja tingkat klik tombol naik tetapi pendaftaran tidak. Kata-kata yang mengundang klik membuat lebih banyak orang menekan tombol, tetapi jika apa yang datang berikutnya tidak sesuai dengan harapan mereka, mereka pergi.
Di sisi lain, metrik dengan kejadian yang sedikit, seperti pembelian atau kontrak, membutuhkan waktu lebih lama untuk mengumpulkan data yang cukup. Untuk situs dengan traffic terbatas, salah satu opsinya adalah menjadikan metrik pada tahap yang lebih awal (seperti sampai ke formulir) sebagai metrik utama. Dalam hal itu, penting untuk mengingat premis bahwa "meskipun metrik yang lebih awal membaik, hasil akhirnya belum tentu membaik".
Cara Menulis Hipotesis: Mengubah Data Perilaku Menjadi Alasan untuk Berubah
Keberhasilan A/B test sangat bergantung pada kualitas hipotesis. Jika Anda terus mencoba ide tanpa hipotesis, Anda akan mendapat rentetan pengujian yang tidak menunjukkan perbedaan, dan bahkan ketika ada perbedaan, Anda tidak bisa membangun di atasnya.
Menulis hipotesis dalam bentuk berikut mengurangi celah.
"Dari (fakta yang terlihat di data), kami menduga (dugaan tentang masalahnya). Jadi jika kami (melakukan perubahan ini), (metrik ini) seharusnya membaik."
Sebagai contoh, anggap situasi berikut (hipotetis).
- Fakta: di halaman harga, sedikit pengunjung yang scroll cukup jauh untuk mencapai tombol pendaftaran
- Dugaan tentang masalah: tombol terlalu jauh di bawah, sehingga bahkan pengunjung yang ingin mendaftar tidak dapat menemukannya
- Perubahan: letakkan juga tombol pendaftaran tepat di bawah tabel paket
- Metrik: tingkat penyelesaian pendaftaran
Dengan menulisnya seperti ini, Anda dapat menengok kembali setelah hasil masuk dan bertanya apakah "dugaannya yang salah, atau perubahannya belum cukup".
Data yang dapat menjadi bahan hipotesis meliputi hal-hal berikut.
- Web analytics: halaman mana yang banyak ditinggalkan, sumber traffic mana yang hasilnya rendah. Cocok untuk menemukan "halaman" mana yang bermasalah
- Heatmap: sejauh mana orang membaca halaman, di mana mereka mengklik, apakah mereka mengklik hal yang bukan tautan. Cocok untuk menemukan "tempat" mana yang bermasalah
- Pertanyaan masuk serta catatan penjualan atau dukungan: apa yang membingungkan dan mengkhawatirkan pengunjung
- Survei dan wawancara dengan pengguna: petunjuk tentang alasan yang tidak terlihat dalam angka
Heatmap adalah alat yang menumpangkan perilaku pengunjung pada halaman sebagai area warna yang lebih terang dan lebih gelap (lihat Apa Itu Heatmap? untuk jenis dan cara membacanya). Heatmap membantu Anda menemukan titik bermasalah di dalam halaman, seperti "tombol penting tidak diklik" atau "banyak orang berhenti membaca di tengah halaman". Untuk pembagian peran, yaitu menemukan masalah dengan heatmap dan memeriksa perbaikannya dengan A/B test, lihat Heatmap vs. A/B Testing: Perbedaan dan Cara Menggunakan Masing-Masing.
Jika Anda memiliki beberapa hipotesis, urutkan berdasarkan tiga hal: "perkiraan besar dampak", "kekuatan bukti", dan "usaha untuk mengimplementasikan". Memulai dari yang dampak perkiraannya tinggi dan usahanya rendah membuat segalanya lebih mudah dijalankan.
Memahami Ukuran Sampel
Ukuran sampel adalah jumlah data yang dibutuhkan untuk pengujian, yaitu jumlah pengunjung yang melihat setiap versi. Dalam A/B test, Anda memperkirakannya sebelum menjalankan pengujian. Jika datanya terlalu sedikit, Anda akan lebih sering gagal menemukan perbedaan yang sebenarnya ada, dan bahkan ketika perbedaan signifikan kebetulan muncul, ukurannya cenderung tampak lebih besar daripada yang sebenarnya.
Ukuran sampel yang dibutuhkan terutama ditentukan oleh empat hal ini.
- Tingkat konversi saat ini: semakin rendah, semakin banyak data yang dibutuhkan
- Besar perbedaan yang ingin Anda deteksi: semakin kecil perbedaan yang ingin ditemukan, semakin banyak data yang dibutuhkan. Perbedaan terkecil yang ingin Anda deteksi, di mana Anda tidak keberatan melewatkan yang lebih kecil, disebut minimum detectable effect (MDE)
- Tingkat signifikansi: seberapa besar kesalahan menyatakan "ada perbedaan" padahal tidak ada yang bersedia Anda terima. 5% umum digunakan
- Statistical power: probabilitas menemukan perbedaan ketika perbedaan itu benar-benar ada. 80% umum digunakan
Di antara keempatnya, yang kedua memiliki dampak terbesar. Ketika perbedaan yang ingin ditemukan dikurangi separuhnya, jumlah data yang dibutuhkan meningkat sekitar 4 kali lipat.
Berikut contoh perhitungan untuk memberi gambaran kasar. Ini adalah perkiraan jumlah pengunjung yang dibutuhkan per variasi, dengan asumsi tingkat konversi saat ini 2,0% (dihitung dengan rumus standar untuk membandingkan dua proporsi, menggunakan uji dua sisi, tingkat signifikansi 5%, dan power 80%).
| Peningkatan yang ingin dideteksi (relatif) | Tingkat konversi setelah perubahan | Pengunjung yang dibutuhkan per variasi (perkiraan) |
|---|---|---|
| +10% | 2,0% โ 2,2% | sekitar 80.700 |
| +20% | 2,0% โ 2,4% | sekitar 21.100 |
| +30% | 2,0% โ 2,6% | sekitar 9.800 |
| +50% | 2,0% โ 3,0% | sekitar 3.800 |
Tabel ini menunjukkan dua hal. Pertama, memastikan peningkatan kecil membutuhkan lebih banyak data daripada yang Anda duga. Untuk memastikan peningkatan 10% pada halaman dengan tingkat konversi 2,0%, Anda akan membutuhkan lebih dari 160.000 pengunjung untuk A dan B digabungkan. Kedua, semakin besar peningkatan yang dituju suatu perubahan, semakin sedikit data yang dibutuhkan untuk menilainya.
Saat benar-benar memperkirakan, kalkulator bawaan pada alat A/B testing atau kalkulator ukuran sampel yang tersedia untuk umum memungkinkan Anda mendapat jawaban hanya dengan memasukkan keempat nilai tersebut. Anda tidak perlu menghafal rumusnya. Yang penting adalah menentukan terlebih dahulu "seberapa besar perbedaan yang ingin saya temukan", lalu memeriksa apakah traffic situs Anda dapat mencapainya dalam waktu yang realistis.
Jika angka yang dibutuhkan hasil perkiraan Anda terlalu besar, ada pilihan selain menyerah untuk menguji: berfokus pada perubahan yang kemungkinan menghasilkan perbedaan lebih besar, menjalankan pengujian pada halaman dengan traffic tinggi, atau melihat metrik yang lebih awal dalam funnel. Bagian "Apa yang dilakukan pada situs dengan traffic rendah" menjelaskan caranya.
Cara Menentukan Durasi Pengujian
Perkirakan durasi pengujian dengan membagi ukuran sampel yang dibutuhkan dengan jumlah orang yang mengunjungi halaman yang diuji per hari.
Berikut contohnya. Anggap tabel di atas menyatakan Anda membutuhkan "sekitar 21.100 per variasi". Katakanlah halaman target mendapat 1.000 pengunjung per hari, dan anggap semua orang diikutkan dalam pengujian dan dibagi separuh-separuh antara A dan B, sehingga setiap variasi mendapat 500 per hari. 21.100 รท 500 hasilnya sekitar 42 hari, atau sekitar 6 minggu.
Saat menentukan durasi, pertimbangkan hal-hal berikut selain jumlah data.
Gunakan minggu penuh. Perilaku pengunjung berubah menurut hari dalam seminggu. Hari kerja mungkin untuk riset terkait pekerjaan dan akhir pekan untuk belanja pribadi, sehingga jenis dan tujuan pengunjung bisa berbeda. Jika Anda selesai hanya setelah empat hari, Senin sampai Kamis, reaksi pengunjung akhir pekan tidak ada. Memulai dan mengakhiri pada hari yang sama dalam seminggu, dalam kelipatan 7 hari, menghindari bias hari dalam seminggu.
Hindari periode yang terlalu singkat. Bahkan pada situs dengan traffic sangat tinggi yang mencapai jumlah yang dibutuhkan dalam beberapa hari, aturan praktis yang umum adalah menjalankan setidaknya 1 minggu, idealnya 2 minggu. Selain bias hari dalam seminggu, reaksi bisa lebih baik tepat setelah perubahan hanya karena itu baru (atau lebih buruk karena pengunjung yang kembali menjadi bingung).
Hindari periode yang terlalu lama juga. Semakin lama pengujian berjalan, semakin banyak gangguan yang menyusup, seperti cookie yang terhapus sehingga orang yang sama melihat versi yang berbeda, atau musim dan kondisi pasar yang berubah. Jika perkiraan Anda jauh melebihi 2 bulan, kami menyarankan untuk meninjau kembali desain pengujian (besar perbedaan yang ingin dideteksi, halaman target, dan metrik).
Hindari periode yang tidak biasa. Hasil dari periode ketika perilaku pengunjung sangat berbeda dari biasanya, seperti obral besar atau libur akhir tahun, mungkin tidak berlaku untuk periode normal. Kecuali Anda ingin memeriksa langkah yang khusus untuk periode itu, lebih aman menghindarinya.
Apa Itu Signifikansi Statistik? Penjelasan Sederhana tentang P-Value dan Tingkat Kepercayaan
Ketika pengujian berakhir, Anda mendapat hasil seperti "A 2,0%, B 2,4%". Yang perlu Anda pikirkan di sini adalah apakah perbedaan ini nyata atau hanya kebetulan.
Bahkan jika Anda menampilkan halaman yang persis sama kepada dua kelompok, tingkat konversi mereka hampir tidak akan pernah cocok persis. Sama seperti melempar koin 100 kali tidak selalu menghasilkan tepat 50 sisi gambar, angka memiliki variasi acak. Jadi Anda membutuhkan prosedur untuk memeriksa "apakah perbedaan yang teramati masih dalam batas yang dapat dijelaskan oleh variasi acak saja". Ini adalah uji hipotesis statistik, dan istilah untuk kesimpulannya adalah signifikansi statistik.
Apa itu p-value?
Dalam sebuah uji, Anda pertama-tama mengasumsikan bahwa "sebenarnya tidak ada perbedaan antara A dan B". Lalu Anda menghitung probabilitas melihat perbedaan setidaknya sebesar yang teramati, secara kebetulan, jika sebenarnya tidak ada perbedaan. Probabilitas ini adalah p-value.
- P-value kecil โ di bawah asumsi tidak ada perbedaan, perbedaan seperti ini jarang terjadi โ asumsi tidak ada perbedaan tampak meragukan
- P-value besar โ perbedaan sebesar ini sering muncul secara kebetulan bahkan ketika tidak ada perbedaan โ Anda tidak dapat mengatakan ada perbedaan
Tingkat signifikansi dan tingkat kepercayaan
Ambang batas seberapa kecil p-value harus sebelum Anda menyimpulkan "ada perbedaan" disebut tingkat signifikansi. Menurut konvensi, 5% (0,05) umum digunakan. Ketika p-value berada di bawah tingkat signifikansi, kita mengatakan "ada perbedaan yang signifikan secara statistik".
Pada layar alat A/B testing, Anda sering melihat tampilan seperti "tingkat kepercayaan 95%" atau "kepercayaan 95%". Ini biasanya berarti alat tersebut menilai pada tingkat signifikansi 5% (arti tampilan ini bervariasi menurut alat, jadi periksa dokumentasi alat Anda).
Tingkat signifikansi 5% adalah kesepakatan bahwa "kita menerima peluang hingga 5% untuk menyatakan ada perbedaan padahal sebenarnya tidak ada". Dengan kata lain, jika Anda menguji 20 perubahan yang sama sekali tidak berefek, rata-rata 1 di antaranya akan muncul sebagai "signifikan". Perbedaan signifikan bukanlah bukti kepastian; ini adalah patokan untuk menjaga peluang kesalahan di bawah tingkat yang ditetapkan.
Kesalahpahaman umum tentang p-value
Kesalahpahaman umum lainnya meliputi hal-hal berikut.
- "Tidak signifikan" tidak berarti "tidak ada perbedaan": ini mencakup situasi di mana tidak ada cukup data untuk mengatakan apakah perbedaan itu ada
- Perbedaan signifikan belum tentu berukuran bermakna bagi bisnis Anda: dengan jumlah data yang sangat besar, bahkan perbedaan yang sangat kecil menjadi signifikan. Lihat juga besar perbedaannya
- P-value yang lebih kecil tidak berarti efek yang lebih besar: p-value juga bergantung pada jumlah data
Memeriksa dengan contoh perhitungan
Mari kita periksa dengan angka hipotetis. Anggap 10.000 pengunjung ditetapkan ke masing-masing A dan B.
- Contoh 1: A memiliki 200 konversi (2,0%) dan B memiliki 240 (2,4%). P-value-nya sekitar 0,054, tepat di atas tingkat signifikansi 5%. Meskipun terlihat perbedaan relatif 20%, Anda tidak dapat menyebutnya "signifikan" dengan jumlah data ini
- Contoh 2: A memiliki 200 konversi (2,0%) dan B memiliki 250 (2,5%). P-value-nya sekitar 0,017, di bawah tingkat signifikansi 5%
Dengan persentase yang sama, kesimpulannya berubah jika datanya lebih sedikit. Jika A dan B masing-masing memiliki 1.000 pengunjung, dengan 20 konversi (2,0%) untuk A dan 24 (2,4%) untuk B, p-value-nya sekitar 0,54. Artinya, bahkan tanpa perbedaan, selisih sebesar ini muncul secara kebetulan lebih dari separuh waktu.
(Semua ini adalah contoh yang dihitung dengan uji dua sisi untuk selisih dua proporsi. Untuk penilaian sebenarnya, ikuti metode yang digunakan alat Anda.)
Lihat juga interval kepercayaan
P-value cenderung berubah menjadi pertanyaan ya-atau-tidak "signifikan atau tidak", tetapi melihat interval kepercayaan memberi Anda gambaran tentang besar perbedaannya. Interval kepercayaan adalah rentang di mana perbedaan sebenarnya dianggap kemungkinan berada.
Pada Contoh 1 di atas, selisih tingkat konversi (B dikurangi A) adalah 0,4 poin persentase, dan interval kepercayaan 95% berkisar kira-kira โ0,01 hingga +0,81 poin persentase. Karena interval tersebut baru saja melewati nol, Anda dapat membacanya sebagai "B tampak lebih baik, tetapi kita tidak bisa menyingkirkan kemungkinan bahwa tidak ada perbedaan". Interval yang lebar adalah tanda bahwa Anda belum memiliki cukup data.
Beberapa alat menampilkan "probabilitas B mengalahkan A"
Beberapa alat menampilkan angka seperti "probabilitas B mengalahkan A" sebagai ganti p-value. Nilai ini didasarkan pada pendekatan berbeda yang disebut statistik Bayesian, dan asumsi serta maknanya berbeda dari p-value. Tidak ada yang sekadar benar atau salah; keduanya adalah aliran pemikiran yang berbeda. Yang penting adalah memeriksa metode mana yang digunakan angka yang Anda lihat dan tidak menyamakan keduanya sebagai jenis angka yang sama.
Cara Membaca Hasil dan Apa yang Dilakukan Setelah Pengujian
Setelah periode berakhir, periksa hasilnya dalam urutan ini.
- Apakah pembagian traffic berjalan sesuai desain: jika Anda mengatur pembagian separuh-separuh, apakah jumlah pengunjung A dan B sangat timpang? Jika ketimpangannya besar, mungkin ada masalah pada pembagian atau pengukuran, dan berbahaya untuk memercayai hasilnya apa adanya
- Perbedaan pada metrik utama dan signifikansinya: arah perbedaan, besarnya, p-value, dan interval kepercayaan
- Metrik guardrail: sementara metrik utama membaik, apakah angka penting lainnya memburuk?
- Metrik sekunder: petunjuk untuk memikirkan mengapa Anda mendapat hasil ini
Hasilnya terbagi menjadi tiga kasus besar.
B secara signifikan lebih baik. Adopsi B secara resmi. Terus pantau angkanya selama beberapa waktu setelah menerapkannya untuk memastikan tren yang sama berlanjut seperti selama pengujian.
B secara signifikan lebih buruk. Tetaplah dengan A. Ini bukan kegagalan; hasilnya adalah Anda menghentikan perubahan yang buruk sebelum menampilkannya kepada semua orang. Memikirkan mengapa hasilnya lebih buruk akan meningkatkan ketepatan hipotesis berikutnya.
Tidak ada perbedaan yang signifikan. Dalam A/B testing, ini adalah salah satu hasil yang paling umum. Dalam kasus ini, hindari "memperpanjang pengujian sampai menjadi signifikan" setelah periode yang direncanakan berakhir (bagian berikutnya menjelaskan alasannya). Ketika tidak ada perbedaan, pisahkan apakah hipotesisnya salah, perubahannya terlalu kecil, atau datanya kurang. Jika hasilnya sama saja, tidak masalah memilih mana yang lebih mudah dioperasikan atau sesuai dengan pedoman merek Anda.
Melihat hasil yang dipecah menurut perangkat atau sumber traffic (analisis segmen) juga berguna, tetapi perlu kehati-hatian. Semakin halus Anda memotong, semakin sedikit data di setiap kelompok, dan semakin mudah Anda menemukan perbedaan kebetulan. Lebih aman memperlakukan tren yang ditemukan lewat pemotongan sebagai "hipotesis untuk diperiksa berikutnya", bukan sebagai "kesimpulan".
Terakhir, simpan catatan pengujian. Menaruh hipotesis, perubahan, durasi, jumlah data, hasil, dan pelajaran di satu tempat mencegah pengulangan pengujian yang sama dan meneruskan apa yang Anda pelajari bahkan ketika penanggung jawabnya berganti.
Kesalahan Umum dalam A/B Testing dan Cara Menghindarinya
Karena mekanisme A/B testing sederhana, melakukannya dengan cara yang salah dapat menghasilkan kesimpulan keliru yang disertai angka yang tampak meyakinkan. Berikut kesalahan yang umum.
| Kesalahan umum | Apa masalahnya | Solusi |
|---|---|---|
| Memeriksa hasil berulang kali dan berhenti begitu hasilnya signifikan | Kesalahan menyebut perbedaan kebetulan sebagai "signifikan" menjadi lebih sering daripada tingkat signifikansi yang Anda tetapkan | Tentukan data dan durasi yang dibutuhkan di awal, lalu nilai setelah mencapainya |
| Mengubah banyak elemen sekaligus | Meskipun ada perbedaan, Anda tidak tahu apa yang berhasil | Batasi perubahan pada apa yang dicakup oleh satu hipotesis |
| Periode pengujian yang singkat | Hasil dipengaruhi bias hari dalam seminggu dan reaksi sementara tepat setelah perubahan | Jalankan dalam kelipatan 7 hari, minimal 1 sampai 2 minggu |
| Menilai dengan traffic rendah | Variasi acak besar dan kesimpulan tidak stabil | Perkirakan jumlah yang dibutuhkan di awal, dan pikirkan ulang desainnya jika tidak cukup |
| Bias hari dalam seminggu atau musiman | Hasil dari hari kerja saja atau periode obral saja tidak berlaku untuk waktu normal | Mulai dan akhiri pada hari yang sama dalam seminggu dan hindari periode yang tidak biasa |
| Menjajarkan banyak metrik dan banyak variasi, lalu memilih hanya yang bagus | Semakin banyak perbandingan yang dibuat, semakin besar kemungkinan ada yang tampak bagus secara kebetulan | Tetapkan satu metrik utama dan batasi jumlah variasi |
| Menguji tanpa hipotesis | Meskipun ada hasil, tidak ada pelajaran yang tersisa untuk dibangun | Tuliskan fakta, masalah, perubahan, dan metrik sebelum Anda mulai |
| Mengubah pengaturan atau variasi di tengah jalan | Sifat data berubah sebelum dan sesudahnya, sehingga tidak bisa dibandingkan | Jika ingin mengubah sesuatu, hentikan dan mulai ulang sebagai pengujian baru |
Yang perlu diwaspadai secara khusus adalah yang pertama, masalah "peeking". Memeriksa kemajuan sementara pengujian hampir setiap hari justru perlu untuk menangkap masalah lebih awal. Masalahnya adalah menghentikan pengujian dan menyatakan menang begitu hasil sementara menunjukkan perbedaan signifikan.
P-value naik-turun seiring data terkumpul. Bahkan ketika sebenarnya tidak ada perbedaan, jika Anda memeriksa berkali-kali, pada suatu titik nilainya bisa kebetulan turun di bawah tingkat signifikansi. Jika Anda berhenti pada saat itu, "kesalahan menyatakan ada perbedaan padahal tidak ada" menjadi lebih sering daripada 5% yang Anda rencanakan. Aturan menunggu sampai mencapai jumlah data dan durasi yang telah Anda tentukan sebelum menilai ada untuk mencegah kesalahan ini.
Beberapa alat juga memiliki metode penilaian yang dirancang agar kesalahan tidak bertambah meskipun Anda menilai di tengah jalan (seperti yang disebut sequential testing). Dalam hal itu, ikuti prosedur yang diberikan alat tersebut.
Catatan juga tentang "mengubah banyak hal sekaligus". Meskipun B yang mengubah headline, gambar, dan tombol sekaligus menang, Anda tidak akan tahu mana yang berhasil. Bisa saja headline-nya bagus tetapi gambarnya menyeretnya turun. Namun, jika tujuan Anda adalah membandingkan halaman yang dibangun ulang sepenuhnya dengan halaman saat ini, mengubah banyak hal bersamaan masuk akal. Dalam hal itu, terimalah bahwa "Anda tidak akan tahu elemen mana yang berhasil", dan bandingkan dengan sesuatu seperti redirect test.
Cara Berpikir tentang Alokasi Traffic dan Rasio A/B
Dua pengaturan "persentase" muncul saat Anda mengonfigurasi A/B test. Keduanya mudah tertukar, jadi pahami secara terpisah.
- Alokasi traffic (persentase pengunjung yang disertakan dalam eksperimen): berapa persen dari seluruh pengunjung yang diikutkan dalam pengujian. Pengunjung di luar pengujian tetap melihat halaman asli
- Rasio A/B: dengan perbandingan berapa pengunjung yang diikutkan dalam pengujian dibagi antara A dan B
Misalnya, jika Anda mengatur alokasi traffic 20% dan rasio A/B separuh-separuh, 80% dari seluruh pengunjung berada di luar pengujian dan melihat halaman asli, 10% berada dalam pengujian dan melihat A, dan 10% melihat B.
Rasio A/B separuh-separuh adalah default. Dengan jumlah pengunjung yang sama, pembagian merata mengumpulkan data yang dibutuhkan paling cepat. Anda juga bisa memberi B porsi lebih kecil, tetapi Anda harus menunggu sampai sisi yang lebih kecil mengumpulkan data yang cukup, sehingga durasinya menjadi lebih lama.
Pilih alokasi traffic dengan menyeimbangkan risiko dan durasi. Menurunkan alokasi traffic mengurangi jumlah pengunjung yang terdampak jika perubahan itu menjadi bumerang. Sebagai gantinya, lebih sedikit pengunjung yang ada dalam pengujian, sehingga dibutuhkan waktu lebih lama untuk mengumpulkan data yang Anda perlukan. Pendekatan yang umum adalah memulai perubahan besar dengan dampak yang sulit diprediksi pada alokasi traffic rendah, memastikan tidak ada masalah, dan memperluasnya jika semuanya baik. Untuk perubahan berdampak kecil, seperti mengganti sebagian kata-kata, lebih masuk akal untuk menyertakan semua orang sejak awal dan mempersingkat durasi.
Perbedaan kedua persentase itu dijelaskan di Alokasi Traffic vs. Rasio A/B dalam A/B Testing, dan cara berpikir desainnya dibahas di Mengapa Alokasi Traffic dan Rasio A/B Sebaiknya Menjadi Pengaturan Terpisah.
A/B Testing dan SEO: Membatasi Dampak pada Pencarian
Kekhawatiran yang umum adalah apakah "A/B testing akan merugikan peringkat pencarian saya". Google menerbitkan panduan tentang cara menjalankan pengujian sambil membatasi dampak pada pencarian, dalam dokumentasi Google Search Central. Poin-poin pentingnya adalah sebagai berikut.
- Jangan melakukan cloaking: dengan sengaja menampilkan konten berbeda kepada crawler mesin pencari (program yang mengunjungi dan membaca halaman) dan kepada pengunjung manusia disebut cloaking, dan itu melanggar kebijakan spam. Hal ini berlaku baik ada pengujian yang berjalan maupun tidak. Hindari pengaturan apa pun yang menampilkan versi tertentu hanya kepada crawler
- Gunakan rel="canonical" untuk pengujian pada URL terpisah: saat menguji pada beberapa URL, seperti pada redirect test, tambahkan rel="canonical" (tag yang memberi tahu mesin pencari URL yang diprioritaskan) pada URL pengujian untuk menunjukkan bahwa URL asli adalah halaman yang diprioritaskan. Untuk tujuan ini, Google merekomendasikan rel="canonical" daripada noindex
- Gunakan redirect sementara (302) untuk pengalihan: saat mengalihkan dari URL asli ke URL pengujian, gunakan 302, yang menandakan redirect sementara, bukan 301, yang menandakan redirect permanen. Redirect JavaScript juga disebut boleh digunakan
- Jalankan pengujian hanya selama dibutuhkan: setelah Anda mengumpulkan data yang cukup, akhiri pengujian dan hapus URL pengujian, skrip, dan sebagainya secepat mungkin. Google menjelaskan bahwa menjalankan pengujian lebih lama dari yang diperlukan dapat ditafsirkan sebagai upaya menipu mesin pencari
Dengan kata lain, tidak membiarkan pengujian terus berjalan penting tidak hanya untuk statistik tetapi juga untuk pencarian. Selesaikan seluruh alurnya: bersihkan pengujian yang sudah selesai, dan terapkan versi yang Anda adopsi ke situs itu sendiri.
Perlu dicatat bahwa yang diperkenalkan di sini adalah gambaran umum panduan yang telah Google terbitkan. Efek pada peringkat pencarian bervariasi menurut situs, jadi sebelum menjalankan pengujian yang melibatkan perubahan besar, kami menyarankan untuk memeriksa dokumen aslinya dan dokumentasi alat Anda juga.
Apa yang Dilakukan pada Situs dengan Traffic Rendah
Seperti yang kita lihat di bagian ukuran sampel, A/B testing membutuhkan data dalam jumlah yang cukup besar. Jadi apakah A/B testing tidak berarti bagi situs dengan beberapa ribu pengunjung per bulan? Belum tentu. Mengubah pendekatan dapat memberi Anda lebih banyak pegangan.
Uji perubahan besar. Semakin besar perbedaan yang ingin Anda temukan, semakin sedikit data yang dibutuhkan. Daripada perubahan kecil seperti mengutak-atik kata-kata tombol, fokuslah pada perubahan yang dapat menghasilkan perbedaan besar: mengubah daya tarik inti, menyusun ulang struktur halaman, atau memangkas kolom formulir secara drastis.
Jalankan pengujian pada halaman dengan traffic tinggi. Meskipun situs secara keseluruhan memiliki sedikit traffic, seharusnya ada halaman tempat pengunjung terkonsentrasi. Pilih tempat dengan pengunjung terbanyak, seperti halaman beranda atau halaman yang menerima traffic iklan.
Gunakan metrik pada tahap yang lebih awal. Pembelian dan kontrak jumlahnya sedikit, sehingga mendeteksi perbedaan membutuhkan waktu. Menjadikan tindakan awal yang lebih sering terjadi sebagai metrik utama, seperti "sampai ke formulir" atau "menuju halaman harga", menjaga kebutuhan data tetap rendah. Cukup ingat bahwa peningkatan pada metrik yang lebih awal belum tentu berujung pada peningkatan hasil akhir.
Batasi diri pada dua variasi. Menambahkan variasi ketiga dan keempat mengurangi data per variasi. Selama traffic rendah, bandingkan hanya A dan B.
Atur alokasi traffic ke 100% dan rasio A/B ke separuh-separuh. Mempersempit audiens atau menggunakan pembagian yang tidak merata memperpanjang durasi.
Berikan periode lebih panjang, dan terima keterbatasan jika itu masih belum cukup. Jika Anda tidak dapat mencapai jumlah yang dibutuhkan bahkan setelah memberi waktu sekitar 4 sampai 8 minggu, Anda juga perlu memutuskan untuk tidak memaksakan penyelesaiannya dengan A/B test.
Ketika A/B testing kurang cocok, metode lain dapat membantu.
- Amati perilaku dengan heatmap: bahkan dengan traffic sedikit, Anda dapat memperoleh gambaran tentang "di mana orang tidak membaca" dan "di mana mereka tidak mengklik"
- Tanyakan langsung kepada pengguna: cukup meminta beberapa orang menggunakan layar sambil Anda mengamati di mana mereka tersangkut akan menemukan banyak masalah
- Perbaiki masalah yang jelas tanpa pengujian: tautan rusak, teks yang sulit dibaca, tombol yang tidak berfungsi, dan sejenisnya, yang sulit dibayangkan memperburuk keadaan bila diperbaiki, tidak perlu menunggu verifikasi
Jenis-Jenis Alat A/B Testing dan Cara Memilihnya
Untuk menjalankan A/B test, Anda membutuhkan alat yang menangani pembagian traffic, pergantian tampilan, pengukuran, dan pelaporan. Dari sisi cara kerjanya, ada dua jenis besar.
Client-side
- Cara kerja: Anda menambahkan tag (potongan kode singkat untuk pengukuran) ke halaman, dan sebagian halaman ditulis ulang di browser pengunjung
- Terutama ditangani oleh: marketer dan staf web. Banyak alat memungkinkan Anda membuat perubahan lewat operasi di layar
- Cocok untuk: perubahan visual seperti kata-kata, gambar, warna, dan tata letak
- Yang perlu diperhatikan: bisa terjadi "flicker", yaitu tampilan asli terlihat sejenak sebelum ditulis ulang
Server-side
- Cara kerja: kode di sisi server mengganti apa yang ditampilkan kepada setiap pengunjung
- Terutama ditangani oleh: engineer. Perubahan kode diperlukan
- Cocok untuk: perubahan yang melibatkan pemrosesan back-end, seperti perhitungan harga, cara kerja pencarian atau pengurutan, dan fitur aplikasi
- Yang perlu diperhatikan: penyiapan dan pengoperasian membutuhkan upaya pengembangan
Untuk penggunaan yang diasumsikan artikel ini, yaitu mencoba headline dan tombol pada halaman web, alat client-side adalah kandidat pertama.
Saat memilih alat, periksa poin-poin berikut.
- Apakah Anda dapat membuat perubahan lewat operasi di layar atau perlu menulis kode
- Metode statistik apa yang digunakan untuk penilaian dan bagaimana hasil ditampilkan
- Apakah Anda dapat mengatur alokasi traffic dan rasio A/B secara terpisah
- Apakah mendukung redirect test
- Apa yang menjadi dasar skala harganya (jumlah pengunjung, jumlah event yang dilacak, jumlah pengguna, dan sebagainya)
- Apakah Anda dapat melihatnya bersama data yang Anda gunakan untuk menyusun hipotesis, seperti heatmap
Berakhirnya Google Optimize
Google Optimize, yang banyak digunakan sebagai alat A/B testing gratis, dihentikan pada September 2023. Situs yang sebelumnya menggunakan Google Optimize harus pindah ke alat lain.
Saat ini ada berbagai pilihan: alat A/B testing khusus seperti Optimizely, VWO, dan AB Tasty; alat yang menggabungkan heatmap dan A/B testing, seperti Ptengine dan SiTest yang berbasis di Jepang; serta platform eksperimen untuk developer. Fitur dan anggaran yang Anda butuhkan sangat bervariasi menurut ukuran situs Anda, jadi penting untuk memilih yang sesuai dengan kebutuhan Anda sendiri. Untuk perbedaan kisaran harga dan pendekatan di antara alat-alat utama, lihat Lanskap Alat A/B Testing 2026.
Terus Tingkatkan dengan Menggabungkan Heatmap dan On-Site Engagement
A/B testing memberi lebih banyak hasil bila dikombinasikan dengan alat lain daripada digunakan sendirian.
Alur perbaikannya adalah siklus berulang "temukan โ buat perbaikan โ verifikasi".
- Temukan: gunakan web analytics untuk mengidentifikasi halaman yang bermasalah, dan heatmap untuk menunjuk titik bermasalah di dalam halaman
- Buat perbaikan: susun hipotesis dari masalah yang Anda temukan dan buat perubahannya
- Verifikasi: gunakan A/B test untuk memeriksa apakah perubahan itu benar-benar memperbaiki hasil
- Terapkan dan lanjutkan: terapkan versi yang berkinerja lebih baik, dan amati halaman yang diubah dengan heatmap lagi
Melihat heatmap setelah hasil A/B test masuk juga berguna. Ketika B menang, memeriksa bagaimana perilaku pengunjung berubah (apakah orang membaca lebih jauh ke bawah, apakah tempat mereka mengklik bergeser) memberi Anda petunjuk tentang "mengapa lebih baik" dan mengarah ke hipotesis berikutnya.
Pola pikir A/B testing juga berlaku apa adanya untuk langkah on-site engagement, di mana alih-alih mengubah halaman itu sendiri Anda menampilkan panduan dalam popup atau sticky bar. Baik Anda membandingkan menampilkan versus tidak menampilkan, kata-katanya, maupun waktu tampilnya, prinsipnya sama: bagi pengunjung secara acak dan bandingkan pada periode yang sama. Dasar-dasar on-site engagement dijelaskan di Apa Itu On-Site Engagement?.
Tentang HeatMapX
HeatMapX adalah alat yang memungkinkan Anda mengukur heatmap dengan menambahkan tag ke situs Anda, dan Anda dapat mulai dengan paket Free yang gratis (lihat halaman harga untuk detail paket). Fitur A/B testing sedang diluncurkan secara bertahap. Mulailah dengan menggunakan heatmap untuk memahami bagaimana situs Anda dilihat, dan memiliki hipotesis tentang di mana akan bereksperimen membuat Anda bisa bergerak cepat ketika mulai melakukan A/B testing.
Jika Anda ingin membandingkan alat heatmap dengan produk lain sebelum memilih, lihat juga Perbandingan Alat Heatmap.
FAQ A/B Testing
Apa itu A/B testing, secara sederhana?
Ini adalah metode di mana Anda secara acak menampilkan dua versi halaman kepada pengunjung pada periode yang sama dan membandingkan mana yang berkinerja lebih baik menggunakan angka. Berbeda dengan membandingkan sebelum dan sesudah perubahan, metode ini memungkinkan Anda memeriksa efek suatu perubahan secara terpisah dari faktor lain seperti musim dan iklan.
Berapa lama A/B test harus berjalan?
Perkirakan dengan membagi ukuran sampel yang dibutuhkan dengan jumlah pengunjung per hari. Untuk menghindari bias hari dalam seminggu, gunakan kelipatan 7 hari; aturan praktis yang umum adalah menjalankan setidaknya 1 sampai 2 minggu. Bahkan jika situs dengan traffic tinggi mencapai jumlah yang dibutuhkan dalam beberapa hari, kami menyarankan untuk melanjutkan selama seminggu. Sebaliknya, jika perkiraannya jauh melebihi 2 bulan, tinjau kembali desainnya.
Berapa banyak traffic yang saya butuhkan untuk menjalankan A/B test?
Tidak ada standar tunggal. Ini bergantung pada tingkat konversi Anda saat ini dan besar perbedaan yang ingin Anda deteksi. Pada contoh perhitungan dalam artikel ini, memastikan peningkatan relatif 20% pada halaman dengan tingkat konversi 2,0% membutuhkan sekitar 21.100 pengunjung per variasi. Jika traffic Anda rendah, Anda dapat mengurangi jumlah yang dibutuhkan dengan berfokus pada perubahan yang lebih besar atau menggunakan metrik pada tahap yang lebih awal.
Apa yang harus saya lakukan jika tidak ada perbedaan signifikan?
Hindari memperpanjang pengujian sampai menjadi signifikan setelah periode yang direncanakan. Catat bahwa "perubahan ini tidak menunjukkan perbedaan sebesar yang ingin kami deteksi", dan tinjau kembali apakah hipotesisnya salah atau perubahannya terlalu kecil. Jika hasilnya sama saja, tidak masalah memilih mana yang lebih mudah dioperasikan. Tidak adanya perbedaan signifikan bukanlah kegagalan; itu adalah salah satu jenis hasil.
Jika p-value di bawah 0,05, bisakah saya mengatakan B lebih baik?
Tidak. P-value adalah "probabilitas melihat perbedaan setidaknya sebesar yang teramati, secara kebetulan, jika sebenarnya tidak ada perbedaan", bukan "probabilitas bahwa B lebih baik". Saat menilai pada tingkat signifikansi 5%, sekitar 1 dari 20 perubahan yang tidak berefek tetap akan menunjukkan perbedaan signifikan. Periksa juga besar perbedaan, interval kepercayaan, dan metrik guardrail, dan untuk perubahan penting teruslah pantau angkanya setelah menerapkannya.
Apakah A/B testing merugikan SEO?
Google menerbitkan panduan yang menyatakan bahwa dampak pada pencarian dapat dibatasi jika Anda mengikutinya. Empat poin utamanya adalah: jangan menampilkan konten berbeda kepada crawler dan manusia, tambahkan rel="canonical" pada pengujian di URL terpisah, gunakan 302 untuk redirect, dan akhiri pengujian serta bersihkan pengaturan begitu periode yang dibutuhkan telah berlalu. Untuk detailnya, lihat bagian "A/B Testing dan SEO" di atas.
Ringkasan: Mulailah dengan Satu Hipotesis
A/B testing adalah metode membagi pengunjung secara acak dan membandingkannya pada periode yang sama, sehingga Anda dapat memastikan efek suatu perubahan secara terpisah dari faktor lain. Berikut poin-poin utama artikel ini.
- Cara kerja: tetapkan pengunjung secara acak, tayangkan kedua versi pada periode yang sama, dan terus tampilkan versi yang sama kepada orang yang sama. Ini mempersempit penyebab perbedaan menjadi "apa yang Anda ubah"
- Cara melanjutkan: 6 langkah tujuan dan metrik โ hipotesis โ membuat variasi โ menjalankan โ menilai โ menerapkan. Tentukan metrik, jumlah data, durasi, dan kriteria penilaian sebelum Anda menjalankan
- Data dan durasi: semakin kecil perbedaan yang ingin dipastikan, semakin banyak data yang dibutuhkan. Gunakan kelipatan 7 hari, minimal 1 sampai 2 minggu
- Signifikansi: patokan apakah suatu perbedaan sulit dijelaskan oleh kebetulan. P-value bukanlah "probabilitas bahwa B menang", dan "tidak signifikan" tidak berarti "tidak ada perbedaan"
- Menghindari kesalahan: jangan berhenti pada hasil sementara, batasi perubahan pada apa yang dicakup oleh satu hipotesis, dan gunakan satu metrik utama
- Saat traffic rendah: fokus pada perubahan besar, halaman dengan traffic tinggi, dan metrik pada tahap yang lebih awal, serta tutup celahnya dengan observasi dan wawancara jika itu belum cukup
Sebagai langkah berikutnya, kami menyarankan Anda memilih satu halaman di situs Anda yang paling dekat dengan hasil dan banyak dikunjungi, lalu mulai dengan memeriksa masalah halaman itu menggunakan data. Gunakan heatmap dan web analytics untuk menemukan "di mana tampaknya ada masalah", lalu tulis satu hipotesis yang menjabarkan empat hal: fakta, masalah, perubahan, dan metrik. Dengan satu hipotesis di tangan, Anda dapat memperkirakan data dan durasi yang dibutuhkan serta merancang A/B test pertama Anda.
Satu pengujian belum tentu mengubah angka Anda secara dramatis. Tetapi membangun fakta yang telah terverifikasi satu per satu adalah fondasi untuk memperbaiki situs tanpa mengandalkan firasat.