Come abbiamo allineato il design della distribuzione dei test A/B allo standard di settore — separare "tasso di distribuzione" e "ripartizione A/B"

In sintesi

• Nella configurazione delle percentuali di un test A/B tendono a mescolarsi due preoccupazioni distinte: "tasso di distribuzione" e "ripartizione A/B"
• Abbiamo scelto di separarli in due parametri indipendenti
• Questa separazione permette di gestire in modo naturale sia la "gestione del rischio" sia il "confronto equo"

Nell'implementare la funzionalità di A/B testing in HeatMapX, ci siamo trovati di fronte a una decisione di design apparentemente minore ma in realtà importante: come modellare la "percentuale". La conclusione a cui siamo arrivati è stata di separare il "tasso di distribuzione (la quota di visitatori inclusi nell'esperimento)" e la "ripartizione A/B" in due parametri indipendenti. In questo articolo condividiamo le ragioni di questa scelta.

Due preoccupazioni che tendono a mescolarsi

Dietro alla "percentuale" di un test A/B si nascondono in realtà due preoccupazioni di natura diversa.

• Quanti visitatori coinvolgere nell'esperimento (= gestione del rischio)
• Come ripartire tra A e B i visitatori coinvolti (= equità del confronto)

Nei design iniziali più semplici, si tende a raggruppare questi due aspetti in un unico cursore. Ma così facendo, obiettivi distinti come "voglio testare in piccolo e in sicurezza" e "voglio confrontare A e B in modo equo" finiscono per intrecciarsi, rendendo tutto meno chiaro sia per l'utente sia per chi implementa il sistema.

Il modello separato

Per questo motivo abbiamo reso i due aspetti indipendenti.

• traffic_allocation (tasso di distribuzione): la quota di visitatori, sul totale, da includere nell'esperimento. Da 0 a 100%.
• Ripartizione A/B: il peso tra Control e Variant B all'interno dei visitatori inclusi nell'esperimento.

Scritto in pseudocodice, la logica di assegnazione è la seguente.

1. Prima si determina, tramite il tasso di distribuzione, se un visitatore è incluso o meno nell'esperimento.
2. Solo i visitatori inclusi vengono poi ripartiti tra Control e Variant B secondo la ripartizione A/B.

I visitatori esclusi vedono semplicemente la pagina normale (senza modifiche).

I vantaggi della separazione

• Il rischio può essere ampliato in modo graduale: si può passare da un tasso di distribuzione del 10% al 30% fino al 100%, mantenendo invariata l'equità del confronto (50:50) e regolando solo il rischio.
• Il significato delle impostazioni è chiaro: "quanti coinvolgere" e "come mostrare" diventano interfacce separate, riducendo i fraintendimenti.
• Allineamento con lo standard di settore: anche i principali strumenti di A/B testing trattano separatamente la distribuzione del traffico e l'assegnazione all'interno dell'esperimento.

Riflesso anche nell'interfaccia

Questa decisione di design si riflette direttamente anche nell'interfaccia utente. Nella schermata di configurazione dell'esperimento è possibile specificare separatamente la "quota inclusa nell'esperimento" e la "ripartizione A/B", mentre nel dettaglio dell'esperimento entrambi i valori sono consultabili in un riepilogo.

Conclusione

Anche in un elemento apparentemente semplice come la "percentuale" si nascondono preoccupazioni distinte: la gestione del rischio e l'equità del confronto. Separandole a livello di modello, siamo riusciti a rendere l'A/B testing più chiaro per l'utente e più semplice da gestire operativamente. È una decisione di design piccola, ma è proprio l'accumulo di scelte come questa a determinare la qualità dell'esperienza d'uso.