Cos'è l'A/B test? Guida per principianti ai 6 passaggi, alla significatività statistica e alla dimensione del campione
- ab-testing
- cro
- how-to
- beginners
Riepilogo dell'articolo
- L'A/B test è un metodo in cui si dividono i visitatori in modo casuale, si mostrano nello stesso periodo la pagina originale (A) e una pagina modificata (B) e si confronta con i numeri quale delle due funziona meglio
- Un semplice confronto prima/dopo non permette di separare l'effetto della modifica da quello di stagioni, pubblicità, giorni della settimana e così via. Eseguire le due versioni contemporaneamente è il cuore dell'A/B test
- Il processo si articola in 6 passaggi: obiettivo e metrica → ipotesi → creazione della variante → esecuzione → valutazione → applicazione. Stabilisci la dimensione del campione necessaria (la quantità di dati) e la durata prima di iniziare
- La "significatività statistica" è un criterio per capire se una differenza è difficile da spiegare con la sola variabilità casuale. Un p-value non è "la probabilità che B stia vincendo"
- La maggior parte dei fallimenti nasce da "controllare i risultati di continuo e fermarsi troppo presto", "cambiare troppe cose insieme" e "far durare il test troppo poco"
- Sui siti con poco traffico si può comunque ottenere qualche indicazione in più cambiando approccio, ad esempio puntando su modifiche più grandi o guardando una metrica di una fase precedente
"Forse cambiando il titolo arriverebbero più iscrizioni." "Il pulsante non dovrebbe stare più in alto nella pagina?" Quando si gestisce un sito web, le idee di miglioramento non mancano mai. Ma se una modifica farà davvero meglio o peggio non si può sapere finché non la si prova. E anche se i numeri salgono dopo una modifica, spesso è impossibile dire se il merito sia della modifica o se, semplicemente, quella settimana si è speso di più in pubblicità.
Quando vuoi verificare l'effetto di una modifica separandolo dagli altri fattori, si usa un A/B test.
Questo articolo spiega che cosa significa A/B test e come funziona, poi passa ai passaggi pratici, a come scrivere un'ipotesi, a quanti dati e quanto tempo servono, a cosa significa davvero "differenza significativa" e agli errori che i principianti commettono più spesso. Compare un po' di statistica, ma le formule sono ridotte al minimo e la priorità è capire i concetti. Tutti gli esempi di calcolo in questo articolo usano numeri ipotetici scelti a scopo illustrativo.
Cos'è un A/B test?
Un A/B test è un metodo in cui si mostra ai visitatori, in modo casuale, una tra due versioni di una pagina e si confronta quale produce risultati migliori, usando dati dello stesso periodo. A volte viene chiamato anche "split test".
- A (controllo / versione originale): la pagina attuale. È il riferimento per il confronto
- B (variante / versione modificata): una pagina con una parte cambiata. È l'idea che vuoi provare
Ad esempio, mostri la versione A a metà dei visitatori e la versione B all'altra metà, poi confronti la percentuale di ciascun gruppo che ha completato un'iscrizione. Questa percentuale si chiama tasso di conversione (CVR). Una conversione è un'azione che vuoi far compiere ai visitatori sul tuo sito, come un acquisto, un'iscrizione o una richiesta di materiale informativo.
Il nome "A/B test" deriva dal confronto tra due versioni, ma si possono confrontare anche tre o più versioni contemporaneamente (si parla di A/B/n test). L'idea è la stessa.
Come funziona: dividere in modo casuale e confrontare nello stesso momento
Un A/B test funziona grazie a tre meccanismi.
1. I visitatori vengono assegnati in modo casuale. Se un visitatore vede A o B lo decide lo strumento con numeri casuali. Non è una persona a scegliere e la divisione non segue una regola come "A al mattino, B al pomeriggio". Con l'assegnazione casuale, le differenze tra i visitatori, come nuovi o di ritorno, smartphone o desktop, provenienti dalle pubblicità o dalla ricerca, finiscono mescolate in proporzioni più o meno uguali sia in A sia in B.
2. Entrambe le versioni sono attive nello stesso periodo. A e B vengono mostrate contemporaneamente. Perciò influenze esterne come saldi, stagioni, una citazione in TV o le oscillazioni tra i giorni della settimana colpiscono A e B allo stesso modo.
3. La stessa persona continua a vedere la stessa versione. Se qualcuno assegnato a B vedesse A alla visita successiva, non si potrebbe più capire quale versione abbia influenzato la sua iscrizione. Per questo la maggior parte degli strumenti usa un contrassegno salvato nel browser (come un cookie) per continuare a mostrare la stessa versione allo stesso visitatore.
Quando queste tre condizioni sono rispettate, l'unica differenza tra A e B è "ciò che hai cambiato nella pagina". Per questo, quando i risultati differiscono, è più facile attribuire la differenza alla modifica. È la stessa idea degli studi clinici randomizzati controllati usati per verificare gli effetti dei farmaci, applicata ai siti web.
Perché serve l'A/B test: cosa non ti dice un confronto prima/dopo
Potresti chiederti: "Perché non cambiare semplicemente la pagina e confrontare i numeri prima e dopo, senza dividere i visitatori?". Questo si chiama confronto prima/dopo. È facile, ma ha un grande punto debole: non si può separare l'effetto della modifica dagli altri fattori.
I numeri del tuo sito si muovono di giorno in giorno anche se non cambi nulla nella pagina. Tra i fattori che li muovono ci sono:
- Stagioni ed eventi: periodo dei bonus, chiusura dell'anno fiscale, festività, meteo e così via
- Pubblicità e campagne: aumenti o riduzioni della spesa pubblicitaria, cambi di destinazione degli annunci, invii di newsletter via email
- Giorno della settimana e fascia oraria: i visitatori dei giorni feriali e quelli del fine settimana possono differire per tipo e obiettivo
- Cambiamenti nelle fonti di traffico: variazioni nel posizionamento sui motori di ricerca, un contenuto diventato virale sui social, segnalazioni da altri siti
- Concorrenti e mercato: un taglio di prezzo di un concorrente, la copertura mediatica
In un confronto prima/dopo, se uno di questi fattori coincide con il periodo successivo alla modifica, non puoi sapere se la variazione dei numeri derivi dalla tua modifica o da altro. Anche se i numeri sono saliti dopo il cambiamento, è possibile che la modifica in realtà abbia peggiorato le cose e che un aumento della pubblicità lo abbia nascosto.
Un A/B test mostra A e B nello stesso periodo, quindi questi fattori influenzano entrambe allo stesso modo. Si guarda poi la differenza che resta, il che rende più facile isolare l'effetto della sola modifica.
Un altro motivo è che l'intuito di chi costruisce la pagina e le reazioni dei visitatori spesso non coincidono. Non è raro che un'idea su cui tutti, internamente, erano d'accordo ("è più facile da capire") non convinca i visitatori reali. L'A/B test è anche un modo per decidere in base a ciò che i visitatori fanno davvero, non in base a chi alza di più la voce o a chi ha il ruolo più alto.
Cosa può e cosa non può dirti un A/B test
L'A/B test è potente, ma non può dirti tutto. Sapere in cosa è bravo e in cosa no prima di iniziare aiuta a evitare di interpretare male i risultati.
Cosa può dirti
- Se una modifica ha aumentato, diminuito o cambiato di poco la metrica scelta (ad esempio il tasso di iscrizione)
- Se la differenza è abbastanza grande da essere difficile da spiegare con la sola variabilità casuale
Cosa non può dirti, o dove è debole
- Perché c'è stata una differenza: il motivo è una supposizione. Valutalo insieme ad altri dati
- Gli effetti a lungo termine: osserva solo il comportamento durante il periodo del test. Spesso non può dirti nulla su fidelizzazione o tassi di disdetta a distanza di mesi
- Il confronto con idee che non hai testato: scopri quale tra A e B è meglio, ma non se esista un'opzione C ancora migliore
- Piccoli miglioramenti su pagine con poco traffico: potrebbero non esserci dati sufficienti per stabilire qualcosa, che una differenza esista o no (la sezione dedicata più avanti spiega cosa fare)
Inoltre, l'A/B test è "uno strumento per verificare le idee", non "uno strumento per avere buone idee". La qualità delle idee che testi dipende da come costruisci le tue ipotesi.
Tipi di A/B test: le differenze con i test multivariati e i test di reindirizzamento
Anche all'interno dell'"A/B test" esistono diversi metodi affini. Ecco quelli che compaiono più spesso.
| Tipo | Cosa confronta | Ideale per | Attenzione a |
|---|---|---|---|
| A/B test | Versioni allo stesso URL con una parte cambiata | Verificare l'effetto di una singola modifica, come un titolo, un pulsante o un'immagine | È la forma di base. Parti da qui |
| A/B/n test | Tre o più versioni | Hai più candidati per il titolo e vuoi confrontarli insieme | Più versioni ci sono, meno dati ha ciascuna e più lungo è il test |
| Test multivariato | Combinazioni di più elementi (es. 2 titoli × 2 immagini = 4 combinazioni) | Vuoi sapere quale combinazione di elementi funziona meglio | Servono dati per ogni combinazione. Adatto a pagine con molto traffico |
| Test di reindirizzamento (split URL test) | Pagine con design diversi costruite su URL separati | Vuoi confrontare una nuova pagina con un layout molto diverso con quella attuale | Il reindirizzamento può ritardare leggermente la visualizzazione. Bisogna considerare i motori di ricerca |
| A/A test | Due versioni identiche | Vuoi verificare se la divisione del traffico e la misurazione dello strumento funzionano correttamente | Un test di controllo, non di miglioramento |
Un test multivariato modifica più elementi insieme e confronta i risultati per ogni combinazione. Può mostrare perfino quanto bene funzionino gli elementi insieme, ad esempio "questo titolo abbinato a questa immagine funziona meglio". Tuttavia, 3 titoli, 3 immagini e 2 pulsanti danno 18 combinazioni, e ciascuna richiede dati sufficienti. Per i siti con traffico limitato è più realistico eseguire A/B test uno dopo l'altro.
Un test di reindirizzamento manda una parte dei visitatori a un URL diverso e confronta i risultati; si chiama anche split URL test. Si adatta a modifiche ampie, come la ricostruzione della struttura stessa della pagina. Un normale A/B test, che riscrive elementi allo stesso URL, è adatto a provare rapidamente piccole modifiche come il testo o il colore.
Al di fuori del web, anche inviare due versioni dell'oggetto di un'email o di una creatività pubblicitaria e confrontare le risposte si chiama A/B test. Questo articolo tratta l'A/B test delle pagine web.
Cosa testare in un A/B test
Gli elementi che si possono testare sono molti. Ecco quelli tipici.
- Titolo (testo principale): passare dal descrivere le caratteristiche al descrivere il risultato che ottiene il visitatore. L'obiettivo è comunicare "questo fa per me" nei primi secondi
- CTA (pulsante di invito all'azione): cambiare testo, posizione, dimensione o colore. L'obiettivo è rendere chiara l'azione successiva
- Immagine o video principale: confrontare una foto del solo prodotto con una foto del prodotto in uso. L'obiettivo è comunicare il valore in modo intuitivo
- Moduli: ridurre il numero di campi, suddividerli in passaggi, aggiungere esempi di compilazione. L'obiettivo è ridurre fatica ed esitazioni
- Come vengono mostrati i prezzi: come si presentano prezzi mensili e annuali, l'ordine dei piani, dove compare il prezzo IVA inclusa. L'obiettivo è facilitare confronto e decisione
- Informazioni che creano fiducia: referenze dei clienti, testimonianze, posizione delle informazioni su garanzia e assistenza. L'obiettivo è ridurre l'ansia prima dell'iscrizione
- Layout e ordine delle informazioni: spostare più in alto le informazioni chiave, accorciare una pagina lunga. L'obiettivo è aiutare i visitatori a raggiungere prima le informazioni che cercano
- Navigazione: cambiare il numero delle voci di menu o la loro formulazione. L'obiettivo è ridurre la confusione e guidare i visitatori alla pagina desiderata
CTA sta per "Call To Action", cioè invito all'azione. Indica un pulsante o un link che spinge i visitatori ad agire, come "Iscriviti" o "Richiedi il materiale".
Come regola, decidi da dove iniziare in base alla vicinanza al risultato e a quanto viene visto. I punti legati direttamente ai risultati, come i pulsanti di iscrizione e i moduli, e la parte alta della pagina vista da molti visitatori sono i luoghi in cui una modifica ha più probabilità di mostrare un effetto. Al contrario, una piccola modifica in fondo a una pagina che la maggior parte delle persone non raggiunge richiede molto tempo per essere rilevata, anche se funziona.
Il "colore del pulsante" è spesso citato come esempio di A/B test, ma un cambio di solo colore non produce necessariamente una grande differenza. Più del colore in sé conta capire se il problema sia che il pulsante si confonde con ciò che lo circonda e passa inosservato. Cosa cambiare va ricavato partendo dall'ipotesi, di cui parliamo subito dopo.
Come eseguire un A/B test [6 passaggi]
Un A/B test procede nei 6 passaggi seguenti. L'importante è stabilire la metrica, la quantità di dati necessaria, la durata e i criteri di valutazione prima di avviarlo.
Definisci obiettivo e metrica
Restringi ciò che vuoi migliorare a una sola cosa e decidi la metrica che lo misura. Formulala in modo che si possa misurare con i numeri, ad esempio "aumentare il tasso di completamento della richiesta di materiale". Per giudicare usa una sola metrica (la metrica principale).
Formula un'ipotesi
Scrivi "dov'è il problema, cosa cambierai e come, e perché pensi che migliorerà le cose". Basarsi su dati come web analytics e heatmap riduce le congetture.
Crea la variante da testare
In base all'ipotesi, crea la versione modificata (B). Per poter capire cosa ha funzionato, limita le modifiche a ciò che copre una sola ipotesi. Controlla come appare sia su smartphone sia su desktop.
Stabilisci dati e durata necessari, poi avvia
Stima la dimensione del campione necessaria e la durata del test, decidi la percentuale di distribuzione del traffico e poi avvia. Subito dopo l'avvio, verifica che la divisione del traffico e la misurazione funzionino correttamente.
Valuta a periodo concluso
Guarda i risultati solo dopo aver raggiunto la durata e la quantità di dati decise in anticipo. Controlla la differenza nella metrica principale e se tale differenza rientra in ciò che la variabilità casuale potrebbe spiegare.
Applica il risultato e passa alla prossima ipotesi
Adotta ufficialmente la versione che ha fatto meglio e ripulisci le impostazioni del test. Anche se non c'è stata alcuna differenza, registra ciò che hai imparato e usalo per la prossima ipotesi.
Le sezioni seguenti spiegano più in dettaglio il ragionamento dietro ogni passaggio.
Come scegliere obiettivo e metriche
Conviene organizzare le metriche in base al loro ruolo.
- Metrica principale: la metrica che decide chi vince il test. Sceglierne una sola. Esempi: tasso di completamento dell'acquisto, tasso di completamento della richiesta di materiale, tasso di iscrizione gratuita
- Metriche secondarie: metriche che guardi per capire come si è mossa la metrica principale. Esempi: tasso di clic sul pulsante, tasso di avvio del modulo, profondità di scorrimento
- Metriche di controllo (guardrail): metriche che tieni d'occhio per assicurarti che nulla sia peggiorato. Esempi: frequenza di rimbalzo, velocità di caricamento della pagina, resi o disdette, numero di richieste di contatto
Il motivo per limitarsi a una sola metrica principale è che, se metti in fila molte metriche e consideri un successo il miglioramento di una qualsiasi, è probabile che tu scelga una metrica che sembrava migliore solo per puro caso. È il problema dei "confronti multipli", che torna in una sezione successiva.
Scegli una metrica principale il più vicina possibile ai risultati di business. Può capitare che il tasso di clic sul pulsante salga ma le iscrizioni no. Un testo che invita al clic porta più persone a premere il pulsante, ma se ciò che segue non corrisponde alle loro aspettative, se ne vanno.
D'altra parte, le metriche con poche occorrenze, come acquisti o contratti, richiedono più tempo per raccogliere dati sufficienti. Per i siti con traffico limitato, un'opzione è fare di una metrica di una fase precedente (come arrivare al modulo) la metrica principale. In tal caso è importante ricordare il presupposto che "anche se la metrica precedente migliora, il risultato finale non migliorerà necessariamente".
Come scrivere un'ipotesi: trasformare i dati di comportamento in un motivo per cambiare
Il successo di un A/B test dipende in larga misura dalla qualità dell'ipotesi. Se continui a provare idee senza un'ipotesi, finisci con una serie di test senza differenze e, anche quando una differenza c'è, non puoi costruirci sopra.
Scrivere l'ipotesi nella forma seguente riduce le lacune.
"Dal fatto che (un fatto osservato nei dati), pensiamo che (una supposizione sul problema). Quindi, se (facciamo questa modifica), (questa metrica) dovrebbe migliorare."
Come esempio, immagina la situazione seguente (ipotetica).
- Fatto: nella pagina dei prezzi, pochi visitatori scorrono abbastanza da raggiungere il pulsante di iscrizione
- Supposizione sul problema: il pulsante è troppo in basso, quindi anche i visitatori che vorrebbero iscriversi non lo trovano
- Modifica: inserire un pulsante di iscrizione anche subito sotto la tabella dei piani
- Metrica: tasso di completamento dell'iscrizione
Scriverla così permette, una volta arrivati i risultati, di chiedersi se "la supposizione era sbagliata o la modifica non è stata sufficiente".
I dati che possono alimentare un'ipotesi includono i seguenti.
- Web analytics: quali pagine hanno molti abbandoni, quali fonti di traffico hanno risultati bassi. Utili per capire quale "pagina" ha un problema
- Heatmap: fino a dove si legge la pagina, dove si clicca, se si clicca su elementi che non sono link. Utili per capire quale "punto" ha un problema
- Richieste di contatto e registri di vendita o assistenza: di cosa sono confusi e preoccupati i visitatori
- Sondaggi e interviste agli utenti: indizi su motivi che non emergono dai numeri
Una heatmap è uno strumento che sovrappone alla pagina il comportamento dei visitatori sotto forma di aree di colore più chiaro e più scuro (per tipi e modo di leggerle vedi Cos'è una heatmap?). Aiuta a individuare i punti problematici all'interno di una pagina, come "un pulsante importante non viene cliccato" o "molte persone smettono di leggere a metà". Per la divisione dei ruoli, in cui si trovano i problemi con una heatmap e si verifica la correzione con un A/B test, vedi Heatmap e A/B test: differenze e come usarli.
Quando hai più ipotesi, classificale su tre punti: "dimensione attesa dell'impatto", "solidità delle evidenze" e "impegno per realizzarle". Iniziare da quelle con impatto atteso elevato e impegno ridotto rende più facile andare avanti.
Capire la dimensione del campione
La dimensione del campione è la quantità di dati necessaria per il test, cioè il numero di visitatori che hanno visto ciascuna versione. In un A/B test la si stima prima di eseguirlo. Se i dati sono troppo pochi, capiterà più spesso di non trovare una differenza che esiste davvero e, anche quando per caso compare una differenza significativa, la sua entità tende ad apparire maggiore di quella reale.
La dimensione del campione necessaria dipende principalmente da questi quattro fattori.
- Tasso di conversione attuale: più è basso, più dati servono
- Entità della differenza che vuoi rilevare: più piccola è la differenza che vuoi trovare, più dati servono. La differenza minima che vuoi essere in grado di rilevare, accettando di non vedere niente di più piccolo, si chiama effetto minimo rilevabile (MDE)
- Livello di significatività: quanto sei disposto ad accettare l'errore di dichiarare "c'è una differenza" quando non c'è. Si usa comunemente il 5%
- Potenza statistica: la probabilità di trovare una differenza quando esiste davvero. Si usa comunemente l'80%
Tra questi, il secondo è quello con l'impatto maggiore. Quando la differenza che vuoi trovare si dimezza, la quantità di dati necessaria aumenta di circa 4 volte.
Ecco un esempio di calcolo per dare un'idea approssimativa. Sono i numeri approssimativi di visitatori necessari per ciascuna variante, ipotizzando un tasso di conversione attuale del 2,0% (calcolati con una formula standard per il confronto di due proporzioni, usando un test a due code, un livello di significatività del 5% e una potenza dell'80%).
| Miglioramento che vuoi rilevare (relativo) | Tasso di conversione dopo la modifica | Visitatori necessari per variante (circa) |
|---|---|---|
| +10% | 2,0% → 2,2% | circa 80.700 |
| +20% | 2,0% → 2,4% | circa 21.100 |
| +30% | 2,0% → 2,6% | circa 9.800 |
| +50% | 2,0% → 3,0% | circa 3.800 |
Questa tabella mostra due cose. Primo, confermare un piccolo miglioramento richiede più dati di quanto si possa pensare. Per confermare un miglioramento del 10% su una pagina con un tasso di conversione del 2,0% servirebbero più di 160.000 visitatori tra A e B messi insieme. Secondo, più grande è il miglioramento a cui punta una modifica, meno dati servono per valutarla.
Quando fai la stima, i calcolatori integrati negli strumenti di A/B test o i calcolatori di dimensione del campione disponibili online ti danno la risposta inserendo semplicemente i quattro valori. Non serve memorizzare la formula. Ciò che conta è decidere prima "quanto grande è la differenza che voglio trovare" e poi verificare se il traffico del tuo sito permette di arrivarci in un tempo realistico.
Se il numero necessario che stimi è troppo grande, ci sono opzioni diverse dal rinunciare ai test: concentrarti su una modifica che probabilmente produce una differenza maggiore, eseguire il test su una pagina con molto traffico oppure guardare una metrica più a monte nel funnel. La sezione "Cosa fare su un sito con poco traffico" spiega come.
Come decidere la durata del test
Stima la durata del test dividendo la dimensione del campione necessaria per il numero di persone che visitano ogni giorno la pagina testata.
Ecco un esempio. Supponi che la tabella qui sopra indichi che servono "circa 21.100 per variante". Diciamo che la pagina di destinazione riceve 1.000 visitatori al giorno e ipotizziamo che tutti siano inclusi nel test e divisi a metà tra A e B, così ogni variante ne riceve 500 al giorno. 21.100 ÷ 500 fa circa 42 giorni, cioè circa 6 settimane.
Nel decidere la durata, considera i punti seguenti oltre alla quantità di dati.
Usa settimane intere. Il comportamento dei visitatori cambia con il giorno della settimana. I giorni feriali possono essere dedicati alla ricerca per lavoro e il fine settimana agli acquisti personali, quindi tipo e obiettivo dei visitatori possono differire. Se termini dopo soli quattro giorni, da lunedì a giovedì, mancano le reazioni dei visitatori del fine settimana. Iniziare e finire nello stesso giorno della settimana, per multipli di 7 giorni, evita la distorsione dovuta al giorno della settimana.
Evita un periodo troppo breve. Anche sui siti con traffico molto elevato che raggiungono il numero necessario in pochi giorni, una regola pratica diffusa è eseguire il test per almeno 1 settimana, idealmente 2. Oltre alla distorsione dovuta al giorno della settimana, le reazioni possono essere migliori subito dopo una modifica solo perché è una novità (o peggiori perché i visitatori abituali ne restano disorientati).
Evita anche un periodo troppo lungo. Più a lungo dura un test, più disturbi si insinuano, come i cookie cancellati per cui la stessa persona vede una versione diversa, oppure stagioni e condizioni di mercato che cambiano. Se la stima supera di parecchio i 2 mesi, ti consigliamo di rivedere l'impostazione del test (l'entità della differenza da rilevare, la pagina di destinazione e la metrica).
Evita i periodi insoliti. I risultati di periodi in cui il comportamento dei visitatori è molto diverso dal solito, come grandi saldi o le festività di fine anno, potrebbero non valere per i periodi normali. A meno che tu non voglia verificare un'iniziativa specifica di quel periodo, è più sicuro evitarli.
Cos'è la significatività statistica? Spiegazione semplice di p-value e livello di confidenza
Quando il test termina, ottieni un risultato come "A è al 2,0%, B è al 2,4%". Quello che devi chiederti a questo punto è se questa differenza sia reale o solo casuale.
Anche se mostri esattamente la stessa pagina a due gruppi, i loro tassi di conversione non coincideranno quasi mai in modo esatto. Come lanciare una moneta 100 volte non dà sempre esattamente 50 teste, i numeri hanno una variabilità casuale. Serve quindi una procedura per verificare "se la differenza osservata rientra in ciò che la sola variabilità casuale potrebbe spiegare". Questo è il test di ipotesi statistico, e il termine per la sua conclusione è significatività statistica.
Cos'è un p-value?
In un test si parte dal presupposto che "non ci sia davvero alcuna differenza tra A e B". Poi si calcola la probabilità di osservare per caso una differenza almeno grande quanto quella osservata, se davvero non ci fosse alcuna differenza. Questa probabilità è il p-value.
- Un p-value piccolo → nell'ipotesi di assenza di differenza, una differenza così si verificherebbe di rado → l'ipotesi di assenza di differenza appare dubbia
- Un p-value grande → una differenza di questa entità compare spesso per caso anche quando non c'è alcuna differenza → non puoi dire che ci sia una differenza
Livello di significatività e livello di confidenza
La soglia che stabilisce quanto piccolo debba essere il p-value per concludere "c'è una differenza" si chiama livello di significatività. Per convenzione si usa comunemente il 5% (0,05). Quando il p-value scende sotto il livello di significatività, si dice che "c'è una differenza statisticamente significativa".
Sulle schermate degli strumenti di A/B test compaiono spesso indicazioni come "livello di confidenza del 95%" o "confidenza al 95%". Di solito significa che lo strumento giudica con un livello di significatività del 5% (il significato dell'indicazione varia da strumento a strumento, quindi consulta la documentazione del tuo).
Un livello di significatività del 5% è un accordo secondo cui "accettiamo fino al 5% di probabilità di dichiarare una differenza quando in realtà non c'è". In altre parole, se testi 20 modifiche che non hanno alcun effetto, in media 1 di esse risulterà "significativa". Una differenza significativa non è una prova di certezza; è un criterio per mantenere la probabilità di errore sotto un livello prestabilito.
Equivoci comuni sui p-value
Altri equivoci comuni includono i seguenti.
- "Non significativo" non significa "non c'è differenza": comprende anche la situazione in cui non ci sono dati sufficienti per dire se una differenza esista
- Una differenza significativa non ha necessariamente un'entità rilevante per il tuo business: con una quantità di dati molto grande, anche una differenza minuscola diventa significativa. Guarda anche l'entità della differenza
- Un p-value più piccolo non significa un effetto più grande: il p-value dipende anche dalla quantità di dati
Verifica con esempi di calcolo
Verifichiamo con numeri ipotetici. Supponi che 10.000 visitatori siano assegnati sia ad A sia a B.
- Esempio 1: A ha 200 conversioni (2,0%) e B ne ha 240 (2,4%). Il p-value è circa 0,054, appena sopra il livello di significatività del 5%. Anche se si vede una differenza relativa del 20%, con questa quantità di dati non puoi definirla "significativa"
- Esempio 2: A ha 200 conversioni (2,0%) e B ne ha 250 (2,5%). Il p-value è circa 0,017, sotto il livello di significatività del 5%
Con le stesse percentuali, la conclusione cambia se i dati sono meno. Se A e B avessero 1.000 visitatori ciascuna, con 20 conversioni (2,0%) per A e 24 (2,4%) per B, il p-value sarebbe circa 0,54. Significa che, anche senza alcuna differenza, uno scarto di questa entità compare per caso più della metà delle volte.
(Tutti questi sono esempi calcolati con un test a due code per la differenza tra due proporzioni. Per le valutazioni reali, segui il metodo usato dal tuo strumento.)
Guarda anche l'intervallo di confidenza
Un p-value tende a ridursi alla domanda sì/no "significativo o no", ma guardare l'intervallo di confidenza ti dà un'idea dell'entità della differenza. Un intervallo di confidenza è un intervallo entro cui si ritiene probabile che cada la vera differenza.
Nell'Esempio 1 qui sopra, la differenza nel tasso di conversione (B meno A) è di 0,4 punti percentuali e l'intervallo di confidenza al 95% risulta approssimativamente da −0,01 a +0,81 punti percentuali. Poiché l'intervallo attraversa per un soffio lo zero, puoi leggerlo come "B sembra migliore, ma non possiamo escludere che non ci sia alcuna differenza". Un intervallo ampio è un segnale che non hai ancora abbastanza dati.
Alcuni strumenti mostrano la "probabilità che B batta A"
Alcuni strumenti mostrano, al posto del p-value, un numero come "la probabilità che B batta A". Questo valore si basa su un approccio diverso chiamato statistica bayesiana, e i suoi presupposti e il suo significato differiscono da quelli di un p-value. Nessuno dei due è semplicemente giusto o sbagliato; sono scuole di pensiero diverse. Ciò che conta è verificare quale metodo usa il numero che stai guardando e non confonderli come se fossero numeri dello stesso tipo.
Come leggere i risultati e cosa fare dopo il test
Una volta concluso il periodo, controlla i risultati in quest'ordine.
- Se la divisione del traffico è andata come previsto: se hai impostato una divisione a metà, i conteggi dei visitatori di A e B sono molto sbilanciati? Se lo squilibrio è grande, potrebbe esserci un problema di divisione o di misurazione ed è pericoloso fidarsi dei risultati così come sono
- La differenza nella metrica principale e la sua significatività: la direzione della differenza, la sua entità, il p-value e l'intervallo di confidenza
- Le metriche di controllo: mentre la metrica principale migliorava, altri numeri importanti sono peggiorati?
- Le metriche secondarie: indizi per ragionare sul perché hai ottenuto questo risultato
I risultati ricadono in tre casi generali.
B era significativamente migliore. Adotta ufficialmente B. Continua a osservare i numeri per un po' dopo l'applicazione per confermare che l'andamento resti lo stesso del test.
B era significativamente peggiore. Resta con A. Non è un fallimento; il risultato è che hai fermato una modifica sbagliata prima di mostrarla a tutti. Riflettere sul perché fosse peggiore migliorerà la precisione della prossima ipotesi.
Non c'è stata una differenza significativa. Nell'A/B test, è uno degli esiti più comuni. In questo caso evita di "prolungare il test finché diventa significativo" dopo la fine del periodo previsto (la sezione successiva spiega perché). Quando non c'è differenza, distingui se l'ipotesi era sbagliata, la modifica era troppo piccola o i dati erano insufficienti. Se i risultati sono gli stessi in entrambi i casi, va bene scegliere quella più facile da gestire o più coerente con le linee guida del tuo marchio.
Anche guardare i risultati suddivisi per dispositivo o fonte di traffico (analisi per segmenti) è utile, ma richiede cautela. Più si affetta, meno dati ha ciascun gruppo e più facilmente si colgono differenze casuali. È più sicuro trattare le tendenze trovate suddividendo come "ipotesi da verificare in seguito", non come "conclusioni".
Infine, tieni traccia del test. Mettere in un unico posto ipotesi, modifiche, durata, quantità di dati, risultati e insegnamenti evita di ripetere lo stesso test e trasmette ciò che hai imparato anche quando cambia la persona responsabile.
Errori comuni nell'A/B test e come evitarli
Poiché il meccanismo dell'A/B test è semplice, affrontarlo nel modo sbagliato può produrre una conclusione errata accompagnata da numeri dall'aspetto plausibile. Ecco gli errori tipici.
| Errore comune | Qual è il problema | Soluzione |
|---|---|---|
| Controllare i risultati ripetutamente e fermarsi non appena diventano significativi | L'errore di definire "significativa" una differenza casuale diventa più frequente del livello di significatività impostato | Stabilisci in anticipo dati e durata necessari e valuta dopo averli raggiunti |
| Cambiare molti elementi insieme | Anche se c'è una differenza, non si capisce cosa abbia funzionato | Limita le modifiche a ciò che copre una sola ipotesi |
| Un periodo di test breve | I risultati sono influenzati dalla distorsione del giorno della settimana e da reazioni temporanee subito dopo la modifica | Esegui per multipli di 7 giorni, almeno 1-2 settimane |
| Giudicare con poco traffico | La variabilità casuale è grande e le conclusioni sono instabili | Stima in anticipo il numero necessario e ripensa l'impostazione se non basta |
| Distorsione da giorno della settimana o stagione | I risultati dei soli giorni feriali o del solo periodo di saldi non valgono per i periodi normali | Inizia e finisci nello stesso giorno della settimana ed evita i periodi insoliti |
| Mettere in fila molte metriche e molte varianti, poi scegliere solo quella buona | Più confronti fai, più è probabile che qualcosa sembri buono per caso | Scegli una sola metrica principale e limita il numero di varianti |
| Testare senza un'ipotesi | Anche con dei risultati, non resta nessun insegnamento su cui costruire | Scrivi fatto, problema, modifica e metrica prima di iniziare |
| Cambiare impostazioni o varianti a metà | La natura dei dati cambia prima e dopo, quindi non sono confrontabili | Se vuoi cambiare qualcosa, ferma tutto e ricomincia come un nuovo test |
Quello a cui prestare particolare attenzione è il primo, il problema del "peeking" (sbirciare). Controllare l'avanzamento intermedio di un test quasi ogni giorno è di per sé necessario per individuare tempestivamente i problemi. Il problema è fermare il test e dichiarare la vittoria nel momento in cui i risultati intermedi mostrano una differenza significativa.
Un p-value oscilla su e giù man mano che si accumulano i dati. Anche quando non c'è davvero alcuna differenza, se controlli molte volte, a un certo punto può capitare per caso che scenda sotto il livello di significatività. Se ti fermi in quel momento, l'"errore di dichiarare una differenza quando non c'è" diventa più frequente del 5% che avevi pianificato. La regola di aspettare per valutare di aver raggiunto la quantità di dati e la durata decise in anticipo esiste per prevenire questo errore.
Alcuni strumenti hanno anche un metodo di valutazione progettato in modo che gli errori non aumentino anche valutando a metà test (come il cosiddetto sequential testing). In quel caso, segui la procedura indicata dallo strumento.
Una nota anche su "cambiare molte cose insieme". Anche se vince una B che cambia titolo, immagine e pulsante tutti insieme, non saprai quale elemento ha funzionato. È possibile che il titolo fosse buono ma l'immagine lo abbia frenato. Tuttavia, se il tuo obiettivo è confrontare una pagina completamente ricostruita con quella attuale, cambiare le cose insieme ha senso. In tal caso, accetta che "non saprai quale elemento ha funzionato" e confrontale con qualcosa come un test di reindirizzamento.
Come ragionare su percentuale di distribuzione e ripartizione A/B
Quando configuri un A/B test compaiono due impostazioni in "percentuale". È facile confonderle, quindi capiscile separatamente.
- Percentuale di distribuzione (la quota di visitatori inclusa nell'esperimento): quale percentuale di tutti i visitatori è inclusa nel test. I visitatori esclusi dal test vedono semplicemente la pagina originale
- Ripartizione A/B: in quale proporzione i visitatori inclusi nel test sono divisi tra A e B
Ad esempio, se imposti la percentuale di distribuzione al 20% e la ripartizione A/B a metà e metà, l'80% di tutti i visitatori è fuori dal test e vede la pagina originale, il 10% è nel test e vede A, e il 10% vede B.
Una ripartizione A/B a metà e metà è l'impostazione predefinita. A parità di visitatori, dividere in parti uguali permette di raccogliere più in fretta i dati necessari. Puoi anche dare a B una quota minore, ma devi aspettare che il lato più piccolo raccolga dati sufficienti, quindi la durata si allunga.
Scegli la percentuale di distribuzione bilanciando rischio e durata. Abbassare la percentuale di distribuzione riduce il numero di visitatori colpiti se la modifica si rivela controproducente. In cambio, nel test ci sono meno visitatori, quindi servono più tempo per raccogliere i dati necessari. Un approccio comune è avviare con una percentuale di distribuzione bassa una grande modifica dall'impatto imprevedibile, verificare che non ci siano problemi e allargare se tutto va bene. Per una modifica con poco impatto, come sostituire alcune parole, è più sensato includere tutti fin dall'inizio e accorciare la durata.
La differenza tra le due percentuali è spiegata in Percentuale di distribuzione e ripartizione A/B nell'A/B test, e il ragionamento progettuale è trattato in Perché percentuale di distribuzione e ripartizione A/B dovrebbero essere impostazioni separate.
A/B test e SEO: limitare l'impatto sulla ricerca
Una preoccupazione frequente è se "l'A/B test danneggi il mio posizionamento sui motori di ricerca". Google pubblica indicazioni su come eseguire i test limitando l'impatto sulla ricerca, nella documentazione di Google Search Central. I punti chiave sono i seguenti.
- Non fare cloaking: mostrare intenzionalmente contenuti diversi ai crawler dei motori di ricerca (i programmi che visitano e leggono le pagine) e ai visitatori umani si chiama cloaking e viola le norme antispam. Vale che sia in corso un test oppure no. Evita qualsiasi configurazione che mostri una versione particolare solo ai crawler
- Usa rel="canonical" per i test su URL separati: quando testi su più URL, come in un test di reindirizzamento, aggiungi rel="canonical" (un tag che indica ai motori di ricerca l'URL preferito) agli URL di test per segnalare che l'URL originale è la pagina da privilegiare. A questo scopo Google consiglia rel="canonical" rispetto a noindex
- Usa reindirizzamenti temporanei (302) per il reindirizzamento: quando reindirizzi dall'URL originale a un URL di test, usa il 302, che segnala un reindirizzamento temporaneo, anziché il 301, che ne segnala uno permanente. Si dice che vada bene anche un reindirizzamento JavaScript
- Esegui il test solo per il tempo necessario: una volta raccolti dati sufficienti, concludi il test e rimuovi gli URL di test, gli script e così via il prima possibile. Google spiega che eseguire un test più a lungo del necessario potrebbe essere interpretato come un tentativo di ingannare i motori di ricerca
In altre parole, non lasciare test in esecuzione è importante non solo per la statistica ma anche per la ricerca. Porta a termine l'intero percorso: ripulisci i test conclusi e applica al sito stesso la versione che hai adottato.
Nota che quanto presentato qui è una panoramica delle indicazioni pubblicate da Google. L'effetto sul posizionamento varia da sito a sito, quindi prima di eseguire un test che comporta una grande modifica ti consigliamo di controllare anche il documento originale e la documentazione del tuo strumento.
Cosa fare su un sito con poco traffico
Come abbiamo visto nella sezione sulla dimensione del campione, l'A/B test richiede una discreta quantità di dati. Quindi l'A/B test è inutile per i siti con poche migliaia di visitatori al mese? Non necessariamente. Cambiare approccio può darti più elementi su cui basarti.
Testa modifiche grandi. Più grande è la differenza che vuoi trovare, meno dati servono. Invece di piccole modifiche come ritoccare il testo di un pulsante, concentrati su modifiche che possono produrre una grande differenza: cambiare il richiamo principale, riorganizzare la struttura della pagina o tagliare drasticamente i campi di un modulo.
Esegui i test su pagine con molto traffico. Anche se il sito nel complesso ha poco traffico, dovrebbero esserci pagine in cui si concentrano i visitatori. Scegli i punti con più visitatori, come la home page o le pagine che ricevono traffico dalle pubblicità.
Usa una metrica di una fase precedente. Acquisti e contratti sono pochi, quindi rilevare una differenza richiede tempo. Fare della metrica principale un'azione più frequente e precedente, come "arrivare al modulo" o "andare alla pagina dei prezzi", mantiene bassa la quantità di dati necessaria. Tieni solo presente che un miglioramento di una metrica precedente non porta necessariamente a un miglioramento del risultato finale.
Limitati a due varianti. Aggiungerne una terza e una quarta riduce i dati per variante. Finché il traffico è basso, confronta solo A e B.
Imposta la percentuale di distribuzione al 100% e la ripartizione A/B a metà e metà. Restringere il pubblico o usare una ripartizione non uniforme allunga la durata.
Concediti un periodo più lungo e accetta i limiti se non basta ancora. Se non riesci a raggiungere il numero necessario nemmeno concedendo circa 4-8 settimane, devi anche decidere di non insistere nel chiudere la questione con un A/B test.
Quando l'A/B test non è adatto, altri metodi possono aiutare.
- Osservare il comportamento con le heatmap: anche con poco traffico, puoi farti un'idea di "dove le persone non leggono" e "dove non cliccano"
- Chiedere direttamente agli utenti: far usare lo schermo a poche persone mentre osservi dove si bloccano fa emergere molti problemi
- Correggere i problemi evidenti senza testare: link rotti, testo difficile da leggere, pulsanti che non funzionano e simili, per i quali è difficile immaginare che correggerli peggiori le cose, non hanno bisogno di attendere una verifica
Tipi di strumenti per l'A/B test e come sceglierli
Per eseguire A/B test serve uno strumento che gestisca la divisione del traffico, il cambio di ciò che viene mostrato, la misurazione e la reportistica. Per come funzionano, ce ne sono due tipi principali.
Lato client
- Come funziona: aggiungi un tag (un breve frammento di codice per la misurazione) alla pagina e una parte della pagina viene riscritta nel browser del visitatore
- Di chi se ne occupa principalmente: marketer e personale web. Molti strumenti permettono di creare le modifiche con operazioni a schermo
- Adatto a: modifiche visive come testi, immagini, colori e layout
- Attenzione a: può verificarsi uno "sfarfallio", per cui per un istante si vede la versione originale prima della riscrittura
Lato server
- Come funziona: il codice sul server cambia ciò che viene mostrato a ciascun visitatore
- Di chi se ne occupa principalmente: ingegneri. Sono necessarie modifiche al codice
- Adatto a: modifiche che coinvolgono l'elaborazione back-end, come il calcolo dei prezzi, il funzionamento di ricerca o ordinamento e le funzioni delle app
- Attenzione a: configurazione e gestione richiedono impegno di sviluppo
Per l'uso che questo articolo ipotizza, provare titoli e pulsanti su pagine web, gli strumenti lato client sono i primi candidati.
Nella scelta di uno strumento, controlla i punti seguenti.
- Se puoi creare le modifiche con operazioni a schermo o devi scrivere codice
- Quale metodo statistico usa per la valutazione e come mostra i risultati
- Se puoi impostare separatamente la percentuale di distribuzione e la ripartizione A/B
- Se supporta i test di reindirizzamento
- Da cosa dipende il prezzo (numero di visitatori, numero di eventi tracciati, numero di utenti e così via)
- Se puoi consultarlo insieme ai dati che usi per costruire le ipotesi, come le heatmap
La fine di Google Optimize
Google Optimize, ampiamente usato come strumento gratuito per l'A/B test, è stato dismesso a settembre 2023. I siti che usavano Google Optimize hanno dovuto passare ad altri strumenti.
Oggi esistono varie opzioni: strumenti dedicati all'A/B test come Optimizely, VWO e AB Tasty; strumenti che combinano heatmap e A/B test, come i giapponesi Ptengine e SiTest; e piattaforme di sperimentazione per sviluppatori. Le funzioni e il budget necessari variano molto con le dimensioni del tuo sito, quindi è importante scegliere ciò che si adatta al tuo uso. Per le differenze di fasce di prezzo e approcci tra i principali strumenti, vedi Panorama degli strumenti di A/B test 2026.
Continua a migliorare combinando heatmap e web engagement
L'A/B test rende di più se combinato con altri strumenti che se usato da solo.
Il flusso di miglioramento è un ciclo ripetuto di "individuare → creare una correzione → verificare".
- Individuare: usa il web analytics per identificare le pagine con problemi e le heatmap per individuare con precisione i punti problematici all'interno della pagina
- Creare una correzione: formula un'ipotesi dal problema trovato e crea la modifica
- Verificare: usa un A/B test per controllare se la modifica migliora davvero i risultati
- Applicare e proseguire: applica la versione che ha fatto meglio e osserva di nuovo con una heatmap la pagina modificata
Guardare una heatmap dopo l'arrivo dei risultati dell'A/B test è utile. Quando vince B, controllare come è cambiato il comportamento dei visitatori (se le persone leggono più a fondo, se i punti in cui cliccano si sono spostati) ti dà indizi sul "perché era migliore" e porta alla prossima ipotesi.
L'approccio dell'A/B test si applica così com'è anche alle iniziative di web engagement, in cui invece di cambiare la pagina stessa mostri un messaggio in un popup o in una barra fissa. Che tu confronti mostrare o non mostrare, il testo o i tempi di visualizzazione, il principio è lo stesso: dividere i visitatori in modo casuale e confrontare nello stesso periodo. Le basi del web engagement sono spiegate in Cos'è il Web Engagement?.
Informazioni su HeatMapX
HeatMapX è uno strumento che permette di misurare le heatmap aggiungendo un tag al tuo sito, e puoi iniziare con il piano gratuito Free (per i dettagli dei piani vedi la pagina dei prezzi). La funzione di A/B test viene rilasciata in modo graduale. Inizia usando le heatmap per capire come viene visto il tuo sito: avere già un'ipotesi su dove sperimentare ti permette di muoverti rapidamente quando inizierai con l'A/B test.
Se vuoi confrontare gli strumenti di heatmap con altri prodotti prima di scegliere, vedi anche il Confronto degli strumenti di heatmap.
FAQ sull'A/B test
Cos'è l'A/B test, in parole semplici?
È un metodo in cui si mostrano ai visitatori in modo casuale due versioni di una pagina nello stesso periodo e si confronta con i numeri quale funziona meglio. A differenza del confronto prima/dopo una modifica, permette di verificare l'effetto di una modifica separandolo da altri fattori come stagioni e pubblicità.
Quanto deve durare un A/B test?
Stimalo dividendo la dimensione del campione necessaria per il numero di visitatori al giorno. Per evitare la distorsione dovuta al giorno della settimana, usa multipli di 7 giorni; una regola pratica diffusa è eseguire il test per almeno 1-2 settimane. Anche se un sito con molto traffico raggiunge il numero necessario in pochi giorni, ti consigliamo di proseguire per una settimana. Al contrario, se la stima supera di parecchio i 2 mesi, rivedi l'impostazione.
Di quanto traffico ho bisogno per eseguire un A/B test?
Non esiste un riferimento unico. Dipende dal tuo tasso di conversione attuale e dall'entità della differenza che vuoi rilevare. Nell'esempio di calcolo di questo articolo, confermare un miglioramento relativo del 20% su una pagina con un tasso di conversione del 2,0% richiedeva circa 21.100 visitatori per variante. Se il tuo traffico è basso, puoi ridurre il numero necessario concentrandoti su modifiche più grandi o usando una metrica di una fase precedente.
Cosa devo fare se non c'è una differenza significativa?
Evita di prolungare il test finché diventa significativo dopo il periodo previsto. Registra che "questa modifica non ha mostrato una differenza dell'entità che volevamo rilevare" e riesamina se l'ipotesi era sbagliata o la modifica era troppo piccola. Se i risultati sono gli stessi in entrambi i casi, va bene scegliere quella più facile da gestire. Nessuna differenza significativa non è un fallimento; è un tipo di risultato.
Se il p-value è inferiore a 0,05, posso dire che B è migliore?
No. Un p-value è "la probabilità di osservare per caso una differenza almeno grande quanto quella osservata, se davvero non ci fosse alcuna differenza", non "la probabilità che B sia migliore". Valutando con un livello di significatività del 5%, circa 1 modifica su 20 senza alcun effetto mostrerà comunque una differenza significativa. Controlla anche l'entità della differenza, l'intervallo di confidenza e le metriche di controllo e, per le modifiche importanti, continua a osservare i numeri dopo averle applicate.
L'A/B test danneggia la SEO?
Google pubblica indicazioni secondo cui l'impatto sulla ricerca può essere limitato se le si segue. I quattro punti chiave sono: non mostrare ai crawler e alle persone contenuti diversi, aggiungere rel="canonical" nei test su URL separati, usare il 302 per i reindirizzamenti e concludere il test e ripulire le impostazioni una volta trascorso il periodo necessario. Per i dettagli, vedi la sezione "A/B test e SEO" qui sopra.
Riepilogo: inizia con una sola ipotesi
L'A/B test è un metodo che divide i visitatori in modo casuale e li confronta nello stesso periodo, per poter verificare l'effetto di una modifica separandolo da altri fattori. Ecco i punti chiave di questo articolo.
- Come funziona: assegna i visitatori in modo casuale, mostra entrambe le versioni nello stesso periodo e continua a mostrare la stessa versione alla stessa persona. Questo restringe la causa di qualsiasi differenza a "ciò che hai cambiato"
- Come procedere: 6 passaggi di obiettivo e metrica → ipotesi → creazione della variante → esecuzione → valutazione → applicazione. Stabilisci metrica, quantità di dati, durata e criteri di valutazione prima di avviare
- Dati e durata: più piccola è la differenza che vuoi confermare, più dati servono. Usa multipli di 7 giorni, almeno 1-2 settimane
- Significatività: un criterio per capire se una differenza è difficile da spiegare con il caso. Un p-value non è "la probabilità che B stia vincendo" e "non significativo" non significa "non c'è differenza"
- Evitare gli errori: non fermarti sui risultati intermedi, limita le modifiche a ciò che copre una sola ipotesi e usa una sola metrica principale
- Quando il traffico è basso: concentrati su modifiche grandi, pagine con molto traffico e metriche di una fase precedente, e colma le lacune con osservazione e interviste se non basta
Come passo successivo, ti consigliamo di scegliere una pagina del tuo sito che sia la più vicina ai risultati e riceva molti visitatori, e di iniziare controllando con i dati i problemi di quella pagina. Usa heatmap e web analytics per individuare "dove sembra esserci un problema", poi scrivi un'ipotesi che espliciti i quattro punti: fatto, problema, modifica e metrica. Con un'ipotesi in mano, puoi stimare i dati e la durata necessari e progettare il tuo primo A/B test.
Un singolo test non cambierà necessariamente i tuoi numeri in modo drastico. Ma accumulare un fatto verificato alla volta è la base per migliorare un sito senza affidarsi all'intuito.