In sintesi: con potenza dell'80% e significatività al 5%, la dimensione campionaria per variante si calcola come n = 16σ²/δ² (Kohavi, Deng e Vermeer, 2022). Per un sito B2B che converte al 2% e vuole rilevare un miglioramento relativo del 10% servono circa 157.000 visitatori totali: con 5.000 visite al mese sono 31 mesi di test. Su 4.964 effetti misurati in 2.766 esperimenti reali, il tasso di falsa scoperta è tra il 18% e il 25% a significatività 5%, perché circa il 70% degli effetti testati è realmente nullo (Berman e Van den Bulte, Management Science, 2022). Il 73% degli sperimentatori interrompe il test appena l'effetto positivo tocca il 90% di confidenza, il che gonfia ulteriormente i falsi positivi.
L'A/B test gode di una reputazione che si è guadagnato altrove. Funziona benissimo dove è nato, cioè su proprietà con decine di milioni di utenti, e viene raccomandato a siti che di utenti ne hanno cinquemila al mese. In mezzo c'è un problema di aritmetica che raramente viene messo per iscritto, e che si può risolvere con una formula sola.
Quanto traffico serve davvero per un A/B test
La formula di riferimento è pubblicata nel paper di Ron Kohavi, Alex Deng e Lukas Vermeer presentato a KDD nel 2022. Con potenza dell'80% e significatività del 5% bidirezionale, il numero di utenti per ciascuna variante è n = 16σ²/δ², dove σ² è la varianza della metrica e δ la differenza minima che vuoi essere in grado di rilevare (Kohavi, Deng e Vermeer, 2022). Per una conversione, la varianza è semplicemente p(1−p).
Applicandola, il traffico totale necessario per rilevare un miglioramento relativo, sommando le due varianti, è questo.
| Conversione di partenza | Per rilevare +5% | Per rilevare +10% | Per rilevare +20% |
|---|---|---|---|
| 1% | 1.267.200 | 316.800 | 79.200 |
| 2% | 627.200 | 156.800 | 39.200 |
| 3% | 413.867 | 103.467 | 25.867 |
| 5% | 243.200 | 60.800 | 15.200 |
| 10% | 115.200 | 28.800 | 7.200 |
I numeri della tabella li abbiamo calcolati noi applicando la formula, con potenza 80% e alfa 0,05 bidirezionale. La formula e le assunzioni vengono dal paper, i valori sono derivati.
Gli stessi autori sono espliciti sulla soglia di praticabilità: gli A/B test servono a rilevare effetti di grandezza ragionevole quando si dispone di almeno migliaia di utenti attivi, preferibilmente decine di migliaia. Sotto quella soglia il test si può fare lo stesso, e in genere non dirà nulla.
Cosa succede quando il campione è troppo piccolo
Nel loro paper, Kohavi e colleghi riportano un caso emblematico. Una conversione di partenza del 3,7%, l'obiettivo di rilevare un miglioramento relativo del 10%, e una dimensione campionaria necessaria di 41.642 utenti per variante. Il test reale ne aveva circa 80 per variante, con una potenza statistica del 3%.
Un test così fa danni oltre a non servire. Quando la potenza è bassa, un risultato deve essere molto grande per superare la soglia di significatività, quindi qualunque risultato significativo emerga sarà per costruzione una sovrastima dell'effetto vero. Il fenomeno ha un nome, winner's curse, ed è documentato: quando la potenza scende sotto il 10%, la probabilità di sbagliare persino il segno dell'effetto si avvicina al 50% (Kohavi, Deng e Vermeer, 2022, che riprendono Gelman e Carlin, 2014).
Chi ha poco traffico e testa comunque ottiene quindi la combinazione peggiore: raramente trova qualcosa, e quando lo trova ha buone probabilità che sia un numero gonfiato o rovesciato. Poi quel numero finisce in una slide.
Quanti risultati significativi sono falsi
Ron Berman e Christophe Van den Bulte hanno analizzato 4.964 effetti provenienti da 2.766 esperimenti reali condotti su Optimizely e pubblicato i risultati su Management Science. Il tasso di falsa scoperta risulta compreso tra il 18% e il 25% a significatività del 5% bidirezionale, e tra il 28% e il 37% al 10% (Berman e Van den Bulte, 2022).
La causa principale sorprende. Non è la potenza insufficiente, che pure negli esperimenti analizzati si aggirava tra il 65% e il 70%. È che circa il 70% degli effetti testati è realmente nullo: la maggior parte delle idee che vengono messe in test semplicemente non funziona. Gli autori mostrano che anche portando la potenza al 100% il tasso di falsa scoperta resterebbe intorno al 20%, perché il problema sta a monte, nella qualità delle ipotesi.
Il dato converge con quanto pubblicato dalle grandi piattaforme di sperimentazione. Su Microsoft circa un terzo delle idee testate migliora la metrica per cui era stata progettata. Su Bing la quota scende al 15%, e su Booking, Google Ads e Netflix intorno al 10% (Kohavi, Deng e Vermeer, 2022). Gli autori ne traggono una conclusione che vale la pena riportare per intero: chi conduce esperimenti al 20% di potenza con tassi di successo di quel tipo ottiene che più della metà dei risultati statisticamente significativi sono falsi positivi.
Il problema di guardare i risultati troppo presto
C'è un secondo meccanismo che degrada i risultati, e riguarda il comportamento di chi il test lo segue. Su 2.101 esperimenti in cui era possibile monitorare l'effetto giorno per giorno, circa il 73% si è fermato proprio nel momento in cui un effetto positivo raggiungeva il 90% di confidenza (Berman, Pekelis, Scott e Van den Bulte, working paper). Fermarsi quando il numero piace è una decisione che sembra ragionevole e che invalida il calcolo di significatività, perché quel calcolo presuppone una dimensione campionaria fissata in anticipo.
Optimizely stessa ha quantificato l'effetto prima di introdurre la propria correzione statistica: controllando i risultati ogni 500 visitatori la probabilità di una dichiarazione falsa era del 26%, ogni 1.000 visitatori del 20%, e controllando dopo ogni singolo visitatore saliva al 57% (Optimizely, 2015). È un vendor che descrive il problema risolto dal proprio prodotto, quindi va letto con la dovuta cautela, ma la direzione coincide con la letteratura accademica e l'ammissione di parte resta utile.
Il caso scomodo di un sito che va bene
Vale la pena applicare la tabella a un caso reale. Una PMI nostra cliente riceve circa 4.500 click organici al mese, con posizione media intorno alla settima e un CTR del 2,8%, numeri che nel suo settore sono buoni. Ipotizzando una conversione al 3% e volendo rilevare un miglioramento relativo del 20%, che è un salto molto ampio, servirebbero 25.867 visite: quasi sei mesi di test contando solo quel canale. Per un più realistico 10% ne servirebbero 103.467, poco meno di due anni, durante i quali il sito sarà cambiato per altri motivi e il confronto avrà perso significato.
Quel cliente sta sopra la media dei siti che vediamo, ed è comunque fuori portata per un test classico. Questo è il motivo per cui su volumi simili non proponiamo A/B test sul colore di un bottone: proporli sarebbe vendere una misurazione che non può misurare. Una nota a margine che ci diverte, dato che è il paradosso di tutta questa letteratura: gli unici esperimenti davvero solidi sulla velocità e sulle conversioni, quelli di Bing e Google, sono stati possibili proprio perché nessuno dei siti a cui vengono citati come prova avrebbe mai avuto il traffico per replicarli.
Cosa facciamo quando il traffico non basta
La prima cosa è cambiare l'unità di misura. Su volumi bassi conviene testare cambiamenti grandi invece che micro-ottimizzazioni, perché la tabella mostra che un effetto del 20% richiede sedici volte meno traffico di un effetto del 5%. Riscrivere un'offerta, cambiare la struttura di una pagina o sostituire il meccanismo di contatto sono interventi che possono produrre differenze rilevabili; spostare un bottone non lo è.
La seconda è accettare metodi diversi dal test A/B classico. La ricerca qualitativa su pochi utenti, la revisione dei percorsi di navigazione, l'analisi dei punti di abbandono nei form e i test su metriche intermedie più frequenti della conversione finale danno indicazioni utilizzabili senza pretendere di essere prove statistiche. Il pericolo sta nel presentarle come tali, ed è esattamente lì che nasce buona parte della fuffa di settore.
Domande frequenti
Quanto traffico serve per un A/B test
Dipende dalla conversione di partenza e dalla differenza che vuoi rilevare. Con una conversione al 2% e un obiettivo di miglioramento relativo del 10%, servono circa 157.000 visitatori totali. Con conversione al 5% e obiettivo del 20%, ne bastano circa 15.200.
Posso fermare il test appena vedo un risultato positivo
Fermandosi al primo risultato favorevole si invalida il calcolo di significatività, che presuppone una dimensione campionaria decisa in anticipo. Le stime disponibili indicano che controllare i risultati con alta frequenza porta la probabilità di dichiarare vincente una variante che non lo è ben oltre il 20%.
Se ho poco traffico devo rinunciare a ottimizzare
Rinunci al test A/B come strumento di prova, non all'ottimizzazione. Con volumi bassi conviene testare cambiamenti di ampiezza maggiore e affidarsi anche a metodi qualitativi, dichiarando che sono indizi e non dimostrazioni.
Perché così tanti test non danno risultati
Perché la maggior parte delle idee testate non funziona. Nei dati analizzati da Berman e Van den Bulte circa il 70% degli effetti sottoposti a test risulta realmente nullo, e le grandi piattaforme riportano tassi di successo compresi tra il 10% e il 33%.
Fonti e riferimenti
- Kohavi, R., Deng, A., Vermeer, L. (2022). A/B Testing Intuition Busters: Common Misunderstandings in Online Controlled Experiments. KDD '22, ACM.
- Berman, R., Van den Bulte, C. (2022). False Discovery in A/B Testing. Management Science, 68(9), 6762-6782.
- Berman, R., Pekelis, L., Scott, A., Van den Bulte, C. p-Hacking and False Discovery in A/B Testing. SSRN working paper.
- Johari, R., Koomen, P., Pekelis, L., Walsh, D. (2017). Peeking at A/B Tests: Why It Matters, and What to Do About It. KDD '17, ACM.
- Optimizely (2015). Statistics for the Internet Age: The Story Behind Our New Stats Engine. Optimizely.
- Kohavi, R., Tang, D., Xu, Y. (2020). Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press.
- Kohavi, R. et al. (2013). Online Controlled Experiments at Large Scale. KDD '13, ACM.
