Corso
Introduzione alla statistica
4 ore
163.9K
Benvenuto alla settima parte della nostra serie mensile "dati senza segreti". Nell’ambito del Mese della Cultura dei Dati, questa serie chiarisce i concetti chiave del mondo dei dati, risponde alle domande che potresti esitare a porre e si diverte lungo il percorso. Se vuoi partire dall’inizio, leggi il primo articolo della serie: Che cos’è un dataset?
In questo articolo, esploreremo uno dei principali casi d’uso nel mondo dei dati: l’A/B testing. Anche se potresti non averne mai sentito parlare, se hai usato un servizio o un sito digitale, è molto probabile che tu stesso sia stato parte di un test A/B. Nel post illustreremo che cosa sono i test A/B, come vengono generalmente impostati e alcuni esempi notevoli di test A/B da servizi popolari come Airbnb, Netflix e Gojek.
Che cos’è l’A/B testing?
L’A/B testing confronta le prestazioni di due versioni della stessa cosa, spesso una pagina web o un prodotto digitale. Più in generale, l’A/B testing è un framework che ti consente di impostare esperimenti in fretta, analizzarne i risultati con metodi statistici e prendere decisioni sulla base di tali risultati.
L’A/B testing aiuta i team a validare domande chiave come “Cambiare il colore di un pulsante aumenta il numero di clic?” oppure “Usare una locandina di un film invece di un’altra aumenta il numero di visualizzazioni di quel titolo?”.
L’A/B testing stabilisce la causalità. Se una home page con un pulsante rosso genera più clic rispetto a un pulsante blu–a parità di tutte le altre condizioni–possiamo concludere che il pulsante rosso causa l’aumento dei clic. Inutile dirlo: i test A/B sono uno strumento prezioso per i team guidati dai dati che vogliono ottimizzare il proprio prodotto.
Come funziona l’A/B testing?
L’A/B testing fa miracoli, ma solo se si seguono i passaggi con attenzione. Ecco alcune fasi fondamentali per progettare un A/B test di successo:
1. Formula un’ipotesi
Un’ipotesi descrive come il cambiamento di una variabile di test influisce su una metrica di performance in una popolazione. Un esempio di ipotesi è il seguente:
“Cambiare il colore del pulsante aggiungi-al-carrello da blu a rosso (la variabile di test) aumenterà il tasso di conversione (la metrica di performance) su tutti gli utenti desktop (la popolazione)”.
Una trappola comune è avere più variabili di test in un singolo esperimento, rendendo difficile isolare l’impatto di ciascun cambiamento sulla metrica.
2. Crea le versioni di controllo e trattamento della tua variabile di test
Il termine “A/B” nell’A/B testing si riferisce alle due versioni dell’elemento che stai testando.
Nel linguaggio comune, il controllo è la “Versione A” del prodotto o la versione esistente della variabile di test. La “Versione B” è invece il trattamento, ovvero la nuova versione della variabile di test.
Usando lo stesso esempio del pulsante aggiungi-al-carrello, il controllo (Versione A) è l’attuale pulsante blu, mentre il trattamento (Versione B) è il nuovo pulsante rosso.
3. Determina la dimensione del campione per la significatività statistica
A seconda del caso d’uso e del numero di utenti di un servizio, può essere impossibile eseguire un A/B test sull’intera popolazione. La migliore alternativa è eseguirlo su un sottoinsieme, ossia un campione di utenti. Per farlo, di solito si determina un campione statisticamente significativo abbastanza ampio da poter trarre conclusioni sulla popolazione.
Per esempio, tornando al nostro pulsante aggiungi-al-carrello, il test A/B verrebbe eseguito su una frazione degli utenti desktop invece che su tutti.
4. Seleziona gruppi randomizzati per controllo e trattamento
Ogni utente nell’esperimento visualizza la versione A oppure la versione B. Come decidiamo se un utente riceve il controllo o il trattamento?
Per garantire che il test sia corretto, di solito si suddivide il campione nei gruppi di trattamento e di controllo in modo casuale (cioè ogni utente ha la stessa probabilità di finire nel trattamento o nel controllo) e in modo equilibrato (cioè i gruppi di trattamento e controllo hanno la stessa dimensione).
5. Esegui il test e analizza i risultati
Una volta preparato il terreno, l’A/B test è pronto a partire. Raggiunta una dimensione del campione sufficientemente grande, si possono analizzare i risultati.
Per analizzarli, calcoliamo la differenza nella metrica di test–il tasso di conversione–tra i gruppi di trattamento e controllo. Se la differenza è sufficientemente significativa, possiamo concludere con fiducia che una versione è davvero migliore dell’altra.
6. Itera, itera, itera
Se dal test A/B emerge un chiaro vincitore, la versione migliore può andare online! Chi esegue i test analizza anche più a fondo i dati per capire meglio il comportamento degli utenti. Un A/B test è solo una piccola parte del processo di ottimizzazione. Le lezioni apprese eseguendo test A/B possono ispirare nuove idee e ipotesi la cui validità può essere, a sua volta, testata.
Esempi di A/B testing
La maggior parte delle aziende tech ha grande familiarità con i test A/B. Anzi, probabilmente sei già stato nel gruppo di controllo o di trattamento di un A/B test eseguito da un servizio che usi. Ecco alcuni esempi notevoli di test A/B nel mondo reale da parte di alcuni dei siti e servizi più popolari di oggi:
1. A/B testing in Airbnb
Alcuni ottimi esempi di A/B test provengono da Airbnb. Airbnb ha sempre avuto una forte cultura della sperimentazione e dei test A/B. In questo post del blog del 2014, approfondiscono come hanno testato la modifica del valore massimo del filtro prezzo nella pagina di ricerca da 300 $ a 1000 $.
Airbnb testa modifiche al filtro del prezzo massimo
In un altro esempio, il team presenta una homepage riprogettata e discute di come abbia influito sull’utilizzo della piattaforma Airbnb. Pur essendo leggermente tecnico, l’articolo è un ottimo esempio di come i test A/B siano stati fondamentali per il successo di Airbnb come prodotto.
Airbnb usa l’A/B testing per scegliere un’interfaccia utente migliore
2. A/B testing in Netflix
Attraverso una serie di test A/B, Netflix ha selezionato le migliori grafiche per vari titoli e ha chiaramente aumentato il numero di ore di streaming. Un piacevole effetto collaterale dei test A/B è che rivelano profonde intuizioni sul comportamento e l’esperienza degli utenti. Ad esempio, eseguendo questo test, Netflix ha determinato che le grafiche con espressioni facciali marcate che trasmettono il tono del titolo funzionano eccezionalmente bene.
Un esempio di grafiche per Unbreakable Kimmy Schmidt di Netflix
3. A/B testing in Gojek
Gojek, l’app tutto-in-uno diffusissima in Indonesia, usa i test A/B per trovare il numero ottimale di prodotti da mostrare nella sua homepage. Il product team utilizza poi il feedback per decidere quale variante dell’esperimento distribuire a tutti gli utenti. Questo è uno dei tanti casi d’uso dell’A/B testing in Gojek. Puoi anche scoprire di più sulla cultura dei dati di Gojek ascoltando questo episodio di DataFramed.
Gojek ha utilizzato una piattaforma di sperimentazione interna per decidere il design della home page
Inizia oggi con i dati
Speriamo che questa breve introduzione all’A/B testing ti sia piaciuta. Nel prossimo articolo della serie, esploreremo il mondo della visualizzazione dei dati e spiegheremo come interpretare le visualizzazioni più usate oggi.
Se vuoi iniziare oggi il tuo percorso di apprendimento sui dati, dai un’occhiata alle risorse seguenti.
- Scopri cosa abbiamo in programma per il mese della cultura dei dati
- Inizia con il nostro Skill Track Understanding Data Topics
- Iscriviti al podcast DataFramed
- Dai un’occhiata ai nostri prossimi eventiLeggi il prossimo articolo della serie Dati senza segreti sulle visualizzazioni che catturano le tendenze
Argomenti
