Cursus
Inleiding tot statistiek
4 uur
163.9K
Welkom bij deel zeven van onze maandlange serie Data ontrafeld. Als onderdeel van Data Literacy Month verduidelijkt deze serie kernbegrippen uit de wereld van data, beantwoorden we vragen die je misschien niet durfde te stellen en hebben we onderweg ook wat plezier. Wil je bij het begin beginnen? Lees dan onze eerste aflevering in de serie: Wat is een dataset?
In deze aflevering verkennen we een van de belangrijkste use-cases in data: A/B-testen. Misschien heb je er nog niet van gehoord, maar als je ooit een digitale dienst of site hebt gebruikt, is de kans groot dat je zelf onderdeel bent geweest van een A/B-test. In deze blogpost leggen we uit wat A/B-tests zijn, hoe ze meestal worden opgezet en geven we een paar opvallende voorbeelden van A/B-tests bij populaire diensten zoals Airbnb, Netflix en Gojek.
Wat is A/B-testen?
A/B-testen vergelijkt de prestaties van twee versies van hetzelfde ding, vaak een webpagina of een digitaal product. Breder gezien is A/B-testen een raamwerk waarmee je snel experimenten kunt opzetten, de resultaten kunt analyseren met statistische methoden en beslissingen kunt nemen op basis van je bevindingen.
A/B-testen helpt teams om belangrijke vragen te valideren, zoals: “Leidt het veranderen van de kleur van een knop tot meer klikken?” of “Zorgt het gebruik van de ene filmposter in plaats van de andere voor meer weergaven van een titel?”.
A/B-testen legt causaliteit vast. Als een homepage met een rode knop meer klikken oplevert dan met een blauwe knop—en verder alles gelijkblijft—dan kunnen we concluderen dat de rode knop de toename in klikken veroorzaakt. A/B-tests zijn dus een handig hulpmiddel voor datagedreven teams die hun product willen optimaliseren.
Hoe werkt A/B-testen?
A/B-testen werkt uitstekend, maar alleen als je de stappen nauwkeurig volgt. Dit zijn enkele cruciale stappen voor het ontwerpen van een succesvolle A/B-test:
1. Formuleer een hypothese
Een hypothese beschrijft hoe de wijziging van een testvariabele een prestatietype meetwaarde voor een populatie beïnvloedt. Een voorbeeld van een hypothese is het volgende:
“Het veranderen van de kleur van de ‘toevoegen aan winkelwagen’-knop van blauw naar rood (de testvariabele) zal het conversiepercentage (de prestatiemaatstaf) verhogen bij alle desktopgebruikers (de populatie)”.
Een veelvoorkomende valkuil is meerdere testvariabelen in één experiment opnemen, waardoor het lastig wordt om het effect van elke wijziging op de metric te achterhalen.
2. Maak controle- en behandelingsversies van je testvariabele
De term “A/B” in A/B-testen verwijst naar de twee versies van het onderdeel dat je test.
In de volksmond is de controle “Versie A” van het product, ofwel de bestaande versie van de testvariabele. “Versie B” is de behandeling, ofwel de nieuwe versie van de testvariabele.
Bij hetzelfde voorbeeld van de ‘toevoegen aan winkelwagen’-knop is de controle (Versie A) de bestaande blauwe knop, terwijl de behandeling (Versie B) de nieuwe rode knop is.
3. Bepaal de steekproefgrootte voor statistische significantie
Afhankelijk van de use-case en het aantal gebruikers van een dienst is het soms onmogelijk om een A/B-test op de volledige populatie te draaien. Het beste alternatief is dan om de A/B-test op een subset of steekproef van gebruikers uit te voeren. Hiervoor bepalen teams doorgaans een statistisch significante steekproef die groot genoeg is om conclusies over de populatie te kunnen trekken.
In ons voorbeeld van de ‘toevoegen aan winkelwagen’-knop zou de A/B-test bijvoorbeeld op een deel van de desktopgebruikers worden uitgevoerd in plaats van op allemaal.
4. Selecteer gerandomiseerde groepen voor controle en behandeling
Elke gebruiker in het experiment krijgt ofwel versie A ofwel versie B te zien. Hoe beslissen we of een gebruiker de controle- of de behandelingsversie krijgt?
Om de test eerlijk te houden, verdelen teams de steekproef meestal willekeurig (dus elke gebruiker heeft dezelfde kans om in controle of behandeling te zitten) en gelijkmatig (dus de groepen zijn even groot) over de controle- en behandelingsgroepen.
5. Voer de test uit en analyseer de resultaten
Met de basis op orde kan de A/B-test van start. Zodra een voldoende grote steekproef is bereikt, kunnen de resultaten worden geanalyseerd.
Voor de analyse berekenen we het verschil in de testmetric—het conversiepercentage—tussen de behandelings- en controlegroepen. Als het verschil groot genoeg is, kunnen we met vertrouwen concluderen dat de ene versie inderdaad beter is dan de andere.
6. Itereren, itereren, itereren
Als er een duidelijke winnaar uit de A/B-test komt, kan de betere versie live! Teams duiken ook dieper in de data om het gedrag van gebruikers beter te begrijpen. Een A/B-test is slechts een klein onderdeel van het optimalisatieproces. De inzichten uit A/B-tests kunnen nieuwe ideeën en hypothesen opleveren, die je vervolgens weer kunt testen.
Voorbeelden van A/B-testen
De meeste techbedrijven zijn vertrouwd met A/B-tests. Sterker nog, je hebt waarschijnlijk weleens in een controle- of behandelingsgroep gezeten voor een A/B-test bij een dienst die je gebruikt. Hier zijn enkele opvallende voorbeelden van A/B-tests in het wild bij populaire sites en diensten van vandaag:
1. A/B-testen bij Airbnb
Een paar uitstekende voorbeelden van A/B-tests komen van Airbnb. Airbnb heeft altijd een sterke cultuur van experimenteren en A/B-testen gehad. In deze blogpost uit 2014 gaan ze dieper in op hoe ze de maximale waarde van het prijzefilter op de zoekpagina veranderden van $300 naar $1000.
Airbnb test wijzigingen aan de maximale prijsfilter
In een ander voorbeeld laat het team een herontworpen homepage zien en bespreekt het hoe dit het gebruik van het Airbnb-platform heeft beïnvloed. Het artikel is licht technisch, maar geeft een uitstekend voorbeeld van hoe A/B-tests cruciaal zijn geweest voor het succes van Airbnb als product.
Airbnb gebruikt A/B-testen om te beslissen over een betere gebruikersinterface
2. A/B-testen bij Netflix
Met een reeks A/B-tests selecteerde Netflix het beste artwork voor verschillende titels en verhoogde het duidelijk het aantal kijkuren. Een mooi bijeffect van A/B-tests is dat ze diepe inzichten geven in gebruikersgedrag en -ervaring. Zo ontdekte Netflix met deze test dat artwork met expressieve gezichtsuitdrukkingen die de toon van de titel weergeven uitzonderlijk goed presteert.
Voorbeelden van artwork voor Netflix’ Unbreakable Kimmy Schmidt
3. A/B-testen bij Gojek
Gojek, de alles-in-één app die alomtegenwoordig is in Indonesië, gebruikt A/B-tests om het optimale aantal producten om te tonen op de homepage te vinden. Het productteam gebruikt de feedback vervolgens om te beslissen welke variant naar alle gebruikers wordt uitgerold. Dit is een van de vele use-cases van A/B-testen bij Gojek. Je kunt ook meer leren over de datacultuur van Gojek door naar deze aflevering van DataFramed te luisteren.
Gojek gebruikte een interne experimenteeromgeving om te beslissen over het ontwerp van de homepage
Ga vandaag nog aan de slag met data
We hopen dat je genoten hebt van deze korte introductie tot A/B-testen. In de volgende aflevering van de serie duiken we in de wereld van datavisualisatie en leggen we uit hoe je de meest gebruikte visualisaties van vandaag interpreteert.
Wil je vandaag nog beginnen aan je leerreis met data? Bekijk dan de volgende bronnen.
Onderwerpen
