Kurs
Einführung in die Statistik
4 Std.
159.8K
Willkommen zu Teil sieben unserer einmonatigen Serie "Daten entzaubert". Im Rahmen des Data Literacy Month erklärt diese Serie zentrale Konzepte aus der Datenwelt, beantwortet Fragen, die du dich vielleicht nie zu stellen getraut hast, und macht dabei auch noch Spaß. Wenn du von Anfang an einsteigen willst, lies den ersten Beitrag der Serie: What is a Dataset?
In diesem Beitrag sehen wir uns einen der wichtigsten Anwendungsfälle in der Datenarbeit an: A/B-Testing. Selbst wenn du den Begriff noch nie gehört hast – wenn du schon einmal einen digitalen Dienst oder eine Website genutzt hast, ist die Wahrscheinlichkeit groß, dass du selbst Teil eines A/B-Tests warst. Im Laufe des Blogposts erklären wir, was A/B-Tests sind, wie sie typischerweise aufgesetzt werden und zeigen Beispiele bekannter Services wie Airbnb, Netflix und Gojek.
Was ist A/B-Testing?
A/B-Testing vergleicht die Performance zweier Varianten derselben Sache, häufig einer Webseite oder eines digitalen Produkts. Allgemeiner ist A/B-Testing ein Rahmenwerk, mit dem du Experimente schnell aufsetzt, ihre Ergebnisse statistisch auswertest und Entscheidungen auf Basis der Resultate triffst.
A/B-Tests helfen Teams, Schlüsselfragen zu prüfen wie: "Führt eine andere Buttonfarbe zu mehr Klicks?" oder "Steigern unterschiedliche Filmplakate die Aufrufe eines Titels?"
A/B-Tests stellen Kausalität fest. Wenn eine Startseite mit rotem Button mehr Klicks erzeugt als mit blauem – bei ansonsten gleichen Bedingungen –, können wir schlussfolgern, dass der rote Button die Klicks erhöht. Kurz: A/B-Tests sind ein unverzichtbares Werkzeug für datenbasierte Teams, die ihr Produkt optimieren wollen.
Lass dich in Datenkompetenz zertifizieren und lande deinen Traumjob
Unsere Zertifizierungsprogramme helfen dir, dich von anderen abzuheben und potenziellen Arbeitgebern zu beweisen, dass deine Fähigkeiten für den Job geeignet sind.
Wie funktioniert A/B-Testing?
A/B-Tests wirken wahre Wunder – aber nur, wenn man die Schritte sorgfältig befolgt. Hier sind die wichtigsten Schritte, um einen erfolgreichen A/B-Test zu entwerfen:
1. Formuliere eine Hypothese
Eine Hypothese beschreibt, wie die Änderung einer Testvariablen eine Leistungskennzahl in einer Population beeinflusst. Ein Beispiel für eine Hypothese lautet:
"Die Änderung der Farbe des "In den Warenkorb"-Buttons von Blau auf Rot (Testvariable) erhöht die Conversion-Rate (Leistungskennzahl) bei allen Desktop-Nutzenden (Population)."
Ein häufiger Stolperstein ist, mehrere Testvariablen in einem einzigen Experiment zu verändern. Dann lässt sich schwer nachvollziehen, welche Änderung welchen Effekt auf die Kennzahl hatte.
2. Erstelle Kontroll- und Behandlungsvarianten deiner Testvariable
Das "A/B" im A/B-Testing steht für die zwei Varianten dessen, was du testest.
Umgangssprachlich ist die Kontrollvariante die "Version A" des Produkts bzw. der aktuelle Zustand der Testvariable. "Version B" ist die Behandlungsvariante, also die neue Version der Testvariable.
Beim Beispiel des "In den Warenkorb"-Buttons ist die Kontrolle (Version A) der bestehende blaue Button, während die Behandlung (Version B) der neue rote Button ist.
3. Bestimme die Stichprobengröße für statistische Signifikanz
Je nach Anwendungsfall und Nutzerzahl ist es unmöglich, einen A/B-Test über die gesamte Population zu fahren. Die beste Alternative ist, den Test auf einer Teilmenge, also einer Stichprobe, durchzuführen. Dafür bestimmen Praktiker in der Regel eine statistisch signifikante Stichprobe, die groß genug ist, um valide Aussagen über die Population zu treffen.
In unserem Button-Beispiel würde der A/B-Test also nur auf einem Teil der Desktop-Nutzenden laufen, nicht auf allen.
4. Wähle zufällige Gruppen für Kontrolle und Behandlung
Jede Person im Experiment sieht entweder Version A oder Version B. Wie entscheiden wir, wer Kontrolle oder Behandlung erhält?
Damit der Test fair ist, werden die Stichproben üblicherweise zufällig (jede Person hat die gleiche Wahrscheinlichkeit, in Kontrolle oder Behandlung zu sein) und gleich groß in Behandlungs- und Kontrollgruppe aufgeteilt.
5. Test durchführen und Ergebnisse auswerten
Ist die Vorarbeit erledigt, kann der A/B-Test starten. Sobald eine ausreichend große Stichprobe erreicht ist, lassen sich die Ergebnisse analysieren.
Zur Auswertung berechnen wir die Differenz in der Testkennzahl – hier der Conversion-Rate – zwischen Behandlungs- und Kontrollgruppe. Ist der Unterschied groß genug, können wir mit hoher Sicherheit schließen, dass eine Version der anderen überlegen ist.
6. Iterieren, iterieren, iterieren
Zeigt der A/B-Test eine klare Gewinner-Variante, kann diese live gehen. Zudem lohnt sich ein Deep Dive in die Daten, um das Verhalten der Nutzenden besser zu verstehen. Ein A/B-Test ist nur ein Baustein im Optimierungsprozess. Die Erkenntnisse daraus liefern neue Ideen und Hypothesen, die sich wiederum testen lassen.
Beispiele für A/B-Testing
Die meisten Tech-Unternehmen sind mit A/B-Tests bestens vertraut. Wahrscheinlich warst du schon einmal in einer Kontroll- oder Behandlungsgruppe eines Dienstes, den du nutzt. Hier sind ein paar spannende Beispiele von heutigen Top-Websites und -Services:
1. A/B-Testing bei Airbnb
Einige hervorragende Beispiele für A/B-Tests kommen von Airbnb. Airbnb pflegt seit jeher eine starke Experimentierkultur. In diesem Blogpost aus dem Jahr 2014 beschreiben sie im Detail, wie sie den Maximalwert des Preisfilters auf der Suchseite von $300 auf $1000 angehoben und getestet haben.
Airbnb testet Änderungen am maximalen Preisfilter
In einem weiteren Beispiel zeigt das Team ein Redesign der Startseite und diskutiert dessen Auswirkungen auf die Nutzung der Airbnb-Plattform. Der Artikel ist teilweise technisch, liefert aber ein eindrucksvolles Beispiel dafür, wie A/B-Tests zum Erfolg von Airbnb als Produkt beigetragen haben.
Airbnb nutzt A/B-Tests, um über die bessere Benutzeroberfläche zu entscheiden
2. A/B-Testing bei Netflix
Mit einer Reihe von A/B-Tests hat Netflix das beste Artwork für verschiedene Titel ausgewählt und die Streaming-Stunden deutlich erhöht. Ein schöner Nebeneffekt von A/B-Tests sind tiefe Einblicke in Nutzerverhalten und User Experience. So fand Netflix in diesem Test heraus, dass Motive mit ausdrucksstarken Gesichtsemotionen, die die Stimmung des Titels transportieren, besonders gut funktionieren.
Beispielhafte Artwork-Auswahl für Netflix’ Unbreakable Kimmy Schmidt
3. A/B-Testing bei Gojek
Gojek, die All-in-One-App, die in Indonesien allgegenwärtig ist, nutzt A/B-Tests, um die optimale Anzahl an Produkten auf der Startseite zu bestimmen. Das Produktteam nutzt das Feedback dann, um zu entscheiden, welche Experimentvariante an alle Nutzenden ausgerollt wird. Das ist nur einer von vielen A/B-Test-Anwendungsfällen bei Gojek. Mehr über Gojeks Datenkultur erfährst du auch in dieser DataFramed-Episode.
Gojek nutzte eine eigene Experimentierplattform, um das Startseitendesign zu entscheiden
Starte heute mit Daten durch
Wir hoffen, dir hat diese kurze Einführung ins A/B-Testing gefallen. Im nächsten Teil der Serie tauchen wir in die Welt der Datenvisualisierung ein und erklären, wie du die gängigsten Visualisierungen richtig interpretierst.
Wenn du heute mit deiner Lernreise rund um Daten starten willst, schau dir diese Ressourcen an.
Themen