Cours
Introduction aux statistiques
4 h
160K
Bienvenue dans la septième partie de notre série Données démystifiées, publiée tout au long du mois. Dans le cadre du Mois de la culture des données, cette série clarifie des notions clés issues du monde de la donnée, répond aux questions que vous n’osez peut-être pas poser et le fait avec pédagogie. Si vous souhaitez reprendre depuis le début, lisez notre premier article : Qu’est-ce qu’un jeu de données ?
Dans cet article, nous explorons l’un des principaux cas d’usage de la donnée : l’A/B testing. Même si vous n’en avez jamais entendu parler, si vous avez déjà utilisé un service ou un site numérique, il y a de fortes chances que vous ayez participé sans le savoir à un test A/B. Tout au long de ce billet, nous expliquerons ce qu’est un test A/B, comment il est généralement mis en place et nous passerons en revue quelques exemples marquants issus de services populaires comme Airbnb, Netflix et Gojek.
Qu’est-ce que l’A/B testing ?
L’A/B testing compare les performances de deux versions d’une même chose, souvent une page web ou un produit numérique. Plus largement, l’A/B testing est un cadre d’expérimentation qui permet de lancer rapidement des tests, d’en analyser les résultats à l’aide de méthodes statistiques et de prendre des décisions sur cette base.
L’A/B testing aide les équipes à valider des questions clés telles que « Changer la couleur d’un bouton augmente-t-il le nombre de clics ? » ou « Utiliser telle affiche de film plutôt qu’une autre augmente-t-il le nombre de vues d’un titre ? ».
L’A/B testing permet d’établir la causalité. Si une page d’accueil avec un bouton rouge génère plus de clics qu’un bouton bleu – toutes choses égales par ailleurs – on peut conclure que le bouton rouge est la cause de l’augmentation des clics. Inutile de dire que les tests A/B sont un outil précieux pour les équipes orientées données qui cherchent à optimiser leur produit.
Obtenez une certification en maîtrise des données et décrochez le poste de vos rêves
Nos programmes de certification vous aident à vous démarquer et à prouver aux employeurs potentiels que vos compétences sont adaptées à l'emploi.
Comment fonctionne l’A/B testing ?
L’A/B testing fait des merveilles, mais uniquement si l’on suit les étapes avec rigueur. Voici les étapes essentielles pour concevoir un test A/B réussi :
1. Formuler une hypothèse
Une hypothèse énonce comment la modification d’une variable de test impacte un indicateur de performance sur une population donnée. Exemple d’hypothèse :
« Changer la couleur du bouton d’ajout au panier du bleu au rouge (variable de test) augmentera le taux de conversion (indicateur de performance) chez tous les utilisateurs desktop (population). »
Un piège courant consiste à faire varier plusieurs variables dans une seule expérience, ce qui complique l’identification de l’impact précis de chaque changement sur l’indicateur.
2. Créer une version témoin et une version test de votre variable
Le « A/B » de l’A/B testing renvoie aux deux versions de l’élément testé.
Par convention, la version témoin est la « version A », c’est-à-dire l’état actuel de la variable testée. La « version B » est le traitement, c’est-à-dire la nouvelle version de la variable.
En reprenant l’exemple du bouton d’ajout au panier, la version témoin (A) est le bouton bleu existant, tandis que la version test (B) est le nouveau bouton rouge.
3. Déterminer la taille d’échantillon pour atteindre la significativité statistique
Selon le cas d’usage et le volume d’utilisateurs d’un service, il peut être impossible de tester l’intégralité de la population. L’alternative consiste à mener le test A/B sur un sous-ensemble d’utilisateurs. Pour ce faire, on détermine généralement une taille d’échantillon statistiquement significative, suffisamment grande pour tirer des conclusions valables sur la population.
Par exemple, pour notre bouton d’ajout au panier, le test A/B sera mené sur une fraction des utilisateurs desktop, et non sur la totalité.
4. Sélectionner aléatoirement les groupes témoin et test
Chaque utilisateur inclus dans l’expérience voit soit la version A, soit la version B. Comment décider qui reçoit la version témoin ou la version test ?
Pour garantir l’équité du test, on répartit généralement les utilisateurs de l’échantillon aléatoirement (chaque utilisateur a la même probabilité d’être dans le groupe test ou témoin) et de manière équilibrée (groupes de même taille).
5. Lancer le test et analyser les résultats
Une fois la préparation effectuée, le test A/B peut démarrer. Quand la taille d’échantillon requise est atteinte, on peut analyser les résultats.
Pour analyser, on calcule la différence de l’indicateur – ici, le taux de conversion – entre les groupes test et témoin. Si l’écart est suffisamment significatif, on peut conclure avec confiance qu’une version surpasse l’autre.
6. Itérer, encore et toujours
Si une version gagnante se dégage clairement, elle peut être déployée en production. Les équipes approfondissent également les données pour mieux comprendre les comportements utilisateurs. Un test A/B n’est qu’une étape d’un processus d’optimisation continu. Les enseignements tirés peuvent inspirer de nouvelles idées et hypothèses, à leur tour testables.
Exemples d’A/B testing
La plupart des entreprises tech pratiquent couramment l’A/B testing. Vous avez probablement déjà fait partie d’un groupe témoin ou test pour un service que vous utilisez. Voici quelques exemples marquants de tests A/B menés par des sites et services très populaires aujourd’hui :
1. A/B testing chez Airbnb
Airbnb propose d’excellents exemples de tests A/B. La société cultive depuis longtemps l’expérimentation. Dans cet article de blog de 2014, ils détaillent un test visant à modifier la valeur maximale du filtre de prix sur la page de recherche, en la faisant passer de 300 $ à 1 000 $.
Airbnb teste des changements sur la valeur maximale du filtre de prix
Dans un autre exemple, l’équipe présente une refonte de la page d’accueil et explique son impact sur l’usage de la plateforme. Bien que l’article soit un peu technique, il illustre parfaitement le rôle déterminant des tests A/B dans le succès produit d’Airbnb.
Airbnb utilise l’A/B testing pour choisir une meilleure interface utilisateur
2. A/B testing chez Netflix
Grâce à une série de tests A/B, Netflix a sélectionné les meilleures illustrations pour différents titres et a clairement augmenté le nombre d’heures de visionnage. Un bénéfice supplémentaire des tests A/B est la richesse d’insights sur les comportements et l’expérience utilisateur. Par exemple, Netflix a déterminé que des visuels avec des expressions faciales marquées, reflétant le ton du titre, performent particulièrement bien.
Exemples d’illustrations pour Unbreakable Kimmy Schmidt de Netflix
3. A/B testing chez Gojek
Gojek, l’application tout-en-un très répandue en Indonésie, utilise des tests A/B pour déterminer le nombre optimal de produits à afficher sur sa page d’accueil. L’équipe produit s’appuie ensuite sur les retours pour décider quelle variante déployer auprès de tous les utilisateurs. Ce n’est qu’un exemple parmi d’autres des usages de l’A/B testing chez Gojek. Vous pouvez aussi en apprendre davantage sur la culture data de Gojek en écoutant cet épisode de DataFramed.
Gojek a utilisé une plateforme d’expérimentation interne pour décider du design de sa page d’accueil
Commencez dès aujourd’hui avec les données
Nous espérons que cette brève introduction à l’A/B testing vous a plu. Dans le prochain article de la série, nous plongerons dans l’univers de la visualisation de données et expliquerons comment interpréter les visualisations les plus courantes aujourd’hui.
Si vous souhaitez vous lancer dès maintenant dans l’apprentissage des données, consultez les ressources suivantes.
- Découvrez notre programme pour le Mois de la culture des données
- Commencez avec notre parcours de compétence Understanding Data Topics
- Abonnez-vous au podcast DataFramed
- Découvrez nos prochains événementsLisez notre prochain article de la série Données démystifiées : des visualisations qui révèlent les tendances
Sujets