Tutoriel sur l’analyse de Markov dans les feuilles de calcul

Si vous souhaitez en savoir plus sur les feuilles de calcul, suivez le cours DataCamp Introduction to Statistics in Spreadsheets.

Les systèmes métier réels sont par nature très dynamiques. Il n’est pas simple pour les analystes marketing de concevoir un modèle probabiliste qui capture toute cette complexité. Autrement dit, il faut des modèles plus sophistiqués pour comprendre le comportement client au fil de l’évolution d’un processus métier. Un modèle de probabilité décrivant un processus qui évolue dans le temps est appelé processus stochastique. Le processus stochastique décrit le comportement des consommateurs sur une période donnée. La chaîne de Markov est l’une des techniques permettant de modéliser un processus stochastique : elle s’appuie sur l’état présent pour prédire l’état futur du client.

La technique d’analyse de Markov doit son nom au mathématicien russe Andreï Andreïevitch Markov, qui a introduit l’étude des processus stochastiques, c’est‑à‑dire des processus faisant intervenir le hasard (Source). Cette analyse permet de générer une nouvelle séquence d’événements aléatoires mais corrélés, ressemblant à la séquence d’origine. Elle est utile pour analyser des événements aléatoires dépendants, c’est‑à‑dire des événements qui ne dépendent que de ce qui s’est produit juste avant. L’analyse de Markov est une technique probabiliste qui soutient la prise de décision en fournissant une description probabiliste des différents résultats possibles.

Qu’est-ce que l’analyse de Markov ?

Le modèle de Markov est un modèle stochastique utilisé pour représenter des systèmes évoluant aléatoirement. Il suppose que les événements futurs ne dépendent que de l’événement présent, et non des événements passés. Il en résulte des probabilités d’événements futurs utiles à la décision.

Hypothèses du modèle de Markov :

• La somme des probabilités de passage d’un état à tous les autres est égale à 1.
• Les probabilités s’appliquent à tous les participants du système.
• Les probabilités sont constantes dans le temps, et
• Les états sont indépendants au fil du temps.

Vous disposez d’un ensemble d’états S = {S_1, S_2, S_3…….S_r}. Le processus démarre dans l’un de ces états et évolue successivement d’un état à un autre. Si le système est actuellement en Si, alors il passe à l’état Sj à l’étape suivante avec une probabilité Pij, indépendante de l’état dans lequel se trouvait le système avant l’état courant.

Source : https://www.dartmouth.edu/~chance/teaching_aids/books_articles/probability_book/Chapter11.pdf

Terminologie

• Processus stochastiques : ils traitent d’une collection de variables aléatoires indexées par un ensemble, permettant d’étudier la dynamique du système.

• Événements indépendants : un bon exemple est le lancer de pièce : à chaque lancer, la pièce n’a aucune mémoire du résultat précédent. La suite de piles et faces n’est pas corrélée ; les événements sont donc indépendants.

• Événements dépendants : deux événements sont dits dépendants si l’issue du premier influence l’issue du second.

• Variables aléatoires : une variable dont la valeur dépend du résultat d’une expérience ou d’un phénomène aléatoire.

• Probabilités stationnaires (régime permanent) : à mesure que vous poursuivez le processus de Markov, vous observez que la probabilité pour le système d’être dans un état donné, après un grand nombre de périodes, devient indépendante de l’état initial. Les probabilités obtenues après plusieurs transitions sont les probabilités stationnaires.

Source : An Introduction to Management Science Quantitative Approaches to Decision Making By David R. Anderson, Dennis J. Sweeney, Thomas A. Williams, Jeffrey D. Camm, R. Kipp Martin

Exemple d’analyse de Markov

Analysons la part de marché et la fidélité client pour les supermarchés Murphy’s Foodliner et Ashley’s Supermarket. Notre objectif principal est d’étudier la succession des visites d’un client. Supposons qu’un client effectue une visite par semaine, soit chez Murphy’s Foodliner, soit chez Ashley’s Supermarket, mais pas les deux.

Dans la terminologie des processus de Markov, les périodes hebdomadaires ou visites sont les essais du processus. À chaque essai, le client peut faire ses courses chez Murphy’s Foodliner ou chez Ashley’s Supermarket. Le magasin choisi une semaine donnée est appelé l’état du système cette semaine-là, car le client a deux options (deux états) à chaque essai. Avec un nombre fini d’états, on les identifie comme suit :

• État 1 : le client fait ses courses chez Murphy’s Foodliner.

• État 2 : le client fait ses courses chez Ashley’s Supermarket. Les probabilités de transition données sont :

De même,

Ainsi, la probabilité d’être chez Murphy’s après deux semaines se calcule en multipliant la matrice des probabilités d’état courantes par la matrice des probabilités de transition pour obtenir les probabilités du prochain état.

Formule générale :

Où P1, P2, …, Pr représentent les probabilités des états du système, et n désigne l’étape (l’état au rang n).

Source : An Introduction to Management Science Quantitative Approaches to Decision Making By David R. Anderson, Dennis J. Sweeney, Thomas A. Williams, Jeffrey D. Camm, R. Kipp Martin

Réaliser une analyse de Markov dans des feuilles de calcul

Résolvons le même problème avec Microsoft Excel –

Étape 1 : Supposons qu’au départ certains clients faisaient leurs courses chez Murphy’s et d’autres chez Ashley’s. Cela peut être représenté par la matrice identité, car les clients qui étaient chez Murphy’s ne peuvent pas être chez Ashley’s en même temps et inversement.

Étape 2 : Créons également un tableau pour la matrice des probabilités de transition.

Étape 3 : Vous voulez maintenant les probabilités dans chaque magasin à la première période : commencez par concevoir un tableau où les valeurs seront calculées :

Étape 4 : Calculons à présent les probabilités d’état pour les périodes futures en partant initialement d’un client Murphy’s. Les probabilités peuvent être calculées avec la fonction Excel =MMULT(array1, array2). Pour l’utiliser, sélectionnez d’abord les deux cellules du tableau « client Murphy’s » suivant la semaine 1.

Après avoir saisi la formule, fermez la parenthèse puis appuyez simultanément sur Contrôle+Maj+Entrée. Vous verrez alors les valeurs de probabilité.

Étape 5 : Comme vous avez calculé les probabilités à l’état 1 et semaine 1, procédons de même pour l’état 2. La seule différence concerne les probabilités d’état courantes. Les probabilités de la semaine 1 serviront à calculer les probabilités des états futurs.

Vous pouvez maintenant copier simplement la formule des cellules de semaine chez Murphy’s et Ashley’s et la coller jusqu’à la période souhaitée.

Si vous aviez commencé avec 1000 clients Murphy’s — c’est‑à‑dire 1000 clients ayant fait leurs dernières courses chez Murphy’s — notre analyse indique que, lors de la cinquième semaine, 723 seraient clients de Murphy’s et 277 seraient clients de Ashley’s. De plus, lors de la dixième semaine, 676 seraient clients de Murphy’s et 324 seraient clients de Ashley’s.

Source : An Introduction to Management Science Quantitative Approaches to Decision Making By David R. Anderson, Dennis J. Sweeney, Thomas A. Williams, Jeffrey D. Camm, R. Kipp Martin

Étape 6 : De manière similaire, calculons maintenant les probabilités d’état pour les périodes futures en partant initialement d’un client Murphy’s.

Pour la semaine 1 :

Pour la semaine 2 :

Il suffit ensuite de faire glisser la formule de la semaine 2 jusqu’à la période souhaitée.

Lors de la cinquième période d’achat, la probabilité que le client fasse ses courses chez Murphy’s est de 0,555 et celle qu’il fasse ses courses chez Ashley’s est de 0,445. À la dixième période, la probabilité qu’un client fasse ses courses chez Murphy’s est de 0,648 et celle qu’il fasse ses courses chez Ashley’s est de 0,352.

Source : An Introduction to Management Science Quantitative Approaches to Decision Making By David R. Anderson, Dennis J. Sweeney, Thomas A. Williams, Jeffrey D. Camm, R. Kipp Martin

Vous pouvez aussi visualiser graphiquement comment la part des clients ayant fait leurs dernières courses chez Murphy’s diminue chez Murphy’s et augmente chez Ashley’s.

Avantages et limites

Avantages :

• Rapidité et précision grâce à son caractère analytique.
• Plus rapide et plus précis que la simulation de Monte‑Carlo.
• Le modèle de Markov est relativement simple à dériver à partir de données séquentielles.
• La matrice de transition synthétise tous les paramètres essentiels du changement dynamique.
• Elle offre une compréhension fine de l’évolution du système dans le temps.

Limites :

• Les hypothèses de propriété de Markov peuvent être invalides pour le système modélisé ; la conception du modèle doit donc être menée avec soin.
• Les clients peuvent entrer et sortir du marché à tout moment, de sorte que le marché n’est jamais stable.
• L’analyse de Markov ne peut pas prédire les résultats futurs lorsqu’il manque l’information sur l’issue précédente.

Conclusion

Félicitations, vous êtes arrivé au bout de ce tutoriel !

Dans ce tutoriel, vous avez passé en revue de nombreux aspects de l’analyse de Markov : définition, terminologie, exemples, et résolution d’exemples dans des feuilles de calcul. Nous en avons également discuté les avantages et les limites.

Vous devriez désormais pouvoir mobiliser ces concepts en marketing analytique. Merci de votre lecture !

Si vous souhaitez en apprendre davantage sur les feuilles de calcul, suivez les cours suivants de DataCamp :