Markov Chain Monte Carlo (MCMC) : échantillonner des distributions de probabilité complexes

Certaines distributions de probabilité sont tout simplement trop complexes pour être manipulées directement.

Lorsque vous modélisez des données réelles, les calculs se cassent souvent avant d'être exploitables. Sur le papier, des intégrales peuvent paraître gérables, puis devenir intractables dès que vous ajoutez quelques variables latentes. C'est fréquent en inférence bayésienne, où la distribution a posteriori combine vos croyances a priori et les données observées – avec à la clé une distribution impossible à résumer par une simple formule.

L'idée de base de Markov Chain Monte Carlo, c'est que plutôt que d'attaquer directement les maths, MCMC explore la distribution par simulation. Il génère des échantillons qui en reflètent la forme sans jamais avoir à la calculer en entier.

Dans cet article, je présente les concepts clés derrière MCMC, les algorithmes les plus courants, et comment les mettre en pratique en Python.

Besoin d'une remise à niveau en maths pour Python ? Lisez nos articles de blog Demystifying Mathematical Concepts for Deep Learning pour voir les maths appliquées avec NumPy.

Qu'est-ce que Markov Chain Monte Carlo ?

Markov Chain Monte Carlo (MCMC) est une famille d'algorithmes qui génèrent des échantillons à partir de distributions de probabilité – même lorsque ces distributions sont trop complexes pour être travaillées directement.

Le nom se décompose en deux parties. La partie chaîne de Markov contrôle la façon dont l'algorithme se déplace entre les états possibles. Chaque étape ne dépend que de l'état courant, pas de toute l'histoire qui y a mené. La partie Monte Carlo signifie que vous utilisez l'échantillonnage aléatoire pour estimer des quantités d'intérêt.

En combinant les deux, MCMC construit une chaîne d'échantillons aléatoires qui, au fil du temps, reflète la forme de votre distribution cible. C'est avant tout une technique d'échantillonnage. Vous ne résolvez pas exactement les équations : vous les approximez par simulation.

Pourquoi Markov Chain Monte Carlo est nécessaire

Le problème avec les distributions de données réelles, c'est qu'elles sont loin d'être aussi propres que celles des manuels.

En inférence bayésienne, vous cherchez souvent à calculer une distribution a posteriori – la probabilité mise à jour des paramètres de votre modèle après observation des données. Sur le papier, la formule est simple : multiplier l'a priori par la vraisemblance, puis diviser par la vraisemblance marginale. Ce dernier terme exige d'intégrer sur toutes les valeurs possibles des paramètres. En grande dimension, cet intégrale est pratiquement impossible à calculer.

Et cela ne fait qu'empirer à mesure que votre modèle grandit. En ajoutant des paramètres ou des variables latentes, le calcul exact devient une impasse. Vous y serez confronté dans de nombreux cas classiques :

• Modèles hiérarchiques bayésiens : lorsque des paramètres dépendent d'autres paramètres, créant des distributions imbriquées qui ne s'intègrent pas proprement
• Postérieurs de grande dimension : lorsque le nombre de paramètres rend les approximations sur grille inenvisageables en temps de calcul
• A priori non conjugués : lorsque l'a priori et la vraisemblance ne se combinent pas en une distribution reconnaissable

Dans ces situations, MCMC est une excellente parade. Plutôt que de calculer la distribution, il en tire des échantillons. Ces échantillons contiennent tout le nécessaire sans jamais résoudre l'intégrale.

Les deux idées derrière MCMC

MCMC combine deux idées simples prises isolément, mais puissantes une fois réunies. Voici lesquelles.

Chaînes de Markov

Une chaîne de Markov est une suite d'états où chaque pas ne dépend que de l'état présent.

Peu importe d'où vous venez : seul l'état actuel détermine la prochaine étape. Cette propriété de « mémoire nulle » – formellement appelée propriété de Markov – facilite les calculs et rend l'algorithme praticable.

La chaîne progresse état par état et, avec le bon paramétrage, finit par se stabiliser sur une distribution stationnaire – un régime stable où la probabilité d'être dans un état donné ne varie plus. C'est précisément cette distribution que MCMC exploite.

Méthodes de Monte Carlo

Les méthodes de Monte Carlo utilisent l'échantillonnage aléatoire pour estimer des quantités difficiles à calculer directement.

L'idée est de tirer suffisamment d'échantillons aléatoires d'une distribution, puis d'estimer sa moyenne, sa variance ou toute autre propriété à partir de ces échantillons. Plus vous en tirez, plus vos estimations se rapprochent des vraies valeurs.

Seules, les méthodes de Monte Carlo supposent que vous pouvez échantillonner directement depuis la distribution – ce qui est justement le nœud du problème. Les chaînes de Markov résolvent cette partie.

Comment fonctionne Markov Chain Monte Carlo

MCMC est une boucle avec une simple décision à chaque itération.

1. Démarrer avec un état initial : choisissez un point de départ dans l'espace des paramètres, même approximatif
2. Proposer un nouvel état : utilisez un mécanisme de proposition pour suggérer où aller ensuite
3. Décider de l'accepter ou non : comparez l'état proposé à l'actuel et acceptez/rejetez selon leur probabilité sous la distribution cible
4. Répéter : exécutez la boucle des milliers de fois en collectant des échantillons au passage
5. Exploiter les échantillons : estimez moyennes, intervalles de crédibilité ou toute autre quantité d'intérêt à partir des échantillons recueillis

L'étape d'acceptation/rejet est là où la « magie » opère.

En acceptant plus souvent les états meilleurs que les pires, la chaîne gravitera vers les zones de forte probabilité – sans jamais calculer la distribution complète.

Les premiers échantillons dépendent du point de départ ; on les écarte donc. Après suffisamment d'itérations, la chaîne oublie son origine et les échantillons restants reflètent la vraie forme de la distribution cible.

Distribution cible et distribution stationnaire

MCMC vise à générer des échantillons à partir d'une distribution cible qu'on ne peut échantillonner directement.

La distribution cible est celle sur laquelle vous souhaitez apprendre – généralement une postérieure en inférence bayésienne. Vous connaissez sa forme à une constante de normalisation près, mais vous ne pouvez pas calculer directement cette constante. MCMC n'en a pas besoin.

Chaque algorithme MCMC est conçu pour que sa chaîne de Markov ait une distribution stationnaire identique à la cible. Une distribution stationnaire est celle dans laquelle la chaîne se stabilise après un nombre suffisant d'étapes.

Laissez tourner la chaîne, et elle finira par produire des échantillons qui ressemblent à des tirages de votre distribution cible. L'intégrale est contournée.

Algorithmes MCMC populaires

En pratique, vous croiserez quelques algorithmes MCMC incontournables. Ils suivent tous la même boucle, mais diffèrent par la proposition des nouveaux états et l'usage de l'information sur la distribution cible.

Algorithme de Metropolis

L'algorithme de Metropolis est le plus simple et celui par lequel tout a commencé.

À chaque étape, il propose un nouvel état en ajoutant un bruit aléatoire au courant. Si l'état proposé a une probabilité plus élevée sous la cible, il est toujours accepté. S'il est moins probable, il est accepté avec une probabilité proportionnelle au rapport des deux probabilités – sinon la chaîne ne bouge pas.

Ce mécanisme d'acceptation/rejet fait que la chaîne passe plus de temps dans les régions à forte probabilité, sans jamais calculer la distribution en entier.

Metropolis utilise une distribution de proposition symétrique, c'est-à-dire qu'il est aussi probable de proposer un pas dans n'importe quelle direction. Il a tendance à montrer ses limites lorsque les modèles grossissent.

Algorithme de Metropolis-Hastings

L'algorithme de Metropolis-Hastings (MH) généralise Metropolis en autorisant des distributions de proposition asymétriques.

MH ajuste la probabilité d'acceptation pour tenir compte du fait que certaines propositions sont plus probables que d'autres. Vous pouvez accorder la proposition à la forme de votre cible, ce qui améliore l'exploration et accélère la convergence.

La plupart des méthodes MCMC modernes prolongent MH ou reposent sur les mêmes principes. Si vous comprenez Metropolis-Hastings, vous saisissez les fondations du domaine.

Gibbs sampling

Le Gibbs sampling met à jour une variable à la fois au lieu de proposer un nouvel état pour tous les paramètres d'un coup.

À chaque étape, il échantillonne chaque variable depuis sa distribution conditionnelle – la distribution de cette variable compte tenu des valeurs actuelles des autres. Une fois toutes les variables parcourues, vous avez réalisé une itération complète.

On évite ainsi totalement l'étape d'acceptation/rejet, car chaque tirage conditionnel est accepté d'office. C'est très utile lorsque la distribution jointe complète est difficile à échantillonner mais que les conditionnelles sont traitables, comme souvent dans les modèles hiérarchiques bayésiens.

Hamiltonian Monte Carlo

Hamiltonian Monte Carlo (HMC) est le premier algorithme qui a rendu l'inférence bayésienne moderne praticable à l'échelle.

Au lieu de proposer des états au hasard, HMC utilise l'information de gradient de la distribution cible pour proposer des états éloignés de la position courante mais susceptibles d'être acceptés. Il parcourt l'espace des paramètres bien mieux que les marches aléatoires. On rejette moins de propositions et on explore mieux les distributions de grande dimension.

Les méthodes de marche aléatoire comme Metropolis ne passent pas à l'échelle quand le nombre de paramètres augmente. HMC souffre beaucoup moins de ce problème.

HMC est le moteur de Stan, l'une des plateformes de programmation probabiliste les plus utilisées. Le No-U-Turn Sampler (NUTS), une extension adaptative d'HMC utilisée dans PyMC, supprime le besoin de régler manuellement la taille de pas et le nombre d'étapes.

Markov Chain Monte Carlo en statistiques bayésiennes

S'il y a un domaine où MCMC a eu le plus d'impact, c'est l'inférence bayésienne.

Les statistiques bayésiennes tournent autour de la distribution a posteriori, qui est la probabilité mise à jour des paramètres du modèle après observation des données. La calculer revient à multiplier l'a priori par la vraisemblance et à normaliser. Cette normalisation requiert une intégrale rarement traitable.

MCMC supprime totalement cette étape. Il suffit d'évaluer la postérieure non normalisée en un point donné et de laisser la chaîne faire le reste.

Un exemple simple : vous estimez le biais d'une pièce. Vous partez d'une croyance a priori que la pièce est probablement équilibrée, puis vous observez une série de lancers. Pour un modèle simple, la postérieure a une forme fermée. Si vous ajoutez une structure hiérarchique, c'est-à-dire estimer le biais pour une centaine de pièces simultanément, le calcul devient impossible.

Avec MCMC, vous lancez la chaîne, collectez des échantillons de la postérieure et utilisez ces échantillons pour calculer ce qu'il vous faut.

Comprendre burn-in, convergence et mélange

Ces trois notions déroutent souvent celles et ceux qui débutent avec MCMC. Si vous les ratez, vous aurez des résultats, mais vous ne saurez pas pourquoi ils sont peu fiables.

Burn-in

Au démarrage, une chaîne de Markov ne sait pas où se trouvent les régions à forte probabilité de votre distribution cible.

Ces premiers échantillons sont influencés par le point de départ, pas par la distribution cible. Le burn-in consiste à les écarter. Vous faites tourner la chaîne un certain nombre d'itérations, vous jetez ces échantillons, et vous ne conservez que ce qui vient une fois la chaîne bien amorcée.

Il n'y a pas de règle universelle sur la durée du burn-in. Cela dépend du modèle, du point de départ et de la qualité du mélange. En pratique, on le diagnostique visuellement avec des trace plots plutôt qu'en fixant un nombre à l'avance.

Convergence

La convergence signifie que la chaîne n'est plus influencée par son départ et prélève désormais des échantillons qui reflètent la distribution cible.

Une chaîne non convergée produit des échantillons biaisés. La moyenne que vous en tirez ne correspondra pas à la vraie moyenne postérieure, mais à la zone où la chaîne était coincée.

La convergence s'évalue a posteriori via des diagnostics. Lancer plusieurs chaînes depuis des points différents et vérifier qu'elles s'accordent est l'un des moyens les plus fiables de détecter les échecs de convergence.

Mélange

Une chaîne convergente mais au mélange de mauvaise qualité reste problématique.

Le mélange décrit la capacité de la chaîne à explorer la distribution cible. Une bonne chaîne se déplace librement, visite à la fois les zones à haute et à faible probabilité et produit des échantillons grossièrement indépendants. Une chaîne qui mélange mal reste longtemps dans une même région et produit des échantillons très corrélés qui ne représentent pas la distribution dans son ensemble.

Un mauvais mélange se voit souvent sur un trace plot qui ressemble à une rivière lente et sinueuse plutôt qu'à une bande horizontale bruitée. Dans ce cas, votre échantillonneur doit être ajusté : meilleure distribution de proposition ou autre algorithme.

Graphique comparatif de mélange

Comment évaluer les résultats MCMC

Voici quatre façons d'évaluer MCMC et quand les utiliser.

Trace plots

Un trace plot affiche la valeur échantillonnée d'un paramètre à chaque itération. C'est la première chose à regarder après un MCMC.

Un trace plot sain ressemble à du bruit blanc autour d'une moyenne stable. Vous ne devriez pas voir de tendances, de longs paliers ni de dérive lente. Si la chaîne erre ou reste coincée longtemps dans une région, c'est un problème de mélange et vos échantillons ne sont pas fiables.

Trace plots illustrés

Autocorrélation

Les échantillons MCMC ne sont jamais totalement indépendants. Chaque échantillon est influencé par le précédent. L'autocorrélation mesure à quel point les échantillons sont corrélés au fil des itérations.

Une forte autocorrélation signifie que vos échantillons apportent moins d'information que leur nombre ne le laisse penser. Deux mille échantillons corrélés peuvent valoir deux cents indépendants. La plupart des bibliothèques MCMC proposent des graphiques d'autocorrélation pour voir à quelle vitesse la corrélation chute quand les échantillons s'éloignent.

Graphiques d'autocorrélation illustrés

Taille d'échantillon effective

L'Effective Sample Size (ESS) traduit cette autocorrélation en un chiffre concret : à combien d'échantillons indépendants votre chaîne équivaut-elle ?

Si vous avez tiré 5 000 échantillons mais que l'ESS est de 200, vous travaillez avec la puissance statistique de 200 tirages indépendants. Un ESS faible signifie qu'il faut allonger la chaîne, régler l'échantillonneur, ou les deux. En pratique, on vise au moins quelques centaines par paramètre avant de faire confiance aux estimations.

Diagnostics de convergence

En exécutant plusieurs chaînes, vous pouvez tester formellement leur convergence vers la même distribution. Le diagnostic de Gelman-Rubin, rapporté en R-hat, compare la variance au sein de chaque chaîne à la variance entre chaînes.

Un R-hat proche de 1,0 indique un bon accord entre chaînes. Des valeurs supérieures à 1,01 ou 1,05 (selon le seuil utilisé par votre bibliothèque) suggèrent une non-convergence et la nécessité de plus d'itérations. Les bibliothèques modernes comme PyMC calculent automatiquement R-hat et signalent les avertissements si besoin.

Markov Chain Monte Carlo en Python

Python propose plusieurs bibliothèques MCMC, avec des philosophies différentes.

• PyMC : l'option la plus accessible pour la plupart des data scientists. Vous définissez votre modèle en syntaxe Python, et PyMC gère l'échantillonnage en arrière-plan avec NUTS (une version adaptative de HMC). C'est la référence du modélisation bayésienne en Python.
• CmdStanPy / PyStan : interfaces Python vers Stan, un langage de programmation probabiliste dédié. Stan compile votre modèle en C++ avant exécution, ce qui le rend rapide et adapté aux modèles hiérarchiques complexes. La contrepartie est une courbe d'apprentissage plus raide.
• NumPy : pas de bibliothèque MCMC dédiée, mais vous pouvez implémenter des algorithmes comme Metropolis-Hastings à partir de zéro. Utile pour comprendre les mécanismes avant de passer à des outils plus haut niveau.

Pour la plupart des usages, PyMC est le meilleur point de départ. C'est ce que j'utiliserai ; si vous suivez, commencez par installer la bibliothèque :

pip install pymc

Pour rester simple, je vais m'en tenir à un exemple facile : estimer le biais d'une pièce à partir d'une série de lancers.

Étape 1 : définir le modèle

import pymc as pm
import numpy as np

# 1 = heads, 0 = tails
observed_flips = np.array([1, 0, 1, 1, 0, 1, 1, 1, 0, 1])

with pm.Model() as coin_model:
    # Prior: we believe the coin is probably fair
    bias = pm.Beta("bias", alpha=2, beta=2)

    # Likelihood: observed flips given the bias
    flips = pm.Bernoulli("flips", p=bias, observed=observed_flips)

La loi a priori pm.Beta encode une faible croyance que la pièce est équilibrée. La vraisemblance pm.Bernoulli relie le modèle aux données observées.

Étape 2 : lancer l'échantillonneur

with coin_model:
    trace = pm.sample(2000, tune=1000, return_inferencedata=True)

Sortie de l'exécution de l'échantillonneur

tune fixe le nombre d'étapes de burn-in – ces échantillons sont écartés. sample tire 2 000 échantillons de la postérieure par chaîne après la phase de tuning.

Étape 3 : inspecter la postérieure

import arviz as az

az.plot_trace(trace, var_names=["bias"])
az.summary(trace, var_names=["bias"])

Trace plot du modèle et résumé des résultats

az.summary() fournit la moyenne postérieure, l'écart-type et R-hat pour chaque paramètre. Si R-hat est proche de 1,0, les chaînes ont convergé. az.plot_trace() affiche côte à côté la trace et la distribution postérieure pour chaque paramètre.

Pour ce jeu de données – 7 faces sur 10 lancers – la moyenne postérieure vaut 0,642 avec un écart-type de 0,124. Cela reflète l'évidence des données tout en restant proche de l'a priori « pièce équilibrée ». R-hat est à 1,00 et l'ESS largement au-dessus de 2 000 : les chaînes ont convergé et les échantillons sont fiables.

Erreurs fréquentes avec MCMC

MCMC est facile à lancer, mais aussi facile à mal utiliser. Voici les erreurs les plus courantes.

• Conclure trop tôt à la convergence : ce n'est pas parce que l'échantillonneur s'est exécuté sans erreur qu'il a convergé. Vérifiez toujours R-hat et les trace plots avant de faire confiance aux résultats. Une chaîne peut sembler stable tout en restant bloquée dans une région de l'espace des paramètres.
• Ignorer le burn-in : les premiers échantillons sont biaisés vers votre point de départ, pas vers la distribution cible. Écartez-les. La plupart des bibliothèques le gèrent via le paramètre tune, mais assurez-vous de ne pas les inclure par inadvertance dans votre analyse.
• Mauvais mélange : une chaîne qui avance trop lentement produit des échantillons très corrélés qui apportent moins d'information que leur nombre. Si votre trace plot montre une dérive lente plutôt qu'une bande horizontale bruitée, il faut ajuster la proposition ou changer d'algorithme. Passer de Metropolis à NUTS corrige souvent le problème.
• Trop peu d'échantillons : une taille d'échantillon effective (ESS) faible rend vos estimations peu fiables, même si la chaîne a techniquement convergé. Si l'ESS ne représente qu'une faible fraction de vos tirages, prolongez la chaîne ou améliorez le mélange avant de conclure.

MCMC vs autres méthodes d'échantillonnage

MCMC n'est pas la seule façon d'approximer une distribution. Voici la comparaison avec les alternatives.

• Rejection sampling : on tire des propositions d'une distribution plus simple et on les accepte selon leur adéquation à la cible. C'est exact quand ça marche, mais le taux d'acceptation s'effondre en grande dimension.
• Importance sampling : on pondère des échantillons issus d'une distribution de proposition pour approximer des espérances sous la cible. C'est rapide et efficace en faible dimension, mais la variance des poids explose quand la dimension augmente. En pratique, quelques échantillons portent presque tout le poids, ce qui dégrade les estimations.
• Inférence variationnelle (VI) : on ajuste une distribution plus simple pour approximer la cible en minimisant une divergence. VI est bien plus rapide que MCMC et passe à l'échelle sur de grands jeux de données, mais introduit une erreur d'approximation. La distribution ajustée peut manquer des structures postérieures que MCMC capturerait.

En bref :

MCMC face aux alternatives

MCMC est le bon choix quand la précision prime sur la vitesse. Si vous devez passer à l'échelle ou faire de l'inférence en temps réel, l'inférence variationnelle peut valoir le compromis sur la précision.

Conclusion

MCMC peut intimider de l'extérieur, mais tout s'éclaire dès qu'on comprend ce qu'il fait vraiment : construire une chaîne d'échantillons qui reflète progressivement la forme d'une distribution impossible à calculer directement.

C'est aussi bien plus abordable une fois découpé en deux briques : chaînes de Markov et méthodes de Monte Carlo.

Son rôle en statistiques bayésiennes est considérable. Des postérieures autrement inaccessibles deviennent traitables dès que vous disposez d'un échantillonneur fiable. C'est pourquoi MCMC est au cœur de bibliothèques de programmation probabiliste comme PyMC et Stan.

Mais avant de passer à l'implémentation, il faut ancrer l'intuition. Comprenez pourquoi la chaîne doit être « brûlée » (burn-in), ce que signifie vraiment le mélange, et comment lire un trace plot. Le code est la partie la plus simple : les bibliothèques Python masquent les détails derrière des appels de fonctions.

Pour devenir opérationnel en machine learning, inscrivez-vous au parcours Machine Learning Scientist in Python. 85 heures de contenu pour être prêt·e pour l'emploi en 2026.