Méthode de Newton : trouvez des racines rapidement par approximation itérative

Certaines équations n'ont tout simplement pas de solution algébrique élégante.

Vous pouvez factoriser et substituer autant que vous voulez, certaines équations n'admettent pas de forme fermée. Par exemple, il n'existe pas de solution algébrique générale pour un polynôme de degré cinq ou plus. Les fonctions qui mêlent exponentielles et polynômes, comme e^x = 3x, relèvent du même cas. Il faut une autre approche.

La méthode de Newton est cette approche. Elle trouve les racines numériquement en produisant des estimations de plus en plus pertinentes – chacune guidée par la tangente à la fonction au point courant.

Dans cet article, je vous explique la formule derrière la méthode de Newton, son fonctionnement pas à pas, quand elle converge et quand elle échoue – avec des exemples concrets pour ancrer la théorie.

Vous cherchez d'autres notions de maths utiles aux data scientists ? Lisez notre article Suites géométriques : formule, convergence et exemples pour voir leurs applications en finance, en physique et en informatique.

Qu'est-ce que la méthode de Newton ?

La méthode de Newton est une technique itérative pour trouver les racines d'une fonction. Les racines sont les valeurs d'entrée pour lesquelles la fonction vaut zéro.

Vous commencez avec une estimation initiale. Puis la méthode exploite la géométrie de la fonction en ce point pour produire une meilleure estimation. Vous répétez le processus, et chaque itération vous rapproche de la racine réelle.

C'est toute l'idée : une règle de mise à jour simple et réutilisable qui converge vers la réponse.

La formule de la méthode de Newton

Le cœur de la méthode de Newton est une unique règle de mise à jour que vous appliquez à répétition jusqu'à être suffisamment proche de la racine.

Voici la formule :

Formule de la méthode de Newton

Chaque itération prend votre estimation actuelle x_n et en produit une meilleure, x_{n+1}. Vous poursuivez les mises à jour jusqu'à ce que le résultat soit assez proche de zéro.

La formule comporte trois éléments :

• x_n – votre estimation courante de la racine

• f(x_n) – la valeur de la fonction en cette estimation

• f'(x_n) – la dérivée de la fonction en cette estimation, qui donne la pente de la tangente

Si f(x_n) est grande, vous êtes loin de la racine. Si f'(x_n) est raide, la fonction varie vite et vous pouvez faire un plus grand pas. Le ratio f(x_n) / f'(x_n) indique exactement de combien se déplacer – et vous le soustrayez de votre estimation actuelle pour vous rapprocher.

Si f'(x_n) est nulle ou quasi nulle, la formule ne fonctionne plus vraiment. Vous divisez par zéro ; la méthode ne peut donc pas produire la suite. Je détaillerai ce point dans la section limites.

Comment fonctionne la méthode de Newton

La méthode de Newton suit les mêmes quatre étapes à chaque itération.

1. Choisir une estimation initiale : sélectionnez une valeur de départ x_0 proche de la racine. Pas besoin d'être exact – il suffit d'être assez près pour que la fonction se comporte de manière prévisible autour de ce point. Je préciserai ce que « assez près » signifie dans la section sur la convergence.

2. Calculer la valeur de la fonction : évaluez f(x_0). Cela vous indique à quelle distance de zéro se trouve la fonction pour votre estimation actuelle. Si f(x_0) = 0, c'est terminé : vous avez trouvé la racine.

3. Calculer la dérivée : évaluez f'(x_0). Vous obtenez ainsi la pente de la fonction en x_0, c’est-à-dire la pente de la tangente en ce point.

4. Mettre à jour l'estimation : appliquez la règle de mise à jour selon la formule de la section précédente.

Et c’est tout !

Cette nouvelle valeur x_1 est l'abscisse où la tangente coupe l'axe des x. Géométriquement, vous tracez la droite tangente à la courbe en x_0 et vous la suivez jusqu'à l'axe des x. Ce point d'intersection devient votre nouvelle estimation, plus précise.

Ensuite, vous recommencez. Remplacez x_1 dans les étapes 2 à 4 pour obtenir x_2, puis x_3, etc. À chaque itération, vous tracez une nouvelle tangente au point mis à jour et trouvez où elle coupe l'axe des x.

Le processus s'arrête lorsque f(x_n) est suffisamment proche de zéro – typiquement lorsqu'elle passe sous un petit seuil défini à l'avance.

Interprétation géométrique de la méthode de Newton

Imaginez une courbe sur un graphique – c'est votre fonction f(x). La racine est l'endroit où la courbe coupe l'axe des x. Vous ne connaissez pas encore cette abscisse, donc vous commencez par une estimation x_0 sur l'axe des x.

À chaque étape, vous placez le point (x_0, f(x_0)) sur la courbe, puis vous tracez en ce point la tangente – une droite qui touche la courbe et suit sa pente. Cette tangente n'est pas horizontale ; elle est inclinée et, en la prolongeant, elle coupe l'axe des x en un point. Cette intersection est votre prochaine estimation, x_1.

Puis vous répétez. En x_1, vous tracez une nouvelle tangente et trouvez où elle coupe l'axe des x : cela donne x_2. Chaque tangente est une approximation linéaire locale de la courbe, et chaque point d'intersection vous rapproche de la racine réelle.

Le graphique ci-dessous montre deux itérations de la méthode de Newton appliquée à f(x) = x^2 - 2, en partant de x_0 = 2.5 :

Interprétation géométrique

Cela fonctionne parce qu'une tangente est la meilleure approximation affine d'une courbe en un point donné. Plus vous êtes proche de la racine, plus la tangente ressemble à la courbe elle‑même – et plus votre prochaine étape est précise.

En pratique, les estimations ne rampent pas seulement vers la racine : elles y bondissent, en doublant souvent le nombre de décimales correctes à chaque itération.

Exemple pas à pas de la méthode de Newton

Appliquons la méthode de Newton à f(x) = x^2 - 2. La racine de cette fonction est x = sqrt(2) ≈ 1.4142 – autrement dit, nous calculons la racine carrée de 2.

La dérivée est f'(x) = 2x, donc la règle de mise à jour devient :

Exemple (règle de mise à jour)

Commençons avec une estimation initiale x_0 = 2.5.

Itération 1 :

Exemple (itération 1)

Itération 2 :

Exemple (itération 2)

Itération 3 :

Exemple (itération 3)

Après seulement trois itérations, nous sommes déjà précis à quatre décimales. L'erreur est passée de 1.086 en x_0 à 0.0001 en x_3 – et elle continue de diminuer à chaque étape.

Voici la représentation visuelle de ces estimations et erreurs :

Vue d'ensemble visuelle de l'estimation et de l'erreur

Le panneau de gauche montre comment chaque estimation se rapproche de sqrt(2) ≈ 1.4142, tandis que celui de droite montre l'erreur décroître en échelle logarithmique – chaque itération améliorant grosso modo au carré la précision de la précédente.

Convergence de la méthode de Newton

La méthode de Newton peut converger très vite, mais seulement si les conditions sont réunies.

Quand l'estimation initiale est proche de la racine et que la fonction est régulière dans la zone, la méthode présente une convergence quadratique. C'est le terme technique pour ce que vous avez vu : chaque itération divise l'erreur par son carré par rapport à la précédente. Deux décimales correctes deviennent quatre, puis huit, et ainsi de suite.

Deux conditions doivent être remplies :

• Une bonne estimation initiale : plus x_0 est proche de la racine réelle, plus la convergence est rapide. Si vous partez trop loin, la tangente en ce point peut vous envoyer dans la mauvaise direction.
• Une fonction bien comportée : la fonction doit être lisse et dérivable près de la racine. Les virages brusques ou les zones plates perturbent l'approximation par la tangente.

Le cas d'échec le plus courant est une dérivée proche de zéro. 

Si f'(x_n) est très petite, vous divisez par un nombre minuscule dans la mise à jour, ce qui envoie la prochaine estimation loin de la racine. Au pire, si f'(x_n) = 0, le calcul s'arrête car vous ne pouvez pas diviser par zéro.

Un mauvais point de départ peut aussi faire osciller ou diverger la méthode. Au lieu de se rapprocher de la racine, les estimations alternent ou s'éloignent à chaque itération.

La méthode de Newton récompense une bonne préparation. Une estimation raisonnable et une fonction régulière suffisent pour converger, et converger vite.

Atouts de la méthode de Newton

Quand les conditions sont favorables, la méthode de Newton est difficile à dépasser.

Son plus grand atout est la convergence quadratique. La plupart des méthodes numériques se rapprochent de la racine à un rythme linéaire, c'est‑à‑dire qu'à chaque itération l'erreur diminue d'une quantité fixe. La méthode de Newton, elle, « met l'erreur au carré », et atteint donc rapidement une grande précision avec très peu d'itérations.

Elle est aussi polyvalente. Vous pouvez l'appliquer à un large éventail de fonctions – polynomiales, trigonométriques, exponentielles – sans rien changer. C'est pourquoi on la retrouve dans de nombreux domaines, des simulations d'ingénierie à l'entraînement de modèles d'apprentissage automatique.

Limites de la méthode de Newton

La méthode de Newton exige beaucoup en échange de sa rapidité. Voici quelques limites à garder en tête :

• Elle nécessite une dérivée : il vous faut une expression analytique de f'(x) avant même de lancer une seule itération. Si la dérivée est difficile à calculer (ou n'existe pas), il faut envisager une autre méthode.

• Elle est sensible au point de départ : si vous démarrez trop loin de la racine, la méthode peut vous envoyer dans la mauvaise direction.

• Elle peut ne pas converger : si la fonction comporte des zones plates ou des courbures abruptes, l'approximation par la tangente échoue.

• Elle peut diverger ou osciller : dans les mauvais cas, les estimations ne convergent pas, s'éloignent de la racine ou rebondissent indéfiniment.

Avant d'opter pour la méthode de Newton, assurez‑vous donc de bien comprendre votre fonction.

Méthode de Newton vs autres méthodes de recherche de racines

La méthode de Newton n'est pas la seule façon de trouver des racines, et ce n'est pas toujours la mieux adaptée.

Deux autres méthodes reviennent souvent : la bissection et la sécante. Voici un bref aperçu.

Méthode de bissection

La bissection est la plus simple des trois. Vous partez d'un intervalle [a, b] où la fonction change de signe – ce qui garantit l'existence d'une racine dans l'intervalle. Puis vous coupez l'intervalle en deux à répétition, en conservant la moitié où le changement de signe persiste.

Ça fonctionne, mais c'est lent. L'erreur est divisée par deux à chaque itération : c'est une convergence linéaire. En revanche, c'est garanti tant que la fonction est continue et que votre intervalle initial encadre une racine. Aucune dérivée n'est requise.

Méthode de la sécante

La méthode de la sécante est proche de celle de Newton. Au lieu de calculer analytiquement la dérivée, elle l'approxime à partir de deux estimations successives :

Formule de la méthode de la sécante

C'est une bonne option quand la dérivée est coûteuse à calculer. Le prix à payer est la vitesse : la sécante converge plus vite que la bissection mais un peu moins vite que la méthode de Newton.

Applications de la méthode de Newton

La méthode de Newton est omniprésente en science, en ingénierie et en apprentissage automatique. Voici comment, concrètement.

Résolution numérique d'équations

L'application la plus directe. Quand une fonction n'a pas de solution en forme fermée, la méthode de Newton permet de trouver la racine. On la retrouve constamment en calcul scientifique : recherche de points d'équilibre en chimie, résolution d'équations transcendantes en traitement du signal, etc.

Optimisation

Trouver le minimum ou le maximum d'une fonction f(x) revient à trouver où sa dérivée f'(x) = 0. C'est un problème de recherche de racines – on peut donc appliquer la méthode de Newton. Il suffit d'exécuter l'algorithme sur f'(x) au lieu de f(x), en utilisant la seconde dérivée f''(x) à la place de la première.

Cette variante s'appelle la méthode de Newton pour l'optimisation et elle converge plus vite que la descente de gradient pour des fonctions lisses et bien comportées.

Apprentissage automatique

En apprentissage automatique, entraîner un modèle revient à minimiser une fonction de perte. La méthode de Newton et ses variantes interviennent à plusieurs niveaux.

L-BFGS (Limited-memory Broyden-Fletcher-Goldfarb-Shanno) est un optimiseur quasi-Newton qui approxime la seconde dérivée pour éviter de la calculer directement. C'est un choix standard pour la régression logistique et d'autres problèmes convexes. La méthode de Newton est aussi à la base des mises à jour de Newton-Raphson utilisées pour l'ajustement de modèles statistiques, comme les modèles linéaires généralisés.

Physique et ingénierie

La méthode de Newton est partout en simulation et en conception. Les ingénieurs l'utilisent pour résoudre des systèmes non linéaires décrivant des phénomènes physiques – analyse des contraintes mécaniques, dynamique des fluides, etc. Dans chaque cas, le problème revient à trouver où un ensemble d'équations s'annule.

Erreurs fréquentes avec la méthode de Newton

La plupart des écueils liés à la méthode de Newton tiennent à quatre erreurs récurrentes. Les voici :

• Démarrer trop loin de la racine : une mauvaise estimation initiale est la cause la plus fréquente de divergence ou d'oscillation. Si vous n'avez pas une bonne intuition de l'emplacement de la racine, tracez d'abord la fonction : cela vous indiquera où commencer.

• Se tromper de dérivée : la règle de mise à jour dépend de f'(x). Une dérivée erronée – par erreur de calcul ou de code – génère des estimations fausses dès la première itération, et l'erreur s'amplifie ensuite.

• Oublier le risque de division par zéro. Si f'(x_n) est nulle ou presque, l'étape de mise à jour échoue. Prévoyez une protection dans votre implémentation : si la dérivée passe sous un petit seuil, arrêtez et signalez l'échec plutôt que de produire un résultat incohérent.

• S'arrêter trop tôt. Couper les itérations avant convergence vous laisse une réponse qui paraît bonne mais ne l'est pas. Définissez votre critère d'arrêt sur l'erreur réelle – soit |f(x_n)|, soit |x_{n+1} - x_n| en‑dessous d'un seuil choisi délibérément, et non un simple nombre fixe d'itérations.

Conclusion

La méthode de Newton est l'un des outils les plus utiles du calcul numérique. Une seule règle de mise à jour, appliquée à répétition, permet de trouver des racines à la précision souhaitée en quelques itérations.

Cette vitesse a un prix : des conditions à respecter. Il vous faut une bonne estimation initiale, une fonction ni plate, ni trop « pointue », et une dérivée non nulle pour obtenir une convergence rapide. Comprenez ces conditions et vous saurez quand utiliser la méthode de Newton et quand préférer une autre approche (comme la bissection ou la sécante).

La meilleure façon d'acquérir cette intuition est de pratiquer sur des exemples simples. Commencez par f(x) = x^2 - 2, testez différents points de départ et observez. Passez ensuite à des fonctions à racines multiples ou à zones plates et voyez où la méthode atteint ses limites.

Si l'optimisation par itérations vous intéresse, ne manquez pas la descente de gradient. Lisez notre Gradient Descent in Machine Learning : A Deep Dive pour comprendre comment elle optimise les modèles en machine learning.