Science des données
Gradient clipping : comment éviter l'explosion des gradients
Le gradient clipping est un correctif d'entraînement en une ligne qui empêche l'explosion des gradients de ruiner l'entraînement des réseaux profonds. Ce guide explique son fonctionnement, ses deux méthodes, le choix du seuil et son implémentation sous PyTorch et TensorFlow.
Dario Radečić