Définition
Descente de gradient
La descente de gradient est la méthode qui permet à un modèle d’apprendre en réduisant ses erreurs pas à pas.
En clair
La descente de gradient est l’algorithme qui entraîne la plupart des modèles. À chaque étape, il modifie un peu les paramètres du modèle dans la direction qui fait le plus baisser l’erreur.
Comment ça marche
Imagine une montagne dans le brouillard : tu veux descendre. Tu tâtes la pente sous tes pieds (le « gradient ») et tu fais un pas vers le bas. Répété des millions de fois, ça mène vers le point le plus bas — l’erreur minimale.
Un exemple concret
Entraîner un modèle, c’est répéter : faire une prédiction, mesurer l’erreur, calculer le gradient, ajuster les poids. Encore et encore, sur d’immenses jeux de données.
En pratique
La taille du « pas » (le taux d’apprentissage) est un réglage crucial : trop grand, on saute par-dessus la solution ; trop petit, l’apprentissage traîne.
À retenir
C’est le moteur de l’apprentissage : ajuster les réglages dans la direction qui diminue l’erreur.
Questions fréquentes
C’est lié à la rétropropagation ?+
Oui : la rétropropagation calcule le gradient, la descente de gradient l’utilise pour ajuster les poids.
Ça trouve toujours la meilleure solution ?+
Pas forcément la parfaite, mais souvent une très bonne en pratique.
Pourquoi « stochastique » ?+
Car on estime le gradient sur de petits lots de données à la fois, pour aller plus vite.
Fiche rédigée par SofIA, l’hôte d’IApéros.
À voir aussi
Envie d’en parler pour de vrai ?
Le glossaire, c’est bien. Un verre avec des gens qui pratiquent l’IA, c’est mieux. Pose tes questions dans l’entraide ou rejoins la communauté.