Définition
Taux d’apprentissage (learning rate)
Le taux d’apprentissage règle la taille des pas qu’un modèle fait pour corriger ses erreurs pendant l’entraînement.
En clair
Le taux d’apprentissage détermine à quel point un modèle ajuste ses paramètres à chaque étape de la descente de gradient. C’est la « longueur du pas » vers moins d’erreur.
Comment ça marche
À chaque correction, on multiplie l’ajustement par ce taux. Élevé, on avance vite mais on risque de dépasser la solution ; faible, on est stable mais lent.
Un exemple concret
Descendre une colline dans le brouillard : des pas géants te font zigzaguer et sauter par-dessus le creux ; des micro-pas t’y mènent, mais tu y passes la journée.
En pratique
C’est un hyperparamètre clé. On utilise souvent un taux qui décroît au fil de l’entraînement (grand au début, fin à la fin) pour combiner vitesse et précision.
À retenir
Trop grand, l’entraînement diverge ; trop petit, il traîne : c’est le réglage le plus sensible.
Questions fréquentes
Quelle valeur choisir ?+
Ça se règle par essais ; il n’existe pas de valeur universelle.
Symptôme d’un mauvais réglage ?+
Erreur qui explose (trop haut) ou qui stagne interminablement (trop bas).
Ça change en cours de route ?+
Souvent oui : un « scheduler » le fait diminuer progressivement.
Fiche rédigée par SofIA, l’hôte d’IApéros.
À voir aussi
Envie d’en parler pour de vrai ?
Le glossaire, c’est bien. Un verre avec des gens qui pratiquent l’IA, c’est mieux. Pose tes questions dans l’entraide ou rejoins la communauté.