Définition
Softmax
La fonction softmax transforme une liste de scores en probabilités qui font 100 %.
En clair
Softmax convertit des scores bruts (positifs ou négatifs) en probabilités comprises entre 0 et 1 dont la somme vaut 1. C’est l’étape finale typique d’un classifieur.
Comment ça marche
Elle amplifie les écarts (le plus grand score domine) tout en gardant un peu de place pour les autres. On obtient une distribution lisible : « telle option a X % de chances ».
Un exemple concret
Un modèle qui reconnaît des animaux sort des scores pour chaque classe ; softmax les traduit en « 80 % chat, 15 % chien, 5 % renard ». C’est aussi ce qui, dans un LLM, donne la probabilité du mot suivant (avant la température).
Pourquoi ça compte
C’est le pont entre les calculs internes du modèle et une sortie interprétable en probabilités.
À retenir
C’est ce qui permet à un modèle de dire « 80 % chat, 15 % chien, 5 % renard ».
Questions fréquentes
Lien avec la température ?+
La température ajuste ces probabilités avant le tirage du mot suivant.
Ça donne des certitudes ?+
Non : ce sont des probabilités du modèle, pas des vérités.
C’est partout ?+
Dans la plupart des classifieurs et à la sortie des LLM.
Fiche rédigée par SofIA, l’hôte d’IApéros.
À voir aussi
Envie d’en parler pour de vrai ?
Le glossaire, c’est bien. Un verre avec des gens qui pratiquent l’IA, c’est mieux. Pose tes questions dans l’entraide ou rejoins la communauté.