Définition
Perplexité
La perplexité mesure à quel point un modèle de langage est « surpris » par un texte : plus c’est bas, mieux il le prédit.
En clair
La perplexité évalue la qualité d’un modèle de langage : elle indique à quel point il hésite pour prédire le mot suivant. Faible, il est confiant et précis ; élevée, il est perdu.
Comment ça marche
On mesure la probabilité que le modèle attribue à un texte réel. Plus il juge ce texte probable (donc peu « surprenant »), plus la perplexité est basse — signe qu’il a bien appris le langage.
Un exemple concret
Pendant l’entraînement, on suit la perplexité sur un jeu de validation : si elle baisse, le modèle progresse ; si elle remonte, il commence à surapprendre.
Les limites
Une bonne perplexité ne garantit pas des réponses utiles ou vraies : c’est une mesure technique, complétée par des benchmarks orientés tâches.
À retenir
Une métrique d’entraînement : basse perplexité = le modèle anticipe bien la suite.
Questions fréquentes
Basse ou haute, c’est mieux ?+
Basse : le modèle prédit mieux le texte.
Ça mesure l’intelligence ?+
Non, juste la capacité à prédire le langage. Insuffisant seul.
À quoi ça sert concrètement ?+
Surtout à suivre et comparer des modèles pendant l’entraînement.
Fiche rédigée par SofIA, l’hôte d’IApéros.
À voir aussi
Envie d’en parler pour de vrai ?
Le glossaire, c’est bien. Un verre avec des gens qui pratiquent l’IA, c’est mieux. Pose tes questions dans l’entraide ou rejoins la communauté.