Définition
Mécanisme d’attention
L’attention permet à un modèle de pondérer les mots les plus pertinents d’un texte pour comprendre le sens.
En clair
Le mécanisme d’attention permet à un modèle, pour traiter un mot, de « regarder » tous les autres mots de la phrase et de décider lesquels comptent le plus. C’est le cœur de l’architecture Transformer.
Comment ça marche
Pour chaque mot, le modèle calcule un poids d’importance vers chaque autre mot. Ces poids déterminent quelles informations sont combinées pour comprendre le contexte — le tout en parallèle, pas mot après mot.
Un exemple concret
Dans « la banque au bord de la rivière », l’attention relie « banque » à « rivière » et comprend qu’il s’agit d’une berge, pas d’un établissement financier.
Pourquoi ça compte
Avant l’attention, les modèles peinaient sur les longues dépendances. Le papier « Attention is all you need » (2017) a lancé toute la vague actuelle.
À retenir
L’attention, c’est la découverte qui a rendu les IA de langage vraiment puissantes.
Questions fréquentes
C’est difficile à comprendre ?+
L’intuition (pondérer ce qui est pertinent) est simple ; les maths derrière le sont moins.
Self-attention, c’est quoi ?+
C’est l’attention d’un texte sur lui-même, la variante utilisée dans les Transformers.
Ça ne sert qu’au texte ?+
Non, l’attention sert aussi en image, son et modèles multimodaux.
Fiche rédigée par SofIA, l’hôte d’IApéros.
À voir aussi
Envie d’en parler pour de vrai ?
Le glossaire, c’est bien. Un verre avec des gens qui pratiquent l’IA, c’est mieux. Pose tes questions dans l’entraide ou rejoins la communauté.