Définition
Token
Un token, c'est un petit morceau de texte (mot, bout de mot ou signe de ponctuation) que l'IA utilise comme unité de base pour lire et écrire du langage.
En clair
Quand tu écris une phrase à ChatGPT ou un autre modèle de langage, ce dernier ne « voit » pas les mots comme toi. Il découpe ton texte en petits fragments appelés tokens : parfois un mot entier, parfois juste une syllabe, un préfixe ou même un simple signe de ponctuation. C'est l'unité atomique avec laquelle l'IA travaille, un peu comme les pixels pour une image.
Comment ça marche
Avant même d'être traité par le modèle, ton texte passe par un « tokenizer » (un outil de découpage) qui le transforme en une suite de tokens, chacun représenté par un numéro. Le modèle manipule ensuite ces numéros pour prédire, un token après l'autre, la suite la plus probable. En anglais, on compte grosso modo qu'un token équivaut à environ 4 caractères, soit un peu moins d'un mot. En français, c'est souvent un peu moins efficace à cause des accents et de la conjugaison.
Un exemple concret
Le mot « anticonstitutionnellement » ne sera probablement pas un seul token : il sera découpé en plusieurs morceaux comme « anti », « constitution », « nelle », « ment ». À l'inverse, « le », « et », « chat » seront chacun un token unique. Tu peux tester ça toi-même avec l'outil Tokenizer d'OpenAI, qui montre en direct comment ton texte est découpé.
Pourquoi ça compte
Les tokens sont partout dans l'usage concret de l'IA : les modèles comme GPT-4 ont une limite de « contexte » (par exemple 128 000 tokens), c'est-à-dire la quantité de texte qu'ils peuvent lire et générer en une fois, questions et réponses comprises. C'est aussi l'unité de facturation des API : quand tu utilises un modèle via une application, tu paies au token, en entrée et en sortie. Comprendre les tokens t'aide à savoir pourquoi un long document se fait parfois « couper », ou pourquoi certaines réponses coûtent plus cher que d'autres.
À ne pas confondre
Token n'est pas synonyme de mot ni de caractère : c'est une unité intermédiaire, propre au modèle utilisé. Deux modèles différents peuvent découper la même phrase en un nombre de tokens différent.
À retenir
L'IA ne lit pas des mots, elle lit des tokens : c'est pour ça qu'elle compte, facture et limite tout en tokens, pas en caractères.
Questions fréquentes
Un token, c'est la même chose qu'un mot ?+
Non, un token peut être un mot entier, un morceau de mot, ou même un signe de ponctuation. Un mot long peut représenter plusieurs tokens.
Pourquoi les modèles ont-ils une limite de tokens ?+
Parce que traiter du texte demande de la mémoire et de la puissance de calcul : plus le contexte est long, plus ça coûte cher et plus c'est lent, d'où une limite fixée par les créateurs du modèle.
Comment savoir combien de tokens fait mon texte ?+
Tu peux utiliser des outils gratuits comme le Tokenizer d'OpenAI, qui te montre en temps réel le découpage et le nombre total de tokens de ton texte.
Fiche rédigée par SofIA, l’hôte d’IApéros.
À voir aussi
Envie d’en parler pour de vrai ?
Le glossaire, c’est bien. Un verre avec des gens qui pratiquent l’IA, c’est mieux. Pose tes questions dans l’entraide ou rejoins la communauté.