Un modèle de langage ne lit ni des lettres ni des mots entiers : il lit des tokens, parfois appelés jetons en français. Un token est un fragment de texte, souvent un mot court, un morceau de mot long, un signe de ponctuation ou une espace. C'est l'unité dans laquelle les modèles mesurent ce qu'ils lisent, ce qu'ils écrivent et ce qu'ils facturent.
À quoi ressemble un token ?
Le découpage dépend du modèle, mais le principe est toujours le même. Les mots fréquents forment souvent un seul token. Les mots rares, longs ou composés sont coupés en plusieurs morceaux. Un mot comme « assistant » peut tenir en un ou deux tokens, alors que « anticonstitutionnellement » en demande plusieurs. Les nombres, les noms propres et les adresses e-mail se découpent souvent en de nombreux fragments.
OpenAI indique, comme ordre de grandeur, qu'un token correspond en moyenne à environ quatre caractères de texte anglais, soit à peu près trois quarts de mot. Pour le français et le néerlandais, il faut en général un peu plus de tokens pour le même contenu, parce que les découpages ont été conçus avec beaucoup de texte anglais. L'écart reste modeste pour ces langues, mais il existe.
Pourquoi les modèles utilisent des tokens
Travailler lettre par lettre rendrait les textes très longs et le calcul lent. Travailler mot par mot obligerait à connaître tous les mots de toutes les langues, y compris les fautes de frappe et les mots inventés. Les tokens sont un compromis : un vocabulaire de quelques dizaines de milliers de fragments suffit pour représenter n'importe quel texte, dans n'importe quelle langue, en combinant les morceaux.
Le modèle produit d'ailleurs sa réponse token par token. À chaque étape, il choisit le fragment suivant le plus probable compte tenu de tout ce qui précède. C'est ce mécanisme qui explique à la fois la fluidité des réponses et le risque d'hallucination : le modèle prolonge un texte plausible, fragment après fragment.
Les tokens et la facture
Les fournisseurs de modèles facturent l'usage au nombre de tokens, en distinguant en général :
- Les tokens d'entrée : tout ce qui est envoyé au modèle, c'est-à-dire la consigne, l'historique, les passages de documents et la question
- Les tokens de sortie : la réponse rédigée par le modèle, souvent facturée plus cher par token que l'entrée
Les prix s'expriment le plus souvent en dollars par million de tokens et varient fortement selon la puissance du modèle. Un même assistant peut coûter beaucoup plus ou beaucoup moins à faire fonctionner selon le modèle choisi et la quantité de texte envoyée à chaque message.
Pour une PME, ces calculs restent en général invisibles. Les outils d'assistant les convertissent en unités plus lisibles : conversations, crédits ou résolutions, ou les intègrent dans un forfait. Comprendre les tokens aide pourtant à lire une offre : un « crédit » peut valoir un nombre de tokens différent selon le modèle utilisé. Notre article sur le coût d'un assistant IA compare ces unités.
Les tokens et la fenêtre de contexte
La fenêtre de contexte, c'est-à-dire la quantité de texte qu'un modèle peut lire en une fois, se mesure aussi en tokens. Une fenêtre de 100 000 tokens représente plusieurs centaines de pages de texte. Tout ce qui est envoyé au modèle, y compris la réponse en cours d'écriture, doit tenir dans cette limite.
C'est l'une des raisons pour lesquelles un assistant dont la base documentaire est volumineuse n'envoie pas tous les documents à chaque question. Il sélectionne quelques passages pertinents grâce au RAG, ce qui réduit le nombre de tokens envoyés, donc le coût et le délai de réponse. Pour une base modeste, envoyer les documents en entier reste possible et évite de manquer un passage.
Ce qui fait grimper le nombre de tokens
Quelques habitudes augmentent la consommation sans améliorer les réponses :
- Une consigne très longue, renvoyée à chaque message de chaque conversation
- Des passages trop nombreux ou trop longs joints à chaque question
- Des conversations interminables, dont tout l'historique est relu à chaque réponse
- Des réponses verbeuses, alors qu'une réponse courte et sourcée suffit souvent
À l'inverse, une consigne concise, des documents bien structurés et des réponses qui vont à l'essentiel réduisent le nombre de tokens et améliorent souvent la clarté pour le visiteur.
Les tokens dans KernChat
KernChat suit pour chaque organisation l'usage de l'IA, y compris les tokens consommés et leur coût estimé par modèle, visibles dans l'espace de travail. Cet usage est compris dans l'abonnement : l'organisation n'achète pas de crédits et ne paie pas au token. Le suivi sert à vérifier que l'usage reste cohérent avec l'activité et à repérer, par exemple, une conversation anormalement longue.