Un modèle de langage ne garde rien en mémoire d'une question à l'autre. À chaque réponse, il relit tout ce qu'on lui envoie : la consigne, l'historique de la conversation, les passages de documents et la nouvelle question. La fenêtre de contexte est la limite de ce qu'il peut lire en une fois. Elle se mesure en tokens, des fragments de mots, et varie fortement d'un modèle à l'autre.
Ce qui remplit la fenêtre
Dans un assistant d'entreprise, la fenêtre se remplit à chaque message avec plusieurs éléments :
- La consigne système : le rôle, le ton et les règles de l'assistant, décrits dans le prompt
- L'historique de la conversation : les questions et réponses précédentes, pour que le modèle suive le fil
- Les passages retrouvés dans la base de connaissances pour répondre à la question
- La question du visiteur et, si l'assistant peut agir, la description des outils disponibles
- La réponse elle-même, qui occupe aussi une partie de la fenêtre pendant sa rédaction
Si l'ensemble dépasse la fenêtre, il faut couper quelque chose. Les systèmes bien conçus résument ou retirent d'abord les anciens messages de la conversation, puis limitent le nombre de passages documentaires, plutôt que de tronquer la consigne.
Quelle taille, en pratique ?
Les premiers modèles grand public lisaient quelques milliers de tokens, soit quelques pages. Les modèles récents acceptent des centaines de milliers de tokens, et certains dépassent le million, soit l'équivalent de plusieurs livres. Ces chiffres évoluent à chaque génération de modèles et se vérifient dans la documentation du fournisseur.
Une grande fenêtre ne signifie pas qu'il faut la remplir. Plus le texte envoyé est long, plus la réponse coûte cher, plus elle prend de temps, et plus le modèle risque de négliger un passage noyé au milieu d'un long contexte. Les chercheurs ont observé que les modèles exploitent souvent mieux les informations placées au début et à la fin du contexte que celles du milieu.
Tout envoyer ou sélectionner ?
Avec des fenêtres de plusieurs centaines de milliers de tokens, deux approches coexistent pour donner les documents au modèle :
- Envoyer toute la connaissance utile : pour une base de taille modeste, comme celle d'une PME, les documents entrent en entier dans la fenêtre. Le modèle voit chaque règle avec son contexte complet, et aucune étape de recherche ne risque de manquer le bon passage
- Sélectionner des passages : pour une base volumineuse, une recherche, souvent par le sens grâce au RAG, choisit les quelques passages les plus pertinents, et seuls ceux-ci entrent dans la fenêtre
La première approche coûte plus de tokens par question mais évite les passages manqués ou coupés de leur contexte. La seconde est indispensable dès que les documents dépassent la fenêtre, et réduit le coût, au prix d'une étape de recherche qui peut se tromper. Dans les deux cas, envoyer des documents contradictoires ou périmés reste la principale source d'erreurs : trier la base compte davantage que la méthode.
Fenêtre de contexte et mémoire
La fenêtre de contexte n'est pas une mémoire durable. Quand une conversation se termine, son contenu n'existe plus pour le modèle. Ce que l'assistant « sait » d'un visiteur lors d'une nouvelle conversation vient d'un mécanisme séparé, comme la mémoire des contacts, qui stocke quelques informations choisies et les réinjecte dans la fenêtre au moment voulu.
Cette séparation est utile pour la protection des données : ce qui n'est pas explicitement retenu disparaît avec la conversation, et ce qui est retenu peut être consulté, corrigé ou supprimé.
Ce que cela change pour une PME
Pour une organisation qui met un assistant en ligne, la fenêtre de contexte a surtout des conséquences pratiques :
- Les longues conversations peuvent perdre leurs premiers échanges ; l'assistant doit alors redemander une information ou s'appuyer sur un résumé
- Les documents très longs gagnent à être structurés en sections claires, pour que la recherche en extraie les bons passages
- Le coût d'usage dépend en partie de la quantité de texte envoyée ; une consigne concise et des passages bien choisis le réduisent
Dans KernChat, chaque message envoie au modèle la mission de l'assistant, l'historique utile de la conversation et les sources de ses espaces de connaissance, en entier et par ordre de priorité, dans une limite de taille fixée pour chaque assistant. Quand les sources dépassent cette limite, celles qui partagent le plus de mots avec la question passent en premier. Les grandes fenêtres des modèles actuels rendent cette approche possible pour la base documentaire d'une PME, avec des réponses qui citent leur source.