Een taalmodel leest geen letters en geen hele woorden: het leest tokens. Een token is een stukje tekst, vaak een kort woord, een deel van een lang woord, een leesteken of een spatie. Het is de eenheid waarin modellen meten wat ze lezen, wat ze schrijven en wat ze factureren.
Hoe ziet een token eruit?
De opdeling hangt af van het model, maar het principe blijft hetzelfde. Frequente woorden vormen vaak één token. Zeldzame, lange of samengestelde woorden worden in meerdere stukken geknipt. Een woord als "assistent" past misschien in één of twee tokens, terwijl "arbeidsongeschiktheidsverzekering" er meerdere vraagt. Getallen, eigennamen en e-mailadressen worden vaak in veel fragmenten opgedeeld.
OpenAI geeft als grootteorde aan dat één token gemiddeld overeenkomt met ongeveer vier tekens Engelse tekst, ongeveer driekwart van een woord. Voor het Nederlands en het Frans zijn er meestal iets meer tokens nodig voor dezelfde inhoud, omdat de opdelingen met veel Engelse tekst ontworpen werden. Het verschil blijft bescheiden voor die talen, maar het bestaat. Het Nederlands, met zijn lange samenstellingen, voelt dat iets sterker.
Waarom modellen tokens gebruiken
Letter per letter werken zou teksten heel lang maken en de berekening traag. Woord per woord werken zou vereisen dat het model alle woorden van alle talen kent, ook tikfouten en verzonnen woorden. Tokens zijn een compromis: een woordenschat van enkele tienduizenden fragmenten volstaat om elke tekst in elke taal voor te stellen, door de stukjes te combineren.
Het model produceert zijn antwoord trouwens token per token. Bij elke stap kiest het het meest waarschijnlijke volgende fragment op basis van alles wat voorafgaat. Dat mechanisme verklaart zowel de vlotheid van de antwoorden als het risico op hallucinatie: het model zet een plausibele tekst voort, fragment na fragment.
Tokens en de factuur
Modelleveranciers factureren het gebruik per aantal tokens en maken daarbij meestal een onderscheid tussen:
- Inputtokens: alles wat naar het model gestuurd wordt, dus de instructie, de geschiedenis, de passages uit documenten en de vraag
- Outputtokens: het antwoord dat het model schrijft, vaak duurder per token dan de input
Prijzen worden meestal uitgedrukt in dollar per miljoen tokens en verschillen sterk naargelang de kracht van het model. Dezelfde assistent kan veel meer of veel minder kosten om te draaien, afhankelijk van het gekozen model en de hoeveelheid tekst die bij elk bericht verzonden wordt.
Voor een kmo blijven die berekeningen meestal onzichtbaar. Assistenttools zetten ze om in leesbaardere eenheden: gesprekken, kredieten of oplossingen, of ze nemen ze op in een forfait. Tokens begrijpen helpt toch om een aanbod te lezen: een "krediet" kan een ander aantal tokens waard zijn naargelang het gebruikte model. Ons artikel over de kostprijs van een AI-assistent vergelijkt die eenheden.
Tokens en het contextvenster
Het contextvenster, de hoeveelheid tekst die een model in één keer kan lezen, wordt ook in tokens gemeten. Een venster van 100 000 tokens staat voor honderden pagina's tekst. Alles wat naar het model gaat, ook het antwoord dat geschreven wordt, moet binnen die grens passen.
Dat is een van de redenen waarom een assistent met een omvangrijke kennisbank niet alle documenten bij elke vraag meestuurt. Hij selecteert enkele relevante passages dankzij RAG, wat het aantal verzonden tokens verlaagt, en dus de kost en de wachttijd. Bij een bescheiden kennisbank blijft het mogelijk de documenten volledig mee te sturen, wat gemiste passages vermijdt.
Wat het aantal tokens doet stijgen
Enkele gewoonten verhogen het verbruik zonder de antwoorden te verbeteren:
- Een zeer lange instructie, bij elk bericht van elk gesprek opnieuw verstuurd
- Te veel of te lange passages bij elke vraag
- Eindeloze gesprekken, waarvan de hele geschiedenis bij elk antwoord herlezen wordt
- Breedsprakige antwoorden, terwijl een kort antwoord met bron vaak volstaat
Omgekeerd verlagen een beknopte instructie, goed gestructureerde documenten en antwoorden die ter zake komen het aantal tokens, en verbeteren ze vaak de duidelijkheid voor de bezoeker.
Tokens in KernChat
KernChat volgt per organisatie het AI-gebruik op, inclusief de verbruikte tokens en hun geschatte kost per model, zichtbaar in de werkruimte. Dat gebruik zit in het abonnement: de organisatie koopt geen kredieten en betaalt niet per token. De opvolging dient om te controleren dat het gebruik in lijn blijft met de activiteit en om bijvoorbeeld een abnormaal lang gesprek op te sporen.