Een taalmodel komt getraind op een enorme hoeveelheid algemene teksten. Fine-tuning betekent die training voortzetten op een set gekozen voorbeelden, om het gedrag blijvend te wijzigen: een stijl aannemen, een formaat respecteren, een gespecialiseerde woordenschat beheersen of een precieze taak beter uitvoeren.
Hoe het verloopt
Het principe is eenvoudig, de uitvoering minder. Men bereidt honderden of duizenden voorbeelden voor in de vorm "dit is een vraag, dit is het verwachte antwoord". Men start een training die een deel van de parameters van het model aanpast zodat het die antwoorden nabootst. Men krijgt een nieuwe versie van het model, die men test op voorbeelden die het niet zag, en daarna in gebruik neemt.
Verschillende leveranciers bieden die dienst aan voor sommige van hun modellen, en open modellen kunnen op eigen servers verfijnd worden. Lichtere technieken, zoals LoRA, in 2021 gepubliceerd door een team van Microsoft, passen maar een klein deel van de parameters aan en maken de operatie goedkoper.
Waar fine-tuning goed in is
- Een stijl of formaat opleggen: een zeer eigen merktoon, een antwoordstructuur die altijd gelijk is, een precies gegevensformaat
- Een repetitieve taak specialiseren: vragen indelen, velden uit een document halen, samenvatten volgens een vast model
- Instructies inkorten: aangeleerd gedrag hoeft niet meer bij elke vraag in de prompt beschreven te worden
- Een kleiner model gebruiken: een licht model dat op een taak verfijnd is, kan een krachtiger niet-verfijnd model evenaren, tegen een lagere gebruikskost
Waar fine-tuning slecht in is
Fine-tuning wordt vaak ten onrechte voorgesteld als de manier om het model de informatie van een bedrijf aan te leren. Daarvoor is het zelden het juiste middel:
- Feiten veranderen. Een gewijzigd tarief, openingsuur of voorwaarde zou een nieuwe training vereisen. Met een kennisbank volstaat het het document te corrigeren
- Aangeleerde feiten kunnen niet geciteerd worden. Een verfijnd model kan niet zeggen waar een informatie vandaan komt. Een assistent die uw documenten leest, kan zijn bron tonen
- Aangeleerde feiten raken door elkaar. Training voorkomt geen hallucinaties; ze kan het model zelfs zekerder maken over slecht onthouden details
- De onderhoudskost is hoog. Elke nieuwe versie van het basismodel, en die komen meerdere keren per jaar, vraagt de verfijning en de tests opnieuw te doen
Fine-tuning of RAG?
Beide benaderingen beantwoorden verschillende behoeften en kunnen gecombineerd worden:
| Behoefte | Meest geschikte aanpak |
|---|---|
| Antwoorden op basis van documenten die veranderen | RAG of documenten in de context |
| De bron van elk antwoord citeren | RAG of documenten in de context |
| Een zeer eigen toon of formaat aannemen | Gedetailleerde instructie, daarna fine-tuning als die niet volstaat |
| Een repetitieve taak op grote schaal uitvoeren | Fine-tuning van een kleiner model |
| Zeer gespecialiseerd jargon beheersen | Woordenlijst in de documenten, daarna fine-tuning indien nodig |
Voor een assistent die de bezoekers van de website van een kmo antwoordt, is de redelijke volgorde bijna altijd dezelfde: eerst een goede instructie, dan goede documenten, daarna tests. Fine-tuning komt pas als laatste redmiddel, voor een precieze behoefte die de eerste twee stappen niet dekken.
Vragen om te stellen voor u verfijning overweegt
- Komt het probleem van het model of van de documenten? De meeste fouten van een assistent komen van een vaag, verouderd of ontbrekend document
- Zou een preciezere instructie volstaan? Enkele voorbeelden in de instructie, voorbeelden in context genoemd, bereiken vaak hetzelfde effect zonder training
- Hebt u genoeg voorbeelden van goede kwaliteit? Onsamenhangende voorbeelden geven een onsamenhangend model
- Wie onderhoudt het verfijnde model? En wat gebeurt er wanneer de leverancier het basismodel terugtrekt
Fine-tuning en persoonsgegevens
Trainingsvoorbeelden komen op een bepaalde manier in het model terecht. Dienen echte gesprekken als voorbeelden, dan moeten de persoonsgegevens erin verwijderd of geanonimiseerd worden, en moet dat doel een eigen rechtsgrond hebben in de zin van de AVG. Dat is een van de redenen waarom de vraag "worden mijn gesprekken gebruikt om een model te trainen?" een schriftelijk antwoord van elke leverancier verdient.
En in KernChat?
KernChat verfijnt geen model op de gegevens van zijn klanten. De assistenten gebruiken modellen van de markt (Google Gemini, Anthropic Claude of OpenAI), gestuurd door een missie die samen met de organisatie geschreven wordt en gevoed door haar kennisruimtes. Berichten worden aan de modelleverancier doorgegeven om het antwoord te genereren; KERN-IT gebruikt ze niet om een model te trainen. Kennis wordt gecorrigeerd door haar bron aan te passen, en de correctie geldt vanaf de volgende vraag.