Een taalmodel heeft veel algemene kennis, maar kent de actuele procedures van een specifiek bedrijf niet. RAG (generatie aangevuld met opgezochte informatie, in het Engels retrieval-augmented generation) vult die leemte in twee stappen: bij elke vraag zoekt het systeem in een kennisbank de passages die erop antwoorden en geeft die vervolgens aan het model met de instructie om daarop te antwoorden.
Waar RAG vandaan komt
De methode werd in 2020 beschreven door Patrick Lewis en zijn coauteurs in het artikel Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, voorgesteld op de NeurIPS-conferentie. Ze is uitgegroeid tot een van de meest gebruikte manieren om een model te laten antwoorden op basis van bedrijfsdocumenten.
Hoe het stap voor stap werkt
- Voorbereiding. De documenten worden in passages verdeeld en elke passage krijgt een weergave van haar betekenis
- Opzoeken. Bij elke vraag zoekt het systeem de passages die qua betekenis het dichtst aansluiten, ook zonder identieke woorden
- Generatie. Het model ontvangt de vraag en die passages, met de instructie om daarop te antwoorden en aan te geven wanneer ze niet volstaan
- Bronvermelding. De gebruikte passages worden bij het antwoord getoond
Wat het in de praktijk verandert
- De kennis wordt bijgewerkt zonder opnieuw te trainen. Een document wordt aangepast en het antwoord volgt zodra het systeem de wijziging heeft verwerkt
- Elk antwoord kan worden gecontroleerd. Als het systeem zijn bronnen toont, geeft de bronvermelding aan waar het antwoord vandaan komt
- Het model verzint minder. Het houdt zich aan de aangeleverde passages, wat hallucinaties beperkt
De beperkingen
RAG is maar zo goed als de documenten: een dubbelzinnige passage levert een dubbelzinnig antwoord op, twee tegenstrijdige versies een onbetrouwbaar antwoord. Het zoeksysteem kan ook de juiste passage missen als een document slecht is opgedeeld of de vraag heel andere woorden gebruikt. Daarom zijn een goede voorbereiding van de kennisbank en het nalezen van onbeantwoorde vragen belangrijk.
RAG of het model trainen?
Een model verfijnen op basis van uw documenten vraagt voorbereide gegevens en rekentijd en moet opnieuw gebeuren wanneer de informatie verandert. RAG laat het model doorgaans ongewijzigd en levert de informatie op het moment dat ze nodig is. Voor bedrijfskennis die vaak verandert, is dat meestal de eenvoudigste aanpak; beide technieken kunnen ook worden gecombineerd.
De assistenten van KernChat werken volgens dit principe: hun antwoorden komen uit de kennisruimtes van de organisatie en vermelden hun bron (bekijk hoe de kennis wordt voorbereid).