Een taalmodel raadpleegt geen databank met feiten: het produceert de meest waarschijnlijke tekst. Vaak klopt die tekst; soms vult het model ontbrekende informatie aan met iets dat aannemelijk klinkt. Dat noemen we een hallucinatie.
Hoe een hallucinatie eruitziet
Een klant vraagt aan de assistent van een installateur of het jaarlijkse onderhoud van een warmtepomp in het contract is inbegrepen. In de documenten staat daar niets over, maar de assistent antwoordt “Ja, dat is inbegrepen” omdat dat een waarschijnlijk antwoord lijkt. De toon is zelfzeker, de zin is correct en de informatie is fout.
Wat dit een bedrijf kan kosten
Een Canadese zaak illustreert het risico: Air Canada. De chatbot op de website had een klant verteld dat die na een overlijden in de familie achteraf een verlaagd tarief kon aanvragen, terwijl het beleid van de luchtvaartmaatschappij dat niet toeliet. Op 14 februari 2024 stelde het Civil Resolution Tribunal van Brits-Columbia de maatschappij verantwoordelijk voor die informatie en veroordeelde het haar tot terugbetaling van het verschil (uitspraak Moffatt tegen Air Canada). In deze zaak oordeelde de rechtbank dat de maatschappij verantwoordelijk bleef voor wat haar chatbot zei; een andere rechtbank zou anders kunnen redeneren, maar het signaal is duidelijk voor elk bedrijf.
Waarborgen die het risico beperken
- Antwoorden op basis van geselecteerde documenten. Met RAG antwoordt het model op basis van teruggevonden passages in plaats van zijn algemene geheugen
- Aangeven wanneer het iets niet weet. Een duidelijke instructie zet het model ertoe aan te melden dat het antwoord niet in zijn documenten staat, al is dat geen absolute garantie
- De bron tonen. Via bronvermelding kunt u controleren waar elk antwoord vandaan komt
- Doorgeven bij beslissingen die het bedrijf binden. Vaste prijzen, veiligheid, geschillen: overname door een mens neemt het over
- Nalezen. Gesprekken en onbeantwoorde vragen tonen waar een document dubbelzinnig is
Wat niet kan worden beloofd
Geen enkele instelling brengt het risico tot nul: een model kan nog altijd een passage verkeerd lezen of twee situaties door elkaar halen. Het realistische doel is fouten zeldzaam, zichtbaar en corrigeerbaar te maken en onderwerpen met grote gevolgen aan een persoon over te laten.
De assistenten van KernChat combineren deze waarborgen en elke onbeantwoorde vraag wordt een kennissuggestie die moet worden goedgekeurd (bekijk de functies).