Natuurlijke taalverwerking, vaak afgekort als NLP (van het Engelse natural language processing), omvat de technieken waarmee een computer menselijke taal kan lezen, begrijpen, analyseren of produceren. Een tekst vertalen, spelling verbeteren, een e-mail indelen, een document samenvatten of een vraag beantwoorden horen er allemaal bij.
Een oude discipline
Taalverwerking is bijna even oud als de informatica. In 1950 stelt Alan Turing in het artikel "Computing Machinery and Intelligence" een test voor die op een gesprek steunt om te beoordelen of een machine kan denken. In 1954 vertaalt het Georgetown-IBM-experiment automatisch een zestigtal zinnen uit het Russisch naar het Engels. In 1966 bootst ELIZA, een programma van Joseph Weizenbaum aan het MIT, een gesprek na op basis van trefwoorden.
Decennialang gaat de discipline vooruit in stappen, elk met eigen methodes:
- Handgeschreven regels (jaren 1950 tot 1980): taalkundigen beschrijven grammatica en woordenschat zodat het programma een zin kan ontleden
- Statistische methodes (jaren 1990 en 2000): het programma leert regelmatigheden uit grote hoeveelheden tekst, wat onder meer automatisch vertalen verbetert
- Deep learning (jaren 2010): neurale netwerken en embeddings stellen de betekenis van woorden en zinnen voor met getallen
- Grote taalmodellen (sinds eind jaren 2010): één taalmodel, getraind op enorme corpora, voert de meeste taken uit die vroeger een gespecialiseerde tool vroegen
De grote taken van NLP
- Classificatie: een categorie toekennen aan een tekst, zoals "klacht", "offerteaanvraag" of "praktische vraag"
- Entiteitsherkenning: in een tekst namen, datums, plaatsen, bedragen of bestelnummers opsporen
- Intentieherkenning: begrijpen wat de schrijver van een bericht wil, verder dan de gebruikte woorden
- Sentimentanalyse: inschatten of een bericht positief, neutraal of negatief is
- Vertaling van de ene taal naar de andere
- Samenvatting van een document of gesprek
- Informatie zoeken, waaronder semantisch zoeken, dat een passage op haar betekenis terugvindt
- Tekstgeneratie: een antwoord, e-mail of beschrijving schrijven
NLP en chatbots
De eerste chatbots van bedrijven gebruikten NLP voor een precieze taak: de intentie van een bezoeker herkennen uit een voorziene lijst en dan het vooraf geschreven antwoord voor die intentie tonen. Het programma begreep de vraag beter dan een eenvoudige zoekopdracht op trefwoorden, maar kon niets zeggen buiten de voorbereide antwoorden.
Huidige AI-assistenten gebruiken een taalmodel dat in één keer meerdere NLP-taken uitvoert: de vraag begrijpen, nuttige informatie opsporen, in documenten zoeken, een antwoord formuleren in de taal van de bezoeker. Die veelzijdigheid verklaart hun soepelheid, en ook hun grootste risico: een model dat vrij schrijft, kan een hallucinatie produceren als het niet omkaderd wordt.
Niet alle talen zijn gelijk
NLP-tools werken beter in talen waarvoor veel digitale tekst bestaat. Engels is het best bediend. Nederlands, Frans en Duits worden zeer goed gedekt door de huidige modellen. Regionale varianten vragen meer aandacht: Belgische woorden als "kot", "GSM" of "kmo" worden begrepen, maar een model gebruikt ze niet vanzelf in zijn antwoorden. Belgische administratieve termen, die verschillen van die in Nederland of Frankrijk, worden best in de documenten verduidelijkt.
Wat NLP mogelijk maakt in een kmo
Ook zonder gespreksassistent zijn verschillende toepassingen van NLP toegankelijk voor een kleine organisatie:
- Inkomende e-mails automatisch sorteren per soort vraag
- Informatie halen uit een vrij formulier of bericht
- Een lang gesprek samenvatten voor het aan een collega doorgegeven wordt
- Terugkerende vragen opsporen in de berichten van klanten, om een FAQ aan te vullen
In een assistent worden die taken gecombineerd: de vraag wordt begrepen, de intentie herkend, de documenten geraadpleegd, het antwoord geschreven, en het gesprek samengevat als het naar het team gaat.
NLP in KernChat
KernChat steunt op taalmodellen van de markt, die al die taken uitvoeren. Ze begrijpen vragen in het Nederlands, Frans en Engels, antwoorden op basis van de documenten van de organisatie en maken bij het afsluiten van het gesprek een samenvatting, de intentie van de bezoeker, de toon van het gesprek en de besproken onderwerpen. Die informatie helpt het team een vraag over te nemen zonder het hele gesprek te herlezen.