De oplossingsgraad meet het aandeel gesprekken waarin de vraag van de bezoeker geregeld werd. Bij een AI-assistent maakt men meestal een onderscheid tussen het aandeel dat de assistent alleen regelde, zonder tussenkomst van het team, en het aandeel dat na overname door een persoon geregeld werd. Het is de meest gebruikte indicator om te beoordelen of een assistent echt helpt.
Hoe hij berekend wordt
De basisformule is eenvoudig: het aantal opgeloste gesprekken gedeeld door het aantal afgesloten gesprekken, over een bepaalde periode. Alles hangt af van de definitie van "opgelost", die per tool verschilt:
- Afgesloten zonder menselijke overname: het gesprek eindigde zonder tussenkomst van het team. Dat is de ruimste en meest vleiende definitie, want een bezoeker die afhaakt telt ook als "opgelost"
- Zonder terugkeer binnen een bepaalde termijn: de bezoeker kwam de dagen erna niet terug met dezelfde vraag
- Bevestigd door de bezoeker: hij gaf aan dat het antwoord hielp, met een duim omhoog of een slotvraag
- Bij analyse als opgelost beoordeeld: een automatische samenvatting of een menselijke nalezing oordeelt dat de vraag een nuttig antwoord kreeg
Wanneer een tool "per oplossing" factureert, bepaalt de gekozen definitie rechtstreeks het bedrag van de factuur. Vraag ze altijd schriftelijk.
Opgelost door AI, door het team, of niet opgelost
Een nuttige lezing onderscheidt drie uitkomsten voor elk afgesloten gesprek:
| Uitkomst | Wat ze betekent | Wat ze zegt over de assistent |
|---|---|---|
| Opgelost door de assistent | Het gedocumenteerde antwoord volstond | De documenten en de instructie dekken die behoefte |
| Opgelost door een persoon | Het team nam over en regelde de vraag | De overname door een mens werkte |
| Niet opgelost | Niemand regelde de vraag | Een document ontbreekt, een overname mislukte of de bezoeker vertrok |
De derde rij is de leerrijkste. Ze wijst op onbeantwoorde vragen, overnames die bleven wachten en afgebroken gesprekken. Daar liggen de verbeteringen.
Welke graad nastreven?
Er bestaat geen universeel goed cijfer. De graad hangt af van uw activiteit, het domein dat de assistent krijgt en uw keuzes rond overname. Een assistent die vooral praktische vragen beantwoordt, kan een grote meerderheid van de gesprekken alleen regelen. Een assistent voor een boekhoudkantoor, die elke vraag over een individueel dossier moet doorgeven, heeft een lagere graad, en dat is normaal.
Wat telt, is de evolutie. Na de lancering zou de oplossingsgraad van de assistent moeten stijgen naarmate de documenten aangevuld worden, en zich daarna stabiliseren. Een plotse daling wijst vaak op een wijziging in het aanbod die de documenten niet volgden.
De valkuilen van een te mooie graad
Een hoge oplossingsgraad is niet altijd goed nieuws:
- De assistent stelt geen overdracht meer voor. Bezoekers haken af in plaats van doorgegeven te worden, en het gesprek telt als "opgelost"
- De antwoorden zijn fout maar zelfzeker. Een overtuigende hallucinatie sluit het gesprek even goed af als een correct antwoord
- Gevoelige onderwerpen worden door de assistent behandeld. Een klacht die met een algemeen antwoord "opgelost" werd, komt later terug, vaak gespannener
Daarom leest u de oplossingsgraad altijd samen met andere indicatoren: een steekproef van antwoorden die op juistheid nagelezen worden, het aandeel gesprekken met een negatieve toon, het aantal onbeantwoorde vragen en de termijn van overname door het team.
Hoe u hem eerlijk verbetert
- Lees de niet-opgeloste gesprekken elke week en noteer de oorzaak
- Vul documenten aan wanneer informatie ontbrak, na goedkeuring door een verantwoordelijke
- Verduidelijk dubbelzinnige documenten wanneer de assistent ernaast antwoordde
- Pas de instructie aan wanneer de assistent weigerde te antwoorden terwijl hij het kon, of omgekeerd
- Behoud de overname door een mens bij voorbehouden onderwerpen, ook als het cijfer daardoor daalt
Het doel is geen maximale graad, maar een graad die juiste antwoorden weerspiegelt bij de onderwerpen die de assistent moet behandelen, en nette overdrachten bij de andere.
Oplossingsgraad en oplossing bij eerste contact
Contactcenters volgen al lang de oplossing bij eerste contact: het aandeel vragen dat bij het eerste contact geregeld wordt, zonder terugbellen of herinnering. Voor een assistent is het begrip gelijkaardig: een vraag die in het eerste gesprek geregeld wordt, zonder dat de bezoeker moet terugkomen. Een assistent die een volledige vraag met alle nuttige informatie doorgeeft, helpt ook het team om ze bij het eerste contact te regelen.
De oplossingsgraad in KernChat
In KernChat krijgt elk afgesloten gesprek een van de drie uitkomsten: opgelost door de assistent, opgelost door een mens of niet opgelost. De uitkomst houdt rekening met een eventuele overname en met de automatische samenvatting bij het afsluiten. De dashboards van de werkruimte tonen de oplossingsgraad van de assistent, berekend op de afgesloten gesprekken, en laten toe de niet-opgeloste gesprekken terug te vinden om ze na te lezen.