Un modèle de langage ne consulte pas une base de faits : il produit le texte le plus probable. Souvent, le texte le plus probable est juste ; parfois, faute d'information, il comble le vide avec quelque chose de plausible. C'est ce qu'on appelle une hallucination.
À quoi ressemble une hallucination
Un client demande à l'assistant d'un installateur si l'entretien annuel d'une pompe à chaleur est compris dans le contrat. Rien dans les documents n'en parle, et l'assistant répond « oui, il est compris » parce que cela ressemble à une réponse probable. Le ton est assuré, la phrase est correcte, et l'information est fausse.
Ce que ça coûte à une entreprise
Un cas canadien illustre le risque, celui d'Air Canada. Le chatbot de son site avait affirmé à un client qu'il pouvait demander après coup un tarif réduit pour un décès dans la famille, ce que la politique de la compagnie ne permettait pas. Le 14 février 2024, le tribunal de résolution civile de Colombie-Britannique a jugé la compagnie responsable de cette information et l'a condamnée à rembourser la différence (décision Moffatt c. Air Canada). Dans ce dossier, le tribunal a considéré que la compagnie restait responsable de ce que disait son chatbot ; une autre juridiction pourrait raisonner autrement, mais le signal est clair pour toute entreprise.
Les garde-fous qui réduisent le risque
- Répondre à partir de documents choisis. Le RAG fait répondre le modèle à partir de passages retrouvés plutôt que de sa mémoire générale
- Dire quand il ne sait pas. Une consigne claire l'amène à signaler que la réponse n'est pas dans ses documents, sans que ce soit une garantie absolue
- Afficher la source. La citation de source permet de vérifier d'où vient chaque réponse
- Passer la main sur ce qui engage. Prix fermes, sécurité, litiges : la reprise par un humain prend le relais
- Relire. Les conversations et les questions sans réponse montrent où un document est ambigu
Ce qu'on ne peut pas promettre
Aucun réglage ne ramène le risque à zéro : un modèle peut encore mal lire un passage ou mélanger deux cas. L'objectif réaliste est de rendre l'erreur rare, visible et corrigeable, et de garder les sujets à fort enjeu pour une personne.
Les assistants KernChat combinent ces garde-fous, et chaque question restée sans réponse devient une suggestion de connaissance à valider (voir les fonctionnalités).