Un modèle de langage connaît beaucoup de choses en général, mais pas les procédures à jour d'une entreprise précise. Le RAG (génération augmentée par récupération, retrieval-augmented generation en anglais) comble cet écart en deux temps : à chaque question, le système retrouve dans une base de connaissances les passages qui y répondent, puis il les donne au modèle avec la consigne de répondre à partir d'eux.
D'où vient le RAG
La méthode a été décrite en 2020 par Patrick Lewis et ses coauteurs dans l'article Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks présenté à la conférence NeurIPS. Elle est devenue l'une des approches les plus répandues pour faire répondre un modèle à partir de documents d'entreprise.
Comment ça marche, étape par étape
- Préparation. Les documents sont découpés en passages, et chaque passage reçoit une représentation de son sens
- Recherche. À chaque question, le système retrouve les passages dont le sens est le plus proche, même sans mots identiques
- Génération. Le modèle reçoit la question et ces passages, avec la consigne de répondre à partir d'eux et de dire quand ils ne suffisent pas
- Citation. Les passages utilisés sont affichés avec la réponse
Ce que ça change en pratique
- La connaissance se met à jour sans réentraîner. On modifie un document, et la réponse suit dès que le système l'a pris en compte
- Chaque réponse peut être vérifiée. Quand le système affiche ses sources, la citation de source indique d'où elle vient
- Le modèle invente moins. Il s'en tient aux passages fournis, ce qui limite les hallucinations
Les limites
Le RAG vaut ce que valent les documents : un passage ambigu donne une réponse ambiguë, deux versions contradictoires une réponse hasardeuse. La recherche peut aussi manquer le bon passage si le document est mal découpé ou si la question emploie un vocabulaire très différent. D'où l'importance de préparer la base et de relire les questions restées sans réponse.
RAG ou entraînement du modèle ?
Affiner un modèle sur ses documents demande des données préparées, du temps de calcul, et doit être refait quand l'information change. Le RAG laisse en général le modèle intact et lui fournit l'information au moment voulu. Pour une connaissance d'entreprise qui change souvent, c'est le plus souvent l'approche la plus simple, et les deux techniques peuvent aussi se combiner.
Les assistants KernChat fonctionnent sur ce principe : leurs réponses viennent des espaces de connaissance de l'organisation et citent leur source (voir comment la connaissance est préparée).