RAG

Imaginez un assistant qui doit répondre à partir de vos procédures internes. Avant de rédiger sa réponse, l’application cherche les passages les plus utiles dans les documents autorisés et les transmet au modèle.

Ce fonctionnement s’appelle Retrieval-Augmented Generation, ou RAG. En français, on parle de génération augmentée par récupération. Le système suit trois étapes : rechercher des informations, les ajouter à la demande, puis générer une réponse à partir de ces éléments. [S1] [S2]

Le RAG permet d’utiliser des connaissances privées ou régulièrement mises à jour sans les intégrer directement au modèle. Il peut aussi afficher les sources retrouvées. Il ne garantit cependant pas une réponse exacte : des documents incomplets, mal choisis ou non autorisés peuvent produire une réponse fausse ou exposer des informations sensibles. [S1] [S2] [S5]

Décider avant de construire

Construire un RAG

Un RAG est justifié lorsque toutes les conditions suivantes sont réunies :

• les questions utiles exigent un corpus trop vaste, trop changeant ou trop privé pour être placé directement dans un contexte court ; [S1] [S2]
• le corpus possède une autorité, un propriétaire, une politique de fraîcheur et des droits applicables au moment de chaque récupération ; [S2] [S5]
• un jeu de questions représentatives indique les preuves attendues et permet de comparer le RAG à une solution de départ plus simple ; [S4]
• le pilote démontre une amélioration utile sans dépasser les budgets acceptés de latence, coût, exposition de données et maintenance. [S2] [S4]

Pilote limité

Choisir un pilote réversible lorsque le besoin de connaissances externes est réel mais que la qualité de récupération, les seuils d’abstention ou le coût restent inconnus. Le pilote doit porter sur un corpus autorisé et borné, conserver une sortie non décisionnelle, enregistrer des preuves minimales et posséder une condition d’arrêt. [S4] [S5]

Choisir une solution plus simple

Ne pas construire de RAG lorsque l’une de ces situations suffit :

• les documents utiles peuvent être fournis directement ou une recherche classique répond déjà au besoin ;
• la tâche attend un calcul, une validation de règles ou une action automatique plutôt qu’une synthèse de connaissances ;
• la provenance, la fraîcheur ou les permissions du corpus ne peuvent pas être garanties à la récupération ; [S2] [S5]
• aucun jeu d’évaluation ne permet de reconnaître une meilleure récupération et une meilleure réponse ; [S4]
• le seul argument est qu’une base vectorielle, un modèle d’embeddings ou un service est disponible.

Ces exclusions évitent d’ajouter un système complexe et de nouveaux risques de sécurité avant d’avoir observé une limite réelle de la solution simple. [S2] [S4] [S5]

Ce qu’il faut définir avant de construire

Avant toute architecture, consigner :

1. Le cas d’usage. Questions représentatives, utilisateurs, décision soutenue, erreurs acceptables, erreurs critiques et format de réponse attendu. [S4]
2. La solution de départ. Contexte direct, recherche classique ou procédure humaine à améliorer. Sans comparaison, un score RAG isolé ne prouve aucun gain. [S4]
3. Le corpus. Sources incluses et exclues, format, langue, qualité, propriétaire, autorité, fréquence de mise à jour et procédure de suppression. [S2] [S5]
4. Les droits d’accès. Qui peut interroger quel document, et quel contrôle applique cette règle avant que le texte atteigne le modèle. [S2] [S5]
5. Les informations attachées aux documents. Identifiant, titre, source, date, version, classification, droits et lien d’origine. Elles servent à filtrer, citer et retrouver l’historique. [S2] [S3] [S5]
6. Le jeu d’évaluation. Questions normales, limites, sans réponse et difficiles, avec les preuves attendues, la réponse acceptable et les cas où le système doit reconnaître qu’il ne sait pas. [S4] [S5]
7. Le budget opérationnel. Latence, coût, volume, taille de contexte, rétention des traces, disponibilité et charge de maintenance acceptables. [S2]

Comment fonctionne le RAG ?

1. Sélectionner les sources. Accepter seulement les contenus dont la provenance, l’autorité et les droits sont connus. [S5]
2. Préparer sans perdre la source. Extraire le texte, le découper si nécessaire et rattacher à chaque passage son document, sa version, sa date et ses droits d’accès. [S2] [S3] [S5]
3. Indexer selon le besoin. La recherche peut être lexicale, sémantique, vectorielle ou hybride ; le choix doit découler des requêtes d’évaluation. [S2] [S3]
4. Vérifier les droits. Identifier la personne qui pose la question, puis limiter la recherche aux documents qu’elle peut consulter. Un prompt ne remplace pas ce contrôle. [S2] [S5]
5. Rechercher des passages. Formuler la requête, appliquer les filtres et conserver les scores ainsi que l’origine des résultats. [S3] [S5]
6. Filtrer et classer. Écarter les résultats interdits, périmés, dupliqués ou peu pertinents. Un classement supplémentaire n’est utile que s’il améliore les tests. [S2] [S3] [S4]
7. Ajouter les passages à la demande. Transmettre uniquement les éléments nécessaires, en les séparant clairement des instructions. [S2] [S5]
8. Générer une réponse contrôlable. Demander une réponse appuyée sur les passages autorisés, des citations vérifiables et un refus de conclure lorsque les preuves manquent ou se contredisent. Le modèle peut encore se tromper. [S2] [S4]
9. Rendre le résultat contrôlable. Exposer les sources effectivement utilisées, leur version et les limites de la réponse sans transformer la présence d’une citation en preuve automatique. [S1] [S2]
10. Évaluer et surveiller. Mesurer séparément la récupération, la génération, les refus, les droits, la sécurité, la latence et le coût ; enrichir le jeu avec les échecs réels. [S2] [S4] [S5]

Choix à faire

• Autorité du corpus : qui accepte une source, corrige une erreur, révoque un document et vérifie sa fraîcheur. [S5]
• Unité de récupération : ce qui doit rester ensemble pour conserver le sens, les droits et la citation ; le découpage par défaut d’un outil n’est qu’un point de départ. [S3] [S5]
• Contrôle d’accès : identité, attributs, filtrage avant récupération, séparation entre utilisateurs ou espaces, et test explicite des fuites. [S2] [S5]
• Politique de réponse : preuves minimales, traitement des contradictions, citations, abstention, recours humain et actions interdites. [S2] [S4]
• Cycle de vie : ingestion, mise à jour, suppression, réindexation, délai de propagation et preuve qu’un contenu révoqué n’est plus récupérable. [S3] [S5]
• Évaluation et seuils : personne responsable des tests, fréquence, critères de mise en service ou de retour à la version précédente et écarts tolérés face à la solution de départ. [S4]
• Suivi sûr : données enregistrées, durée de conservation, accès aux traces et masquage des requêtes ou passages sensibles. [S2] [S5]

Options à ajouter seulement si elles aident

• Recherche par mots-clés pour les termes exacts, identifiants ou vocabulaires stables ; recherche sémantique pour rapprocher des formulations différentes ; hybride si les tests montrent que les deux signaux sont complémentaires. [S2] [S3]
• Embeddings et base vectorielle seulement si la recherche par similarité apporte un gain mesuré. Ils ne sont pas obligatoires pour tous les systèmes RAG. [S2] [S3]
• Re-classement, réécriture de requête ou plusieurs sous-requêtes lorsque les cas complexes restent mal couverts et que l’amélioration compense le coût et la latence. [S2] [S3] [S4]
• Résumé, compression ou sélection dynamique lorsque les passages pertinents dépassent le budget de contexte, avec un test de perte d’information. [S2] [S4]
• Recherche agentique uniquement si la décomposition de requêtes apporte un bénéfice sur des questions réellement composées ; elle augmente aussi le nombre d’étapes à évaluer et sécuriser. [S2] [S4] [S5]
• Produit ou fournisseur après avoir fixé les contrats de données, droits, suppression, évaluation et réversibilité. La disponibilité d’une fonction ne décide pas de son adéquation.

Comment évaluer un RAG ?

1. Récupération

• la preuve attendue apparaît-elle dans les premiers résultats ;
• combien de passages récupérés sont réellement utiles ;
• les filtres excluent-ils systématiquement les documents non autorisés, révoqués ou hors périmètre ;
• les questions paraphrasées, ambiguës, sans réponse et adverses restent-elles sûres.

La précision et le rappel du contexte doivent être définis sur les requêtes du produit, pas repris comme seuils universels. [S4] [S5]

2. Réponse

• chaque affirmation décisive est-elle soutenue par un passage récupéré ;
• la citation pointe-t-elle vers le bon document et la bonne version ;
• les contradictions et preuves insuffisantes déclenchent-elles l’abstention prévue ;
• la réponse satisfait-elle le besoin sans introduire de détail absent des sources.

Les évaluations automatiques doivent être calibrées avec des jugements humains et des réponses de référence, puis complétées avec les échecs observés. [S4]

3. Fonctionnement et sécurité

• latence et coût aux volumes représentatifs ;
• délai entre ajout, correction ou suppression et résultat de recherche ;
• absence de fuite entre utilisateurs, rôles ou espaces ;
• résistance aux documents empoisonnés, aux instructions cachées et aux requêtes d’exfiltration ;
• traces suffisantes pour diagnostiquer sans conserver inutilement des données sensibles.

Le RAG ajoute une récupération, des tokens et des opérations d’indexation ; ces coûts et risques doivent être mesurés avec la qualité. [S2] [S5]

Risques importants et protections

• Fuite inter-utilisateurs. Cause : filtrage tardif ou métadonnées de droits perdues. Contre-mesure : autorisation et filtrage déterministes avant récupération, tests négatifs pour chaque frontière. [S2] [S5]
• Injection indirecte. Cause : un document contient des instructions que le modèle traite comme autorité. Contre-mesure : considérer les passages comme données non fiables, préserver les rôles, isoler le contenu et limiter les actions possibles. [S5]
• Empoisonnement. Cause : une source compromise entre dans l’index ou persiste après correction. Contre-mesure : ingestion autorisée, provenance, versionnement, validation, révocation et tests adverses. [S5]
• Contenu périmé ou supprimé encore visible. Cause : cycle de vie incomplet ou propagation asynchrone. Contre-mesure : dates et versions filtrables, procédure de suppression vérifiée et délai maximal mesuré. [S3] [S5]
• Citation trompeuse. Cause : le passage existe mais ne soutient pas l’affirmation. Contre-mesure : évaluer la correspondance affirmation-preuve et ouvrir la source exacte, pas seulement afficher un lien. [S2] [S4]
• Journal sensible. Cause : requêtes, passages ou réponses brutes conservés sans limite. Contre-mesure : minimisation, masquage, contrôle d’accès, durée de rétention et finalité documentée. [S5]
• Confiance excessive. Cause : une réponse fluide est assimilée à une réponse fondée. Contre-mesure : politique d’abstention, preuves visibles, évaluation continue et recours humain pour les décisions matérielles. [S2] [S4]

Questions à poser avant de se lancer

Répondre oui, non ou inconnu :

1. Le cas d’usage exige-t-il réellement une connaissance externe ou changeante ?
2. La solution simple et les erreurs à corriger sont-elles mesurées ?
3. Le corpus a-t-il un propriétaire, une autorité, une fraîcheur et une procédure de suppression ?
4. Les permissions peuvent-elles être appliquées avant chaque récupération et testées négativement ?
5. Les métadonnées permettent-elles provenance, filtrage, citation et révocation ?
6. Le jeu d’évaluation couvre-t-il preuves attendues, absences, contradictions et attaques ?
7. La réponse sait-elle citer, signaler ses limites et s’abstenir ?
8. Le pilote améliore-t-il le résultat face à la solution simple sans dépasser les limites de risque, de coût et de délai ?
9. Une personne est-elle responsable des seuils, incidents, réévaluations et retours arrière ?

Construisez le RAG si les documents, les droits et les tests sont prêts et si le gain est mesuré. Limitez-vous à un pilote lorsque les protections existent mais que le bénéfice ou les seuils restent inconnus. Choisissez une autre solution si les droits ne peuvent pas être appliqués, si personne ne maintient les documents ou si la solution de départ répond déjà au besoin. [S2] [S4] [S5]