En bref. Quand un assistant d’entreprise cite la mauvaise procédure ou applique une règle périmée, changer de modèle n’est pas nécessairement la bonne solution. Le défaut peut venir du document, de son extraction, de l’index, des droits d’accès, de la recherche ou du contexte effectivement transmis au modèle. Fiabiliser le RAG suppose de diagnostiquer le défaut à son origine — et de démontrer que la correction tient dans le temps.
LE REGARD SPOTLAB
Ce qu’il faut retenir
La qualité des connaissances, leur actualité et leur provenance déterminent en grande partie la fiabilité des réponses.
Trois enseignements pour les décideurs
- Une source retrouvée n’est pas forcément une preuve utilisable. Elle doit être pertinente pour l’entité, la version, la période et la question ; une citation cliquable ne garantit ni son exactitude ni son autorité.
- La qualité se perd à chaque transformation. Extraction de PDF, segmentation, métadonnées, entités, relations et résumés peuvent tous altérer ou masquer un fait. Les architectures GraphRAG ajoutent des possibilités de liaison, mais aussi des objets extraits à vérifier. (Microsoft GraphRAG).
- Une réponse fiable est aussi capable de ne pas conclure. La recherche de Google sur le « sufficient context » distingue les cas où les preuves permettent de répondre des cas insuffisamment étayés ; l’abstention doit être mesurée, sans devenir systématique. (Google Research).
Le vrai problème : une chaîne de connaissances, pas seulement un modèle
Le RAG (retrieval-augmented generation) récupère des informations extérieures au modèle pour éclairer une réponse. Cette approche peut améliorer la pertinence et la vérifiabilité, mais elle ne transforme pas automatiquement chaque document récupéré en fait incontestable.
Une procédure peut être authentique mais périmée ; une note peut concerner la mauvaise filiale ; une phrase peut avoir perdu sa négation pendant l’extraction ; un passage décisif peut être absent du contexte. Des travaux sur les conflits entre sources et sur les connaissances obsolètes montrent que ces situations demandent des traitements distincts. (Google Research ; ACL 2025).
Ainsi, trois questions doivent être posées séparément : avons-nous la bonne connaissance ? l’avons-nous correctement retrouvée ? l’avons-nous correctement utilisée ?
Six couches de qualité à diagnostiquer
Le cadre ci-dessous est une proposition méthodologique Spotwork.AI de diagnostic, et non une norme publiée ni la preuve d’un composant déjà industrialisé.
| Couche | Défaut typique | Contrôle attendu |
|---|---|---|
| 1. Source | Procédure dépassée, document sans autorité | Propriétaire, statut, date de validité et source de référence |
| 2. Transformation | Tableau mal extrait, négation perdue | Comparaison avec l’original, journal d’extraction et d’indexation |
| 3. Représentation | Entité ou relation erronée dans le graphe | Validation d’entités, de liens et de provenance |
| 4. Récupération | Passage pertinent absent du top-k | Rappel sur jeu annoté, filtres temporels et droits d’accès |
| 5. Contexte | Éléments incomplets ou contradictoires | Test de suffisance, priorité des sources et détection des conflits |
| 6. Réponse | Conclusion non étayée ou mauvaise attribution | Exactitude métier, justification par affirmation, abstention contrôlée |
Cette séparation permet d’éviter une correction coûteuse au mauvais endroit. Si le passage exact existe mais n’est pas récupéré, changer de LLM risque de masquer le défaut sans le résoudre. Si le passage est présent mais mal interprété, améliorer le moteur de recherche ne suffit pas.
Cas illustratif : deux politiques de crédit, une mauvaise filiale
Un responsable risque interroge un assistant sur le seuil d’exception applicable à une demande de crédit. L’outil récupère une politique de la filiale A, datée de 2024, alors qu’une version de 2026 s’applique à la filiale B. L’assistant produit une réponse fluide avec citation, mais la référence documentaire est inadaptée au dossier.
Le diagnostic n’est pas « hallucination du modèle » par défaut. Il faut vérifier : quel périmètre la question visait-elle ? quelles métadonnées portaient les documents ? quel filtre a été appliqué ? quelle version a réellement été fournie au modèle ? La réponse correcte peut nécessiter de demander la filiale, d’exclure les versions abrogées, ou de signaler que la preuve disponible est insuffisante.
Cet exemple est fictif et n’illustre aucun déploiement client réel ni résultat mesuré.
Passer d’une correction intuitive à une amélioration démontrée
Avant de modifier une configuration, une équipe devrait conserver un jeu de questions représentant ses usages : questions simples, multi-documents, versions contradictoires, cas sans réponse, accès restreints et données récemment modifiées. Un protocole utile mesure chaque étape et la réponse finale.
L’étude de synthèse publiée en 2026 dans SN Computer Science souligne que la qualité d’un RAG doit être évaluée à plusieurs niveaux : pertinence du contexte, fidélité aux sources, exactitude, pertinence de la réponse et qualité des citations. Un score global ne localise pas nécessairement le défaut. (Revue scientifique 2026).
La démarche recommandée consiste à :
- Décrire l’incident avec la question, la réponse, le contexte reçu et les références aux documents.
- Attribuer l’erreur à une ou plusieurs couches, sans accuser automatiquement le modèle.
- Corriger de manière ciblée la source, l’extraction, l’index, le filtre, le contexte ou la génération.
- Rejouer un jeu de non-régression et vérifier également les coûts, les délais, les droits et le comportement d’abstention.
- Surveiller les changements du corpus et les permissions pour ne pas réintroduire une erreur corrigée.
L’objectif n’est pas de répondre davantage, à tout prix : c’est d’augmenter les réponses justes et étayées, sans faire progresser les réponses dangereusement assurées.
Gouverner la connaissance dans la durée
La qualité documentaire ne se limite pas à une note calculée une fois. Un document doit avoir un responsable, une version, un périmètre d’application, des droits d’accès, des dates de validité et une politique de mise à jour ou retrait. Quand la source évolue, les extraits, résumés, embeddings et relations qui en dépendent doivent être réévalués selon les impacts réels.
Le W3C fournit avec PROV-O un vocabulaire pour décrire des entités, activités et agents de provenance ; cela facilite la traçabilité, sans établir que le contenu est vrai. ISO/IEC 25012 décrit pour sa part un modèle général de qualité des données structurées : une référence utile, pas une certification de qualité d’un système RAG. (W3C ; ISO).
L’accès doit également être vérifié au moment de la récupération et de la restitution. Un index contenant des informations confidentielles, même exactes, ne doit pas les divulguer à un utilisateur non autorisé. (OWASP RAG Security).
Les cinq décisions à prendre
- Cadrer la connaissance : quelles sources font autorité pour chaque usage ?
- Qualifier et versionner : quelles règles garantissent la validité métier et temporelle ?
- Diagnostiquer : à quelle couche se situe chaque erreur significative ?
- Évaluer : quels tests démontrent la pertinence, l’exactitude et la sûreté ?
- Entretenir : qui actualise les sources et déclenche les revalidations ?
L’enjeu stratégique est de transformer un stock de documents en connaissance professionnelle gouvernée, et non de multiplier les documents dans un index.
Limites et méthode
Cette publication est une synthèse documentaire assortie d’une proposition de méthode. Aucun test propriétaire Spotwork.AI n’a été conduit pour cet article. Les sources citées ne prouvent ni l’efficacité d’une implémentation spécifique ni l’existence de fonctionnalités livrées. Un score de fidélité à des sources erronées peut être élevé ; une bonne citation ne remplace donc pas la vérification de l’autorité et de l’exactitude des documents. Les juges IA peuvent aussi varier et nécessitent une calibration humaine.
Références principales
- Google Research — Sufficient Context (2025)
- Knollmeyer et al. — Evaluation de RAG, synthèse 2026
- Microsoft — GraphRAG Data Model
- Google Research — Contradictions entre sources (2025)
- ACL 2025 — Données obsolètes dans les systèmes RAG
- W3C — PROV-O
- ISO/IEC 25012 — Data quality model
- OWASP — RAG Security