ANALYSE · DONNÉES & CONNAISSANCES

Qualité des connaissances et RAG : pourquoi une bonne IA peut donner une mauvaise réponse

Diagnostiquer la fiabilité d’un RAG de la source jusqu’à la réponse et gouverner les connaissances dans la durée.

En bref. Quand un assistant d’entreprise cite la mauvaise procédure ou applique une règle périmée, changer de modèle n’est pas nécessairement la bonne solution. Le défaut peut venir du document, de son extraction, de l’index, des droits d’accès, de la recherche ou du contexte effectivement transmis au modèle. Fiabiliser le RAG suppose de diagnostiquer le défaut à son origine — et de démontrer que la correction tient dans le temps.

LE REGARD SPOTLAB

Ce qu’il faut retenir

La qualité des connaissances, leur actualité et leur provenance déterminent en grande partie la fiabilité des réponses.

Trois enseignements pour les décideurs

  1. Une source retrouvée n’est pas forcément une preuve utilisable. Elle doit être pertinente pour l’entité, la version, la période et la question ; une citation cliquable ne garantit ni son exactitude ni son autorité.
  2. La qualité se perd à chaque transformation. Extraction de PDF, segmentation, métadonnées, entités, relations et résumés peuvent tous altérer ou masquer un fait. Les architectures GraphRAG ajoutent des possibilités de liaison, mais aussi des objets extraits à vérifier. (Microsoft GraphRAG).
  3. Une réponse fiable est aussi capable de ne pas conclure. La recherche de Google sur le « sufficient context » distingue les cas où les preuves permettent de répondre des cas insuffisamment étayés ; l’abstention doit être mesurée, sans devenir systématique. (Google Research).

Le vrai problème : une chaîne de connaissances, pas seulement un modèle

Le RAG (retrieval-augmented generation) récupère des informations extérieures au modèle pour éclairer une réponse. Cette approche peut améliorer la pertinence et la vérifiabilité, mais elle ne transforme pas automatiquement chaque document récupéré en fait incontestable.

Une procédure peut être authentique mais périmée ; une note peut concerner la mauvaise filiale ; une phrase peut avoir perdu sa négation pendant l’extraction ; un passage décisif peut être absent du contexte. Des travaux sur les conflits entre sources et sur les connaissances obsolètes montrent que ces situations demandent des traitements distincts. (Google Research ; ACL 2025).

Ainsi, trois questions doivent être posées séparément : avons-nous la bonne connaissance ? l’avons-nous correctement retrouvée ? l’avons-nous correctement utilisée ?

Six couches de qualité à diagnostiquer

Le cadre ci-dessous est une proposition méthodologique Spotwork.AI de diagnostic, et non une norme publiée ni la preuve d’un composant déjà industrialisé.

Couche Défaut typique Contrôle attendu
1. Source Procédure dépassée, document sans autorité Propriétaire, statut, date de validité et source de référence
2. Transformation Tableau mal extrait, négation perdue Comparaison avec l’original, journal d’extraction et d’indexation
3. Représentation Entité ou relation erronée dans le graphe Validation d’entités, de liens et de provenance
4. Récupération Passage pertinent absent du top-k Rappel sur jeu annoté, filtres temporels et droits d’accès
5. Contexte Éléments incomplets ou contradictoires Test de suffisance, priorité des sources et détection des conflits
6. Réponse Conclusion non étayée ou mauvaise attribution Exactitude métier, justification par affirmation, abstention contrôlée

Cette séparation permet d’éviter une correction coûteuse au mauvais endroit. Si le passage exact existe mais n’est pas récupéré, changer de LLM risque de masquer le défaut sans le résoudre. Si le passage est présent mais mal interprété, améliorer le moteur de recherche ne suffit pas.

Cas illustratif : deux politiques de crédit, une mauvaise filiale

Un responsable risque interroge un assistant sur le seuil d’exception applicable à une demande de crédit. L’outil récupère une politique de la filiale A, datée de 2024, alors qu’une version de 2026 s’applique à la filiale B. L’assistant produit une réponse fluide avec citation, mais la référence documentaire est inadaptée au dossier.

Le diagnostic n’est pas « hallucination du modèle » par défaut. Il faut vérifier : quel périmètre la question visait-elle ? quelles métadonnées portaient les documents ? quel filtre a été appliqué ? quelle version a réellement été fournie au modèle ? La réponse correcte peut nécessiter de demander la filiale, d’exclure les versions abrogées, ou de signaler que la preuve disponible est insuffisante.

Cet exemple est fictif et n’illustre aucun déploiement client réel ni résultat mesuré.

Passer d’une correction intuitive à une amélioration démontrée

Avant de modifier une configuration, une équipe devrait conserver un jeu de questions représentant ses usages : questions simples, multi-documents, versions contradictoires, cas sans réponse, accès restreints et données récemment modifiées. Un protocole utile mesure chaque étape et la réponse finale.

L’étude de synthèse publiée en 2026 dans SN Computer Science souligne que la qualité d’un RAG doit être évaluée à plusieurs niveaux : pertinence du contexte, fidélité aux sources, exactitude, pertinence de la réponse et qualité des citations. Un score global ne localise pas nécessairement le défaut. (Revue scientifique 2026).

La démarche recommandée consiste à :

  1. Décrire l’incident avec la question, la réponse, le contexte reçu et les références aux documents.
  2. Attribuer l’erreur à une ou plusieurs couches, sans accuser automatiquement le modèle.
  3. Corriger de manière ciblée la source, l’extraction, l’index, le filtre, le contexte ou la génération.
  4. Rejouer un jeu de non-régression et vérifier également les coûts, les délais, les droits et le comportement d’abstention.
  5. Surveiller les changements du corpus et les permissions pour ne pas réintroduire une erreur corrigée.

L’objectif n’est pas de répondre davantage, à tout prix : c’est d’augmenter les réponses justes et étayées, sans faire progresser les réponses dangereusement assurées.

Gouverner la connaissance dans la durée

La qualité documentaire ne se limite pas à une note calculée une fois. Un document doit avoir un responsable, une version, un périmètre d’application, des droits d’accès, des dates de validité et une politique de mise à jour ou retrait. Quand la source évolue, les extraits, résumés, embeddings et relations qui en dépendent doivent être réévalués selon les impacts réels.

Le W3C fournit avec PROV-O un vocabulaire pour décrire des entités, activités et agents de provenance ; cela facilite la traçabilité, sans établir que le contenu est vrai. ISO/IEC 25012 décrit pour sa part un modèle général de qualité des données structurées : une référence utile, pas une certification de qualité d’un système RAG. (W3C ; ISO).

L’accès doit également être vérifié au moment de la récupération et de la restitution. Un index contenant des informations confidentielles, même exactes, ne doit pas les divulguer à un utilisateur non autorisé. (OWASP RAG Security).

Les cinq décisions à prendre

  • Cadrer la connaissance : quelles sources font autorité pour chaque usage ?
  • Qualifier et versionner : quelles règles garantissent la validité métier et temporelle ?
  • Diagnostiquer : à quelle couche se situe chaque erreur significative ?
  • Évaluer : quels tests démontrent la pertinence, l’exactitude et la sûreté ?
  • Entretenir : qui actualise les sources et déclenche les revalidations ?

L’enjeu stratégique est de transformer un stock de documents en connaissance professionnelle gouvernée, et non de multiplier les documents dans un index.

Limites et méthode

Cette publication est une synthèse documentaire assortie d’une proposition de méthode. Aucun test propriétaire Spotwork.AI n’a été conduit pour cet article. Les sources citées ne prouvent ni l’efficacité d’une implémentation spécifique ni l’existence de fonctionnalités livrées. Un score de fidélité à des sources erronées peut être élevé ; une bonne citation ne remplace donc pas la vérification de l’autorité et de l’exactitude des documents. Les juges IA peuvent aussi varier et nécessitent une calibration humaine.

Références principales

DANS CET ARTICLE

Dans cet article

CONTINUER À EXPLORER

À lire aussi.

Données & connaissances

RAG vs GraphRAG : quelle architecture choisir pour les connaissances d’entreprise ?

Une matrice pour choisir l’architecture de recherche documentaire adaptée à la nature des questions et du corpus.
6min de lecture
Données & connaissances

Base de connaissances IA : comment la maintenir fiable sans tout réindexer ?

Surveiller et approuver les changements, propager les dépendances et vérifier les droits sans réindexation inutile.
6min de lecture
Fiabilité & gouvernance

Sécurité de l’IA générative en 2026 : ce que révèle OWASP et comment agir

La sécurité de l’IA générative ne repose pas uniquement sur le modèle. Découvrez les risques identifiés par l’OWASP 2026 et une méthode en cinq frontières de confiance pour sécuriser données, outils et agents.
6min de lecture