Spotlab · Guide professionnel · Sources consultées au 2 novembre 2026
En bref. Une démonstration réussie ne démontre pas qu’une IA sera fiable dans le travail quotidien. Il faut évaluer un système complet, comprenant modèle, contexte, sources, outils, contrôles et intervention humaine, sur des cas représentatifs et des résultats réellement acceptables. Ce guide propose sept étapes, un dossier de preuves et des règles de décision explicites. Il complète notre guide I0-01 sur le choix d’un modèle ; ici, l’enjeu est la fiabilité d’un usage en exploitation.
LE REGARD SPOTLAB
Ce qu’il faut retenir
Une démonstration convaincante ne suffit pas à prouver la fiabilité. L’évaluation doit porter sur le système complet, ses erreurs critiques et la stabilité des livrables réellement acceptés.
Un système fiable pour quoi faire ?
Un modèle peut fournir une excellente réponse à une question générale et échouer lorsqu’il doit analyser des pièces contradictoires, respecter une procédure interne ou se limiter à des documents autorisés. La fluidité d’une synthèse ne prouve ni son exactitude ni sa complétude. Le risque n’est pas seulement une réponse fausse : c’est aussi une omission plausible, une source obsolète, une erreur de calcul, un document non autorisé ou une décision prise sans validation.
Le NIST AI Risk Management Framework propose un cadre volontaire autour de Govern, Map, Measure et Manage. Son profil pour l’IA générative NIST AI 600-1 approfondit les risques spécifiques [1]. La norme ISO/IEC 42001:2023 porte sur le système de management de l’IA : elle n’atteste pas, à elle seule, que chaque réponse produite est exacte [2].
La bonne question n’est donc pas « quel est le taux de vérité de cette IA ? », mais « quel travail peut-elle accomplir, à quel niveau d’exigence, dans quelles conditions, et avec quelles preuves ? »
Étape 1 — Définir le travail et les conséquences d’une erreur
Décrire le livrable terminé : une comparaison fournisseurs, une note de risques, une analyse contractuelle, un contrôle interne ou une réponse à appel d’offres. Identifier le destinataire, les données permises, les décisions qu’il prendra et les informations qu’il est interdit d’inventer.
Pour une reformulation interne, une revue légère peut suffire. Pour une conclusion sur la conformité, la solvabilité ou une décision client, une preuve insuffisante peut imposer un blocage. Il faut définir avant l’essai les erreurs éliminatoires : divulgation d’une donnée, référence fabriquée, périmètre critique oublié, décision non autorisée.
Livrable de l’étape : fiche d’usage, niveau de risque, propriétaire métier, critères d’acceptation et liste de veto.
Étape 2 — Construire un jeu de cas représentatif et difficile
Conserver des cas courants, mais aussi des documents incomplets, des versions concurrentes, des exceptions, plusieurs langues, des sources anciennes et des données contradictoires. Ajouter des cas où la bonne réponse est « je ne sais pas », « source insuffisante » ou « validation nécessaire ».
Un jeu de tests composé uniquement d’exemples faciles gonfle artificiellement la confiance. Documenter pour chaque cas l’origine des données, le résultat attendu ou l’éventail de conclusions acceptables, la grille de correction et les limites de la référence experte. Séparer les cas utilisés pour régler le système des cas conservés pour l’évaluation finale, afin d’éviter un apprentissage opportuniste des tests.
Livrable : catalogue versionné des cas, avec variantes normales, négatives, hors périmètre et critiques.
Étape 3 — Mesurer la qualité du travail complet
Un score unique masque les défaillances graves. Il faut au moins distinguer :
| Dimension | Preuve attendue | Exemple de défaillance |
|---|---|---|
| Exactitude et appui documentaire | Faits contrôlés contre les pièces | Chiffre ou citation inventé |
| Couverture des exigences | Points obligatoires traités | Exception contractuelle omise |
| Cohérence et calcul | Alignement conclusions, tableaux et calculs | Recommandation contradictoire |
| Qualité du contexte | Sources actuelles, autorisées et pertinentes | Ancienne version privilégiée |
| Utilité professionnelle | Livrable accepté après la revue prévue | Résultat inutilisable sans réécriture |
| Sécurité et droits | Aucune violation bloquante | Fuite de données ou action non autorisée |
Le dénominateur doit être explicite : nombre de livrables acceptés sur nombre de cas terminés, après les vérifications prévues. Il faut suivre aussi les refus corrects, les abstentions appropriées, les délais, la charge de revue et le coût complet. Un résultat non évalué ne doit pas être compté comme accepté.
La recherche HELM de Stanford illustre l’intérêt d’une mesure multidimensionnelle, au-delà de l’exactitude seule [3]. Ses benchmarks publics ne remplacent cependant pas des cas métier propres à l’entreprise.
Étape 4 — Fixer le contrat d’acceptation avant de lancer les tests
Pour chaque cas, définir un verdict observable : Accepté, À revoir, Rejeté, Non réalisé ou Erreur technique. Le résultat métier doit être distingué de la validation humaine et de l’action de traitement. Une erreur d’exécution (timeout, source inaccessible, panne d’outil) n’est ni une non-conformité métier ni une réussite.
Dans une analyse contractuelle, une phrase peu claire peut nécessiter une revue ; une obligation légale inventée ou une pièce confidentielle transmise sans droit peut entraîner un rejet immédiat. Ces règles sont des exemples illustratifs, non des seuils réglementaires universels.
Enregistrer modèle et version, instructions, méthodes de récupération, index, documents, droits, outils, paramètres, horodatage, référence de jugement et responsable de la décision. Sans ce dossier, une bonne note est difficile à reproduire.
Livrable : contrat d’évaluation, avec critères de qualité, veto, journal de preuves et circuit d’approbation.
Étape 5 — Rejouer pour évaluer la stabilité, sans boucle infinie
Un succès isolé ne prouve pas un comportement stable. Définir dans la stratégie de test combien de scénarios et de répétitions sont nécessaires, selon la variabilité du système, le risque et la précision souhaitée. Inclure des variantes proches, des cas difficiles et des tests négatifs, puis figer un budget et une durée maximale.
Si une tâche échoue trois fois sur cinq, il serait trompeur de ne conserver que la meilleure sortie. Inversement, cinq réussites ne garantissent pas une absence d’erreur future. Lorsque les volumes le permettent, fournir une incertitude statistique sur les taux observés ; un petit échantillon ne démontre pas la rareté des événements graves.
La stabilité concerne aussi les versions successives : conserver les cas ayant provoqué un échec afin de détecter les régressions.
Livrable : plan de répétitions borné, historique de chaque exécution et rapport de stabilité.
Étape 6 — Croiser vérifications automatisées, LLM juge et expertise humaine
Les contrôles déterministes conviennent aux formats, règles explicites, calculs recalculables, identifiants et permissions. Un LLM juge peut aider à évaluer couverture ou cohérence, mais il peut préférer une réponse plus longue, souffrir d’un biais de position ou favoriser ses propres réponses. Ces limites sont documentées dans les travaux sur MT-Bench et les juges LLM [4].
Pour les cas sensibles, comparer des jugements automatiques à une référence humaine, analyser les désaccords et faire auditer les erreurs critiques. Une URL existante ne démontre pas que la source soutient le passage cité. La vérification doit porter sur la proposition factuelle et son support, pas seulement sur la présence d’un lien.
Les tests de sécurité forment un volet distinct : l’OWASP Top 10 for LLM Applications 2026 traite notamment de l’injection de prompt, de la divulgation de données sensibles et de l’autonomie excessive [5]. Un assistant exact peut rester dangereux s’il dispose d’autorisations disproportionnées.
Livrable : dossier de contrôles automatiques, désaccords, validations humaines et incidents de sécurité.
Étape 7 — Autoriser, surveiller et réévaluer dans la durée
Décider explicitement : GO limité, correction puis retest ou NO-GO. La moyenne des scores ne doit jamais compenser un veto de sécurité ou une preuve critique absente. Préciser le périmètre autorisé, les intervenants responsables, les contrôles humains et les mécanismes de repli.
Le système doit être réévalué après changement du modèle, des instructions, du moteur de recherche, des données, des permissions, des outils ou du processus. Suivre les incidents, les erreurs récurrentes, les corrections et les évolutions du coût complet par livrable accepté. La surveillance de production ne remplace pas les tests de recette ; elle les complète.
Livrable : décision signée, registre de versions, déclencheurs de retest et circuit d’arrêt ou de rollback.
Exemple : une note de risque destinée à un comité
Simulation fictive, sans test réel. Une équipe demande une synthèse de documents de risques. Le système produit une note lisible, mais cite une ancienne politique interne à la place de la version validée. Il obtient une bonne note stylistique ; cependant, le contrôle de fraîcheur détecte une référence obsolète sur un point décisif. Le dossier reçoit le verdict À revoir ou Rejeté, selon la criticité définie, et non « accepté » en raison de son style.
L’équipe corrige la règle de sélection de versions, conserve le cas défaillant et rejoue les mêmes tests, y compris un dossier sans politique applicable. Elle vérifie alors que le système sait signaler l’insuffisance de contexte au lieu de conclure. La correction n’est pas déclarée stable sur un seul résultat favorable.
Ce que le protocole permet — et ce qu’il ne garantit pas
Cette méthode construit une preuve traçable de performance dans un périmètre donné. Elle ne garantit pas l’absence universelle d’hallucinations, n’équivaut pas à une certification ISO et ne prouve pas la conformité réglementaire d’un système spécifique. Les sept étapes sont une proposition méthodologique Spotwork.AI, inspirée de référentiels publics : elles ne constituent pas une norme officielle NIST ou ISO.
Elle distingue également ce guide des publications voisines : I0-01 sert à sélectionner une solution ; P12 traite de l’évaluation d’un agent, de ses actions et de sa stabilité ; I0-02 gouverne l’acceptation et la surveillance d’un usage professionnel complet.
Questions fréquentes
Combien de tests faut-il pour prouver la fiabilité ?
Aucun nombre unique n’est universel. Fixer les répétitions et l’échantillon selon le risque, la variabilité, la précision recherchée, les contraintes de budget et l’obligation de détecter les erreurs bloquantes. Pour les incidents rares, un petit échantillon a une puissance limitée.
Le résultat d’un LLM juge peut-il remplacer l’avis d’un expert ?
Pas sans validation de ce juge pour la tâche et sans règles d’escalade. Les juges automatiques sont utiles pour trier et préparer une revue, mais ne constituent pas automatiquement une preuve indépendante.
Comment documenter un GO ?
Par une décision signée et datée : périmètre, version, résultats, exclusions, limites, contrôles humains, preuves et circonstances imposant un retest ou un arrêt.
Sources et limites
- NIST (2024), AI RMF Generative AI Profile — AI 600-1 — gestion des risques, ressource volontaire.
- ISO/IEC 42001:2023, AI management systems — management de l’IA ; ne mesure pas chaque réponse.
- Stanford CRFM, Holistic Evaluation of Language Models — cadre de mesure multi-critères ; benchmarks non spécifiques à chaque entreprise ; en mode maintenance depuis le 1er juin 2026.
- Zheng et al. (2023), Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena — recherche sur la qualité et les biais des juges.
- OWASP GenAI Security Project (2026), OWASP Top 10 for LLM Applications 2026 — sensibilisation aux menaces et mitigations de sécurité.
- UK AI Security Institute, Inspect — framework open source pour la mise en œuvre d’évaluations ; aucun test Inspect n’a été effectué pour cette publication.
Méthode : synthèse documentaire et proposition éditoriale. Aucun chiffre expérimental propriétaire, audit client, certification ou taux de fiabilité Spotwork.AI n’est revendiqué.