MESURE 4.09 · DOSSIER CANONIQUE JUSTICE

Intervention humaine obligatoire : faire de la validation un pouvoir réel, pas une case à cocher

La garantie définit le contrôle humain par sa compétence, son accès aux preuves, son temps, son pouvoir de correction et sa traçabilité, en tenant compte du RGPD et du calendrier 2026 du règlement IA.

Décision humaineLa technologie assiste ; la responsabilité demeure attribuée.

Preuve au point d’usageDroit, données et chiffres rattachés à leurs sources.

Plan de repliLa mesure doit rester exécutable si une voie échoue.

Le registre applique ici une règle de double compte explicite : les coûts de formation, de journalisation et de revue humaine ne sont imputés qu’une seule fois, à leur propriétaire budgétaire, même lorsqu’ils servent plusieurs systèmes d’IA.

Une intervention humaine n’est pas une signature automatique

Dire qu’un humain « reste dans la boucle » ne suffit pas. Si l’agent n’a pas le temps de lire, ne voit pas les raisons du système, n’a pas le pouvoir de modifier le résultat ou est évalué sur son taux d’acceptation, l’intervention est décorative. La mesure 4.09 définit donc une intervention humaine substantielle.

L’agent doit connaître la proposition du système, accéder aux données et pièces pertinentes, comprendre les principaux motifs, pouvoir demander une vérification, modifier ou rejeter la sortie et assumer la décision qui sera notifiée. Son identité fonctionnelle et la voie de recours doivent être traçables dans le dossier.

Cette exigence vaut particulièrement pour toute décision défavorable : refus, sanction, restriction, redressement ou mesure produisant un effet juridique. L’IA peut préparer, classer ou signaler ; la décision opposable demeure attribuée à une personne compétente.

Une assistance automatisée n’aboutit à une décision qu’après un examen humain réel.

RGPD : ce que dit réellement l’article 22

Le RGPD donne à la personne le droit de ne pas faire l’objet d’une décision fondée exclusivement sur un traitement automatisé, y compris le profilage, lorsqu’elle produit des effets juridiques ou l’affecte de manière significative de façon similaire. Des exceptions existent, mais elles sont accompagnées de garanties.

Delta-Sierra choisit une doctrine plus simple pour l’administration et la justice : lorsqu’une décision est défavorable et importante, elle n’est pas fondée exclusivement sur la machine. Un agent compétent intervient avant la notification et peut effectivement changer l’issue.

Cette règle ne signifie pas que chaque calcul automatisé nécessite une seconde décision manuelle. Elle cible la décision ayant l’effet sur la personne, pas les opérations techniques préparatoires.

Règlement IA : droit applicable au 12 août 2026

Le règlement européen sur l’intelligence artificielle organise des obligations selon les usages et leur niveau de risque. Le règlement (UE) 2026/1744, publié en juillet 2026, a différé au 2 décembre 2027 l’application des sections 1, 2 et 3 du chapitre III pour les systèmes classés à haut risque au titre de l’article 6, paragraphe 2, et de l’annexe III.

Cette modification récente impose de dater la page. Certaines obligations détaillées ont un calendrier futur ; d’autres règles de protection des données et exigences déjà applicables restent en vigueur. La doctrine Delta-Sierra ne confond pas ces deux niveaux.

Dès le pilote, elle impose néanmoins une supervision humaine, une documentation, un contrôle des erreurs et une procédure d’arrêt. Ce sont des exigences de conception publiques qui peuvent être plus strictes que le minimum juridique immédiatement applicable.

Compétence, temps, pouvoir de correction et traçabilité : l’intervention humaine doit être réelle.

Concevoir l’interface pour éviter le biais d’automatisation

Un agent peut faire excessivement confiance à une recommandation présentée comme scientifique. L’interface doit donc éviter les artifices de certitude : pas de gros score vert « 97 % » sans explication, pas de bouton d’acceptation plus visible que le bouton de correction, pas de recommandation cachant les données contradictoires.

La sortie est présentée comme une hypothèse de travail avec ses sources. Les pièces qui soutiennent et celles qui contredisent le résultat sont visibles. L’agent peut demander une analyse alternative ou revenir aux documents bruts.

Les tests utilisateurs mesurent le taux de correction de recommandations volontairement erronées. Si les agents valident systématiquement un système même lorsqu’il se trompe, la conception de l’interface est considérée comme dangereuse et doit être modifiée.

Qui peut être le contrôleur humain ?

Le contrôle humain doit être exercé par la personne ou le niveau disposant juridiquement de la compétence de décision. Une simple validation par un agent sans pouvoir n’est pas suffisante. Dans une chaîne complexe, plusieurs personnes peuvent intervenir, mais le responsable final doit être identifiable.

Les délégations, habilitations et remplacements sont documentés. Le système ne doit pas contourner la compétence en routant automatiquement une décision vers un agent non habilité uniquement parce qu’il est disponible.

La formation porte autant sur le droit que sur les limites techniques : erreurs possibles, biais, qualité des données, lecture des sources et procédure d’incident.

Coût et bénéfice : une garantie qui a un coût assumé

L’intervention humaine consomme du temps. Elle peut donc réduire une partie du gain brut d’automatisation. Ce n’est pas une anomalie comptable : c’est le prix de la garantie. Le chiffrage des mesures 4.02, 4.03 ou 9.xx doit intégrer le temps de contrôle humain au lieu de calculer une économie comme si l’agent disparaissait totalement de la chaîne.

La formule de capacité nette est : temps brut économisé par l’automatisation − temps de vérification humaine − temps d’incident et de correction. Le symbole − signifie soustraction. Seul le solde réellement observé peut alimenter une estimation de capacité libérée.

4.09 ne revendique donc aucune économie autonome. Elle modifie le calcul des autres mesures et protège leur légitimité.

Plan de mise en œuvre : inscrire la garantie dans le droit et les marchés

La règle doit apparaître dans les textes qui organisent le dispositif, dans le cahier des charges, dans les droits d’accès et dans l’interface. Une phrase dans une charte éthique ne suffit pas si le logiciel permet techniquement une notification automatique.

Les marchés exigent une fonction de blocage : aucun flux identifié comme décision défavorable ne peut passer à l’étape de notification sans l’événement de validation attendu. Les journaux enregistrent l’agent, l’heure, la version du système et la décision prise.

Un audit de conformité teste régulièrement le dispositif avec des scénarios réels et des erreurs injectées.

Plan A / Plan B / Plan C

Plan A. Inscrire la validation humaine obligatoire dans le workflow et la gouvernance dès le pilote.

Plan B. Si un fournisseur ne permet pas le contrôle fin des workflows, isoler son modèle dans une couche de suggestion sans connexion au module de décision.

Plan C. Si une automatisation ne peut pas être rendue suffisamment explicable ou contrôlable, l’interdire pour la décision défavorable et la limiter à des tâches documentaires en amont.

Les faux contrôles humains à interdire

Premier faux contrôle : l’agent reçoit uniquement « accepter/refuser » sans voir les pièces. Deuxième : il peut théoriquement modifier mais son évaluation le pénalise s’il s’écarte de la machine. Troisième : la charge est telle qu’il n’a matériellement que quelques secondes. Quatrième : les erreurs ne sont jamais suivies, donc personne n’apprend du contrôle.

Une garantie crédible exige donc la description du temps, du pouvoir, des données et des conséquences du contrôle. Une page qui écrit seulement « validation humaine » sans expliquer ces quatre dimensions est désormais considérée comme superficielle.

La garantie doit être observable dans les logs et les procédures, pas seulement déclarée.

Indicateurs de qualité du contrôle humain

Le tableau de bord suit la proportion de recommandations modifiées ou rejetées, le temps médian de revue, le taux d’erreurs détectées par les humains, le taux d’erreurs non détectées mais découvertes après recours, et les catégories où l’intervention change le plus souvent le résultat.

Un taux de modification de zéro sur des milliers de décisions est un signal d’alerte : soit le système est exceptionnellement parfait, soit le contrôle humain est devenu routinier. Une revue ciblée vérifie alors l’interface et la charge.

Les indicateurs sont agrégés. Ils servent à évaluer le système, pas à noter les agents individuels.

Synthèse : l’humain doit pouvoir dire non et avoir le temps de le faire

La mesure 4.09 devient une garantie transversale à toutes les décisions assistées par IA. Elle définit qui contrôle, ce qu’il voit, le temps disponible, le pouvoir de correction, la traçabilité et les recours.

Elle s’appuie sur le RGPD et tient compte du calendrier actualisé du règlement IA, tout en assumant des exigences de conception plus strictes dès le pilote.

Le test final est très concret : face à une recommandation erronée, un agent compétent peut-il la détecter, la corriger et empêcher la notification ? Si non, il n’y a pas d’intervention humaine réelle.

Cas pratique : un refus suggéré par le système

Un système signale qu’une demande ne remplit pas un critère et propose un refus. L’agent voit la donnée qui a déclenché le signal, le texte appliqué et les pièces du dossier. Il constate qu’un document récemment versé modifie la situation. Une intervention humaine réelle lui permet de corriger l’information, de relancer le contrôle et d’écarter le refus. La notification finale mentionne la décision humaine et conserve la trace de la correction.

Dans un faux système de supervision, l’agent verrait seulement un bouton « valider » accompagné d’un score élevé, sans accès clair au document contradictoire. S’il devait ouvrir cinq écrans pour corriger mais un seul clic pour accepter, l’interface créerait elle-même un biais en faveur de la machine. Le marché doit donc tester l’ergonomie de la contestation autant que celle de la validation.

Ce cas pratique transforme la notion abstraite d’« humain dans la boucle » en exigence vérifiable : accès aux preuves, pouvoir juridique, possibilité technique, temps suffisant et trace de l’intervention. Si l’une de ces cinq conditions manque, Delta-Sierra considère la garantie comme incomplète.

Former les agents à contredire la machine

Une supervision efficace est une compétence professionnelle. Les agents doivent apprendre à reconnaître les situations où une recommandation automatisée est fragile : données manquantes, cas hors distribution, changement de droit récent, document illisible, contradiction entre pièces ou résultat très sensible à une hypothèse. La formation ne se résume pas à savoir cliquer sur l’interface.

Des exercices utilisent volontairement des sorties erronées. L’agent doit identifier l’erreur, expliquer pourquoi elle est problématique et choisir la bonne procédure de correction. Cette approche mesure la capacité réelle à résister au biais d’automatisation. Elle permet aussi de repérer les écrans ou formulations qui poussent inconsciemment vers l’acceptation.

La formation est renouvelée lorsque le système ou le droit change. Un agent formé sur une version ancienne ne peut pas être considéré indéfiniment comme superviseur qualifié. Le registre de formation complète le registre technique du modèle.

Recours et transparence pour la personne concernée

Lorsqu’une décision a été assistée par un système automatisé, l’information fournie à la personne doit être adaptée au contexte juridique. Elle doit au minimum permettre de savoir qu’un outil a joué un rôle dans la préparation lorsque cette information est requise ou utile à l’exercice des droits, d’identifier le responsable humain et de contester la décision selon les voies ordinaires.

Le dossier de recours doit permettre à l’agent chargé du réexamen de voir la sortie du système et la manière dont le premier décideur l’a utilisée. Un recours humain qui ne ferait que relancer le même algorithme ne constituerait pas un réexamen effectif. La seconde lecture doit pouvoir partir des pièces et du droit, indépendamment de la recommandation initiale.

Cette architecture complète la doctrine de l’article 22 du RGPD : l’intervention humaine ne vaut que si elle offre une capacité réelle d’examen et de contestation, pas si elle ajoute un nom humain à une décision techniquement figée.

Approfondissement : reconnaître une validation humaine véritable

Une intervention humaine n’est réelle que si la personne peut comprendre l’information reçue, contredire la proposition et modifier le résultat. Un bouton « valider » placé à la fin d’un processus opaque ne suffit pas. Le contrôle doit donc être conçu comme un pouvoir, pas comme un geste d’interface.

Les cinq tests d’une supervision effective

Premier test : le contrôleur sait qu’un système automatisé est intervenu. Deuxième test : il voit les données ou sources ayant conduit à la suggestion. Troisième test : il dispose d’un temps raisonnable pour vérifier. Quatrième test : il peut refuser ou corriger sans procédure exceptionnelle. Cinquième test : son action est journalisée et attribuable. Si l’un de ces éléments manque, la validation risque de devenir purement formelle.

Le système doit aussi montrer son niveau d’incertitude lorsque cette information est pertinente. Une suggestion très incertaine ne doit pas être affichée avec la même apparence qu’un contrôle déterministe. L’interface peut utiliser des avertissements, mais elle ne doit pas jouer sur la couleur ou le design pour pousser inconsciemment l’utilisateur à accepter.

Mesurer le biais d’automatisation

Le biais d’automatisation apparaît lorsqu’une personne fait trop confiance à la proposition de la machine. Pour le détecter, les pilotes doivent inclure des cas où l’outil se trompe volontairement ou où une correction est attendue. On mesure alors le taux de détection. Une équipe qui accepte 99 % des suggestions n’est pas forcément très efficace ; elle peut être devenue dépendante.

On peut suivre C = M ÷ S. C est le taux de corrections humaines, M le nombre de suggestions modifiées ou refusées et S le nombre total de suggestions examinées. Le signe ÷ signifie « divisé par ». Un taux très faible doit déclencher une analyse, non parce qu’il prouve un problème, mais parce qu’il peut révéler soit un outil excellent, soit un contrôle devenu passif.

Créer une voie d’escalade

Le contrôleur doit pouvoir envoyer le dossier vers un niveau supérieur lorsqu’il ne comprend pas la suggestion, lorsqu’une donnée est manquante ou lorsqu’un conflit apparaît entre l’outil et le dossier. Cette escalade doit être simple. Si elle exige de contourner l’application ou de demander une autorisation exceptionnelle, les utilisateurs finiront par accepter la proposition par commodité.

Les cas escaladés sont particulièrement précieux pour l’amélioration : ils montrent les limites du système, les types de dossiers atypiques et les besoins de formation. Ils doivent être analysés périodiquement sans servir à sanctionner l’agent qui a exprimé un doute.

Attribuer clairement la responsabilité

La présence d’une IA ne doit jamais rendre la responsabilité diffuse. Le service doit savoir qui a configuré l’outil, qui est responsable du traitement, qui valide la décision et qui gère les incidents. Le justiciable ou l’usager doit recevoir une réponse d’une administration identifiable, pas d’un modèle.

Le tableau de bord doit publier les taux de correction, les escalades, les incidents, les temps de contrôle et les catégories d’erreurs. L’objectif n’est pas de minimiser le nombre de corrections : une organisation saine valorise la capacité humaine à repérer une erreur. Le véritable succès est une assistance qui accélère les tâches simples tout en maintenant un pouvoir humain effectif sur les conséquences.

Former le contrôleur au système qu’il doit contredire

La capacité de contredire suppose une compétence minimale. La formation doit couvrir le fonctionnement général de l’outil, les erreurs fréquentes, la lecture des sources, les signaux d’incertitude et la procédure d’escalade. Elle doit aussi expliquer que la responsabilité humaine ne signifie pas que l’agent doit comprendre le code informatique. Il doit comprendre ce que l’outil fait, ce qu’il ne fait pas et quelles informations permettent de vérifier son résultat. Une certification interne de prise en main peut être renouvelée après une modification majeure du système. Les statistiques de correction doivent être utilisées pour améliorer la formation, non pour pousser les agents vers un taux d’acceptation artificiel.

La qualité de la supervision doit enfin être testée sur les situations exceptionnelles. Une procédure ordinaire peut fonctionner parfaitement et échouer précisément lorsque le dossier sort du modèle attendu. Les exercices de contrôle doivent donc inclure des documents incomplets, des contradictions, une langue inhabituelle, une pièce scannée de mauvaise qualité, une situation urgente ou une règle récemment modifiée. L’objectif est de vérifier que l’agent comprend quand il doit quitter l’assistance automatique. Le système doit faciliter ce retour au traitement manuel au lieu de pénaliser l’utilisateur. Une bonne architecture accepte explicitement que certains dossiers ne soient pas automatisables. Cette capacité à reconnaître ses propres limites est un indicateur de maturité aussi important que la précision moyenne.

La supervision doit enfin être organisée dans le temps. Une validation humaine de qualité le premier mois peut devenir routinière après un an d’usage. Il faut donc prévoir des audits périodiques d’échantillons, réalisés par une équipe différente des utilisateurs quotidiens. Ces audits comparent la proposition automatique, la décision humaine, les corrections effectuées et les incidents signalés. Ils doivent rechercher les erreurs rares mais graves autant que les erreurs fréquentes. Une mise à jour majeure du modèle, du corpus ou des règles métier déclenche un nouveau cycle de validation avant généralisation. Cette obligation de réévaluation empêche qu’un outil initialement bien contrôlé dérive silencieusement au fil des versions. Le contrôle humain devient ainsi une fonction permanente de gouvernance et non une clause juridique posée une fois pour toutes.

Une dernière règle doit être inscrite dans les marchés : aucun fournisseur ne peut modifier silencieusement le comportement d’un système utilisé pour une fonction sensible. Toute évolution substantielle doit être documentée, testée et portée à la connaissance des utilisateurs avant mise en production. Sans cette discipline de gestion des versions, la validation humaine porterait sur un outil différent de celui qui a été évalué initialement.

Analyse opérationnelle : Un humain doit pouvoir dire non et comprendre pourquoi

Le point décisif pour l’intervention humaine obligatoire dans les systèmes d’IA judiciaires est de faire de la validation humaine un pouvoir concret de comprendre, contester et écarter une suggestion automatisée. La responsabilité de la décision doit rester identifiable et l’agent ou magistrat ne doit pas être placé dans une situation de validation purement formelle.

Intégrer le temps de contrôle dans le calcul de productivité

Sur le terrain, l’interface doit montrer les données utilisées, la nature de la suggestion, son niveau d’incertitude et permettre un rejet sans procédure dissuasive.

Les audits doivent mesurer taux de rejet des suggestions, motifs de correction, erreurs détectées après validation et temps consacré au contrôle.

Mesurer le biais d’automatisation par les corrections réelles

Le temps de contrôle humain doit être intégré au calcul de productivité ; une IA qui exige une vérification aussi longue que la tâche initiale n’apporte pas le gain annoncé.

L’obligation d’un clic humain ne suffit pas : il faut que l’utilisateur dispose réellement des compétences, informations et délais nécessaires pour décider autrement.

Former avant de déployer

Le biais d’automatisation peut conduire l’utilisateur à suivre une recommandation parce qu’elle paraît techniquement autorisée ou statistiquement probable.

En clair : ce que signifie une validation humaine réelle

Une validation humaine ne consiste pas à ajouter un bouton « approuver » après une réponse produite par une intelligence artificielle. L’agent doit pouvoir comprendre les éléments utiles, demander une vérification, modifier la proposition ou la rejeter. Plus la décision touche aux droits d’une personne, plus ce pouvoir de contradiction doit être documenté.

Repère historique

Le droit européen de la protection des données encadre les décisions individuelles entièrement automatisées depuis l’entrée en application du RGPD en 2018. L’essor des systèmes d’IA depuis 2022-2024 ajoute une nouvelle échelle technique, mais ne supprime pas l’exigence d’un contrôle adapté aux conséquences de la décision.

Transition, interactions et anti-double-compte

La transition exige formation, temps de revue, journalisation et procédures d’escalade. Ces coûts interagissent avec les programmes de formation IA et de transformation numérique : ils ne doivent pas être comptés deux fois. Cette mesure est une garantie de processus ; elle n’est pas une économie autonome et son coût ne doit pas disparaître derrière les gains revendiqués par un autre projet d’automatisation.

Statut financier de la mesure

Le grand livre des économies et la réalité budgétaire ne sont pas la même chose. Une mesure peut ne revendiquer aucune économie autonome tout en créant une dépense, une perte de recettes, un transfert ou un coût de transition. Le tableau ci-dessous sépare explicitement ces notions.

Économie autonome: aucune économie autonome revendiquée
Type d’impact budgétaire: dépense ou coût de mise en œuvre
Propriétaire budgétaire: État — mission Justice / ministère de la Justice
Ligne financière liée: Aucune ligne financière autonome attribuée à ce stade
Mesures liées: Aucune relation anti-double-compte codée à ce stade
Quantification de l’impact: À chiffrer / documenter
Coûts de transition: Périmètre de transition identifié : adaptation des interfaces, journalisation de la validation humaine, formation des utilisateurs et contrôle qualité. Montant non consolidable avant chiffrage ; aucune valeur n’est inventée.
Impact budgétaire net: ouvert — le coût, la recette, les transferts ou les interactions ne sont pas complètement fermés
Statut de consolidation: Hors addition autonome tant que la ligne porteuse, le propriétaire et les interactions ne sont pas fermés.

Classification prudente : aucun effet budgétaire n’est déclaré non applicable par défaut.

Pourquoi cette classification ?