Réforme de l’État — Plan de Rupture
Le dossier fondateur : finances publiques, structures, calendrier et mesures.
Voir le livre et la lecture gratuite →MESURE 4.05 · DOSSIER CANONIQUE JUSTICE
Analyser la cohérence des décisions par échantillonnage : détecter des phénomènes sans profiler les juges
La mesure devient un protocole d’audit statistique et juridique : signaux agrégés, méthode publique, indépendance judiciaire et interdiction de notation individuelle.
Décision humaineLa technologie assiste ; la responsabilité demeure attribuée.
Preuve au point d’usageDroit, données et chiffres rattachés à leurs sources.
Plan de repliLa mesure doit rester exécutable si une voie échoue.
Stockdécisions à contrôlerEntréesnouveaux dossiersÉchantilloncontrôle de cohérenceSortiescorrections + jurisprudence
Pourquoi mesurer la cohérence sans chercher à uniformiser les juges
Une justice indépendante peut produire des différences légitimes : faits différents, arguments différents, jurisprudence en évolution, pouvoir d’appréciation prévu par la loi. La mesure 4.05 n’a donc pas pour objet de fabriquer une note de conformité de chaque magistrat. Elle vise un autre problème : repérer, sur des ensembles suffisamment larges et anonymisés, des écarts qui méritent une analyse juridique ou organisationnelle.
Une série inhabituelle de décisions peut révéler un changement jurisprudentiel, un problème de données, une divergence d’interprétation, un défaut de formation, un biais dans l’échantillon ou simplement une composition différente des affaires. L’outil ne tranche aucune de ces hypothèses. Il les signale à une instance humaine qui examine le contexte, les textes et les dossiers.
Le mot important est « échantillonnage ». On ne construit pas un classement permanent des individus. On définit une question d’audit, un périmètre, une période et une méthode, puis on analyse des résultats agrégés. L’objectif démocratique est de mieux comprendre le fonctionnement de l’institution, pas de soumettre le juge à un algorithme de conformité.
Interdiction centrale : profiler ou noter les pratiques d’un magistrat nommé
Le code de l’organisation judiciaire est particulièrement clair : les données d’identité des magistrats et membres du greffe contenues dans les décisions diffusées ne peuvent être réutilisées pour évaluer, analyser, comparer ou prédire leurs pratiques professionnelles réelles ou supposées. Le code de justice administrative contient une interdiction comparable. Cette règle ferme la porte à un tableau de classement des juges fondé sur l’open data.
La mesure doit donc fonctionner avec des ensembles agrégés et un accès strictement limité lorsqu’un examen interne d’un dossier individuel est juridiquement nécessaire. Les statistiques publiques portent sur des juridictions, matières, délais, catégories de décisions ou phénomènes documentés, jamais sur un palmarès nominatif.
Cette limite n’est pas une faiblesse du système. Elle évite une confusion entre évaluation de politique publique et pression sur l’indépendance judiciaire. Un outil de qualité aide à détecter un phénomène ; il n’attribue pas automatiquement ce phénomène à la personne qui a signé une décision.
Indépendance de l’autorité judiciaire : la frontière constitutionnelle
L’article 64 de la Constitution garantit l’indépendance de l’autorité judiciaire. Toute architecture d’analyse doit être conçue en partant de cette garantie. Le pouvoir politique peut fixer des moyens, des objectifs de délai, des politiques publiques et des obligations de transparence ; il ne peut pas utiliser un outil de mesure comme instrument de pression sur le sens d’une décision particulière.
Le contrôle du dispositif doit donc associer des acteurs capables de distinguer qualité organisationnelle et appréciation juridictionnelle. Les paramètres d’alerte, les méthodes statistiques et les publications doivent être documentés avant l’analyse, afin d’éviter de modifier les règles après avoir vu les résultats.
Une anomalie statistique ne vaut jamais faute. La page impose explicitement cette phrase dans le protocole : « signal statistique ≠ conclusion disciplinaire ». Le symbole ≠ signifie « n’est pas égal à ». Toute suite individuelle éventuelle relève des procédures juridiques ordinaires et des autorités compétentes, pas du moteur d’analyse.
Construire un échantillon qui ne raconte pas ce que l’on a décidé d’avance
Le choix des dossiers est déterminant. Un audit peut produire une fausse divergence s’il compare des populations différentes. Le protocole doit donc définir la matière, la période, le degré de juridiction, les caractéristiques observables des affaires et les exclusions. Lorsque le volume le permet, un tirage aléatoire ou stratifié rend la sélection reproductible.
La page recommande de publier une fiche méthodologique avant les résultats : question posée, population, taille de l’échantillon, variables utilisées, données écartées, limites et marges d’interprétation. Cela permet à un chercheur, un parlementaire ou une juridiction de contester la méthode plutôt que de débattre d’un chiffre sans savoir comment il a été produit.
Pour les phénomènes rares, l’outil doit refuser les pourcentages spectaculaires calculés sur quelques cas. Les effectifs bruts et les intervalles d’incertitude doivent accompagner les taux. Une variation de deux décisions sur un petit échantillon ne doit pas être présentée comme une rupture nationale.
Ce que l’intelligence artificielle peut réellement apporter
L’IA est utile pour classer des décisions par thème, extraire des éléments structurés, repérer des formulations proches, identifier des changements dans le vocabulaire juridique et aider à constituer un corpus d’audit. Elle peut aussi signaler qu’un ensemble de décisions s’éloigne d’un profil agrégé antérieur. Mais elle ne doit pas attribuer une cause à cet écart sans examen humain.
Le système doit conserver les textes sources et permettre de revenir de chaque agrégat aux décisions anonymisées pertinentes pour les personnes habilitées. Une représentation graphique sans accès aux documents serait insuffisante : on ne peut pas expliquer une différence juridique par une courbe seule.
La technologie est donc placée au milieu de la chaîne, jamais à la fin. Elle accélère la constitution du matériau ; le diagnostic est collégial et juridique.
Effet financier : une mesure de qualité, pas une économie artificielle
Le Plan classe 4.05 comme « effet structurel ». la présente édition conserve ce statut. Une analyse de cohérence peut éviter des erreurs, améliorer la formation, identifier un besoin de doctrine ou réduire certains contentieux, mais il serait trompeur de convertir automatiquement ces bénéfices en millions d’euros annuels.
Le coût public doit au contraire être visible : développement ou achat du moteur, préparation des données, temps des équipes d’analyse, sécurité et gouvernance. Le bilan financier publié compare ces coûts à des dépenses évitées seulement lorsqu’elles sont observées, par exemple une baisse documentée d’un type de recours ou de réinstruction directement liée à une correction issue de l’audit.
La valeur principale de la mesure est institutionnelle : rendre détectables des phénomènes qui seraient autrement invisibles tout en protégeant l’indépendance. Son tableau financier peut donc légitimement afficher zéro économie budgétaire certifiée au lancement, sans que cela signifie absence d’intérêt public.
Gouvernance de l’audit : qui pose la question, qui voit les données, qui publie
Une question d’analyse doit être formalisée par une instance identifiée. Les accès aux données non publiques sont limités au besoin d’en connaître. Les résultats provisoires sont examinés par des professionnels du droit avant toute communication. Une publication agrégée indique la méthode et les limites, pas seulement une conclusion.
La gouvernance doit aussi prévoir la contestation méthodologique. Si une juridiction ou une organisation représentative démontre qu’un échantillon est biaisé, le rapport est corrigé publiquement et l’ancienne version reste archivée. Cette traçabilité protège autant l’institution que les auteurs de l’étude.
Enfin, le marché technique doit interdire la réutilisation commerciale des données et modèles dérivés à des fins de profilage de magistrats.
Plan A / Plan B / Plan C
Plan A. Pilote sur une question limitée et un corpus agrégé, validé par une gouvernance judiciaire.
Plan B. Si l’analyse automatique produit trop de faux signaux, conserver l’outillage de constitution d’échantillons et réaliser l’analyse statistique/classique sans modèle génératif.
Plan C. Si le cadre d’usage demeure contesté, limiter le dispositif à des indicateurs organisationnels non liés au contenu des décisions et soumettre toute extension à un texte spécifique.
Les mauvaises lectures à neutraliser
Première mauvaise lecture : « deux décisions différentes prouvent une incohérence ». Non : la différence peut être juridiquement justifiée. Deuxième mauvaise lecture : « la moyenne est la bonne décision ». Non : la justice ne fonctionne pas comme un système de vote statistique. Troisième mauvaise lecture : « le juge qui s’écarte du groupe a tort ». Non : un revirement ou une décision novatrice peut précisément commencer par une exception.
Le rapport doit donc préférer les formulations prudentes : « écart à examiner », « variation non expliquée », « tendance observée sur le périmètre », plutôt que « anomalie du juge ». Cette discipline de vocabulaire évite qu’un outil exploratoire soit transformé politiquement en accusation.
Le test final du dispositif est sa capacité à susciter de bonnes questions sans prétendre fournir automatiquement la réponse institutionnelle.
Indicateurs de réussite et critères d’arrêt
On mesure le taux de signaux confirmés après revue humaine, le taux de faux positifs, le temps nécessaire à l’analyse, la reproductibilité de l’échantillon, la part des résultats publiables sans risque de ré-identification et le nombre de corrections méthodologiques. Un dispositif qui produit beaucoup d’alertes mais presque aucune alerte utile est un échec.
Un seuil d’arrêt doit être prévu lorsque la protection de l’identité ne peut être garantie, lorsque les utilisateurs commencent à détourner l’outil vers un classement individuel ou lorsque les résultats sont trop dépendants de la composition des données. La suspension fait partie du système de qualité ; elle n’est pas un aveu de faiblesse.
La revue annuelle doit vérifier que les catégories d’analyse restent juridiquement pertinentes et que les interdictions de réutilisation sont toujours respectées.
Synthèse : une capacité d’audit sous garde-fous constitutionnels
La mesure 4.05 devient donc un protocole d’audit agrégé, non un observatoire des personnes. Elle documente une question, sélectionne un échantillon, utilise éventuellement l’IA pour structurer le corpus, fait examiner les signaux par des humains et publie des tendances avec leurs limites.
Elle ne crée aucune économie budgétaire fictive et ne doit pas être vendue comme un outil de « prédiction de justice ». Sa valeur vient de la transparence méthodologique et de la capacité à détecter des besoins de formation, de doctrine, d’organisation ou de données.
L’article L. 10 du code de justice administrative interdit de réutiliser les données d’identité des magistrats et des membres du greffe lorsque cette réutilisation a pour objet ou pour effet d’évaluer, d’analyser, de comparer ou de prédire leurs pratiques professionnelles réelles ou supposées.
Cette interdiction n’empêche pas d’auditer statistiquement le fonctionnement d’une institution ; elle impose en revanche de concevoir l’échantillonnage sans profiler individuellement les personnes qui jugent. C’est la frontière retenue par Delta-Sierra.
Cas pratique : une variation de taux n’est pas encore une anomalie
Supposons qu’un type de décision apparaisse plus fréquent dans une juridiction que dans une autre. La première étape n’est pas de chercher quel magistrat « explique » le chiffre. Il faut d’abord vérifier si les affaires sont comparables : même matière, mêmes périodes, mêmes montants, mêmes caractéristiques procédurales, même niveau de juridiction et même disponibilité des décisions dans le corpus.
La deuxième étape examine les explications institutionnelles possibles. Une juridiction peut recevoir une population de dossiers différente, appliquer une jurisprudence locale ensuite corrigée, ou avoir traversé une période de stock exceptionnel. Une variation peut également provenir d’un changement dans la publication des décisions. Le système affiche donc un arbre d’hypothèses, pas un verdict.
La troisième étape est collégiale. Des professionnels examinent un échantillon documenté et déterminent si le phénomène justifie une formation, une clarification doctrinale, une modification de procédure, une amélioration des données ou aucune action. Ce cas pratique doit figurer dans la page parce qu’il rend immédiatement visible la différence entre audit institutionnel et profilage personnel.
Ce que le Parlement peut demander sans franchir la frontière du jugement
Le contrôle parlementaire peut légitimement porter sur les moyens, les délais, les stocks, l’accessibilité, la qualité des données ou l’efficacité d’une politique publique. Il peut également demander si des divergences agrégées révèlent un besoin de clarification normative ou de moyens. En revanche, un tableau construit pour désigner nominativement les magistrats qui s’écartent le plus d’une moyenne transformerait l’évaluation d’une institution en pression individuelle.
La page propose donc un modèle de rapport où les unités publiées sont des catégories de contentieux, des périodes, des juridictions suffisamment agrégées ou des étapes de procédure. Lorsque l’analyse interne doit examiner des dossiers particuliers, l’accès reste restreint et la publication finale neutralise la ré-identification. Le Parlement reçoit la méthode, les résultats et les limites, pas un palmarès des personnes.
Cette séparation permet de préserver la capacité démocratique d’évaluer la justice sans remettre en cause le pouvoir de juger. Elle rend aussi le dispositif plus utile : une politique publique se corrige rarement en accusant une personne ; elle se corrige en identifiant une règle, une organisation, une formation ou une ressource qui produit un résultat indésirable.
Droit de l’IA au 12 août 2026 : pourquoi un audit de tendances n’est pas automatiquement un système à haut risque
Le règlement européen sur l’intelligence artificielle classe comme haut risque plusieurs usages liés à l’administration de la justice lorsqu’ils servent à rechercher ou interpréter les faits et le droit et peuvent influencer une décision. Mais son article 6, paragraphe 3, prévoit aussi une analyse plus fine : un système relevant de l’annexe III peut ne pas être qualifié de haut risque s’il ne présente pas de risque important pour les droits fondamentaux et, notamment, s’il sert à détecter des constantes ou des écarts par rapport à des constantes antérieures sans se substituer à l’évaluation humaine ni l’influencer sans examen humain approprié.
Cette exception n’est jamais automatique. Le fournisseur doit documenter son évaluation avant mise sur le marché ou en service. Et un système qui effectue du profilage de personnes physiques reste, selon le règlement, considéré comme haut risque. Pour 4.05, la doctrine technique doit donc être écrite dès la conception : données agrégées, aucun score individuel de magistrat, aucune recommandation destinée à modifier une décision particulière, examen humain des résultats et documentation de la finalité.
Le droit français ajoute une limite particulièrement forte. L’article L.111-13 du code de l’organisation judiciaire interdit la réutilisation des données d’identité des magistrats et des membres du greffe lorsqu’elle a pour objet ou pour effet d’évaluer, d’analyser, de comparer ou de prédire leurs pratiques professionnelles réelles ou supposées. Delta-Sierra retient donc une frontière simple : analyser le fonctionnement agrégé d’un système peut être étudié ; fabriquer un palmarès, un score ou une prédiction individuelle d’un magistrat est exclu.
Enfin, le règlement (UE) 2026/1744 du 8 juillet 2026 a différé au 2 décembre 2027 l’application des sections 1, 2 et 3 du chapitre III pour les systèmes classés à haut risque au titre de l’article 6, paragraphe 2, et de l’annexe III. Le projet peut néanmoins appliquer volontairement dès le pilote les garanties de documentation, gouvernance des risques, journalisation et supervision humaine afin de ne pas construire en 2026 un système qu’il faudrait reprendre entièrement en 2027.
Approfondissement : mesurer des écarts de décisions sans transformer la statistique en police du juge
Comparer des décisions peut aider à détecter une difficulté de doctrine, une différence de pratiques procédurales ou un besoin de formation. Mais cette comparaison devient dangereuse si elle sert à construire un classement individuel des magistrats ou à imposer une norme statistique là où le droit laisse volontairement une marge d’appréciation. La mesure doit donc être conçue comme un outil de connaissance agrégée.
Construire un échantillon comparable
Deux décisions ne sont comparables que si les dossiers le sont suffisamment. La matière, le montant, la procédure, la présence d’un avocat, la juridiction, la période et les caractéristiques juridiques du litige peuvent influencer le résultat. Un échantillonnage sérieux doit donc documenter les critères d’inclusion et d’exclusion. Une différence brute de taux ne prouve rien à elle seule.
La mesure peut utiliser un indicateur d’écart E = Tg − Tr. Tg représente le taux observé dans un groupe de dossiers et Tr un taux de référence comparable. Le signe − signifie « soustraire ». Mais cet écart ne doit être interprété qu’avec la taille de l’échantillon, la composition des dossiers et une marge d’incertitude. Un écart important sur dix affaires n’a pas la même signification que sur dix mille.
Utiliser l’IA pour repérer, jamais pour condamner
L’intelligence artificielle peut aider à grouper des décisions, extraire des motifs, repérer des formulations divergentes ou identifier des thèmes à analyser. Elle ne doit pas conclure qu’un juge « décide mal ». Le passage de la détection à l’explication doit toujours être humain, contradictoire et contextualisé. Si une anomalie apparente s’explique par une différence de population de dossiers, elle doit être reclassée comme telle.
Les résultats doivent être publiés à un niveau d’agrégation suffisant pour éviter la réidentification des magistrats. Les petits effectifs sont particulièrement sensibles : une catégorie très étroite peut permettre de retrouver indirectement une personne. Le protocole doit donc fixer des seuils minimaux de publication.
Transformer un écart en question de politique publique
Le bon usage d’un audit de cohérence est d’ouvrir une enquête : les textes sont-ils ambigus ? une procédure locale crée-t-elle un biais ? les délais sont-ils différents ? certaines juridictions manquent-elles d’expertise ? Les réponses possibles sont alors la formation, la clarification juridique, la diffusion de jurisprudence ou l’amélioration de l’organisation. La solution n’est pas automatiquement une consigne de résultat.
Le tableau de bord doit suivre le nombre de thèmes analysés, la part d’écarts expliqués par des facteurs objectifs, les recommandations formulées et leur effet dans le temps. Une mesure de qualité produit de la connaissance avant de produire éventuellement une réforme. Aucun « rendement financier » artificiel ne doit lui être attribué.
Préserver l’indépendance par la gouvernance
Le choix des questions étudiées, la méthode statistique et la publication doivent être séparés de toute logique de sanction individuelle. Une gouvernance pluraliste peut associer magistrature, administration, chercheurs en statistique et représentants des professions juridiques. Les méthodes doivent être publiées suffisamment pour être discutées. Le code ou les paramètres sensibles peuvent nécessiter des restrictions de sécurité, mais les critères de sélection et les définitions statistiques doivent être accessibles.
Le succès ne se mesure donc pas au nombre d’« anomalies » trouvées. Il se mesure à la capacité d’expliquer les différences, d’améliorer l’égalité de traitement lorsque le droit l’exige et de préserver la liberté de jugement lorsque le droit la reconnaît.
Analyse opérationnelle : Comparer des situations comparables avant de mesurer un écart
Le point décisif pour l’analyse de cohérence des décisions par échantillonnage est de repérer des écarts statistiques utiles à l’audit sans transformer l’outil en classement individuel des juges. L’indépendance juridictionnelle et la protection des données imposent de distinguer l’analyse agrégée d’un outil de notation ou de profilage personnel.
Aucun palmarès individuel des magistrats
Sur le terrain, l’échantillonnage doit être construit par type d’affaire, période et variables de contexte, avec une revue humaine avant toute conclusion sur un écart observé.
Il faut publier la méthode d’échantillonnage, les variables de contrôle, les limites statistiques et les suites institutionnelles, sans palmarès nominatif.
Publier la méthode statistique et ses limites
Le dispositif est surtout un outil de qualité ; son coût doit être comparé aux gains liés à la détection d’erreurs de procédure, de divergences évitables ou de besoins de formation.
La cohérence n’est pas l’identité : des décisions différentes peuvent être légitimes si les faits, arguments ou règles applicables diffèrent.
La cohérence n’est pas l’uniformité
Une statistique brute peut confondre différence de dossiers et différence de pratique, ou inciter à une uniformisation contraire à l’indépendance du juge.
En clair — ce que change la mesure
Cette mesure se lit en trois questions simples : quel problème concret « Analyser la cohérence des décisions par échantillonnage : détecter des phénomènes sans profiler les juges » cherche-t-elle à corriger, quelle règle ou organisation doit changer, et comment vérifier ensuite que le résultat annoncé est réellement obtenu ?
Le lecteur doit distinguer l’objectif politique du mécanisme d’exécution : une réforme peut être pertinente dans son intention tout en nécessitant un calendrier, des responsables et des garde-fous précis pour produire l’effet attendu.
Repère historique — pourquoi cette question se pose aujourd’hui
La mesure s’inscrit dans une organisation construite par étapes. L’objectif de ce repère n’est pas de fabriquer une date symbolique, mais de rappeler que les règles, structures et dépenses actuelles résultent de décisions successives qui doivent être identifiées dans les sources de la page avant toute comparaison.
La version finale devra conserver les dates effectivement documentées par les textes ou rapports cités, et signaler explicitement toute période pour laquelle la chronologie reste incomplète.
Formule de contrôle reproductible
Lorsque la mesure comporte un impact budgétaire, la formule de base est : impact net = économie ou recette brute − transferts − coûts de transition − coûts récurrents recréés ailleurs. Le signe « − » signifie une soustraction.
Si l’un des termes n’est pas documenté, le résultat ne doit pas être présenté comme une économie nette fermée. La valeur reste alors explicitement en attente dans le grand livre financier.
Coûts de transition à documenter
Avant consolidation, il faut identifier les dépenses nécessaires au passage de l’organisation actuelle à la cible : systèmes d’information, formation, mobilité, accompagnement, indemnités éventuelles, contrats à terminer et fonctionnement temporaire en double.
L’absence de chiffrage n’est pas assimilée à zéro. Tant que ces coûts ne sont pas documentés, l’impact budgétaire net complet reste ouvert.
Règle anti-double-compte
Un même poste supprimé, une même recette ou un même achat évité ne peut apparaître que sur une seule ligne de consolidation. Si plusieurs réformes concourent au résultat, l’une porte le montant et les autres enregistrent une interaction non additive.
Cette règle vaut également pour les coûts : un coût de transition mutualisé doit être attribué une seule fois et référencé par les autres lignes concernées.
Statut financier de la mesure
Le grand livre des économies et la réalité budgétaire ne sont pas la même chose. Une mesure peut ne revendiquer aucune économie autonome tout en créant une dépense, une perte de recettes, un transfert ou un coût de transition. Le tableau ci-dessous sépare explicitement ces notions.
- Économie autonome
- aucune économie autonome revendiquée
- Type d’impact budgétaire
- dépense ou coût de mise en œuvre
- Propriétaire budgétaire
- État — mission Justice / ministère de la Justice
- Ligne financière liée
- Aucune ligne financière autonome attribuée à ce stade
- Mesures liées
- Aucune relation anti-double-compte codée à ce stade
- Quantification de l’impact
- À chiffrer / documenter
- Coûts de transition
- À documenter
- Impact budgétaire net
- ouvert — le coût, la recette, les transferts ou les interactions ne sont pas complètement fermés
- Statut de consolidation
- Hors addition autonome tant que la ligne porteuse, le propriétaire et les interactions ne sont pas fermés.
Classification prudente : aucun effet budgétaire n’est déclaré non applicable par défaut.
Pourquoi cette classification ?
Effet financier : une mesure de qualité, pas une économie artificielle
