Aller au contenu
ATLAS Humain × IA

Gap analysis — capacité humaine × capacité IA

John Rawls × Biais hérités des données d'entraînement (limite transversale)

Justice distributive et équité des décisions algorithmiques

Non remplaçable à horizon prévisibleConfiance moyennedocumentéVérifié le

Fiches comparées

John RawlsCapacité humaine · PhilosophiqueBiais hérités des données d'entraînement (limite transversale)Capacité IA · Limites

Apport de l'IA

Le champ de l'équité algorithmique apporte une opérationnalisation partielle de l'intuition rawlsienne : concevoir des règles de décision sans savoir qui en bénéficiera, et vérifier a posteriori l'effet sur les groupes défavorisés par des audits comparant les taux d'erreur. Ce qu'il ne peut structurellement pas apporter, c'est le choix des principes eux-mêmes : les trois familles de critères d'équité (anti-classification, parité de classification, calibration) sont mathématiquement incompatibles entre elles, ce qui impose un arbitrage politique et non technique — exactement le type de choix que la position originelle rawlsienne est censée fonder.

Mécanisme

Les biais proviennent de données d'entraînement non représentatives, combinées aux biais de conception et aux arbitrages économiques ; les cas que documente la fiche IA — outil de recrutement d'Amazon « qui discriminait fortement les CV féminins », biais raciste constaté dans l'algorithme de Northpointe employé par la justice américaine, écarts de reconnaissance faciale entre hommes et femmes — montrent que la discrimination survit à la suppression déclarée des variables sensibles, ce qui est le cœur de la difficulté.

Comment faire mieux

Expliciter le critère d'équité retenu comme une décision normative assumée, documentée et révisable, plutôt que comme un paramètre technique ; combiner audits externes, rééquilibrage des données et transparence. La fiche IA établit que ce choix ne peut pas être délégué à la technique : Kleinberg, Mullainathan et Raghavan (2016) démontrent qu'« except in highly constrained special cases, there is no method that can satisfy these three conditions simultaneously ».

Mode d'interaction recommandé

Boucle de feedback institutionnelle : audits périodiques, arbitrage humain explicite du critère d'équité, voies de recours pour les personnes concernées.

Substituabilité

Non remplaçable à horizon prévisible

Scénarios temporels

Présent

En 2026, la fiche IA ne pose aucun niveau de maturité sur ses deux usages : un biais hérité des données est un phénomène, pas un système déployé, et le TRL n'y a pas de référent. Ce qu'elle établit, c'est l'impossibilité démontrée par Kleinberg, Mullainathan et Raghavan (2016) de satisfaire simultanément les définitions mathématiques concurrentes de l'équité — l'arbitrage reste donc normatif, ce qui est précisément le terrain de Rawls.

+5 ans

Si des obligations d'audit se consolident dans les usages à fort enjeu, la comparaison des taux d'erreur entre groupes pourrait devenir systématique, sans trancher pour autant le désaccord normatif que l'incompatibilité des critères rend irréductible.

+15/20 ans

Spéculatif : sous l'hypothèse d'une institutionnalisation d'organes d'arbitrage de l'équité algorithmique, le choix des critères deviendrait un objet de délibération publique explicite plutôt qu'une décision d'ingénierie.

Axes possibles (perspectives, pas des prédictions tranchées)

Généralisation des audits

Hypothèse prospective

Les usages à fort enjeu font l'objet d'audits d'équité systématiques sous l'effet des cadres réglementaires.

Arbitrage normatif irréductible

Consensus scientifique

L'incompatibilité mathématique des critères d'équité impose des choix politiques que nulle méthode technique ne remplace.

Institutionnalisation du choix des critères

Hypothèse prospective

Des organes publics dédiés délibèrent explicitement des critères d'équité applicables par domaine.

Sous-thèmes et axes de recherche

Sous-thèmes

  • Voile d'ignorance et conception de règles impartiales
  • Incompatibilité mathématique des critères d'équité
  • Audits, opacité et recours

Axes de recherche

  • Qui doit arbitrer entre des définitions incompatibles de l'équité, et selon quelle procédure ?
  • Le principe de différence rawlsien se traduit-il en une métrique auditable ?
  • Comment traiter les systèmes comme des assemblages socio-techniques plutôt que comme des modèles isolés ?

Documents clés

  1. 1.John Rawls, Théorie de la justice (1971)primaire
  2. 2.Biais algorithmique — Wikipédiasecondaire

Données brutes de cette analyse : /api/gap/john-rawls-vs-biais-donnees — méthode de comparaison détaillée dans la méthodologie.