Aller au contenu
ATLAS Humain × IA

Référentiel B — capacité IA

Biais hérités des données d'entraînement (limite transversale)

LimitesLimite transversale documentée par la recherche académique en éthique de l'IA (fairness in machine learning)documentéVérifié le

Architecture

N/A — limite structurelle affectant tout système d'apprentissage automatique entraîné sur des données historiques

Capacités clés

  • Reproduction et parfois amplification des biais sociaux, historiques ou de sélection présents dans les données d'entraînement
  • Effet documenté sur de nombreux domaines : recrutement, octroi de crédit, justice prédictive, reconnaissance faciale
  • Objet d'un champ de recherche académique dédié (fairness, accountability and transparency in machine learning)

Usages documentés par secteur

GouvernementTRL non déterminable

Enjeu central de la régulation de l'IA dans les usages publics sensibles (justice, aides sociales, recrutement public)

  • Retrait par Amazon d'un algorithme d'évaluation de curriculum vitæ « quand on s'est aperçu qu'il discriminait fortement les CV féminins »
  • Biais raciste constaté dans l'algorithme de la société Northpointe employé par la justice américaine (analyse Angwin et al., 2016)

Sources de cet usage

IndustrieTRL non déterminable

Risque de conformité et de réputation majeur pour toute entreprise déployant des systèmes de décision automatisée

  • Reconnaissance faciale de Face++, juste « pour 99,3 % des hommes, mais seulement 78,7 % des femmes »

Sources de cet usage

Limites connues

Il n'existe pas de solution technique universelle et neutre pour éliminer les biais : Kleinberg, Mullainathan et Raghavan (2016) démontrent que, « except in highly constrained special cases, there is no method that can satisfy these three conditions simultaneously » — les définitions mathématiques de l'équité sont mutuellement incompatibles. Un choix de correction reste donc toujours, in fine, un choix normatif et politique. L'article encyclopédique cité par ailleurs liste bien ces définitions (anti-classification, parité de classification, calibration) mais sans relever leur incompatibilité.

Débats documentés

Aucune autre fiche du référentiel ne nomme celle-ci, et celle-ci n'en nomme aucune. Ce n'est pas un signe d'accord : c'est un silence documentaire, et il se comble en écrivant les limites de la fiche avec des noms.

Sources

Analyses de gap citant cette fiche

Fiches connexes — Limites

Données brutes de cette fiche : /api/fiches/biais-herites-des-donnees-d-entrainement-limite-transversale — voir la méthodologie.