Référentiel B — capacité IA
Biais hérités des données d'entraînement (limite transversale)
Architecture
N/A — limite structurelle affectant tout système d'apprentissage automatique entraîné sur des données historiques
Capacités clés
- Reproduction et parfois amplification des biais sociaux, historiques ou de sélection présents dans les données d'entraînement
- Effet documenté sur de nombreux domaines : recrutement, octroi de crédit, justice prédictive, reconnaissance faciale
- Objet d'un champ de recherche académique dédié (fairness, accountability and transparency in machine learning)
Usages documentés par secteur
GouvernementTRL non déterminable
Enjeu central de la régulation de l'IA dans les usages publics sensibles (justice, aides sociales, recrutement public)
- Retrait par Amazon d'un algorithme d'évaluation de curriculum vitæ « quand on s'est aperçu qu'il discriminait fortement les CV féminins »
- Biais raciste constaté dans l'algorithme de la société Northpointe employé par la justice américaine (analyse Angwin et al., 2016)
Sources de cet usage
- 1.Biais algorithmique — Wikipédiasecondaire
IndustrieTRL non déterminable
Risque de conformité et de réputation majeur pour toute entreprise déployant des systèmes de décision automatisée
- Reconnaissance faciale de Face++, juste « pour 99,3 % des hommes, mais seulement 78,7 % des femmes »
Sources de cet usage
- 1.Biais algorithmique — Wikipédiasecondaire
Limites connues
Il n'existe pas de solution technique universelle et neutre pour éliminer les biais : Kleinberg, Mullainathan et Raghavan (2016) démontrent que, « except in highly constrained special cases, there is no method that can satisfy these three conditions simultaneously » — les définitions mathématiques de l'équité sont mutuellement incompatibles. Un choix de correction reste donc toujours, in fine, un choix normatif et politique. L'article encyclopédique cité par ailleurs liste bien ces définitions (anti-classification, parité de classification, calibration) mais sans relever leur incompatibilité.
Débats documentés
Aucune autre fiche du référentiel ne nomme celle-ci, et celle-ci n'en nomme aucune. Ce n'est pas un signe d'accord : c'est un silence documentaire, et il se comble en écrivant les limites de la fiche avec des noms.
Sources
Analyses de gap citant cette fiche
- John Rawls × Biais hérités des données d'entraînement (limite transversale)Justice distributive et équité des décisions algorithmiques
Fiche humaine : John Rawls
- Daniel Kahneman & Amos Tversky (biais cognitifs) × Biais hérités des données d'entraînement (limite transversale)Heuristiques humaines et biais des systèmes appris
Fiche humaine : Daniel Kahneman & Amos Tversky (biais cognitifs)
- Marxisme-léninisme × Biais hérités des données d'entraînement (limite transversale)Centralisation de la décision économique et biais des systèmes appris
Fiche humaine : Marxisme-léninisme
- Gouvernance multipolaire × Biais hérités des données d'entraînement (limite transversale)Multipolarité technologique et incompatibilité des normes d'équité algorithmique
Fiche humaine : Gouvernance multipolaire
- Rosalind Franklin × Biais hérités des données d'entraînement (limite transversale)Attribution du crédit scientifique et reproduction algorithmique des biais
Fiche humaine : Rosalind Franklin
- Frantz Fanon × Biais hérités des données d'entraînement (limite transversale)Inscription technique de discriminations héritées et limites de leur correction
Fiche humaine : Frantz Fanon
- Capitalisme de marché libre (laissez-faire) × Biais hérités des données d'entraînement (limite transversale)Autorégulation du marché et traitement des externalités algorithmiques
Fiche humaine : Capitalisme de marché libre (laissez-faire)
- Gary Becker × Biais hérités des données d'entraînement (limite transversale)Modélisation prédictive des comportements sociaux et reproduction des discriminations
Fiche humaine : Gary Becker
- Union africaine (UA) / OUA × Biais hérités des données d'entraînement (limite transversale)Régulation continentale des biais des systèmes d'IA importés
Fiche humaine : Union africaine (UA) / OUA
- Nazisme × Biais hérités des données d'entraînement (limite transversale)Catégorisation administrative des personnes et vigilance sur les usages discriminatoires
Fiche humaine : Nazisme
- Entreprise à mission / RSE intégrée × Biais hérités des données d'entraînement (limite transversale)Redevabilité algorithmique et engagement statutaire des entreprises à mission
Fiche humaine : Entreprise à mission / RSE intégrée
Fiches connexes — Limites
- Absence de conscience et de qualia (limite transversale)
- Capacité de découverte et saut abductif (limite transversale)
- Dépendance à la supervision humaine dans les usages à haut risque (limite transversale)
- Dépendance énergétique et matérielle de l'IA (limite transversale)Limite transversale documentée par la recherche sur l'empreinte environnementale de l'IA et les chaînes d'approvisionnement en semi-conducteurs
- Hallucination et fiabilité factuelle (limite transversale)
- Questions de gouvernance et d'alignement (limite transversale)
Données brutes de cette fiche : /api/fiches/biais-herites-des-donnees-d-entrainement-limite-transversale — voir la méthodologie.