Aller au contenu
ATLAS Humain × IA

Référentiel B — capacité IA

Dépendance à la supervision humaine dans les usages à haut risque (limite transversale)

LimitesdocumentéVérifié le

Capacités clés

  • La supervision humaine est une obligation de conception avant d'être une pratique : l'article 14, paragraphe 1, du règlement (UE) 2024/1689 dispose que « High-risk AI systems shall be designed and developed in such a way that they can be effectively overseen by natural persons » pendant toute leur période d'utilisation
  • Le même article 14, paragraphe 4, exige que la personne chargée de la supervision soit mise en mesure de rester consciente de la tendance à l'« automation bias » et à la confiance excessive envers la sortie du système, d'interpréter correctement cette sortie, de décider de ne pas l'utiliser ou d'en écarter la décision, et d'interrompre le système ; le paragraphe 5 ajoute que pour l'identification biométrique à distance de l'annexe III, point 1 a), aucune action ni décision ne peut être prise « unless that identification has been separately verified and confirmed by at least two natural persons » disposant de la compétence requise
  • Le biais d'automatisation n'est pas une conjecture : Kate Goddard, Abdul Roudsari et Jeremy C. Wyatt (« Automation bias: a systematic review of frequency, effect mediators, and mitigators », Journal of the American Medical Informatics Association 19(1), p. 121-127, janvier 2012) retiennent 74 études sur 13 821 articles examinés et identifient comme médiateurs le style cognitif et l'expérience de l'utilisateur, la confiance, ainsi que la charge de travail, la complexité de la tâche et la contrainte de temps
  • Raja Parasuraman et Victor Riley (« Humans and Automation: Use, Misuse, Disuse, Abuse », Human Factors 39(2), p. 230-253, juin 1997) distinguent quatre régimes de défaillance qui ne se corrigent pas de la même façon : le « misuse » ou sur-confiance (« over reliance on automation, which can result in failures of monitoring or decision biases »), le « disuse » causé le plus souvent par des alarmes qui se déclenchent à tort, et l'« abuse », c'est-à-dire l'automatisation décidée par les concepteurs sans égard aux conséquences sur la performance de l'opérateur
  • La supervision peut être exigée comme condition de qualification réglementaire : la FDA écarte de la définition de dispositif médical un logiciel d'aide à la décision clinique qui remplit quatre critères, dont le quatrième — permettre au professionnel de santé « to independently review the basis for the recommendations that such software presents so that it is not the intent that the HCP rely primarily on any of such recommendations to make a clinical diagnosis or treatment decision » (guidance publiée le 29 janvier 2026)
  • Elle n'est pourtant pas universelle, et la fiche doit le dire : Digital Diagnostics annonce le 12 avril 2018 l'autorisation de LumineticsCore (alors IDx-DR) comme « the first autonomous, AI-based diagnostic system authorized for commercialization by the FDA », système qui « makes an assessment without the need for a clinician to also interpret the image or results », sur la base d'un essai pivot mené dans dix sites de soins primaires aux États-Unis
  • L'aviation formalise le degré de supervision plutôt que de le présumer : le Concept Paper Issue 02 de l'AESA gradue les applications en niveau 1 (assistance à l'humain, « all actions are implemented by the end user »), niveau 2 (équipe humain-IA, où le système sélectionne et met en œuvre des actions, « the end user still maintaining full oversight and override capability ») et niveau 3 (automatisation avancée, sauvegardée en 3A, non supervisée en 3B)
  • Superviser un système plus compétent que soi sur la tâche est un problème ouvert et nommé : Amodei et al. l'appellent « scalable supervision » en 2016, et Samuel R. Bowman, Jared Kaplan, Ethan Perez, Christopher Olah et Dario Amodei (« Measuring Progress on Scalable Oversight for Large Language Models », arXiv, 4 novembre 2022) ne rapportent qu'un résultat préliminaire : sur MMLU et QuALITY en temps limité, des participants humains dialoguant avec un assistant peu fiable « substantially outperform both the model alone and their own unaided performance »

Usages documentés par secteur

GouvernementTRL non déterminableDiffusion émergente

Dans l'Union européenne, la supervision humaine cesse d'être une bonne pratique pour devenir une exigence opposable, assortie d'une obligation de conception pesant sur le fournisseur et d'obligations d'organisation pesant sur le déployeur. Deux précisions importent pour ne pas surestimer la portée du texte : l'obligation vise les systèmes classés à haut risque, et non l'ensemble des systèmes d'IA ; et les dispositions du chapitre III qui la portent ne sont pas encore applicables à la date de cette fiche.

  • Article 14, paragraphe 4, point b) : la personne qui supervise doit rester consciente de la tendance au biais d'automatisation, en particulier lorsque le système produit des informations ou des recommandations servant à décider
  • Article 14, paragraphe 4, points d) et e) : pouvoir décider de ne pas utiliser le système, écarter sa sortie, et interrompre son fonctionnement par un bouton d'arrêt ou une procédure équivalente
  • Article 14, paragraphe 5 : vérification par au moins deux personnes physiques compétentes avant toute action fondée sur une identification biométrique à distance au sens de l'annexe III, point 1 a), avec des exceptions prévues pour certaines opérations répressives et de contrôle aux frontières
  • Calendrier : les obligations du chapitre III relatives aux systèmes à haut risque s'appliquent à partir du 2 décembre 2027 pour les systèmes autonomes de l'annexe III et du 2 août 2028 pour ceux intégrés comme composant de sécurité d'un produit, après le report opéré par l'AI Omnibus entré en vigueur le 27 juillet 2026

Sources de cet usage

  1. 1.Règlement (UE) 2024/1689 du Parlement européen et du Conseil (AI Act), Journal officiel de l'Union européenneprimaire
  2. 2.Commission européenne, « AI Act — Regulatory framework for AI », page de la DG CNECTprimaire
  3. 3.EU Artificial Intelligence Act, texte consolidé de l'article 14 (Human oversight)secondaire

PharmaceutiqueTRL non déterminableDiffusion standard

En santé, la supervision humaine sert de ligne de partage réglementaire : un logiciel dont le professionnel peut vérifier indépendamment le raisonnement échappe à la qualification de dispositif ; un logiciel sur lequel il s'appuierait principalement y tombe. La littérature en informatique médicale mesure par ailleurs, depuis les années 2000, ce que cette supervision vaut en pratique lorsqu'elle est effectivement exercée. Les deux faits tiennent ensemble : l'exigence est posée, et son efficacité dépend de conditions de travail documentées.

  • FDA, guidance « Clinical Decision Support Software » publiée le 29 janvier 2026 : le quatrième critère de la section 520(o)(1)(E) exige que le logiciel permette au professionnel d'examiner indépendamment le fondement des recommandations, de sorte qu'il ne s'y fie pas principalement
  • Goddard, Roudsari et Wyatt (JAMIA, janvier 2012) : revue systématique de 74 études, sélectionnées parmi 13 821, sur la fréquence, les médiateurs et les atténuateurs du biais d'automatisation ; parmi les atténuateurs identifiés, la formation, la responsabilisation explicite de l'utilisateur, la position de l'avis à l'écran et la présentation sous forme d'information plutôt que de recommandation
  • Contre-exemple documenté : LumineticsCore (anciennement IDx-DR), autorisé en avril 2018, rend son verdict de dépistage de la rétinopathie diabétique sans qu'un clinicien interprète l'image, sur la base d'un essai pivot mené dans dix sites de soins primaires — la supervision clinique n'est donc pas une contrainte universelle en santé

Sources de cet usage

  1. 1.FDA, guidance « Clinical Decision Support Software », Center for Devices and Radiological Healthprimaire
  2. 2.Goddard, Roudsari & Wyatt, « Automation bias: a systematic review of frequency, effect mediators, and mitigators », JAMIA 19(1), p. 121-127primaire
  3. 3.Digital Diagnostics, « FDA permits marketing of LumineticsCore (formerly known as IDx-DR) for automated detection of diabetic retinopathy in primary care »primaire

IndustrieTRL non déterminableDiffusion émergente

Les secteurs déjà certifiés n'opposent pas supervision et automatisation : ils construisent une échelle, et attachent à chaque barreau une exigence de conception et une répartition de responsabilité. Le travail normatif y consiste à définir ce que l'opérateur doit pouvoir voir, comprendre et reprendre, plutôt qu'à décider si une machine peut agir seule.

  • AESA, Concept Paper Issue 02 : niveau 1A « human augmentation » et 1B « human assistance », où la décision reste à l'utilisateur ; niveau 2A « cooperation » et 2B « collaboration », où le système décide et agit mais l'utilisateur conserve la supervision complète et la capacité de reprise
  • Le même document précise qu'au niveau 2 « the human-AI teaming concept foresees a partial release of authority to the system however under full oversight of the end user, who consistently remains accountable for the operations »
  • Le niveau 3 sépare explicitement une automatisation avancée sauvegardée (3A) d'une automatisation avancée non supervisée (3B), ce qui montre que l'absence de supervision est traitée comme un régime distinct à qualifier, non comme une simple extension du précédent

Sources de cet usage

  1. 1.AESA (EASA), « Concept Paper: guidance for Level 1 & 2 machine learning applications », Issue 02primaire
  2. 2.EASA, « EASA publishes Artificial Intelligence Concept Paper Issue 2 », annonce de publicationsecondaire

RechercheTRL non déterminableDiffusion émergente

Le point de rupture de la supervision est connu et nommé depuis 2016 : elle suppose un superviseur capable de juger la sortie, condition qui cesse d'être remplie dès que la tâche dépasse sa compétence ou son temps. Ce qui existe à ce jour sur ce problème est un dispositif expérimental et une preuve de concept, pas une méthode validée. Le référentiel note aussi le sens du résultat disponible : il montre un gain de l'humain assisté, pas une capacité de l'humain à détecter une erreur du modèle.

  • Amodei, Olah, Steinhardt, Christiano, Schulman et Mané (2016) rangent la « scalable supervision » parmi les cinq problèmes concrets, comme cas d'une fonction objectif trop coûteuse à évaluer fréquemment
  • Bowman, Kaplan, Perez, Olah et Amodei (2022) proposent un protocole centré sur des tâches que des spécialistes humains réussissent et que ni les humains non assistés ni les modèles ne réussissent, et rapportent une preuve de concept sur MMLU et QuALITY en temps limité
  • Leur résultat porte sur des participants dialoguant avec un assistant explicitement peu fiable, et les auteurs le présentent comme une stratégie de référence triviale (« a trivial baseline strategy for scalable oversight »), non comme une solution

Sources de cet usage

  1. 1.Bowman, Kaplan, Perez, Olah, Amodei et al., « Measuring Progress on Scalable Oversight for Large Language Models », arXiv:2211.03540primaire
  2. 2.Amodei, Olah, Steinhardt, Christiano, Schulman & Mané, « Concrete Problems in AI Safety », arXiv:1606.06565primaire
  3. 3.Parasuraman & Riley, « Humans and Automation: Use, Misuse, Disuse, Abuse », Human Factors 39(2), p. 230-253primaire

Limites connues

Cette fiche établit qu'une supervision humaine est exigée dans plusieurs régimes réglementaires et que sa défaillance est un phénomène mesuré ; elle n'établit pas qu'elle fonctionne. Quatre réserves. D'abord, aucune des sources ouvertes ici ne fournit de mesure de l'efficacité de l'article 14 du règlement (UE) 2024/1689 : les obligations du chapitre III qui le portent ne sont pas applicables à la date de rédaction, reportées au 2 décembre 2027 et au 2 août 2028 par l'AI Omnibus, si bien qu'il n'existe pas encore de retour d'expérience à documenter. Ensuite, la littérature sur le biais d'automatisation est médicale et largement antérieure aux modèles génératifs : la revue de Goddard, Roudsari et Wyatt porte sur 74 études publiées jusqu'en 2012, sur des systèmes d'aide à la décision clinique, et le référentiel ne dispose d'aucune source établissant que ses médiateurs et ses atténuateurs se transposent tels quels aux assistants génératifs. Troisièmement, la supervision humaine n'est pas partout la règle, et présenter la dépendance comme universelle serait faux : LumineticsCore est autorisé depuis 2018 à rendre un verdict de dépistage sans lecture clinicienne, et l'AESA prévoit explicitement un niveau 3B d'automatisation non supervisée. Quatrièmement, la limite la plus lourde — superviser un système plus compétent que soi — n'a pas de solution documentée : Bowman et al. publient un dispositif expérimental et une preuve de concept sur deux jeux de questions, et leur résultat montre un humain assisté plus performant, ce qui ne dit rien de sa capacité à repérer une erreur que le modèle présente avec assurance. Le référentiel ne peut donc ni affirmer que la supervision humaine est un garde-fou suffisant dans les usages à haut risque, ni affirmer qu'elle est un rite sans effet.

Débats documentés

Repose sur la même source (1)

Ces fiches citent au moins une source identique : si elles s'accordent, cet accord ne vaut pas confirmation indépendante.

Sources

  1. 1.Règlement (UE) 2024/1689 du Parlement européen et du Conseil (AI Act), Journal officiel de l'Union européenneprimaire
  2. 2.FDA, guidance « Clinical Decision Support Software », Center for Devices and Radiological Healthprimaire
  3. 3.Goddard, Roudsari & Wyatt, « Automation bias: a systematic review of frequency, effect mediators, and mitigators », JAMIA 19(1), p. 121-127primaire
  4. 4.Parasuraman & Riley, « Humans and Automation: Use, Misuse, Disuse, Abuse », Human Factors 39(2), p. 230-253primaire
  5. 5.AESA (EASA), « Concept Paper: guidance for Level 1 & 2 machine learning applications », Issue 02primaire
  6. 6.Bowman, Kaplan, Perez, Olah, Amodei et al., « Measuring Progress on Scalable Oversight for Large Language Models », arXiv:2211.03540primaire
  7. 7.EU Artificial Intelligence Act, texte consolidé de l'article 14 (Human oversight)secondaire
  8. 8.EASA, « EASA publishes Artificial Intelligence Concept Paper Issue 2 », annonce de publicationsecondaire

Analyses de gap citant cette fiche

Aucune paire humain × IA documentée pour cette capacité à ce jour. Le comparateur permet de tester la combinaison et affiche son statut réel.

Fiches connexes — Limites

Données brutes de cette fiche : /api/fiches/dependance-a-la-supervision-humaine-limite-transversale — voir la méthodologie.