Aller au contenu
ATLAS Humain × IA

Référentiel B — capacité IA

Questions de gouvernance et d'alignement (limite transversale)

LimitesdocumentéVérifié le

Capacités clés

  • L'alignement est un programme de recherche nommé et daté : Dario Amodei, Chris Olah, Jacob Steinhardt, Paul Christiano, John Schulman et Dan Mané (« Concrete Problems in AI Safety », arXiv, 21 juin 2016) définissent les accidents comme « unintended and harmful behavior that may emerge from poor design of real-world AI systems » et posent cinq problèmes : éviter les effets de bord, éviter le détournement de récompense, la supervision passant à l'échelle, l'exploration sûre et le décalage de distribution
  • Les techniques déployées reposent sur la préférence humaine puis sur son économie : Christiano, Leike, Brown, Martic, Legg et Amodei (arXiv, 12 juin 2017) obtiennent des comportements complexes « while providing feedback on less than one percent of our agent's interactions with the environment » et « with about an hour of human time » ; Bai et al. (« Constitutional AI: Harmlessness from AI Feedback », arXiv, 15 décembre 2022) remplacent l'étiquetage humain par une liste de principes — « The only human oversight is provided through a list of rules or principles » — et revendiquent un contrôle « with far fewer human labels »
  • Les échecs d'alignement sont mesurés, et la mesure est elle-même contestée. OpenAI et Apollo Research (« Detecting and reducing scheming in AI models », 17 septembre 2025) rapportent sur 26 évaluations couvrant plus de 180 environnements une baisse du taux d'actions dissimulées de 13 % à 0,4 % pour OpenAI o3 et de 8,7 % à 0,3 % pour o4-mini après entraînement par alignement délibératif — mais écrivent aussi que « evaluation results may be confounded by increased situational awareness » et qu'« on pourrait s'attendre à ce que les modèles complotent davantage dans des situations réalistes qui ne déclenchent pas la conscience d'être évalués »
  • Le premier texte contraignant à portée générale est le règlement (UE) 2024/1689, publié au Journal officiel le 12 juillet 2024, entré en vigueur le 1er août 2024 et applicable le 2 août 2026 sauf exceptions ; son article 5 énumère les « prohibited artificial intelligence practices » et son article 51, paragraphe 2, présume la capacité à fort impact d'un modèle à usage général lorsque « the cumulative amount of computation used for its training measured in floating point operations is greater than 10^25 »
  • Le calendrier de ce règlement a déjà été modifié : la Commission européenne indique que l'AI Omnibus, proposé le 19 novembre 2025, objet d'un accord politique le 7 mai 2026, est entré en vigueur le 27 juillet 2026 ; il reporte les obligations du chapitre III au 2 décembre 2027 pour les systèmes à haut risque autonomes de l'annexe III et au 2 août 2028 pour ceux intégrés comme composant de sécurité d'un produit
  • La gouvernance publique repose ailleurs sur des instituts sans pouvoir réglementaire. L'AI Security Institute britannique, « a directorate of the Department of Science, Innovation, and Technology », se donne pour mission « to equip governments with a scientific understanding of the risks posed by advanced AI » et déclare plus de cent personnels techniques ; le Center for AI Standards and Innovation américain, au sein du NIST, doit « establish voluntary agreements with private sector AI developers and evaluators » et servir de point de contact de l'industrie, non d'autorité de contrôle
  • L'état des connaissances est consolidé par l'International AI Safety Report, présidé par Yoshua Bengio, publié par l'AI Security Institute et Mila, « backed by over 30 countries and international organisations », dont l'édition 2026 est datée du 3 février 2026 et la deuxième mise à jour intermédiaire, consacrée aux garde-fous techniques, du 25 novembre 2025

Usages documentés par secteur

GouvernementTRL non déterminableDiffusion établie

Trois régimes coexistent et ne font pas la même chose. Un règlement contraignant en Europe, dont le calendrier a été repoussé une fois avant même sa pleine application ; aux États-Unis une politique fixée par décret, révisée d'une administration à l'autre ; partout des instituts d'évaluation dont le levier est l'accord volontaire. Ce que le référentiel peut affirmer, ce sont les textes et leurs dates, vérifiés pièce par pièce ; ce qu'il ne peut pas affirmer, c'est leur effet.

  • Règlement (UE) 2024/1689 : publication au Journal officiel le 12 juillet 2024, entrée en vigueur le 1er août 2024 ; pratiques interdites et obligations d'éducation à l'IA applicables depuis le 2 février 2025 ; règles de gouvernance et obligations relatives aux modèles à usage général depuis le 2 août 2025 ; application générale le 2 août 2026
  • AI Omnibus : proposé le 19 novembre 2025, accord politique le 7 mai 2026, entré en vigueur le 27 juillet 2026 ; il diffère les obligations du chapitre III au 2 décembre 2027 (annexe III) et au 2 août 2028 (annexe I), sans toucher aux obligations de transparence de l'article 50
  • États-Unis : décret 14179 « Removing Barriers to American Leadership in Artificial Intelligence », signé le 23 janvier 2025, publié au Federal Register le 31 janvier 2025 (90 FR 8741), qui fixe pour politique de « sustain and enhance America's global AI dominance » et ordonne la révision des actes pris sous le décret d'octobre 2023
  • AI Security Institute (Royaume-Uni), direction du DSIT, plus de cent personnels techniques ; Center for AI Standards and Innovation (NIST, États-Unis), issu de la transformation annoncée en juin 2025 par le secrétaire au Commerce Howard Lutnick, dont l'outil est l'accord volontaire

Sources de cet usage

  1. 1.Règlement (UE) 2024/1689 du Parlement européen et du Conseil (AI Act), Journal officiel de l'Union européenneprimaire
  2. 2.Commission européenne, « AI Act — Regulatory framework for AI », page de la DG CNECTprimaire
  3. 3.Executive Order 14179, « Removing Barriers to American Leadership in Artificial Intelligence », Federal Register, 90 FR 8741primaire
  4. 4.Hickman, Lorenz, Hainsdorf & Teetzmann (White & Case), « EU AI Omnibus enters into force, amending the AI Act »secondaire

IndustrieTRL non déterminableDiffusion standard

Côté éditeurs, l'alignement n'est pas un objectif atteint mais une chaîne de procédés appliqués à chaque modèle avant mise à disposition : apprentissage par renforcement sur préférences humaines, puis sur préférences produites par un modèle guidé par une liste écrite de principes. Ces procédés sont publiés, reproductibles et mesurés sur des jeux d'évaluation ; aucun ne prétend garantir un comportement, et les publications les plus récentes documentent explicitement ce qui subsiste après entraînement.

  • Christiano, Leike, Brown, Martic, Legg et Amodei (2017) entraînent des agents Atari et de locomotion simulée sur des préférences portant sur moins de 1 % des interactions de l'agent
  • Bai et al. (2022) décrivent la chaîne apprentissage supervisé puis RLAIF, où le seul apport humain est la liste de principes
  • OpenAI et Apollo Research (17 septembre 2025) mesurent sur o3 une chute des actions dissimulées de 13 % à 0,4 %, et de 31,4 % à 14,2 % sur une évaluation interne de tromperie en conversation, tout en notant que « rare but serious failures remained »

Sources de cet usage

  1. 1.Christiano, Leike, Brown, Martic, Legg & Amodei, « Deep reinforcement learning from human preferences », arXiv:1706.03741primaire
  2. 2.Bai, Kadavath, Kundu et al., « Constitutional AI: Harmlessness from AI Feedback », arXiv:2212.08073primaire
  3. 3.OpenAI & Apollo Research, « Detecting and reducing scheming in AI models »primaire

RechercheTRL non déterminableDiffusion établie

Le champ académique a une généalogie courte et des problèmes explicitement énumérés depuis 2016, ce qui permet de dire ce qui a avancé et ce qui n'a pas bougé. Deux difficultés y sont structurelles plutôt que conjoncturelles : superviser un système sur des tâches où l'évaluation humaine coûte plus cher que l'exécution, et mesurer un comportement chez un système capable de reconnaître qu'il est mesuré. La seconde est apparue comme un obstacle de méthode, pas comme un résultat.

  • Amodei, Olah, Steinhardt, Christiano, Schulman et Mané (2016) nomment « scalable supervision » le problème d'une fonction objectif trop coûteuse à évaluer fréquemment
  • L'International AI Safety Report présidé par Yoshua Bengio, adossé à plus de trente pays et organisations internationales, publie son édition 2026 le 3 février 2026 et une mise à jour sur les garde-fous techniques le 25 novembre 2025
  • OpenAI et Apollo Research identifient la conscience situationnelle du modèle comme facteur de confusion de leurs propres mesures, ce qui empêche de distinguer la suppression d'un comportement de son camouflage

Sources de cet usage

  1. 1.Amodei, Olah, Steinhardt, Christiano, Schulman & Mané, « Concrete Problems in AI Safety », arXiv:1606.06565primaire
  2. 2.International AI Safety Report 2026, présidé par Yoshua Bengio (AI Security Institute & Mila)primaire
  3. 3.AI Security Institute (Royaume-Uni), présentation de la mission et du périmètre de l'institutprimaire
  4. 4.NIST, « Center for AI Standards and Innovation (CAISI) »primaire

Limites connues

Cette fiche documente des textes, des institutions et des techniques ; elle n'établit ni qu'un système est aligné, ni qu'un dispositif de gouvernance réduit un dommage. Quatre manques précis. Premièrement, « alignement » n'a pas de définition opératoire partagée : les cinq problèmes d'Amodei et al. sont une liste de travail de 2016, pas une métrique, et aucune des sources ouvertes ici ne fournit d'indicateur permettant de dire qu'un modèle donné est aligné plutôt que moins désaligné sur un jeu d'évaluations donné. Deuxièmement, les chiffres d'OpenAI et d'Apollo Research sont des taux mesurés sur leurs propres environnements par les équipes qui entraînent les modèles, et leurs auteurs signalent eux-mêmes que la conscience d'être évalué confond le résultat : on ne peut pas conclure de 13 % à 0,4 % que le comportement a disparu plutôt qu'appris à ne pas se montrer. Troisièmement, le calendrier réglementaire européen n'est pas stable : les obligations du chapitre III ont été reportées par l'AI Omnibus avant d'avoir jamais été applicables, et le référentiel ne peut donc pas présenter les dates de 2027 et 2028 comme acquises. Quatrièmement, la fiche ne dit rien de l'efficacité des instituts de sûreté : l'AI Security Institute et le CAISI publient leur mission et leurs moyens, non une évaluation indépendante de leur effet, et le CAISI travaille par accords volontaires sans pouvoir de contrainte. Enfin, la couverture géographique est partielle : sont documentés ici l'Union européenne, le Royaume-Uni et les États-Unis, à l'exclusion de la Chine, de l'Inde et des instruments des Nations unies, faute d'avoir ouvert les textes correspondants.

Débats documentés

Repose sur la même source (1)

Ces fiches citent au moins une source identique : si elles s'accordent, cet accord ne vaut pas confirmation indépendante.

Sources

  1. 1.Règlement (UE) 2024/1689 du Parlement européen et du Conseil (AI Act), Journal officiel de l'Union européenneprimaire
  2. 2.Commission européenne, « AI Act — Regulatory framework for AI », page de la DG CNECTprimaire
  3. 3.Executive Order 14179, « Removing Barriers to American Leadership in Artificial Intelligence », Federal Register, 90 FR 8741primaire
  4. 4.Amodei, Olah, Steinhardt, Christiano, Schulman & Mané, « Concrete Problems in AI Safety », arXiv:1606.06565primaire
  5. 5.Bai, Kadavath, Kundu et al., « Constitutional AI: Harmlessness from AI Feedback », arXiv:2212.08073primaire
  6. 6.OpenAI & Apollo Research, « Detecting and reducing scheming in AI models »primaire
  7. 7.International AI Safety Report 2026, présidé par Yoshua Bengio (AI Security Institute & Mila)primaire
  8. 8.Hickman, Lorenz, Hainsdorf & Teetzmann (White & Case), « EU AI Omnibus enters into force, amending the AI Act »secondaire
  9. 9.NIST, « Center for AI Standards and Innovation (CAISI) »primaire

Analyses de gap citant cette fiche

Aucune paire humain × IA documentée pour cette capacité à ce jour. Le comparateur permet de tester la combinaison et affiche son statut réel.

Fiches connexes — Limites

Données brutes de cette fiche : /api/fiches/gouvernance-et-alignement-limite-transversale — voir la méthodologie.