Aller au contenu
ATLAS Humain × IA

Référentiel B — capacité IA

Autonomie d'exécution des agents

AgentiqueCapacité transverse ; mesurée par METR, organisation indépendante à but non lucratif. Systèmes évalués : Claude (Anthropic), GPT (OpenAI), Devin (Cognition Labs).documentéVérifié le

Capacités clés

  • Conduite d'une tâche longue sans reprise humaine à chaque étape
  • Horizon de tâche mesuré : durée de tâche réussie une fois sur deux
  • Reprise après erreur au sein d'une même session, sans réinitialisation

Usages documentés par secteur

RechercheTRL non déterminableDiffusion émergente

Mesure de l'horizon temporel des tâches menées sans intervention humaine

  • METR, Time Horizon 1.1 (29 janvier 2026) : Claude Opus 4.5 à 320 minutes de tâche réussie une fois sur deux, intervalle de confiance 170-729 minutes ; GPT-5 à 214 minutes ; o3 à 121 minutes
  • Doublement de l'horizon tous les 131 jours environ sur la période postérieure à 2023, contre sept mois sur 2019-2025

Sources de cet usage

  1. 1.METR, « Task-Completion Time Horizons of Frontier AI Models », consulté en 2026primaire

Limites connues

METR borne elle-même sa mesure, et cette réserve est plus instructive que le chiffre : au-delà de seize heures, les mesures « ne sont pas fiables avec la suite de tâches actuelle » ; sur 31 tâches longues de plus de huit heures, cinq seulement disposent d'une véritable ligne de base humaine mesurée, les autres étant estimées ; les intervalles de confiance sont très larges — de 170 à 729 minutes pour une valeur centrale de 320. Sur le terrain, la seule évaluation indépendante trouvée est celle d'Answer.AI, qui a fait tourner Devin pendant un mois sur vingt tâches réelles en janvier 2025 : trois succès, quatorze échecs, trois résultats non concluants, avec un constat qualitatif de code inutilement complexe et de fixation en débogage. Cette mesure a vingt mois, ce qui est considérable dans ce domaine, mais aucune évaluation indépendante plus récente et comparable n'a été trouvée.

Débats documentés

Aucune autre fiche du référentiel ne nomme celle-ci, et celle-ci n'en nomme aucune. Ce n'est pas un signe d'accord : c'est un silence documentaire, et il se comble en écrivant les limites de la fiche avec des noms.

Sources

  1. 1.METR, « Time Horizon 1.1 », 29 janvier 2026primaire
  2. 2.Answer.AI, « Thoughts On A Month With Devin », 8 janvier 2025 — évaluation indépendante sur vingt tâches réellesprimaire

Analyses de gap citant cette fiche

Aucune paire humain × IA documentée pour cette capacité à ce jour. Le comparateur permet de tester la combinaison et affiche son statut réel.

Fiches connexes — Agentique

Données brutes de cette fiche : /api/fiches/autonomie-d-execution-des-agents — voir la méthodologie.