Aller au contenu
ATLAS Humain × IA

Référentiel B — capacité IA

Génération de code et son exécution autonome

AgentiqueAnthropic (Claude Code), OpenAI (Codex), Cognition Labs (Devin) ; évaluation par l'équipe SWE-bench.documentéVérifié le

Capacités clés

  • Résolution de tickets réels sur des dépôts existants, mesurée par SWE-bench Verified
  • Exécution du code produit en environnement shell, mesurée par Terminal-Bench
  • Reprise et correction après échec d'exécution, au sein de la même session

Usages documentés par secteur

IndustrieTRL non déterminableDiffusion établie

Production de code applicatif par un agent, puis exécution de ce code en environnement réel, avec reprise après échec au sein de la même session

  • SWE-bench Verified, campagne complète exécutée par l'équipe du banc d'essai et rapportée le 19 février 2026 : Claude 4.5 Opus à 76,8 %, Gemini 3 Flash et MiniMax M2.5 à 75,8 %, GPT-5.2 et Claude 4.5 Sonnet à 72,8 %, DeepSeek V3.2 à 70,8 %
  • Terminal-Bench 2.0 : GPT-5.5 à 82,7 % sur l'exécution en terminal réel

Sources de cet usage

  1. 1.Simon Willison, « SWE-bench February 2026 leaderboard update », 19 février 2026 — campagne exécutée par l'équipe du banc d'essaisecondaire

Limites connues

L'écart entre le banc d'essai et le terrain est le fait le mieux établi de cette fiche. Sur SWE-bench Verified, les meilleurs modèles dépassent 75 % ; la seule évaluation indépendante en conditions réelles trouvée — un mois d'usage de Devin sur vingt tâches par Answer.AI en janvier 2025, détaillée dans la fiche « Autonomie d'exécution des agents » — aboutit à 15 % de réussite. Cette mesure porte sur un seul produit et a vingt mois, ce qui est considérable ici ; qu'aucune évaluation indépendante plus récente en conditions réelles n'ait été trouvée est en soi une lacune du domaine, et elle interdit de transposer les scores de banc d'essai à un usage professionnel. Enfin, la campagne SWE-bench est conduite par l'équipe du banc d'essai : plus indépendante qu'une auto-déclaration d'éditeur, sans être un audit externe.

Débats documentés

Repose sur la même source (1)

Ces fiches citent au moins une source identique : si elles s'accordent, cet accord ne vaut pas confirmation indépendante.

Sources

  1. 1.llm-stats.com, « Terminal-Bench 2.0 Leaderboard » — agrégateur tiers, données de mai 2026secondaire
  2. 2.SWE-bench — banc d'essai de résolution de tickets réels sur dépôts existants, consulté en 2026primaire

Analyses de gap citant cette fiche

Aucune paire humain × IA documentée pour cette capacité à ce jour. Le comparateur permet de tester la combinaison et affiche son statut réel.

Fiches connexes — Agentique

Données brutes de cette fiche : /api/fiches/generation-de-code-et-son-execution-autonome — voir la méthodologie.