Gap analysis — capacité humaine × capacité IA
Karl Popper × Devin (Cognition AI)
Falsifiabilité des annonces de performance et évaluation indépendante des agents
Fiches comparées
Karl PopperCapacité humaine · PhilosophiqueDevin (Cognition AI)Capacité IA · AgentiqueApport de l'IA
Devin fournit un cas d'école du problème de démarcation appliqué à l'IA : la fiche IA relève que plusieurs démonstrations initiales de ses capacités ont été jugées exagérées ou trompeuses par des évaluations indépendantes, ce qui illustre la difficulté de mesurer objectivement l'autonomie réelle d'un agent. L'apport concret est que la réfutation a bien eu lieu — par reproduction indépendante — ce qui est exactement la procédure poppérienne, tandis que l'échec d'un agent reste toujours réinterprétable après coup (tâche mal spécifiée, environnement inhabituel).
Mécanisme
Planification et exécution autonomes de tâches de développement multi-étapes avec usage intégré d'outils (terminal, navigateur, éditeur) ; l'évaluation consiste à rejouer des tâches sur un protocole fixé pour rendre les annonces falsifiables.
Comment faire mieux
Fixer à l'avance le protocole, les tâches et les critères d'échec, et rendre les exécutions reproductibles par des tiers ; cela ne supprime pas le risque de réexplication ad hoc, mais le déplace vers une spécification que l'on peut contester publiquement.
Mode d'interaction recommandé
Évaluation contradictoire : le système exécute, une procédure automatisée rejoue et mesure, des humains fixent les critères de réfutation avant l'exécution.
Substituabilité
Remplaçable avec supervision humaine
Scénarios temporels
Présent
L'exécution automatisée de batteries de tests est courante, mais le niveau de maturité des agents de codage autonomes reste modeste et leurs performances annoncées font l'objet de contestations documentées.
+5 ans
Convergence attendue vers des protocoles d'évaluation indépendants et reproductibles pour les agents, sous la pression des écarts constatés entre démonstrations et usage réel.
+15/20 ans
Le critère de démarcation restera discuté : la fiche humaine relève que la falsifiabilité est difficile à appliquer telle quelle à des théories dont les énoncés ne sont réfutables que conjointement à des hypothèses auxiliaires — difficulté qui vaut aussi pour l'évaluation d'un système technique, dont chaque échec peut être réattribué au contexte fourni plutôt qu'au modèle.
Axes possibles (perspectives, pas des prédictions tranchées)
Adoption de l'évaluation indépendante
Opinion majoritaireGénéralisation de protocoles reproductibles et de tiers évaluateurs pour les annonces de performance d'agents autonomes.
Statu quo des démonstrations invérifiables
Opinion majoritaireLes annonces continuent de reposer sur des démonstrations choisies par le fournisseur, difficilement réfutables faute de protocole commun.
Rupture par certification opposable
Hypothèse prospectiveMise en place d'une certification indépendante des capacités revendiquées, transformant une controverse d'opinion en obligation vérifiable.
Sous-thèmes et axes de recherche
Sous-thèmes
- Démonstrations contestées par des évaluations indépendantes
- Réexplication après coup d'un échec (tâche mal spécifiée, environnement)
- Protocoles préenregistrés et reproductibilité par des tiers
Axes de recherche
- Conception de protocoles d'évaluation d'agents fixés avant exécution
- Écart mesuré entre performances annoncées et performances reproduites
- Comment isoler l'échec d'un modèle de celui de ses hypothèses auxiliaires — consigne, données, environnement d'exécution ?
Documents clés
- 1.La Société ouverte et ses ennemisprimaire
- 2.Karl Popper — Wikipédiasecondaire
- 3.Devin AI — Wikipedia (EN)secondaire
Données brutes de cette analyse : /api/gap/popper-vs-devin — méthode de comparaison détaillée dans la méthodologie.