Aller au contenu
ATLAS Humain × IA

Référentiel B — capacité IA

Capacité de découverte et saut abductif (limite transversale)

LimitesdocumentéVérifié le

Capacités clés

  • Écart entre prédire correctement et inférer la loi sous-jacente : un transformeur entraîné sur des trajectoires orbitales atteint un R² supérieur à 0,9999 en prédiction de séquence, mais la régression symbolique appliquée au vecteur de force qu'il implique « finds a different implied law of gravitation for each sample » (Vafa, Chang, Rambachan & Mullainathan, ICML 2025)
  • Sur le même protocole, les modèles « consistently fail to apply Newtonian mechanics when adapted to new physics tasks » et développent à la place des « task-specific heuristics that fail to generalize »
  • Distinction posée par Tom Zahavy (Google DeepMind) dans « Position: LLMs can't jump » (ICML 2026) : les modèles maîtrisent l'induction (« statistical pattern matching »), progressent en déduction (« formal proof »), mais resteraient « structurally incapable of the abductive "Jump" » — la formulation d'une hypothèse explicative nouvelle
  • Frontière floue entre recombinaison et invention : un modèle d'OpenAI a réfuté une conjecture de Paul Erdős vieille de quatre-vingts ans ; Sendhil Mullainathan (MIT) y voit un « genuine conceptual advance » tout en relevant que la solution « bring together ideas already extant in the mathematical literature » (Nature, 9 septembre 2026)
  • Comportement observé sur les modèles entraînés sur textes antérieurs à 1900 par Michael Hla, chercheur indépendant à San Francisco : des « glimpses of intuition » mais un modèle qui se borne à « parroting words that seem plausible », sans « any sort of strong internal representation of the world »

Usages documentés par secteur

ScienceTRL non déterminableDiffusion émergente

Le phénomène s'observe d'abord sur des protocoles de redécouverte construits pour le mesurer : on donne au modèle les données d'un phénomène dont la loi est connue de l'expérimentateur, puis on lui demande non de prédire mais d'énoncer la loi. Ce qui est mesuré est un résultat sur un protocole donné, à une date donnée — un modèle précis, un corpus synthétique précis, un jeu de tâches d'adaptation précis. Le même champ produit aussi le résultat inverse : une construction mathématique inédite trouvée par recherche de programmes guidée par un modèle de langage. Les deux tiennent ensemble et bornent ce que l'on peut conclure.

  • Vafa, Chang, Rambachan et Mullainathan (ICML 2025) entraînent un transformeur sur des trajectoires orbitales : R² supérieur à 0,9999 sur les données de test, mais la régression symbolique appliquée au vecteur de force extrait ne retrouve pas la loi de Newton et donne « a different implied law of gravitation for each sample »
  • Leur sonde de biais inductif est appliquée à d'autres domaines (treillis, Othello) et y constate également des « weak inductive biases toward the given world models »
  • À l'inverse, FunSearch (Romera-Paredes et al., Nature, décembre 2023) trouve en dimension 8 un cap set plus grand que tout ce qui était alors connu et porte la borne inférieure de la capacité de 2,2180 à 2,2184, puis à 2,2202 — « the largest improvement in 20 years to the asymptotic lower bound »
  • Le même travail dégage pour le bin packing en ligne des heuristiques qui « improve on widely used baselines »

Sources de cet usage

  1. 1.Vafa, Chang, Rambachan & Mullainathan, « What Has a Foundation Model Found? Using Inductive Bias to Probe for World Models », ICML 2025primaire
  2. 2.Romera-Paredes et al., « Mathematical discoveries from program search with large language models », Nature, vol. 625primaire

RechercheTRL non déterminableDiffusion émergente

Tester la découverte suppose un modèle qui ignore la réponse, d'où les modèles entraînés sur des corpus arrêtés à une date historique. L'instrument de mesure est ici le premier obstacle : la fuite temporelle rend un résultat négatif ambigu, puisqu'on ne sait pas séparer l'incapacité du modèle d'un défaut du protocole. Les équipes qui construisent ces modèles publient leurs taux de fuite plutôt que de les présumer nuls.

  • TypewriterLM (Luo et al., juin 2026) : 7,24 milliards de paramètres, coupure de connaissance en 1913, entraîné sur un corpus de 54 milliards de jetons couvrant 1700-1913
  • La fuite post-coupure y est mesurée entre 0,0 % et 0,6 % selon le modèle et le critère, et les auteurs écrivent que « leakage remains difficult to eliminate entirely »
  • Nick Levine, chercheur indépendant à San Francisco, a construit un modèle arrêté à 1930 et décrit le même écueil : « If you ask it about what happened in the 1950s, often it'll just accidentally answer »
  • Daniel Göttlich (ETH Zurich) et le projet Ranke-4B, aux coupures 1913, 1929, 1933, 1939 et 1946, visent explicitement un objectif abaissé : « What we are testing for, figuratively speaking, is not so much genius, but sparks of genius »

Sources de cet usage

  1. 1.Luo, Shinnick, Griesshaber et al., « Pretraining Language Models on Historical Text », arXiv:2606.02991v1primaire
  2. 2.Philip Ball, « The Einstein test: what happens when AI tries to rediscover relativity? », Nature, vol. 657secondaire

IndustrieTRL non déterminableDiffusion émergente

Dans les laboratoires industriels, le saut inventif fonctionne moins comme une propriété mesurée que comme un critère proposé pour arbitrer les affirmations sur l'intelligence générale. Ce déplacement est important : ce que l'on trouve ici, ce sont des propositions de test et des prises de position argumentées, pas des mesures. Les auteurs les plus critiques assortissent d'ailleurs leur thèse d'une voie de sortie technique.

  • Demis Hassabis (Google DeepMind) propose d'entraîner un modèle sur l'ensemble des connaissances antérieures à 1911 pour voir s'il reproduit la relativité générale : « That would be a good test for AGI »
  • Tom Zahavy (Google DeepMind) formule sa thèse comme un position paper, prend la relativité générale comme cas d'étude, et propose d'y remédier par des « physically consistent, multimodal world models » — l'incapacité qu'il décrit est donc pour lui contingente de l'architecture actuelle, pas définitive
  • Owain Evans (Truthful AI, Berkeley) est crédité par Nature de la proposition initiale de modèles « vintage » ou historiques, lors d'une intervention de décembre 2024

Sources de cet usage

  1. 1.Tom Zahavy, « Position: LLMs can't jump », ICML 2026primaire
  2. 2.Philip Ball, « The Einstein test: what happens when AI tries to rediscover relativity? », Nature, vol. 657secondaire

Limites connues

Cette limite est beaucoup moins établie que les autres limites transversales du référentiel, et il faut dire précisément ce qu'elle ne démontre pas. La sonde de biais inductif de Vafa et al. mesure des modèles donnés, entraînés sur des données synthétiques données, adaptés à des tâches données : c'est un résultat expérimental, pas une propriété prouvée de l'architecture transformeur ni de l'apprentissage par prédiction de séquence en général. La thèse de Tom Zahavy est un position paper de l'ICML 2026, c'est-à-dire un argument soumis à discussion, et son auteur y adjoint lui-même un remède architectural. Sur les protocoles de redécouverte historique, un échec reste ambigu tant que la fuite temporelle n'est pas nulle, et elle ne l'est pas : les auteurs de TypewriterLM la mesurent et la documentent plutôt que de l'écarter. Il n'existe par ailleurs aucun critère de réussite partagé pour un « test d'Einstein » — Göttlich abaisse explicitement la cible à des « sparks of genius ». Enfin, la conclusion inverse est tout aussi peu fondée : FunSearch a produit une construction combinatoire qui n'était pas dans la littérature, et Ido Kaminer (Technion, Haïfa), coauteur de « Can AI Follow In Einstein's Footsteps? », soutient dans Nature qu'« a relativity-like breakthrough is not inherently out of reach for AI », tout en ajoutant qu'« it won't happen without rethinking some of the principles on which today's models are built ». En l'état, ce qui est attesté est étroit : sur plusieurs protocoles publiés entre 2025 et 2026, des modèles qui prédisent très bien un phénomène n'en restituent pas la loi générale, et les cas de découverte avérés relèvent de la recherche guidée dans un espace de solutions vérifiable mécaniquement, non de la formulation d'un principe nouveau à partir de données rares.

Débats documentés

Aucune autre fiche du référentiel ne nomme celle-ci, et celle-ci n'en nomme aucune. Ce n'est pas un signe d'accord : c'est un silence documentaire, et il se comble en écrivant les limites de la fiche avec des noms.

Sources

  1. 1.Vafa, Chang, Rambachan & Mullainathan, « What Has a Foundation Model Found? Using Inductive Bias to Probe for World Models », ICML 2025primaire
  2. 2.Tom Zahavy, « Position: LLMs can't jump », ICML 2026primaire
  3. 3.Romera-Paredes et al., « Mathematical discoveries from program search with large language models », Nature, vol. 625primaire
  4. 4.Luo, Shinnick, Griesshaber et al., « Pretraining Language Models on Historical Text », arXiv:2606.02991v1primaire
  5. 5.Philip Ball, « The Einstein test: what happens when AI tries to rediscover relativity? », Nature, vol. 657secondaire

Analyses de gap citant cette fiche

Aucune paire humain × IA documentée pour cette capacité à ce jour. Le comparateur permet de tester la combinaison et affiche son statut réel.

Fiches connexes — Limites

Données brutes de cette fiche : /api/fiches/capacite-de-decouverte-et-saut-abductif-limite-transversale — voir la méthodologie.