Gap analysis — capacité humaine × capacité IA
John B. Watson × Hallucination et fiabilité factuelle (limite transversale)
Évaluation par le comportement observable et opacité des représentations internes
Fiches comparées
John B. WatsonCapacité humaine · PsychologiqueHallucination et fiabilité factuelle (limite transversale)Capacité IA · LimitesApport de l'IA
Le programme de Watson — juger un système sur ses seuls comportements observables — trouve dans l'évaluation des modèles de langage son terrain d'application le plus étendu : bancs d'essai, jeux de questions, mesures d'entrées et de sorties à grande échelle. La fiche IA en montre aussi la limite exacte : un modèle produit des affirmations fausses mais plausibles, et des références inventées d'apparence crédible, sans signal interne fiable de son propre degré d'incertitude.
Mécanisme
Génération conditionnée par des régularités statistiques, sans marque d'incertitude perceptible par le lecteur ; le cas rapporté d'un terme inventé auquel un modèle répond en produisant des références fictives crédibles montre qu'un comportement de surface conforme peut masquer l'absence complète de fondement.
Comment faire mieux
La fiche IA indique que le risque diminue avec la récupération augmentée sur sources vérifiées sans jamais tomber à zéro : l'observation comportementale gagne donc à être couplée à la traçabilité des sources plutôt qu'étendue seule. C'est précisément l'argument que la psychologie cognitive a opposé au behaviorisme en réintroduisant les représentations internes comme objets d'étude légitimes.
Mode d'interaction recommandé
Évaluation instrumentée : les protocoles d'observation et la lecture des résultats restent conçus par des humains, la collecte et le scoring des comportements sont automatisés.
Substituabilité
Remplaçable avec supervision humaine
Scénarios temporels
Présent
L'évaluation comportementale automatisée des systèmes est déployée à grande échelle dans l'industrie et le secteur public, tandis que la conception des protocoles et leur cadrage éthique — que l'expérience du petit Albert rend indissociable de la démarche — restent humains.
+5 ans
Extension probable des bancs d'essai comportementaux, avec une reconnaissance croissante qu'ils ne suffisent pas à établir la fiabilité factuelle d'un système.
+15/20 ans
Le débat contemporain sur l'interprétabilité rejoue la controverse ouverte par Watson : se contenter des entrées et sorties, ou exiger l'accès aux représentations internes — aucune des deux fiches ne le tranche.
Axes possibles (perspectives, pas des prédictions tranchées)
Généralisation des bancs d'essai comportementaux
Opinion majoritaireL'évaluation automatisée par entrées et sorties devient le standard de fait pour qualifier un système avant déploiement.
Statu quo de l'opacité
Opinion majoritaireLes représentations internes restent largement inaccessibles et la fiabilité continue d'être estimée par le seul comportement observable, avec le risque documenté d'énoncés faux mais plausibles.
Bascule vers une évaluation par les mécanismes
Hypothèse prospectiveDes méthodes d'interprétabilité suffisamment mûres pour attester d'un fonctionnement interne plutôt que d'un comportement de surface clôtureraient la controverse ouverte par le manifeste behavioriste.
Sous-thèmes et axes de recherche
Sous-thèmes
- Approche boîte noire appliquée à l'évaluation des modèles
- Absence de signal interne d'incertitude
- Éthique des protocoles d'observation, du petit Albert aux bancs d'essai
Axes de recherche
- Ce qu'un protocole strictement comportemental peut et ne peut pas établir sur la fiabilité d'un système
- Apport de la traçabilité des sources par rapport à l'extension des bancs d'essai
- Parallèle entre réintroduction des représentations mentales en psychologie cognitive et travaux d'interprétabilité
Documents clés
- 1.Psychology as the Behaviorist Views It (1913)primaire
- 2.John Broadus Watson — Wikipédiasecondaire
- 3.Hallucination (intelligence artificielle) — Wikipédiasecondaire
Données brutes de cette analyse : /api/gap/watson-vs-hallucination — méthode de comparaison détaillée dans la méthodologie.