Noam Chomsky × BERT

BERT apporte la preuve empirique qu'un apprentissage bidirectionnel sur de très grands corpus produit des représentations contextuelles suffisantes pour améliorer massivement les tâches de compréhension du langage (TRL 9, intégration dans Google Search présentée comme la modification la plus importante de l'algorithme en cinq ans). Ce qu'il n'apporte pas, c'est une réponse à l'argument de la pauvreté du stimulus : le modèle apprend à partir de volumes de données sans commune mesure avec l'exposition d'un enfant, ce qui laisse entière la question de l'acquisition humaine.

Transformeur bidirectionnel encodeur seul, pré-entraîné par apprentissage auto-supervisé puis ajusté finement par tâche : la représentation contextuelle prend en compte simultanément le contexte gauche et droit. La méthode ne postule aucun dispositif inné spécifique à l'espèce, et la fiche IA en fait dès 2018 une amélioration significative de l'état de l'art sur de nombreuses tâches de traitement du langage.

Exploiter la comparaison des variantes multilingues et des ajustements sur corpus spécialisés pour tester ce qui est réellement transféré d'une langue à l'autre, et confronter ces résultats aux prédictions de la grammaire universelle comme à celles des approches fonctionnalistes de l'acquisition. Réduire drastiquement les volumes d'entraînement dans des modèles expérimentaux serait la voie la plus directe pour éclairer l'argument de la pauvreté du stimulus.

Usage instrumental par ajustement fin : le modèle sert d'instrument d'analyse linguistique, l'interprétation théorique reste humaine.

◑Remplaçable avec supervision humaine

1. 1.Structures syntaxiquesprimaire
2. 2.Devlin, Chang, Lee & Toutanova, « BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding »primaire11/10/2018