Référentiel B — capacité IA
Transformers
Architecture
Architecture de réseau de neurones fondée sur le mécanisme d'attention multi-têtes (self-attention), traitant l'ensemble d'une séquence en parallèle plutôt que pas à pas
Capacités clés
- Traitement parallèle de séquences entières via l'attention, permettant un entraînement beaucoup plus rapide et scalable que les RNN/LSTM
- Capture de dépendances à très longue portée dans le texte, l'image ou l'audio via le mécanisme d'attention
- Architecture fondatrice de la quasi-totalité des grands modèles de langage et de vision modernes (BERT, GPT, Llama, Vision Transformers)
Usages documentés par secteur
IndustrieTRL 9 / 9
Déploiements mondiaux nommés et datés : BERT sur Google Search en octobre 2019, Google Translate en 2020, ChatGPT fin 2022, puis DALL-E, Stable Diffusion 3 et Sora.
Fondation architecturale de la quasi-totalité des applications d'IA générative actuelles
- BERT sur Google Search à partir d'octobre 2019, puis Google Translate en 2020
- ChatGPT, fondé sur une variante affinée de GPT-3.5, fin 2022
- Génération d'image et de vidéo : DALL-E (2021), Stable Diffusion 3 et Sora (2024)
Sources de cet usage
RechercheTRL non déterminableDiffusion standard
Architecture de référence quasi universelle en recherche sur l'apprentissage profond depuis 2018
- Extension à la vision (Vision Transformers) et à la reconnaissance de la parole (Whisper)
Sources de cet usage
Limites connues
Coût de calcul et de mémoire croissant de façon quadratique avec la longueur de la séquence traitée (attention classique), ce qui pose des défis pour le traitement de contextes très longs, et nécessite des volumes de données et de calcul d'entraînement considérables pour atteindre ses meilleures performances.
Débats documentés
Appuis explicites (1)
Une fiche nomme l'autre dans sa thèse centrale ou son apport : elle s'y adosse.
- Réseaux de neurones artificiels / deep learningappui explicite
À l'origine de la percée de l'IA contemporaine (reconnaissance d'image dès 2012 avec AlexNet, traduction automatique, génération de texte et d'image) ; rendu possible par la conjonction de grandes quantités de données, de puissance de calcul GPU et d'avancées algorithmiques (rétropropagation, architectures transformers).
Repose sur la même source (2)
Ces fiches citent au moins une source identique : si elles s'accordent, cet accord ne vaut pas confirmation indépendante.
- IA et traitement du langage naturelrepose sur la même source
Les deux fiches citent « Vaswani et al., « Attention Is All You Need » (arXiv:1706.03762) ».
- Réseaux de neurones artificiels / deep learningrepose sur la même source
Les deux fiches citent « Vaswani et al., « Attention Is All You Need » (arXiv:1706.03762) ».
Sources
Analyses de gap citant cette fiche
- John Searle × TransformersSyntaxe, sémantique et compréhension dans les modèles de langage
Fiche humaine : John Searle
- Geoffrey Hinton × TransformersApprentissage profond, attention et alerte de ses fondateurs
Fiche humaine : Geoffrey Hinton
- Cyber-socialisme × TransformersPlanification économique assistée par calcul et héritage de Cybersyn
Fiche humaine : Cyber-socialisme
- Économie planifiée (modèle soviétique) × TransformersDébat du calcul économique centralisé à l'ère du calcul massif
Fiche humaine : Économie planifiée (modèle soviétique)
- CPTPP × TransformersRègles de flux de données transfrontaliers et conditions d'entraînement des modèles
Fiche humaine : CPTPP
- Populisme de gauche × TransformersConcentration des moyens d'entraînement et critique des concentrations de pouvoir économique
Fiche humaine : Populisme de gauche
- Bipolarité (Guerre froide) × TransformersRivalité bipolaire et substrat technique partagé de la course à l'IA
Fiche humaine : Bipolarité (Guerre froide)
Fiches connexes — Data science / modèles prédictifs
- Arbres de décisionMéthode d'apprentissage automatique classique (algorithmes ID3, C4.5, CART, développés à partir des années 1980)
- AutoencodeursArchitecture de réseau de neurones popularisée à partir des années 1980-1990, largement développée depuis les années 2010
- CNNArchitecture développée notamment par Yann LeCun (LeNet, fin des années 1980-1990), popularisée à grande échelle par AlexNet (2012)
- Forêts aléatoiresMéthode d'ensemble développée notamment par Leo Breiman (2001)
- GANConcept développé par Ian Goodfellow et ses collègues (juin 2014)
- Gradient Boosting (XGBoost/LightGBM/CatBoost)Méthode formalisée par Jerome Friedman (1999). Les implémentations XGBoost, LightGBM et CatBoost qui donnent son nom à la fiche ne sont nommées par aucune source de celle-ci : leurs dates et leurs éditeurs restent à tracer.
- K-MeansAlgorithme classique de partitionnement de données (formalisé par Stuart Lloyd et James MacQueen dans les années 1950-1960)
- K-NNMéthode statistique classique d'apprentissage non paramétrique ; la source citée n'en donne pas la datation
Données brutes de cette fiche : /api/fiches/transformers — voir la méthodologie.